JP2019037692A

JP2019037692A - Image processing device, image processing method, and image processing program

Info

Publication number: JP2019037692A
Application number: JP2017164029A
Authority: JP
Inventors: 謙一井上; Kenichi Inoue
Original assignee: Individual
Current assignee: Individual
Priority date: 2017-08-29
Filing date: 2017-08-29
Publication date: 2019-03-14
Anticipated expiration: 2037-08-29
Also published as: JP6990540B2

Abstract

To provide an image processing device, an image processing method, and an image processing program which clearly display the position and shape of a lesion within a medical image.SOLUTION: Determination range identification means 122 identifies a determination range F in a determination frame F, and a determination processing part 111, on the basis of a learning medical image stored in a learning data storage part 112, determines the presence or absence of a specific lesion in the determination range. Determination range moving means 123 moves the determination frame F, and a color change part 124 emphasizes and displays the determination range within the determination frame F in accordance with a result of the determination by the determination processing part 111.SELECTED DRAWING: Figure 1

Description

本発明は、映像処理装置、映像処理方法、および映像処理プログラムに関し、特に入力された医療映像から病変部を検出して表示する映像処理装置、映像処理方法、および映像処理プログラムに関する。 The present invention relates to a video processing device, a video processing method, and a video processing program, and more particularly to a video processing device, a video processing method, and a video processing program that detect and display a lesion from an input medical video.

従来から、身体の外側から診るだけでは分からない臓器の形態、病変の有無などを画像として映し出すことで診断を行う画像診断が知られている。画像診断は、例えばエックス線や超音波、磁気共鳴などを用いて映像化したものや、内視鏡検査や眼底カメラなどの可視光線のもとで撮影された検査画像をもとに医師が診断している。 2. Description of the Related Art Conventionally, image diagnosis is known in which diagnosis is performed by displaying, as an image, the form of an organ, the presence or absence of a lesion, and the like that cannot be understood only by examining from the outside of the body. Image diagnosis is performed by a doctor based on examination images taken using visible light such as endoscopy or fundus camera, for example, using X-rays, ultrasound, magnetic resonance, etc. ing.

ところが、このような検査画像から情報を読み解くことは容易ではなく、多くの専門知識や豊富な経験や症例が必要とされている。一方で、画像診断を専門に行う専門医を育成するには多くの時間とコストがかかるため、専門医が不足し、診療所などの医療施設では、症例に接する機会が少ない一般の医師が画像診断を行うこともある。 However, it is not easy to read and interpret information from such examination images, and a lot of specialized knowledge, abundant experience, and cases are required. On the other hand, it takes a lot of time and cost to develop specialists who specialize in diagnostic imaging, so there is a shortage of specialists, and in medical facilities such as clinics, general doctors who have few opportunities to contact cases are required to perform diagnostic imaging. Sometimes.

近年では、コンピュータ機能や人工知能技術の技術水準が向上し、人工知能の技術を活用した画像判断のシステムは様々な産業分野で応用されており、医療分野においても人工知能を用いた開発が進んでいる。 In recent years, the technical level of computer functions and artificial intelligence technology has improved, and image judgment systems utilizing artificial intelligence technology have been applied in various industrial fields, and development using artificial intelligence has advanced in the medical field as well. It is out.

例えば、コンピュータに過去の検査画像を解析させ、その結果から有用な規則やルールから得られるアルゴリズムを利用して、コンピュータが新たな検査画像を認識し、病変の有無、その病変が良性か悪性かを区別する機械学習という技術が可能になってきた（たとえば、特許文献１参照）。 For example, let the computer analyze past examination images, and use the rules and rules obtained from the results, and the computer recognizes new examination images, whether there is a lesion, whether the lesion is benign or malignant. A technique called machine learning for distinguishing between the two has become possible (for example, see Patent Document 1).

特開２０１５−１５４９１８号公報JP2015-154918A

しかし、このような病変候補検証器では、特定領域内での病変候補の有無や、信頼度は把握できるが、病変の詳細な位置や、病変の形状、病変の進行度を明確に把握することができなかった。 However, with such a lesion candidate verifier, the presence / absence and reliability of a lesion candidate within a specific region can be grasped, but the detailed position of the lesion, the shape of the lesion, and the progress of the lesion must be clearly understood. I could not.

図２１は、従来の病変検出装置の一例を示すブロック図である。
図２１に示すように、病変検出装置１０は、映像入力部１１、病変候補検出器１２、周辺客体検出器１３、病変候補検証器１４、候補除去器１５、およびディスプレイ部１６を備えている。 FIG. 21 is a block diagram illustrating an example of a conventional lesion detection apparatus.
As shown in FIG. 21, the lesion detection apparatus 10 includes a video input unit 11, a lesion candidate detector 12, a peripheral object detector 13, a lesion candidate verifier 14, a candidate remover 15, and a display unit 16.

映像入力部１１は、例えば超音波またはエックス線などを用いて人体の特定部位を医療映像装置２０で撮影した医療映像を受信する。
病変候補検出器１２は、医療映像を分析して、病変候補の可否、および存在する病変候補の位置を検出する。 The video input unit 11 receives a medical video obtained by photographing a specific part of the human body with the medical video device 20 using, for example, ultrasonic waves or X-rays.
The lesion candidate detector 12 analyzes the medical image and detects the possibility of the lesion candidate and the position of the existing lesion candidate.

周辺客体検出器１３は、医療映像内で複数の解剖学的客体として、映像内の皮膚、脂肪、腺組織、筋肉、骨などを検出する。
病変候補検証器１４は、病変候補検出器１２によって検出された病変候補、および周辺客体検出器１３によって検出された解剖学的客体を、解剖学的脈絡に関連した情報を含む脈絡情報３０にもとづいて、検出された病変候補が実際に悪性病変か否かを検証する。 The peripheral object detector 13 detects skin, fat, glandular tissue, muscle, bone, and the like in the image as a plurality of anatomical objects in the medical image.
The lesion candidate verifier 14 uses the lesion candidate detected by the lesion candidate detector 12 and the anatomical object detected by the peripheral object detector 13 based on the context information 30 including information related to the anatomical context. Thus, it is verified whether the detected lesion candidate is actually a malignant lesion.

候補除去器１５は、病変候補検証器１４によって検証された結果を受信し、検出された病変候補のうち、病変候補検証器１４によって陰性と判定された病変候補を除去したのち、のこりの病変候補をディスプレイ部１６に出力する。 The candidate remover 15 receives the result verified by the lesion candidate verifier 14, removes the lesion candidate determined negative by the lesion candidate verifier 14 from the detected lesion candidates, and then leaves the remaining lesion candidate. Is output to the display unit 16.

例えば、病変候補検出器１２は、映像入力部１１より受信した医療映像を分析した後、医療映像内の一定の領域を「信頼度８５％の病変候補」であると決定することで、病変候補を検出する。 For example, the lesion candidate detector 12 analyzes a medical image received from the image input unit 11 and then determines a certain region in the medical image as a “lesion candidate with a reliability of 85%” to thereby determine a lesion candidate. Is detected.

周辺客体検出器１３は、映像入力部１１より受信した医療映像を分析した後、医療映像内の一定の領域を「信頼度９５％の皮下脂肪」であると決定することで、病変候補を検出する。 The peripheral object detector 13 analyzes the medical video received from the video input unit 11 and then determines a certain region in the medical video as “subcutaneous fat with 95% reliability” to detect a lesion candidate. To do.

これにより病変候補検証器１４は、病変候補検出器１２が病変候補として検出した特定領域Ａと解剖学的客体が存在する位置とを比較し、脈絡情報３０を参照することで、特定領域Ａが実際に病変であるか、または陰性であるかを判断する。 Thereby, the lesion candidate verifier 14 compares the specific area A detected as the lesion candidate by the lesion candidate detector 12 with the position where the anatomical object exists, and refers to the context information 30 so that the specific area A is Determine if it is actually a lesion or negative.

図２２は、病変検出装置を用いて、検査画像から病変候補を検出した検出画像を示す図である。
図２２に示すように、病変候補検出画像４０は、画像内の複数の特定領域において、２つの病変候補領域４１および４２、腺組織領域４３が表示されている。 FIG. 22 is a diagram illustrating a detection image in which a lesion candidate is detected from an examination image using the lesion detection apparatus.
As shown in FIG. 22, the lesion candidate detection image 40 displays two lesion candidate regions 41 and 42 and a glandular tissue region 43 in a plurality of specific regions in the image.

病変候補領域４１は信頼度が６９％と表示され、病変候補４２は信頼度が１２％と表示されている。このように病変候補は、ユーザにとって容易に識別することができる。また特定領域は、病変候補検出器１２が自動で検出することもできるが、医師が特定領域を決定し、その医師が決定した特定領域を病変候補検証器１４が検証し、病変であるか、または陰性であるかを判断して表示することもできる。 The lesion candidate area 41 is displayed with a reliability of 69%, and the lesion candidate 42 is displayed with a reliability of 12%. Thus, the lesion candidate can be easily identified for the user. The specific area can be automatically detected by the lesion candidate detector 12, but the doctor determines the specific area, and the specific area determined by the doctor is verified by the lesion candidate verifier 14 to determine whether the specific area is a lesion. Or it can also be judged and displayed whether it is negative.

ところが、病変候補検出器１２や医師によって特定された領域を検証することで、領域内が病変または陰性であるかを表示することはできるが、病変全体の形状を把握することはできなかった。 However, by verifying the region specified by the lesion candidate detector 12 or the doctor, it is possible to display whether the region is a lesion or negative, but it is impossible to grasp the shape of the entire lesion.

具体的には、医師は検査画像内で矩形の特定領域を決定し、その特定範囲で病変候補の検証を行った結果を数値で表示する。つまり医師が決定した特定領域内での結果しか見ることはできない。このため病変周辺の境界線を明確に表示することは困難であり、病変全体の形状を把握することはできなかった。 Specifically, the doctor determines a rectangular specific region in the examination image, and displays the result of verifying the lesion candidate within the specific range as a numerical value. That is, only the result within the specific area determined by the doctor can be seen. For this reason, it is difficult to clearly display the boundary line around the lesion, and the shape of the entire lesion cannot be grasped.

本発明はこのような点に鑑みてなされたものであり、医療映像内における病変部位の位置および形状を明確に表示する映像処理装置、映像処理方法、および映像処理プログラムを提供することを目的とする。 The present invention has been made in view of these points, and an object thereof is to provide a video processing device, a video processing method, and a video processing program that clearly display the position and shape of a lesion site in a medical video. To do.

本発明では上記問題を解決するために、入力された医療映像から特定病変を検出して表示する映像処理装置において、判定範囲を特定する判定範囲特定手段と、前記判定範囲で特定病変の有無を判定する判定手段と、前記判定範囲を移動させる判定範囲移動手段と、前記判定手段が判定した結果に応じて前記判定範囲を強調して表示する強調表示手段とを備えることを特徴とする映像処理装置が提供される。 In the present invention, in order to solve the above problem, in an image processing apparatus that detects and displays a specific lesion from an input medical image, a determination range specifying unit that specifies a determination range, and whether or not a specific lesion exists in the determination range. Video processing comprising: determination means for determining; determination range moving means for moving the determination range; and highlighting means for emphasizing and displaying the determination range according to a result determined by the determination means An apparatus is provided.

これにより、判定範囲特定手段が、判定範囲を特定し、判定手段が、判定範囲で特定病変の有無を判定し、判定範囲移動手段が、判定範囲を移動させ、強調表示手段が、判定手段が判定した結果に応じて判定範囲を強調して表示する。 Accordingly, the determination range specifying unit specifies the determination range, the determination unit determines the presence or absence of the specific lesion in the determination range, the determination range moving unit moves the determination range, and the highlighting unit is the determination unit. The determination range is highlighted and displayed according to the determination result.

また、本発明では、入力された医療映像から特定病変を検出して表示する映像処理方法において、判定範囲特定手段が、判定範囲を特定するステップと、判定手段が、前記判定範囲で特定病変の有無を判定するステップと、判定範囲移動手段が、前記判定範囲を移動させるステップと、強調表示手段が、前記判定手段が判定した結果に応じて前記判定範囲を強調して表示するステップとを備えることを特徴とする映像処理方法が提供される。 According to the present invention, in the video processing method for detecting and displaying the specific lesion from the input medical video, the determination range specifying unit specifies the determination range, and the determination unit includes the specific lesion in the determination range. A step of determining presence / absence, a step of moving the determination range, a step of moving the determination range, and a step of highlighting and displaying the determination range in accordance with the determination result of the determination unit. A video processing method is provided.

また、本発明では、入力された医療映像から特定病変を検出して表示する映像処理プログラムにおいて、コンピュータを、判定範囲を特定する判定範囲特定手段、前記判定範囲で特定病変の有無を判定する判定手段、前記判定範囲を移動させる判定範囲移動手段、前記判定手段が判定した結果に応じて前記判定範囲を強調して表示する強調表示手段として機能させることを特徴とする映像処理プログラムが提供される。 According to the present invention, in the video processing program for detecting and displaying the specific lesion from the input medical image, the computer determines the determination range specifying means for specifying the determination range, and the determination for determining the presence or absence of the specific lesion in the determination range. There is provided a video processing program characterized by functioning as a means, a determination range moving means for moving the determination range, and an emphasis display means for emphasizing and displaying the determination range according to a result determined by the determination means. .

本発明の映像処理装置、映像処理方法、および映像処理プログラムによれば、判定範囲特定手段が、判定範囲を特定し、判定手段が、判定範囲で特定病変の有無を判定し、判定範囲移動手段が、判定範囲を移動させ、強調表示手段が、判定手段が判定した結果に応じて判定範囲を強調して表示するので、医療映像内における特定病変の位置や形状を明確に表示することができる。 According to the video processing device, the video processing method, and the video processing program of the present invention, the determination range specifying unit specifies the determination range, the determination unit determines the presence or absence of the specific lesion in the determination range, and the determination range moving unit However, since the determination range is moved and the highlighting means emphasizes and displays the determination range according to the determination result of the determination means, the position and shape of the specific lesion in the medical image can be clearly displayed. .

本実施の形態に係る映像処理装置の概念を示す図である。It is a figure which shows the concept of the video processing apparatus which concerns on this Embodiment. 判定手段の詳細を示す図である。It is a figure which shows the detail of a determination means. 判定処理部の詳細を示す図である。It is a figure which shows the detail of a determination process part. 映像処理手段の詳細を示す図である。It is a figure which shows the detail of a video processing means. 本実施の形態の映像処理装置が備える判定手段が、学習を行うまでの処理を示すフローチャートである。It is a flowchart which shows the process until the determination means with which the video processing apparatus of this Embodiment is provided performs learning. 本実施の形態の映像処理装置が備える映像処理手段が、映像を処理し、処理した映像を表示装置が表示するまでの処理を示すフローチャートである。It is a flowchart which shows a process until the video processing means with which the video processing apparatus of this Embodiment is provided processes an image | video and a display apparatus displays the processed image | video. 本実施の形態の映像処理装置が備える映像処理手段に、指示情報が入力されてから各処理を行うまでの処理を示すフローチャートである。It is a flowchart which shows a process after instruction information is input into the video processing means with which the video processing apparatus of this Embodiment is input until it performs each process. 本実施の形態の映像処理装置が備える判定手段が、学習するまでの処理を示すフローチャートである。It is a flowchart which shows the process until the determination means with which the video processing apparatus of this Embodiment is provided learns. 本実施の形態の映像処理装置が備える判定手段が、学習した学習データを検証するまでの処理を示すフローチャートである。It is a flowchart which shows the process until the determination means with which the video processing apparatus of this Embodiment is provided verifies the learned learning data. 本実施の形態の映像処理装置が備える判定手段が、判定結果を出力するまでの処理を示すフローチャートである。It is a flowchart which shows the process until the determination means with which the video processing apparatus of this Embodiment is provided outputs a determination result. 本実施の形態の映像処理装置が備える映像処理手段が、映像処理し、処理映像を出力するまでの処理を示すフローチャートである。It is a flowchart which shows the process until the video processing means with which the video processing apparatus of this Embodiment is provided processes a video and outputs a process video. 本実施の形態の映像処理装置が備える映像処理手段が、判定除外処理を行うまでの処理を示すフローチャートである。It is a flowchart which shows a process until the video processing means with which the video processing apparatus of this Embodiment is provided performs a determination exclusion process. 本実施の形態の映像処理装置が備える映像処理手段が、判定除外処理を行なった判定医療映像に、色彩変更を行うまでの処理を示すフローチャートである。It is a flowchart which shows a process until the video processing means with which the video processing apparatus of this Embodiment is provided performs the color change to the determination medical image which performed the determination exclusion process. 判定除外処理部が行った処理を示すマンモグラフィ画像である。It is a mammography image which shows the process which the determination exclusion process part performed. ディープラーニングで用いられるニューラルネットワークを示す図である。It is a figure which shows the neural network used by deep learning. 判定手段に学習させる従来の学習方法と、本実施の形態に係る映像処理装置での学習方法を示す図である。It is a figure which shows the learning method in the video processing apparatus which concerns on the conventional learning method made to make a determination means learn, and this Embodiment. 学習医療映像の情報量を学習情報調整部が処理した訓練データおよびテストデータによる機械学習の正診率と、学習医療映像の情報量を学習情報調整部が処理しない訓練データおよびテストデータによる機械学習の正診率とを示す図である。Machine learning correctness rate by training data and test data processed by the learning information adjustment unit processed by the learning information adjustment unit, and machine learning by training data and test data not processed by the learning information adjustment unit by the learning information adjustment unit It is a figure which shows the right diagnosis rate. 判定枠の移動方法を示す図である。It is a figure which shows the moving method of a determination frame. 色彩変更部が判定枠内の判定範囲の色彩を変更した様子を示す図である。It is a figure which shows a mode that the color change part changed the color of the determination range in a determination frame. 判定医療映像に悪性病変の部位を明確にした状態を示す図である。It is a figure which shows the state which clarified the site | part of the malignant lesion on the determination medical image | video. 従来の病変検出装置の一例を示すブロック図である。It is a block diagram which shows an example of the conventional lesion detection apparatus. 病変検出装置を用いて、検査画像から病変候補を検出した検出画像を示す図である。It is a figure which shows the detection image which detected the lesion candidate from the test | inspection image using the lesion detection apparatus.

以下、本発明の実施の形態を、図面を参照して詳細に説明する。
図１は、本実施の形態に係る映像処理装置の概念を示す図である。
映像処理装置１００は、判定手段１１０および映像処理手段１２０を備えている。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
FIG. 1 is a diagram showing a concept of a video processing apparatus according to the present embodiment.
The video processing apparatus 100 includes a determination unit 110 and a video processing unit 120.

判定手段１１０は、例えば脳の働きを模したニューラルネットワークを用いたディープラーニングと呼ばれる機械学習技術を用いたものであって、画像認識、音声認識、言語処理などに用いられるものである。 The determination means 110 uses, for example, a machine learning technique called deep learning using a neural network that simulates the function of the brain, and is used for image recognition, voice recognition, language processing, and the like.

あらかじめ判定手段１１０に学習医療映像である良性の医療映像と悪性の医療映像とを学習させ、後に悪性病変の有無を判定するための判定医療映像を判定手段１１０に認識させることで、その認識した判定医療映像が良性か悪性かを判定させることができる。 The determination unit 110 has previously learned the benign medical image and the malignant medical image that are learning medical images, and the determination unit 110 recognizes the determination medical image for determining the presence or absence of a malignant lesion later. Judgment It can be judged whether a medical image is benign or malignant.

映像処理手段１２０は判定手段１１０に接続されており、外部から接続された医療映像装置２００で撮影した判定医療映像を映像処理手段１２０に入力することで、その判定医療映像を映像処理手段１２０が判定手段１１０に判定させる。その判定手段１１０が判定した結果から、悪性病変の位置や形状を明確にするための映像処理を映像処理手段１２０が行う。 The video processing unit 120 is connected to the determination unit 110, and the video processing unit 120 inputs the determined medical video captured by the medical video apparatus 200 connected from the outside to the video processing unit 120. The determination unit 110 makes a determination. The video processing means 120 performs video processing for clarifying the position and shape of the malignant lesion from the determination result of the determination means 110.

具体的には、医療映像装置２００で撮影された判定医療映像の一部を映像処理手段１２０が切り取り、判定手段１１０が良性か悪性かを判断する。映像処理手段１２０は、判定手段１１０が判断した結果を受け取り、例えば、その結果が悪性だった場合のみ該当する部位の色彩を変更して判定医療映像内で該当部位を強調表示する。これにより判定医療映像内の悪性部分のみ色彩が変更されるので、悪性病変の位置や形状を明確にすることができる。 Specifically, the image processing unit 120 cuts out a part of the determination medical image taken by the medical image apparatus 200, and determines whether the determination unit 110 is benign or malignant. The video processing unit 120 receives the result determined by the determination unit 110 and, for example, changes the color of the corresponding part only when the result is malignant, and highlights the corresponding part in the determined medical video. Thereby, since the color is changed only in the malignant part in the judgment medical image, the position and shape of the malignant lesion can be clarified.

医療映像装置２００は、例えばエックス線装置、コンピュータ断層撮影装置、核磁気共鳴画像装置、超音波検査装置などによって撮影される医療映像である。この医療映像装置２００によって撮影された静止画や動画を映像処理装置１００が処理を行うことで、映像処理装置１００に接続された表示装置３００に病変の位置や形状を明確にした映像を出力することができる。 The medical image apparatus 200 is a medical image captured by, for example, an X-ray apparatus, a computer tomography apparatus, a nuclear magnetic resonance image apparatus, an ultrasonic inspection apparatus, or the like. When the video processing apparatus 100 processes still images and moving images taken by the medical video apparatus 200, an image in which the position and shape of the lesion are clarified is output to the display apparatus 300 connected to the video processing apparatus 100. be able to.

表示装置３００は、例えばパソコンに接続されることで与えられた情報を表示するディスプレイや、入力された情報を印刷して表示するプリンターや、写真などを現像する現像機などが挙げられる。 Examples of the display device 300 include a display that displays information provided by being connected to a personal computer, a printer that prints and displays input information, and a developing device that develops photographs and the like.

この映像処理装置１００を介して出力された判定医療映像は、病変の位置や形状が明確に表示されているので、医師が判定医療映像を見る際に見落としがないよう注意喚起ができ、医師の正確な診断率が上昇する。
なお、映像処理手段１２０に接続した外部接続機器により、指示値を入力することで、入力した映像の判定開始や、出力する映像の解像度などを指示することができる。 Since the determination medical image output via the image processing device 100 clearly displays the position and shape of the lesion, the doctor can be alerted so as not to be overlooked when viewing the determination medical image. Accurate diagnosis rate increases.
Note that by inputting an instruction value from an external device connected to the image processing unit 120, it is possible to instruct the start of determination of the input image, the resolution of the image to be output, and the like.

図２は、判定手段の詳細を示す図である。
図２に示すように、判定手段１１０は、判定処理部１１１および学習データ記憶部１１２を備えている。 FIG. 2 is a diagram showing details of the determination means.
As shown in FIG. 2, the determination unit 110 includes a determination processing unit 111 and a learning data storage unit 112.

判定処理部１１１は、あらかじめ学習医療映像を入力することにより判定処理部１１１に学習をさせ、その学習したデータは学習データ記憶部１１２に蓄積される。学習は、判定処理部１１１に学習させるための情報であるトレーニングデータセットと呼ばれる訓練用データや、学習したデータを検証するためのテストデータセットと呼ばれるテスト用データを用いて学習させる。 The determination processing unit 111 causes the determination processing unit 111 to learn by inputting a learning medical image in advance, and the learned data is accumulated in the learning data storage unit 112. Learning is performed using training data called a training data set, which is information for the determination processing unit 111 to learn, and test data called a test data set for verifying the learned data.

また映像処理手段１２０によって切り取られて入力される判定医療映像の一部は、学習データ記憶部１１２に蓄積された学習データを利用することで、判定処理部１１１が悪性か良性かの判断処理を行い、その結果を映像処理手段１２０で悪性病変を明確にするための映像処理を行った後に、悪性病変が明確になった判定医療映像が表示装置３００で表示される。 In addition, a part of the determination medical image cut and input by the image processing unit 120 uses the learning data stored in the learning data storage unit 112 so that the determination processing unit 111 determines whether it is malignant or benign. After performing the image processing for clarifying the malignant lesion by the image processing means 120, the determination medical image in which the malignant lesion is clarified is displayed on the display device 300.

図３は、判定処理部の詳細を示す図である。
図３に示すように、判定処理部１１１は、学習情報調整部１１１０、学習部１１１１および判定部１１１２を備えている。 FIG. 3 is a diagram illustrating details of the determination processing unit.
As illustrated in FIG. 3, the determination processing unit 111 includes a learning information adjustment unit 1110, a learning unit 1111, and a determination unit 1112.

学習情報調整部１１１０は、学習部１１１１に効率よく学習させるために、外部から入力された学習医療映像の情報量を調整するためのものである。入力される学習医療映像は、あらかじめ病変を有する医療映像を格子状に分割したものであり、良性と悪性とがわかるようにラベル付けされたものである。またこれらのラベル付けされた学習医療映像は、それぞれテスト用データと訓練用データとに分けられている。 The learning information adjustment unit 1110 is for adjusting the information amount of the learning medical video input from the outside in order to make the learning unit 1111 learn efficiently. The input learning medical image is obtained by dividing a medical image having a lesion in advance into a lattice shape, and is labeled so as to recognize benign and malignant. These labeled learning medical images are divided into test data and training data, respectively.

良性と悪性とに分類された学習医療映像は、良性と悪性との情報量に偏りがあるため、学習情報調整部１１１０は、この比率が異なった学習医療映像のバランスを調整することで学習部１１１１に正しく学習させることができる。 Since learning medical images classified into benign and malignant are biased in the amount of information between benign and malignant, the learning information adjustment unit 1110 adjusts the balance of the learning medical images with different ratios to adjust the learning unit. 1111 can learn correctly.

まず学習情報調整部１１１０は、良性の訓練用データを複数のグループに分割する。分割された良性の訓練用データの１つは、悪性の訓練用データ量と等しくなるように学習情報調整部１１１０が分割を行う。 First, the learning information adjustment unit 1110 divides the benign training data into a plurality of groups. One of the divided benign training data is divided by the learning information adjustment unit 1110 so as to be equal to the amount of malignant training data.

１つの悪性の訓練用データに対して、分割した良性の訓練用データを入れ替えながら、悪性の訓練用データ量と良性の訓練用データ量とが等しくなるように学習情報調整部１１１０が学習部１１１１に学習させる。 While replacing the divided benign training data for one malignant training data, the learning information adjustment unit 1110 learns the learning unit 1111 so that the malignant training data amount is equal to the benign training data amount. To learn.

これにより比較的データ量の少ない悪性の訓練用データを、データ量の多い良性の訓練用データに対応させて学習させることができるので、全体的な学習量を減らさずに良性と悪性とのバランスを取りながら、学習部１１１１に大量の訓練用データを学習させることができる。 As a result, malignant training data with a relatively small amount of data can be learned in correspondence with benign training data with a large amount of data, so the balance between benign and malignant can be achieved without reducing the overall amount of learning. The learning unit 1111 can learn a large amount of training data while taking

学習部１１１１は、学習情報調整部１１１０が調整した学習医療映像を実際に学習するためのものであり、学習データ記憶部１１２および判定部１１１２に接続されている。
具体的な学習例としては、学習情報調整部１１１０で調整された学習医療映像が学習部１１１１に入力され、入力された学習医療映像は、畳み込みニューラルネットワークを用いたディープラーニングによって、入力された学習医療映像の特徴を抽出して学習部１１１１は学習する。学習した学習データは学習データ記憶部１１２に蓄積される。 The learning unit 1111 is for actually learning the learning medical image adjusted by the learning information adjustment unit 1110, and is connected to the learning data storage unit 112 and the determination unit 1112.
As a specific learning example, a learning medical image adjusted by the learning information adjustment unit 1110 is input to the learning unit 1111, and the input learning medical image is input by deep learning using a convolutional neural network. The learning unit 1111 learns by extracting features of the medical video. The learned learning data is accumulated in the learning data storage unit 112.

判定部１１１２は、映像処理手段１２０が切り取った判定医療映像の一部を、学習データ記憶部１１２に蓄積された学習データを利用することで、その判定医療映像の一部が良性か悪性かを判断し、その判定部１１１２が判断した結果は、映像処理手段１２０に送信される。 The determination unit 1112 uses the learning data stored in the learning data storage unit 112 for a part of the determination medical video clipped by the video processing unit 120 to determine whether the part of the determination medical video is benign or malignant. The result determined by the determination unit 1112 is transmitted to the video processing means 120.

図４は、映像処理手段の詳細を示す図である。
図４に示すように、映像処理手段１２０は、判定除外処理部１２１、判定範囲設定部１２２、判定範囲移動部１２３、および色彩変更部１２４を備えている。 FIG. 4 is a diagram showing details of the video processing means.
As shown in FIG. 4, the video processing means 120 includes a determination exclusion processing unit 121, a determination range setting unit 122, a determination range moving unit 123, and a color changing unit 124.

判定除外処理部１２１は、医療映像装置２００により入力された判定医療映像を格子状に分割し、分割された判定医療映像のうち判定対象以外の部分を取り除くためのものである。 The determination exclusion processing unit 121 divides the determination medical image input by the medical image apparatus 200 into a lattice shape, and removes portions other than the determination target from the divided determination medical image.

具体的には、医療映像装置２００により撮影される判定医療映像には、判定対象以外の部分も含んだ映像が撮影される。例えば、乳ガンなどの検査で用いられるマンモグラフィ検査で撮影された映像には、必ず映像全体に***が撮影されているわけではなく、実際は***以外の部分も映り込んでいる。 Specifically, the determination medical image captured by the medical image apparatus 200 includes an image including a portion other than the determination target. For example, in a picture taken by mammography used for breast cancer examinations, a breast is not always taken in the whole picture, but actually, a part other than the breast is also reflected.

この***以外の部分を判定の対象外として取り除くことで、判定処理部１１１が判定する情報量を低減させることができる。これにより判定処理部１１１が判定する判定医療映像全体の判定時間を短縮することができる。 By removing the part other than the breast as the object of determination, the amount of information determined by the determination processing unit 111 can be reduced. Thereby, the determination time of the entire determination medical image determined by the determination processing unit 111 can be shortened.

判定範囲設定部１２２は、判定除外処理部１２１により判定除外処理が行われた判定医療映像のうち、一部を切り取って判定処理部１１１に判定をさせるための判定範囲を定める、図示しない判定枠Ｆを設定するためのものである。 The determination range setting unit 122 determines a determination range for cutting out a part of the determination medical video subjected to the determination exclusion process by the determination exclusion processing unit 121 and causing the determination processing unit 111 to perform determination. This is for setting F.

判定範囲移動部１２３は、判定範囲設定部１２２により設定された判定枠Ｆを、判定医療映像内で移動させるためのものである。これにより移動した判定枠Ｆの軌跡上を判定処理部１１１が悪性か良性かを判定することができ、判定枠Ｆが判定医療映像内すべてを移動することで判定医療映像全体の判定処理を行うことができる。 The determination range moving unit 123 is for moving the determination frame F set by the determination range setting unit 122 within the determination medical image. Thereby, it is possible to determine whether the determination processing unit 111 is malignant or benign on the trajectory of the determination frame F that has moved, and the determination frame F performs all the determination medical image determination processing by moving all within the determination medical image. be able to.

この判定枠Ｆは、判定範囲設定部１２２が判定枠Ｆ内の判定範囲を大きくすることで、判定医療映像全体を移動する判定枠Ｆの移動時間が短くなり、判定処理部１１１が判定する判定医療映像全体の判定時間は短くなる。 In this determination frame F, the determination range setting unit 122 increases the determination range in the determination frame F, so that the movement time of the determination frame F for moving the entire determination medical image is shortened, and the determination processing unit 111 determines The determination time for the entire medical image is shortened.

また判定範囲設定部１２２が判定枠Ｆ内の判定範囲を小さくすることで、判定医療映像における細かい病変部の判定を行うことができるので悪性病変の明確度が上昇する。なお、この判定範囲設定部１２２設定する判定枠Ｆ内の判定範囲は、接続された外部接続機器により任意に設定することができる。 In addition, since the determination range setting unit 122 reduces the determination range in the determination frame F, it is possible to determine a fine lesion in the determination medical image, so that the clarity of the malignant lesion increases. The determination range within the determination frame F set by the determination range setting unit 122 can be arbitrarily set by a connected external device.

また判定枠Ｆは、判定範囲移動部１２３が移動させる判定枠Ｆの移動値も任意に設定することができるが、判定範囲の大きさと同様に、判定枠Ｆの移動値が大きくすれば、判定医療映像全体を移動する判定枠Ｆの移動時間が短くなり、判定処理部１１１が判定する判定医療映像全体の判定時間は短くなる。
また判定枠Ｆの移動値を小さくすることで、判定医療映像における細かい病変部の判定を行うことができるので悪性病変の明確度が上昇する。 In addition, the determination frame F can be arbitrarily set as the movement value of the determination frame F to be moved by the determination range moving unit 123, but if the movement value of the determination frame F is increased, the determination value is determined. The moving time of the determination frame F for moving the entire medical image is shortened, and the determination time of the entire determined medical image determined by the determination processing unit 111 is shortened.
Further, by reducing the movement value of the determination frame F, it is possible to determine a fine lesion portion in the determination medical image, so that the clarity of the malignant lesion increases.

色彩変更部１２４は、判定枠Ｆ内の判定範囲を判定手段１１０が判定した結果によって、その判定範囲の色彩を変更するためのものである。
具体的には、判定枠Ｆ内の判定範囲において良性か悪性かを判定手段１１０が判定し、判定した結果を色彩変更部１２４に送信する。 The color changing unit 124 is for changing the color of the determination range based on the result of the determination unit 110 determining the determination range in the determination frame F.
Specifically, the determination unit 110 determines whether the determination range within the determination frame F is benign or malignant, and transmits the determination result to the color changing unit 124.

判定結果を受け取った色彩変更部１２４は、悪性だった場合にのみ、その判定した判定範囲を赤く色彩を変更する。これによりその判定範囲には悪性病変部分のみ色彩が変更されるので、悪性病変の部位や形状が明確に表示されることになる。 The color changing unit 124 that has received the determination result changes the color to the determined determination range in red only when it is malignant. As a result, the color of only the malignant lesion is changed in the determination range, so that the site and shape of the malignant lesion are clearly displayed.

また色彩変更部１２４が行なう色彩変更は、透明色を用いることができる。例えば、色彩変更部１２４が行なう色彩変更に透明色の赤色を用いた場合、判定範囲移動部１２３が判定枠Ｆを移動させながら悪性病変部に透明色の赤色を重ねていくので、悪性病変の部分は何度も透明色の赤色が重なることになる。 The color change performed by the color change unit 124 can use a transparent color. For example, when a transparent red color is used for the color change performed by the color changing unit 124, the determination range moving unit 123 moves the determination frame F and overlays the transparent red color on the malignant lesion part. The transparent red color overlaps the part many times.

この透明色の赤色が重なり濃い赤色で表示された部位は、判定手段１１０が悪性だと強く判断した部位であり、濃い赤色で表示された部分全体が悪性病変の形状であるといえる。これにより、悪性病変の部位や形状を明確に表示することができる。 The portion displayed in dark red with the transparent red color overlapped is a portion that the determination means 110 strongly determined to be malignant, and the entire portion displayed in dark red is the shape of the malignant lesion. Thereby, the site | part and shape of a malignant lesion can be displayed clearly.

図５は、本実施の形態の映像処理装置が備える判定手段が、学習を行うまでの処理を示すフローチャートである。以下、図５に示す処理をステップ番号に沿って説明する。
〔ステップＳ１１〕判定手段１１０に学習医療映像が入力される。具体的には、あらかじめ学習用の医療映像を格子状に分割し、良性と悪性とのラベル付けをした後、テスト用データと訓練用データとに分割された学習医療映像が、学習情報調整部１１１０に入力される。 FIG. 5 is a flowchart showing processing until the determination unit provided in the video processing apparatus of the present embodiment performs learning. Hereinafter, the process illustrated in FIG. 5 will be described in order of step number.
[Step S11] A learning medical image is input to the determination unit 110. Specifically, after learning medical images are divided into grids in advance and labeled as benign and malignant, the learning medical images divided into test data and training data are stored in the learning information adjustment unit. 1110 is input.

〔ステップＳ１２〕判定手段１１０は学習医療映像の情報量の調整を行う。具体的には、ステップＳ１１で入力された学習医療映像のうち、良性の訓練用データを複数のグループに分割し、分割した訓練用データのグループを入れ替えながら学習部１１１１に学習させ、それに対応するように悪性の訓練用データを繰り返して学習部１１１１に学習させるために、学習医療映像の情報量の調整を学習情報調整部１１１０が行なう。 [Step S12] The determination unit 110 adjusts the information amount of the learning medical video. Specifically, benign training data among the learning medical images input in step S11 is divided into a plurality of groups, the learning unit 1111 learns while replacing the divided groups of training data, and correspondingly. As described above, the learning information adjustment unit 1110 adjusts the information amount of the learning medical video in order to cause the learning unit 1111 to learn malignant training data repeatedly.

〔ステップＳ１３〕判定手段１１０は学習を行う。具体的には、ステップＳ１２で調整された訓練用データとテスト用データとをもとに、畳み込みニューラルネットワークを用いたディープラーニングで学習部１１１１が学習を行う。
このように学習した判定手段１１０は、学習した学習データをもとに判定医療映像が良性または悪性かを判定手段１１０が判定することが出来る。 [Step S13] The determination unit 110 performs learning. Specifically, the learning unit 1111 performs learning by deep learning using a convolutional neural network based on the training data and test data adjusted in step S12.
The determination means 110 learned in this way can determine whether the determination medical image is benign or malignant based on the learned data.

図６は、本実施の形態の映像処理装置が備える映像処理手段が、映像を処理し、処理した映像を表示装置が表示するまでの処理を示すフローチャートである。以下、図６に示す処理をステップ番号に沿って説明する。 FIG. 6 is a flowchart showing the processing until the video processing means provided in the video processing device of the present embodiment processes the video and the display device displays the processed video. In the following, the process illustrated in FIG. 6 will be described in order of step number.

〔ステップＳ２１〕映像処理手段１２０に判定医療映像が入力される。具体的には、医療映像装置２００で撮影された病変の有無を判定するための判定医療映像が、映像処理手段１２０に入力される。 [Step S21] The determination medical image is input to the image processing means 120. Specifically, a determination medical image for determining the presence or absence of a lesion imaged by the medical image device 200 is input to the image processing unit 120.

〔ステップＳ２２〕映像処理手段１２０は、入力された判定医療映像を処理する。具体的には、ステップＳ２１で入力された判定医療映像に対して、悪性病変の部位や形状が明確になるような映像処理を、映像処理手段１２０が行う。 [Step S22] The image processing means 120 processes the input determination medical image. Specifically, the video processing means 120 performs video processing for clarifying the site and shape of the malignant lesion on the determination medical video input in step S21.

〔ステップＳ２３〕映像処理手段１２０は、映像処理された判定医療映像を出力する。具体的には、ステップＳ２２で映像処理され、悪性病変の部位や形状が明確になった判定医療映像を、映像処理手段１２０が表示装置３００に出力する。
〔ステップＳ２４〕表示装置３００は、映像処理された判定医療映像を表示する。具体的には、ステップＳ２３で出力された判定医療映像を表示装置３００が表示する。 [Step S23] The image processing means 120 outputs the determined medical image subjected to the image processing. Specifically, the video processing means 120 outputs to the display device 300 the judged medical video that has been subjected to video processing in step S22 and the site and shape of the malignant lesion have been clarified.
[Step S24] The display device 300 displays the determined medical image subjected to the image processing. Specifically, the display device 300 displays the determined medical image output in step S23.

図７は、本実施の形態の映像処理装置が備える映像処理手段に、指示情報が入力されてから、各処理を行うまでの処理を示すフローチャートである。以下、図７に示す処理をステップ番号に沿って説明する。 FIG. 7 is a flowchart showing processing from when the instruction information is input to the video processing means included in the video processing apparatus according to the present embodiment until each processing is performed. In the following, the process illustrated in FIG. 7 will be described in order of step number.

〔ステップＳ３１〕映像処理手段１２０に指示情報が入力される。具体的には、映像処理装置１００の外部から接続された外部接続機器により、判定範囲設定、移動値設定、または映像処理開始の指示が入力される。 [Step S31] The instruction information is input to the video processing means 120. Specifically, a determination range setting, a movement value setting, or an instruction to start video processing is input from an externally connected device connected from the outside of the video processing apparatus 100.

〔ステップＳ３２〕映像処理手段１２０は、入力された指示情報を判断する。具体的には、映像処理装置１００に入力された指示情報が、判定範囲設定の指示、移動値設定の指示、または映像処理開始の指示であるかを、映像処理手段１２０が判断する。 [Step S32] The video processing means 120 determines the input instruction information. Specifically, the video processing unit 120 determines whether the instruction information input to the video processing apparatus 100 is a determination range setting instruction, a movement value setting instruction, or a video processing start instruction.

判定範囲設定の指示が入力されたと判断したときは、処理をステップＳ３３に進め、移動値設定の指示が入力されたと判断したときは、処理をステップＳ３４に進め、映像処理開始の指示が入力されたと判断したときは、処理をステップＳ３５に進める。 If it is determined that a determination range setting instruction has been input, the process proceeds to step S33. If it is determined that a movement value setting instruction has been input, the process proceeds to step S34, and a video processing start instruction is input. If it is determined that the process has been performed, the process proceeds to step S35.

〔ステップＳ３３〕映像処理手段１２０は、判定範囲を設定する。具体的には、ステップＳ２１で入力された判定医療映像の一部を切り取って判定するための判定枠Ｆ内の判定範囲を、判定範囲設定部１２２が設定する。
〔ステップＳ３４〕映像処理手段１２０は、移動値を設定する。具体的には、ステップＳ３３で設定された判定枠Ｆが移動する移動値を、判定範囲移動部１２３が設定する。 [Step S33] The video processing means 120 sets a determination range. Specifically, the determination range setting unit 122 sets a determination range in the determination frame F for cutting and determining a part of the determination medical video input in step S21.
[Step S34] The video processing means 120 sets a movement value. Specifically, the determination range moving unit 123 sets a movement value for moving the determination frame F set in step S33.

〔ステップＳ３５〕映像処理手段１２０は、映像処理を開始する。具体的には、判定範囲設定部１２２が設定した判定枠Ｆを、判定医療映像内で判定範囲移動部１２３が移動させながら、悪性病変の判定を判定手段１１０にさせ、その判定結果をもとに判定範囲の色彩を色彩変更部１２４が変更する処理の開始を、映像処理手段１２０が行なう。 [Step S35] The video processing means 120 starts video processing. Specifically, the determination frame F set by the determination range setting unit 122 is moved by the determination range moving unit 123 in the determination medical image while the determination unit 110 determines the malignant lesion, and based on the determination result. The video processing unit 120 starts the process of changing the color of the determination range by the color changing unit 124.

図８は、本実施の形態の映像処理装置が備える判定手段が、学習するまでの処理を示すフローチャートである。以下、図８に示す処理をステップ番号に沿って説明する。
〔ステップＳ４１〕判定手段１１０に学習医療映像が入力される。具体的には、畳み込みニューラルネットワークを用いたディープラーニングで判定手段１１０に学習させるために、ステップＳ１２で情報量が調整された訓練用データが、学習部１１１１に入力される。 FIG. 8 is a flowchart showing processing until the determination unit provided in the video processing apparatus according to the present embodiment learns. In the following, the process illustrated in FIG. 8 will be described in order of step number.
[Step S41] A learning medical image is input to the determination unit 110. Specifically, training data whose information amount has been adjusted in step S12 is input to the learning unit 1111 in order to cause the determination unit 110 to learn by deep learning using a convolutional neural network.

〔ステップＳ４２〕学習部１１１１は、入力された学習医療映像の特徴を抽出する。具体的には、ステップＳ４１で入力された訓練用データを、畳み込みニューラルネットワークを用いたディープラーニングで訓練用データの特徴を抽出し、その特徴から何が描出されているかを学習部１１１１が識別する。 [Step S42] The learning unit 1111 extracts features of the input learning medical video. Specifically, the training data input in step S41 is used to extract features of the training data by deep learning using a convolutional neural network, and the learning unit 1111 identifies what is drawn from the features. .

〔ステップＳ４３〕学習部１１１１は、入力された学習医療映像の判定を行う。具体的には、ステップＳ４２で抽出された訓練用データの特徴が、良性か悪性かを学習部１１１１が判定する。 [Step S43] The learning unit 1111 determines an input learning medical image. Specifically, the learning unit 1111 determines whether the feature of the training data extracted in step S42 is benign or malignant.

〔ステップＳ４４〕学習部１１１１は、判定結果とラベルとを比較する。具体的には、ステップＳ４３で判定した判定結果と、訓練用データに付されたラベルの内容との比較を行う。 [Step S44] The learning unit 1111 compares the determination result with the label. Specifically, the determination result determined in step S43 is compared with the content of the label attached to the training data.

〔ステップＳ４５〕学習部１１１１は、記憶する学習データの修正を行う。具体的には、ステップＳ４３で判定した訓練用データの特徴の判定結果と、ステップＳ４４で比較した訓練用データに付されたラベルとの差異を小さくするために、記憶する学習データの修正を行なう。 [Step S45] The learning unit 1111 corrects the stored learning data. Specifically, in order to reduce the difference between the determination result of the characteristics of the training data determined in step S43 and the label attached to the training data compared in step S44, the stored learning data is corrected. .

〔ステップＳ４６〕学習部１１１１は、所定の数まで学習処理が繰り返されたか判断する。具体的には、ステップＳ４２からステップＳ４５までの処理が所定の回数繰り返されたかを、学習部１１１１が判断する。 [Step S46] The learning unit 1111 determines whether the learning process has been repeated up to a predetermined number. Specifically, the learning unit 1111 determines whether the processing from step S42 to step S45 has been repeated a predetermined number of times.

所定の回数は、訓練用データの枚数や画像サイズによって調整を行うことができる。具体的にはステップＳ４２からステップＳ４５までの処理を、５０００回や１０万回などで設定し、設定した回数まで何度も繰り返しながら学習部１１１１に学習させることで、正しい判断率を上げていく。 The predetermined number of times can be adjusted according to the number of training data and the image size. Specifically, the processing from step S42 to step S45 is set at 5000 times or 100,000 times, and the learning unit 1111 learns while repeating the set number of times many times, thereby increasing the correct judgment rate. .

学習部１１１１がステップＳ４２からステップＳ４５までの処理を所定回数繰り返したと判断したときは、処理をステップＳ４７に進め、学習部１１１１がステップＳ４２からステップＳ４５までの処理を所定回数繰り返していないと判断したときは、処理をステップＳ４２に進める。 When the learning unit 1111 determines that the process from step S42 to step S45 has been repeated a predetermined number of times, the process proceeds to step S47, and the learning unit 1111 determines that the process from step S42 to step S45 has not been repeated a predetermined number of times. If so, the process proceeds to step S42.

〔ステップＳ４７〕学習部１１１１は、学習した学習データを記憶する。具体的には、学習部１１１１がステップＳ４２からステップＳ４５までの処理を所定回数繰り返して学習した学習データを、学習部１１１１が学習データ記憶部１１２に記憶させる。 [Step S47] The learning unit 1111 stores learned learning data. Specifically, the learning unit 1111 causes the learning data storage unit 112 to store learning data that the learning unit 1111 has learned by repeating the processes from step S42 to step S45 a predetermined number of times.

図９は、本実施の形態の映像処理装置が備える判定手段が、学習した学習データを検証するまでの処理を示すフローチャートである。以下、図９に示す処理をステップ番号に沿って説明する。 FIG. 9 is a flowchart illustrating processing until the determination unit provided in the video processing apparatus according to the present embodiment verifies the learned learning data. In the following, the process illustrated in FIG. 9 will be described in order of step number.

〔ステップＳ５１〕判定手段１１０に学習医療映像が入力される。具体的には、ステップＳ４１からステップＳ４７までの処理を繰り返して、判定手段１１０が学習した学習データを検証するために、良性か悪性かのラベルが判定手段１１０から見えない状態にしたテスト用データが、学習部１１１１に入力される。 [Step S51] The learning medical image is input to the determination unit 110. Specifically, the test data in which the benign or malignant label is not visible from the determination unit 110 in order to verify the learning data learned by the determination unit 110 by repeating the processing from step S41 to step S47. Is input to the learning unit 1111.

〔ステップＳ５２〕学習部１１１１は、入力された学習医療映像の特徴を抽出する。具体的には、ステップＳ５１で入力されたテスト用データから特徴を抽出し、その特徴から何が描出されているかを学習部１１１１が識別する。 [Step S52] The learning unit 1111 extracts features of the input learning medical image. Specifically, features are extracted from the test data input in step S51, and the learning unit 1111 identifies what is drawn from the features.

〔ステップＳ５３〕判定手段１１０は、入力された学習医療映像の予測を行う。具体的には、ステップＳ５２で抽出した特徴と、学習データ記憶部１１２に蓄積した学習データとを比較し、ステップＳ５２で入力されたテスト用データが良性か悪性かの予測を学習部１１１１が行う。 [Step S53] The determination unit 110 predicts the input learning medical image. Specifically, the learning unit 1111 compares the feature extracted in step S52 with the learning data stored in the learning data storage unit 112 and predicts whether the test data input in step S52 is benign or malignant. .

〔ステップＳ５４〕判定手段１１０は、予測結果の評価を行う。具体的には、ステップＳ５３で学習部１１１１が行った予測と、テスト用データに付されたラベルとを比較し、評価を学習部１１１１が行う。例えば予測とラベルとの値が一致した場合はプラスの評価を、また予測とラベルとの値が一致しなかった場合はマイナスの評価を与える。 [Step S54] The determination unit 110 evaluates the prediction result. Specifically, the prediction performed by the learning unit 1111 in step S53 is compared with the label attached to the test data, and the learning unit 1111 performs evaluation. For example, a positive evaluation is given when the values of the prediction and label match, and a negative evaluation is given when the values of the prediction and label do not match.

図１０は、本実施の形態の映像処理装置が備える判定手段が、判定結果を出力するまでの処理を示すフローチャートである。以下、図１０に示す処理をステップ番号に沿って説明する。 FIG. 10 is a flowchart illustrating processing until the determination unit included in the video processing apparatus according to the present embodiment outputs a determination result. In the following, the process illustrated in FIG. 10 will be described in order of step number.

〔ステップＳ６１〕判定手段１１０に判定範囲の情報が入力される。具体的には、映像処理手段１２０がステップＳ３３で設定した判定枠Ｆ内の判定範囲で切り取った判定医療映像の一部が、判定部１１１２に入力される。 [Step S61] Information on the determination range is input to the determination unit 110. Specifically, a part of the determined medical image clipped by the image processing unit 120 within the determination range within the determination frame F set in step S <b> 33 is input to the determination unit 1112.

〔ステップＳ６２〕判定手段１１０は、入力された判定医療映像の特徴を抽出する。具体的には、ステップＳ６１で入力された判定医療映像の一部の特徴を抽出し、その特徴から何が描出されているかを識別する。 [Step S62] The determination unit 110 extracts the characteristics of the input determination medical image. Specifically, some features of the determination medical image input in step S61 are extracted, and what is drawn from the features is identified.

〔ステップＳ６３〕判定手段１１０が、入力された判定医療映像の判定を行う。具体的には、ステップＳ６２で抽出した判定医療映像の一部の特徴と、学習データ記憶部１１２に蓄積した学習データとを比較し、ステップＳ６１で入力された判定医療映像の一部が良性か悪性かの判定を判定部１１１２が行う。 [Step S63] The determination means 110 determines the input determination medical image. Specifically, a part of the determination medical image extracted in step S62 is compared with the learning data stored in the learning data storage unit 112, and whether the determination medical image input in step S61 is benign. Judgment part 1112 determines whether it is malignant.

〔ステップＳ６４〕判定手段１１０が、判定結果の出力を行う。具体的には、ステップＳ６３で判定医療映像の一部を判定した結果を、判定部１１１２が映像処理手段１２０に出力する。 [Step S64] The determination unit 110 outputs a determination result. Specifically, the determination unit 1112 outputs the result of determining a part of the determined medical image in step S63 to the image processing unit 120.

図１１は、本実施の形態の映像処理装置が備える映像処理手段が、映像処理し、処理映像を出力するまでの処理を示すフローチャートである。以下、図１１に示す処理をステップ番号に沿って説明する。 FIG. 11 is a flowchart showing processing from when the video processing means included in the video processing apparatus according to the present embodiment performs video processing to output processed video. In the following, the process illustrated in FIG. 11 will be described in order of step number.

〔ステップＳ７１〕映像処理手段１２０に判定医療映像が入力される。具体的には、医療映像装置２００で撮影した判定医療映像の情報が、映像処理手段１２０に入力される。
〔ステップＳ７２〕映像処理手段１２０は、入力された判定医療映像の判定除外処理を行う。具体的には、判定除外処理部１２１が、ステップＳ７１で入力された判定医療映像のうち判定対象以外の部分を除外する。 [Step S71] The determination medical image is input to the image processing means 120. Specifically, information on the determined medical video imaged by the medical video device 200 is input to the video processing unit 120.
[Step S72] The image processing unit 120 performs determination exclusion processing on the input determination medical image. Specifically, the determination exclusion processing unit 121 excludes a portion other than the determination target from the determination medical video input in step S71.

〔ステップＳ７３〕映像処理手段１２０は、判定処理を行う。具体的には、判定範囲設定部１２２が設定した判定枠Ｆ内の判定範囲を、判定範囲移動部１２３が判定医療映像内で移動させながら、切り取った判定医療映像の一部を判定部１１１２が判定する。 [Step S73] The video processing means 120 performs determination processing. Specifically, the determination unit 1112 captures a part of the cut out medical image while the determination range moving unit 123 moves the determination range in the determination frame F set by the determination range setting unit 122 in the determination medical image. judge.

〔ステップＳ７４〕映像処理手段１２０は、色彩変更処理を行う。具体的には、ステップＳ７３で判定した結果により、色彩変更部１２４が色彩を変更する。さらに具体的には、ステップＳ７３で判定した結果が悪性だったときのみ、色彩変更部１２４が判定範囲の色彩を変更する。 [Step S74] The video processing means 120 performs a color change process. Specifically, the color changing unit 124 changes the color based on the result determined in step S73. More specifically, the color changing unit 124 changes the color of the determination range only when the result determined in step S73 is malignant.

〔ステップＳ７５〕映像処理手段１２０は、処理映像を出力する。具体的には、ステップＳ７１からステップＳ７４で処理された判定医療映像を、色彩変更部１２４が表示装置３００に出力する。 [Step S75] The video processing means 120 outputs a processed video. Specifically, the color changing unit 124 outputs the determination medical image processed in steps S71 to S74 to the display device 300.

図１２は、本実施の形態の映像処理装置が備える映像処理手段が、判定除外処理を行うまでの処理を示すフローチャートである。以下、図１２に示す処理をステップ番号に沿って説明する。 FIG. 12 is a flowchart showing processing until the video processing means included in the video processing apparatus according to the present embodiment performs the determination exclusion process. In the following, the process illustrated in FIG. 12 will be described in order of step number.

〔ステップＳ８１〕映像処理手段１２０に判定医療映像が入力される。具体的には、医療映像装置２００で撮影した判定医療映像の情報が、映像処理手段１２０に入力される。
〔ステップＳ８２〕映像処理手段１２０は、判定医療映像を分割する。具体的には、ステップＳ８１で入力された判定医療映像を細かい格子状に、例えば入力された判定医療映像を縦１０×横８の８０枚の格子状に、判定除外処理部１２１が分割する。 [Step S81] The determination medical image is input to the image processing means 120. Specifically, information on the determined medical video imaged by the medical video device 200 is input to the video processing unit 120.
[Step S82] The video processing means 120 divides the judgment medical video. Specifically, the determination exclusion processing unit 121 divides the determination medical video input in step S81 into a fine grid, for example, the input determination medical video into 80 grids of 10 × 8 in width.

〔ステップＳ８３〕映像処理手段１２０は判定除外処理を行う最初の映像を選定する。具体的にはステップＳ８２で細かい格子状に分割した判定医療映像のうち、最初に判定除外処理を行なう映像を、判定除外処理部１２１が選定する。 [Step S83] The video processing means 120 selects the first video to be subjected to the determination exclusion process. Specifically, the determination exclusion processing unit 121 selects an image to be subjected to the determination exclusion process first from among the determination medical images divided in a fine grid pattern in step S82.

〔ステップＳ８４〕映像処理手段１２０は、判定医療映像の一部に判定対象映像が含まれているか否かを判断する。具体的には、ステップＳ８３で選定された判定医療映像の一部に、例えば人体の一部などの判定対象が含まれているか否かを判定除外処理部１２１が判断する。 [Step S84] The image processing means 120 determines whether or not the determination target image is included in a part of the determination medical image. Specifically, the determination exclusion processing unit 121 determines whether or not a part of the determined medical image selected in step S83 includes a determination target such as a part of the human body.

判定医療映像の一部に、判定対象が含まれていると判断したときは処理をステップＳ８５に進め、判定医療映像の一部に、判定対象が含まれていないと判断したときは処理をステップＳ８６に進める。 When it is determined that the determination target is included in a part of the determination medical video, the process proceeds to step S85, and when it is determined that the determination target is not included in a part of the determination medical video, the process is performed. Proceed to S86.

〔ステップＳ８５〕映像処理手段１２０は、判定医療映像の最後まで判定除外処理を行ったかを判断する。具体的には、ステップＳ８４で判断した判定医療映像の一部が、複数に分割した判定医療映像のうち最後の分割映像か否かを判断する。 [Step S85] The video processing means 120 determines whether the determination exclusion process has been performed up to the end of the determined medical video. Specifically, it is determined whether a part of the determined medical image determined in step S84 is the last divided image among the determined determined medical images.

判定医療映像の一部が、複数に分割した判定医療映像のうち最後の分割映像であると判断したときは、処理を終了させ、判定医療映像の一部が、複数に分割した判定医療映像のうち最後の分割映像ではないと判断したときは、処理をステップＳ８７に進める。 If it is determined that a part of the judgment medical video is the last division video among the judgment medical videos divided into a plurality of parts, the process is terminated, and a part of the judgment medical video is a part of the judgment medical video divided into a plurality of If it is determined that it is not the last divided video, the process proceeds to step S87.

〔ステップＳ８６〕映像処理手段１２０は、判定除外処理を行う。具体的にはステップＳ８４で判定除外処理部１２１が判断した結果、判定医療映像の一部に判定対象映像が含まれていない場合は、その判定医療映像の一部を判定手段１１０が判定する必要がないので、判定手段１１０が判定しないための判定除外フラグを、判定除外処理部１２１が立てる。 [Step S86] The video processing means 120 performs a determination exclusion process. Specifically, if the determination exclusion processing unit 121 determines in step S84 that the determination target video is not included in a part of the determination medical video, the determination unit 110 needs to determine a part of the determination medical video. Therefore, the determination exclusion processing unit 121 sets a determination exclusion flag for the determination unit 110 not to determine.

〔ステップＳ８７〕映像処理手段１２０は、判定除外処理を行う次の映像を決定する。具体的にはステップＳ８２で細かい格子状に分割した判定医療映像のうち、次に判定除外処理をする判定医療映像の一部を、判定除外処理部１２１が選定する。 [Step S87] The video processing means 120 determines the next video to be subjected to the determination exclusion process. Specifically, the determination exclusion processing unit 121 selects a part of the determination medical image to be subjected to the determination exclusion process next from the determination medical images divided into fine grids in step S82.

図１３は、本実施の形態の映像処理装置が備える映像処理手段が、判定除外処理を行なった判定医療映像に、色彩変更を行うまでの処理を示すフローチャートである。以下、図１３に示す処理をステップ番号に沿って説明する。 FIG. 13 is a flowchart showing processing until the video processing means included in the video processing apparatus according to the present embodiment changes the color of the determined medical image subjected to the determination exclusion process. In the following, the process illustrated in FIG. 13 will be described in order of step number.

〔ステップＳ９１〕映像処理手段１２０に判定除外処理を行った判定医療映像が生成される。具体的には、映像処理手段１２０に入力された判定医療映像を、判定除外処理部１２１が判定除外処理を行い、判定除外処理後の判定医療映像が生成される。 [Step S91] A determination medical image obtained by performing the determination exclusion process on the image processing unit 120 is generated. Specifically, the determination exclusion processing unit 121 performs a determination exclusion process on the determination medical image input to the image processing unit 120, and a determination medical image after the determination exclusion process is generated.

〔ステップＳ９２〕映像処理手段１２０は初期化を行う。具体的には、判定枠Ｆが移動しながら判定していく際の初期の位置、例えば判定医療映像の左側最上段などの位置に、判定範囲移動部１２３が判定枠Ｆを移動させる。 [Step S92] The video processing means 120 performs initialization. Specifically, the determination range moving unit 123 moves the determination frame F to an initial position when the determination frame F is determined while moving, for example, a position such as the upper left side of the determination medical image.

〔ステップＳ９３〕映像処理手段１２０は、判定枠Ｆ内の判定範囲が判定対象か否かの判断を行う。具体的には、判定枠Ｆの移動先の分割映像に判定除外フラグが立てられているか否かで、判定範囲が判定対象か否かの判断を判定範囲移動部１２３が判断する。 [Step S93] The video processing means 120 determines whether or not the determination range in the determination frame F is a determination target. Specifically, the determination range moving unit 123 determines whether or not the determination range is a determination target based on whether or not a determination exclusion flag is set in the divided video to which the determination frame F is moved.

より具体的には、判定除外フラグが立てられた分割映像上に判定枠Ｆが移動した場合は判定除外であると判定範囲移動部１２３が判断し、判定除外フラグが立てられていない分割映像上に判定枠Ｆが移動した場合は判定対象であると判定範囲移動部１２３が判断する。 More specifically, when the determination frame F moves on the divided video on which the determination exclusion flag is set, the determination range moving unit 123 determines that the determination is excluded, and on the divided video on which the determination exclusion flag is not set. When the determination frame F moves, the determination range moving unit 123 determines that it is a determination target.

また、判定除外フラグが立てられた分割映像と判定除外フラグが立てられていない分割映像との結合部上に判定枠Ｆが移動した場合は、判定対象であると判定範囲移動部１２３が判断する。 In addition, when the determination frame F is moved on the combined portion of the divided video for which the determination exclusion flag is set and the divided video for which the determination exclusion flag is not set, the determination range moving unit 123 determines that it is a determination target. .

判定枠Ｆ内の判定範囲が判定対象であると判断したときは、処理をステップＳ９４へ進め、判定枠Ｆ内の判定範囲が判定対象でないと判断したときは、処理をステップＳ９７へ進める。 When it is determined that the determination range within the determination frame F is a determination target, the process proceeds to step S94. When it is determined that the determination range within the determination frame F is not a determination target, the process proceeds to step S97.

〔ステップＳ９４〕映像処理手段１２０は、判定枠Ｆ内の判定範囲が悪性病変か否かの判断を行う。具体的には、判定範囲移動部１２３が移動させた判定枠Ｆ内の判定範囲を、判定範囲移動部１２３が判定手段１１０に送信し判定をさせる。
判定枠Ｆ内の判定範囲が悪性であると判断したときは、処理をステップＳ９５へ進め、判定枠Ｆ内の判定範囲が良性であると判断したときは、処理をステップＳ９６へ進める。 [Step S94] The image processing means 120 determines whether or not the determination range in the determination frame F is a malignant lesion. Specifically, the determination range moving unit 123 transmits the determination range within the determination frame F moved by the determination range moving unit 123 to the determination unit 110 to make a determination.
If it is determined that the determination range in the determination frame F is malignant, the process proceeds to step S95. If it is determined that the determination range in the determination frame F is benign, the process proceeds to step S96.

〔ステップＳ９５〕映像処理手段１２０は、色彩変更を行う。具体的には、ステップＳ９４で悪性と判断された判定枠Ｆ内の判定範囲の色彩を、色彩変更部１２４が変更する処理を行う。 [Step S95] The video processing means 120 changes the color. Specifically, the color changing unit 124 performs processing for changing the color of the determination range within the determination frame F determined to be malignant in step S94.

〔ステップＳ９６〕映像処理手段１２０は、判定医療映像の最後まで判定を行った否かを判断する。具体的には、ステップＳ９２で判定範囲移動部１２３が移動させた初期の位置から、判定範囲移動部１２３が判定枠Ｆを移動させていき、判定対象ではない範囲を除く判定医療映像のすべてを判定したかを判断する。 [Step S96] The image processing means 120 determines whether or not the determination has been made to the end of the determined medical image. Specifically, the determination range moving unit 123 moves the determination frame F from the initial position moved by the determination range moving unit 123 in step S92, and all the determined medical images excluding the range that is not the determination target are displayed. Determine whether it was determined.

例えば判定医療映像の左側最上位置を初期の位置とし、判定枠Ｆを右側に移動させながら判定を行ない、順に判定医療映像の上部から下部に向かって判定枠Ｆを移動させて判定する場合、判定枠Ｆが右側最下段に到達したときを判定終了と判断させる。 For example, when the determination is performed by moving the determination frame F from the upper part to the lower part of the determination medical image in order, the determination is performed by making the determination while moving the determination frame F to the right side from the upper left position of the determination medical image. When the frame F reaches the lowermost right side, it is determined that the determination is completed.

判定範囲移動部１２３が最後まで判定枠Ｆを移動させて判定を行ったと判断したときは、処理を終了させ、判定範囲移動部１２３が最後まで判定枠Ｆを移動させて判定を行っていないと判断したときは、処理をステップＳ９７へ進める。 When it is determined that the determination range moving unit 123 has moved the determination frame F to the end and made the determination, the process is ended, and the determination range moving unit 123 has not moved the determination frame F to the end and performed the determination. If so, the process proceeds to step S97.

〔ステップＳ９７〕映像処理手段１２０は判定枠Ｆを次の位置へ移動させる。具体的には、まだ判定枠Ｆを移動させて判定が完了していない位置に、判定範囲移動部１２３が判定枠Ｆを移動させる。 [Step S97] The image processing means 120 moves the determination frame F to the next position. Specifically, the determination range moving unit 123 moves the determination frame F to a position where the determination frame F has not been moved yet.

なお、本実施の形態の映像処理装置１００では、ステップＳ９１で判定除外処理部１２１が判定除外処理を行なった判定医療映像を、ステップＳ９３で判定範囲移動部１２３が判定枠Ｆ内の判定範囲が判定対象か否かの判断をし、判定対処の場合にステップＳ９４で判定範囲が悪性病変であるか否かを判定手段１１０が判定する例で示したが、ステップＳ９１での処理を省略し、入力された判定医療映像を、判定枠Ｆ内の判定範囲が判定対象か否かを判定範囲移動部１２３が判断をし、判定対処の場合に判定範囲が悪性病変であるか否かを判定手段１１０が判定してもよい。 In the video processing apparatus 100 according to the present embodiment, the determination medical image that has been subjected to the determination exclusion process by the determination exclusion processing unit 121 in step S91, and the determination range within the determination frame F is determined by the determination range moving unit 123 in step S93. In the example of determining whether the determination range is a malignant lesion in step S94 when determining whether or not it is a determination target, the determination unit 110 determines whether or not the determination range is a malignant lesion, but the process in step S91 is omitted. The determination range moving unit 123 determines whether or not the determination range in the determination frame F is the determination target for the input determination medical image, and determines whether the determination range is a malignant lesion in the case of determination countermeasures. 110 may determine.

図１４は、判定除外処理部が行った処理を示すマンモグラフィ画像である。
図１４（Ａ）に示すように、判定除外処理部１２１は、判定医療映像のうち判定対象を含まない範囲に判定除外フラグを立てるために、判定医療映像を細かい格子状に分割する。 FIG. 14 is a mammography image showing processing performed by the determination exclusion processing unit.
As shown in FIG. 14A, the determination exclusion processing unit 121 divides the determination medical image into fine grids in order to set a determination exclusion flag in a range that does not include the determination target in the determination medical image.

図１４（Ｂ）に示すように、判定除外処理部１２１は、分割した判定医療映像の一部に判定対象が含まれるか否かを判断し、判定対象が含まれない部位に判定除外フラグを立てることで、判定部１１１２が行なう判定処理から除外する。 As shown in FIG. 14B, the determination exclusion processing unit 121 determines whether or not a determination target is included in a part of the divided determination medical video, and sets a determination exclusion flag in a part that does not include the determination target. By standing, it is excluded from the determination process performed by the determination unit 1112.

具体的には、図１４（Ａ）のうち乳腺以外の画像を除外する。図１４（Ｂ）の黒く表示された部位は、乳腺を含まない範囲なので、判定対象から除外され判定除外フラグが立てられる。 Specifically, images other than the mammary gland in FIG. Since the portion displayed in black in FIG. 14B does not include the mammary gland, it is excluded from the determination target and a determination exclusion flag is set.

図１４（Ｂ）の例の場合、判定除外処理を行なうと、判定対象の範囲が全体の半分以下になることがわかる。これにより判定対象の範囲が制限されるため、判定医療映像全体の内、判定部１１１２が行なう判定処理の情報量が減少するので、判定処理が完了するまでの処理速度を向上することができる。 In the case of the example in FIG. 14B, it can be seen that when the determination exclusion process is performed, the range to be determined is less than half of the whole. Since the range of the determination target is thereby limited, the information amount of the determination process performed by the determination unit 1112 in the entire determination medical video is reduced, so that the processing speed until the determination process is completed can be improved.

また図１４では、判定除外処理部１２１が判定除外処理を行うために、判定医療映像を分割し、判定対象以外を除外する例で示したが、判定除外処理部１２１が行なう判定除外処理は判定医療映像だけを処理するものだけではなく、学習医療映像を処理してもよい。 14 shows an example in which the determination medical image is divided and excluded except for the determination target in order for the determination exclusion processing unit 121 to perform the determination exclusion processing. However, the determination exclusion processing performed by the determination exclusion processing unit 121 is determined. In addition to processing only medical images, learning medical images may be processed.

例えば、判定除外処理部１２１に学習医療映像を入力すると、図１４（Ａ）のように、学習医療映像を判定除外処理部１２１が分割し、図１４（Ｂ）のように、分割した映像のうち乳腺以外の映像を判定除外処理部１２１が除外することで、判定対象を含む分割映像のみを残す処理が行なわれる。 For example, when the learning medical image is input to the determination exclusion processing unit 121, the learning medical image is divided by the determination exclusion processing unit 121 as illustrated in FIG. 14A, and the divided medical image is displayed as illustrated in FIG. 14B. Of these, images other than the mammary gland are excluded by the determination exclusion processing unit 121, so that only the divided images including the determination target are left.

これらの判定対象として残された分割映像を、悪性病変が描出されている映像と、悪性病変が描出されていない映像とを区別するためにラベル付けをすることで、判定手段１１０が有する学習部１１１１に学習させるための学習医療映像として利用することが出来る。 The learning unit included in the determination unit 110 includes labeling the divided video remaining as the determination target in order to distinguish the image in which the malignant lesion is depicted from the image in which the malignant lesion is not depicted. 1111 can be used as a learning medical image for learning.

さらに、これらの判定除外処理部１２１が処理を行なった学習医療映像は、映像を左右反転させることで異なった映像として学習部１１１１に認識させ、学習部１１１１に入力される学習医療映像の情報量を増やすことも出来る。 Further, the learning medical video processed by the determination exclusion processing unit 121 causes the learning unit 1111 to recognize the video as a different video by reversing the video left and right, and the information amount of the learning medical video input to the learning unit 1111 Can also be increased.

図１５は、ディープラーニングで用いられるニューラルネットワークを示す図である。
図１５に示すように、ニューラルネットワークでは、全体の処理を入力層、中間層、出力層と区分することが出来る。 FIG. 15 is a diagram illustrating a neural network used in deep learning.
As shown in FIG. 15, in the neural network, the entire process can be divided into an input layer, an intermediate layer, and an output layer.

入力層は、画像や音声などを入力する場所であり、本発明では図１５の左側に示す格子状に細かく分割された医療映像の画像データを入力するために利用される。
中間層は、入力されたデータから様々な特徴である形や模様などを抽出する場所であり、本発明では入力層で入力された医療映像から形や模様などを抽出するために利用される。 The input layer is a place for inputting an image, sound, or the like. In the present invention, the input layer is used to input medical video image data finely divided in a lattice shape shown on the left side of FIG.
The intermediate layer is a place where various features such as shapes and patterns are extracted from the input data. In the present invention, the intermediate layer is used to extract shapes and patterns from medical images input in the input layer.

出力層は、中間層で抽出した特徴から入力したデータを識別する場所であり、本発明では入力された医療映像が、良性か悪性かを識別するために利用される。
一般的な形としてニューラルネットワークでは、入力されたデータの特徴を抽出する役割を果たす畳み込み層と、畳み込み層が抽出した特徴から強く表れている特徴を取り出すことで位置に不変性を与えるプーリング層とがセットで用いられ、最後の出力層に用いられる全結合層で、取り出された特徴にもとづく分類が行なわれている。 The output layer is a place for identifying input data from the features extracted in the intermediate layer. In the present invention, the output layer is used to identify whether the input medical image is benign or malignant.
As a general form, in a neural network, a convolution layer that plays the role of extracting features of input data, and a pooling layer that gives position invariance by extracting features that appear strongly from the features extracted by the convolution layer, Are used as a set, and all connected layers used in the last output layer are classified based on the extracted features.

また、中間層を複数入れ込み、複雑化することもできる。本実施の形態に係る映像処理装置１００では、畳み込み層とプーリング層を合わせて１０層としたニューラルネットワークを用いてディープラーニングを行った。その結果、例えばマンモグラフィの画像から、乳ガンの特徴を抽出し、ガンが７０％の確率で存在する、ガンが３０％の確率で存在しないなどを識別することが出来る。 In addition, a plurality of intermediate layers can be inserted and complicated. In the video processing apparatus 100 according to the present embodiment, deep learning is performed using a neural network in which a convolution layer and a pooling layer are combined into 10 layers. As a result, for example, the characteristics of breast cancer can be extracted from a mammography image, and it can be identified whether the cancer exists with a probability of 70%, or the cancer does not exist with a probability of 30%.

なお、本実施の形態に係る学習部１１１１が行うディープラーニングによる学習は、畳み込み層とプーリング層を合わせて１０層としたニューラルネットワークを用いたが、中間層における畳み込み層とプーリング層とのユニット数は適宜調整を行いながら学習部１１１１に学習させることができる。また、入力層や出力層も適宜調整を行いながら学習部１１１１に学習させることができる。 Note that the learning by deep learning performed by the learning unit 1111 according to the present embodiment uses a neural network in which the convolution layer and the pooling layer are combined into 10 layers, but the number of units of the convolution layer and the pooling layer in the intermediate layer Can be learned by the learning unit 1111 with appropriate adjustments. In addition, the learning unit 1111 can learn the input layer and the output layer while appropriately adjusting the input layer and the output layer.

図１６は、判定手段に学習させる従来の学習方法と、本実施の形態に係る映像処理装置での学習方法を示す図である。
図１６（Ａ）に示すように、従来の機械学習の学習方法は、医療映像を格子状に分割し、悪性病変が描出されている映像と、悪性病変が描出されていない映像とを区別するためにラベル付けを行い、訓練用データとテスト用データとに分け、これらの訓練用データとテスト用データとを用いて機械学習をさせていた。 FIG. 16 is a diagram illustrating a conventional learning method in which the determination unit learns and a learning method in the video processing apparatus according to the present embodiment.
As shown in FIG. 16A, the conventional machine learning learning method divides a medical image into a grid and distinguishes an image in which a malignant lesion is depicted from an image in which a malignant lesion is not depicted. For this purpose, labeling is performed, and the training data and the test data are divided, and machine learning is performed using the training data and the test data.

ところが医療映像を分割してみると、良性映像の数量が圧倒的に多く、良性と悪性との学習データに多くの差があった。実際には９割近くが良性の映像であり、この偏った学習データによって正しい機械学習が行えなかった。 However, when medical images were divided, the number of benign images was overwhelmingly large, and there were many differences in learning data between benign and malignant. In fact, nearly 90% were benign images, and correct machine learning could not be performed by this biased learning data.

例えば悪性映像が１割、良性映像が９割の場合、全く学習せずにテストを行っても全て良性と診断すれば９割の正解率になってしまうため、このような学習医療映像で正しい学習を行なうことは困難であった。 For example, if the malignant video is 10% and the benign video is 90%, even if the test is performed without any learning, the correct answer rate will be 90% if all are diagnosed as benign. It was difficult to learn.

これらの解決方法の１つとして、良性の映像に合わせて、悪性の映像を増やすことも考えられるが、９割近い良性映像で、悪性の映像を集めるのは非常に困難であり、現実的ではなかった。 One of these solutions is to increase the number of malignant images in line with the benign images, but it is very difficult to collect malignant images with nearly 90% benign images. There wasn't.

また比較的データ量の多い良性映像を、比較的数データの少ない悪性映像に合わせて学習させることでバランスをとることも考えられるが、全体的な学習量が大幅に減少してしまうため、効率的な学習とは言えなかった。 In addition, it may be possible to balance benign images with a relatively large amount of data by learning them according to malignant images with a relatively small amount of data, but the overall amount of learning is greatly reduced, so efficiency is improved. It wasn't really learning.

そこで図１６（Ｂ）に示すように、本実施の形態に係る映像処理装置１００が備える学習情報調整部１１１０が、学習医療映像の情報量の調整を行なうことで、良性映像と悪性映像との比率が異なっていても正しく学習できるようになる。 Therefore, as shown in FIG. 16B, the learning information adjustment unit 1110 included in the video processing apparatus 100 according to the present embodiment adjusts the information amount of the learning medical video, thereby allowing the benign video and the malignant video to be changed. You can learn correctly even if the ratio is different.

具体的には、まず悪性病変が描出されている映像と、悪性病変が描出されていない映像とを合わせて４７２８２枚の分割した医療映像を用意し、その分割した医療映像に良性および悪性のラベル付けをした後、それぞれをテスト用データと訓練用データに分ける。 Specifically, first, 47282 divided medical images are prepared by combining an image in which a malignant lesion is depicted and an image in which a malignant lesion is not depicted, and the benign and malignant labels are prepared on the divided medical images. After attaching the test data, divide them into test data and training data.

この分けられたテスト用データと訓練用データのうち、比較的データ量の多い良性映像における訓練用データを、訓練用データ１、訓練用データ２、訓練用データ３・・・と複数のグループに分ける処理を学習情報調整部１１１０が行う。 Among the divided test data and training data, training data in a benign video with a relatively large amount of data is divided into a plurality of groups such as training data 1, training data 2, training data 3. The learning information adjustment unit 1110 performs the process of dividing.

次に、良性映像における訓練用データを、訓練用データ１、訓練用データ２、訓練用データ３・・・と入れ替えた訓練用データを学習情報調整部１１１０が作成し、それに対応するように悪性映像も学習情報調整部１１１０が複製して、学習部１１１１に学習させる。 Next, the learning information adjustment unit 1110 creates training data in which the training data in the benign image is replaced with training data 1, training data 2, training data 3,. The learning information adjustment unit 1110 also duplicates the video and causes the learning unit 1111 to learn.

このように良性における訓練用データを繰り返し入れ替えながら学習部１１１１学習させることで、良性と悪性とのバランスを取りながら、かつ学習医療映像の情報量を減らすことなく多くの学習医療映像を学習部１１１１に学習をさせることが出来る。 As described above, the learning unit 1111 is made to learn while repeatedly replacing the training data for benign, and thus the learning unit 1111 can acquire a large number of learning medical images while balancing benign and malignant and without reducing the amount of information of the learning medical images. Can learn.

本実施の形態に係る映像処理装置１００での学習方法では、悪性病変が描出されていない映像を合わせて４７２８２枚に対して、良性映像が悪性映像の２７倍あったので、すべての映像を使用して学習させるために、良性映像における訓練用データを２７回入れ替える処理を学習情報調整部１１１０が行い、学習部１１１１に繰り返して学習させた。 In the learning method in the video processing apparatus 100 according to the present embodiment, since 47282 images including malignant lesions are not drawn, the benign images are 27 times the malignant images, so all the images are used. In order to learn, the learning information adjustment unit 1110 performs a process of replacing the training data in the benign video 27 times, and the learning unit 1111 repeatedly learns.

図１７は、学習医療映像の情報量を学習情報調整部が処理した訓練データおよびテストデータによる機械学習の正診率と、学習医療映像の情報量を学習情報調整部が処理しない訓練データおよびテストデータによる機械学習の正診率とを示す図である。 FIG. 17 shows a correct diagnosis rate of machine learning based on training data and test data in which the learning information adjustment unit processes the information amount of the learning medical video, and training data and test in which the learning information adjustment unit does not process the information amount of the learning medical image. It is a figure which shows the correct diagnosis rate of the machine learning by data.

図１７（Ａ）は、マンモグラフィ検査における全ての病変と病変以外の学習医療映像の情報量を、学習情報調整部１１１０が処理を行い、ニューラルネットワークを用いたディープラーニングで、その学習医療映像を学習部１１１１に学習させた結果を示す図である。 In FIG. 17A, the learning information adjustment unit 1110 processes the information amount of all the lesions in the mammography examination and the learning medical images other than the lesions, and learns the learning medical images by deep learning using a neural network. It is a figure which shows the result made to learn by the part 1111. FIG.

図１７（Ａ）は、４７２８２枚の分割した医療映像を学習した結果を表している。また学習医療映像はテスト用データ７８８枚、訓練用データ３１５６枚用意し、どの映像も使用するように訓練用データのうち良性のデータを分割したものを、学習情報調整部１１１０が２７回入れ替えながら学習させた結果である。 FIG. 17A shows the result of learning 47282 divided medical images. Further, 788 learning data and 3156 training data are prepared for the learning medical video, and the learning information adjustment unit 1110 replaces the benign data among the training data so that any video is used, while the learning information adjustment unit 1110 replaces 27 times. This is the result of learning.

学習させた結果、正しい診断率である正診率が９６．６％、実際に病気に罹っている人のうち陽性と出る割合である感度が９３．９％、病気に罹っていない人のうち陰性と出る割合である特異度が９９．２％、検査で陽性と出た人のうち実際に病気に罹っている人の割合の陽性的中率であるＰＰＶ（Positive Predictive Value）が９９．２％、陰性と出た人のうち実際に罹っていない人の割合の陰性的中率であるＮＰＶ（Negative Predictive Value）が９４．２％であった。 As a result of learning, the correct diagnosis rate, which is the correct diagnosis rate, is 96.6%, and the sensitivity, which is the positive rate among those who actually have a disease, is 93.9%, among those who do not have a disease Specificity is 99.2%, which is a negative rate, and positive predictive value (PPV) is 99.2, which is the positive predictive rate of those who actually have a disease among those who test positive. %, NPV (Negative Predictive Value), which is the negative predictive value of the ratio of those who did not actually have, out of those who reported negative was 94.2%.

このように学習情報調整部１１１０が学習医療映像の情報量の処理を行うことで、悪性映像と良性映像とのバランスを取り、かつ学習する学習医療映像の情報量を多くして学習部１１１１に学習させることができるので、高い正診率を得ることができた。本実施の形態に係る映像処理装置１００では、学習情報調整部１１１０が処理した学習医療映像を用いることで、正診率を得ることが出来る。 In this way, the learning information adjustment unit 1110 processes the information amount of the learning medical video, thereby balancing the malignant video and the benign video and increasing the information amount of the learning medical video to be learned. Since it was possible to learn, a high accuracy rate was obtained. In the video processing apparatus 100 according to the present embodiment, the correct diagnosis rate can be obtained by using the learning medical video processed by the learning information adjustment unit 1110.

図１７（Ｂ）は、マンモグラフィ検査における構築の乱れの学習医療映像を、学習情報調整部１１１０が処理を行わずに、ニューラルネットワークを用いたディープラーニングで、その学習医療映像を学習部１１１１に学習させた結果を示す図である。 FIG. 17B shows the learning medical image of the disordered construction in the mammography examination, and the learning medical image is learned by the learning unit 1111 by the deep learning using the neural network without the learning information adjustment unit 1110 processing. It is a figure which shows the result made to do.

図１７（Ｂ）は、７１６枚の分割した医療映像を学習した結果を表している。学習させた結果、正診率が９３．１％、感度が９８．４％、特異度が６１．９％、ＰＰＶが９３．８％、ＮＰＶが８６．７％であった。 FIG. 17B shows the result of learning 716 divided medical images. As a result of learning, the correct diagnosis rate was 93.1%, sensitivity was 98.4%, specificity was 61.9%, PPV was 93.8%, and NPV was 86.7%.

図１７（Ｃ）は、マンモグラフィ検査における局所的非対称性陰影であるＦＡＤ（focal asymmetric density）の学習医療映像を、学習情報調整部１１１０が処理を行わずに、ニューラルネットワークを用いたディープラーニングで、その学習医療映像を学習部１１１１に学習させた結果を示す図である。 FIG. 17 (C) shows a learning medical image of FAD (focal asymmetric density), which is a local asymmetric shadow in mammography examination, by deep learning using a neural network without the learning information adjustment unit 1110 performing processing. It is a figure which shows the result of having made the learning part 1111 learn the learning medical image | video.

図１７（Ｃ）は、４６４枚の分割した医療映像を学習した結果を表している。学習させた結果、正診率が９１．３％、感度が８６．０％、特異度が８８．９％、ＰＰＶが９２．５％、ＮＰＶが８０．０％であった。 FIG. 17C shows a result of learning 464 divided medical images. As a result of learning, the correct diagnosis rate was 91.3%, sensitivity was 86.0%, specificity was 88.9%, PPV was 92.5%, and NPV was 80.0%.

図１７（Ｄ）は、マンモグラフィ検査における石灰化の学習医療映像を、学習情報調整部１１１０が処理を行わずに、ニューラルネットワークを用いたディープラーニングで、その学習医療映像を学習部１１１１に学習させた結果を示す図である。 FIG. 17D shows a learning medical image of calcification in mammography examination by the learning unit 1111 that learns the learning medical image by deep learning using a neural network without processing the learning information adjustment unit 1110. It is a figure which shows the result.

図１７（Ｄ）は、２４５６枚の分割した医療映像を学習した結果を表している。学習させた結果、正診率が８５．６％、感度が７６．８％、特異度が９２．２％、ＰＰＶが８８．０％、ＮＰＶが８４．１％であった。 FIG. 17D shows the result of learning 2456 divided medical images. As a result of learning, the correct diagnosis rate was 85.6%, sensitivity was 76.8%, specificity was 92.2%, PPV was 88.0%, and NPV was 84.1%.

図１７（Ｅ）は、マンモグラフィ検査における腫瘍の学習医療映像を、学習情報調整部１１１０が処理を行わずに、ニューラルネットワークを用いたディープラーニングで、その学習医療映像を学習部１１１１に学習させた結果を示す図である。 In FIG. 17E, the learning medical image of the tumor in the mammography examination is not processed by the learning information adjustment unit 1110, and the learning medical image is learned by the learning unit 1111 by deep learning using a neural network. It is a figure which shows a result.

図１７（Ｅ）は、１８１６枚の分割した医療映像を学習した結果を表している。学習させた結果、正診率が９０．１％、感度が９５．８％、特異度が７２．０％、ＰＰＶが９０．０％、ＮＰＶが８６．７％であった。 FIG. 17E shows the result of learning 1816 divided medical images. As a result of learning, the correct diagnosis rate was 90.1%, the sensitivity was 95.8%, the specificity was 72.0%, the PPV was 90.0%, and the NPV was 86.7%.

図１７（Ｆ）は、マンモグラフィ検査における全ての病変の学習医療映像を、学習情報調整部１１１０が処理を行わずに、ニューラルネットワークを用いたディープラーニングで、その学習医療映像を学習部１１１１に学習させた結果を示す図である。 FIG. 17F shows the learning medical image of all lesions in the mammography examination, the learning information adjustment unit 1110 does not process the learning medical image by the learning unit 1111 by deep learning using a neural network. It is a figure which shows the result made to do.

図１７（Ｆ）は、３８０２枚の分割した医療映像を学習した結果を表している。学習させた結果、正診率が８９．５％、感度が９０．７％、特異度が８８．１％、ＰＰＶが８９．８％、ＮＰＶが８９．１％であった。 FIG. 17F shows a result of learning 3802 divided medical images. As a result of learning, the correct diagnosis rate was 89.5%, sensitivity was 90.7%, specificity was 88.1%, PPV was 89.8%, and NPV was 89.1%.

上記から分かるように、図１７（Ａ）のように学習情報調整部１１１０が学習医療映像の情報量の処理を行い、悪性映像と良性映像とのバランスの取れた大量の学習医療映像を、学習部１１１１が学習することで、高い正診率を得られたことがわかる。
また学習部１１１１は、学習する学習医療映像の情報量が増加すればするほど、正診率が改善していることがわかる。 As can be seen from the above, as shown in FIG. 17A, the learning information adjustment unit 1110 processes the information amount of the learning medical video, and learns a large amount of learning medical video in which malignant video and benign video are balanced. It can be seen that a high correct diagnosis rate was obtained by learning the part 1111.
The learning unit 1111 also shows that the correct diagnosis rate is improved as the information amount of the learning medical video to be learned increases.

図１８は、判定枠の移動方法を示す図である。
図１８（Ａ）に示すように、判定範囲設定部１２２が設定する判定枠Ｆは、判定医療映像内を移動しながら、その判定枠Ｆ内の判定範囲を判定手段１１０に判定させる。ここでは便宜上、判定除外処理部１２１による判定除外した範囲は表示しない。 FIG. 18 is a diagram illustrating a method of moving the determination frame.
As shown in FIG. 18A, the determination frame F set by the determination range setting unit 122 causes the determination unit 110 to determine the determination range in the determination frame F while moving in the determination medical image. Here, for the sake of convenience, the range excluded by the determination exclusion processing unit 121 is not displayed.

例えば、判定枠Ｆの初期の位置を左側最上位置とした場合、判定範囲移動部１２３が判定枠Ｆを判定医療映像の最上段で左から右にかけて移動させながら、判定手段１１０に判定範囲移動部１２３が判定をさせる。 For example, when the initial position of the determination frame F is set to the uppermost position on the left side, the determination range moving unit 123 causes the determination unit 110 to move the determination frame F from the left to the right on the uppermost stage of the determination medical image while moving the determination range 110 to the determination range moving unit. 123 makes a determination.

判定枠Ｆが判定医療映像の右側まで到達すると、次に最上段から少し下に下がった位置で、左側から右側にかけて判定範囲移動部１２３が判定枠Ｆを移動させながら判定手段１１０に判定させる。 When the determination frame F reaches the right side of the determination medical image, the determination range moving unit 123 causes the determination unit 110 to determine while moving the determination frame F from the left side to the right side at a position slightly lowered from the uppermost stage.

図１８（Ｂ）に示すように、判定枠Ｆの移動は、判定枠Ｆの移動する軌跡が重なるように判定範囲移動部１２３が移動させる。
具体的には、判定枠Ｆは、判定範囲移動部１２３がＦ１の高さを左から右にかけて移動させながら判定を行う。判定枠ＦがＦ１の高さで右側まで到達すると、次に判定枠ＦがＦ１で通った軌跡と重なるようなＦ２の高さで、判定枠Ｆを左から右にかけて判定範囲移動部１２３が移動させながら判定を行う。 As illustrated in FIG. 18B, the determination range F is moved by the determination range moving unit 123 so that the trajectories of the determination frame F move.
Specifically, the determination frame F is determined while the determination range moving unit 123 moves the height of F1 from the left to the right. When the determination frame F reaches the right side at the height of F1, the determination range moving unit 123 moves from the left to the right at the determination frame F at the height of F2 so that the determination frame F overlaps the trajectory passed by F1. To make a decision.

同様に、判定枠ＦがＦ２の高さで右側まで到達すると、次に判定枠ＦがＦ２で通った軌跡と重なるようなＦ３の高さで、判定枠Ｆを左から右にかけて判定範囲移動部１２３が移動させながら判定を行う。 Similarly, when the determination frame F reaches the right side at the height of F2, the determination range moving unit moves the determination frame F from the left to the right at the height of F3 so that the determination frame F overlaps the trajectory passed by F2. The determination is performed while 123 is moving.

判定部１１１２が判定した結果により、色彩変更部１２４が色彩を変更することで、悪性病変の部位の色彩が変更され、悪性病変の位置や形状を明確に表示することが出来る。詳細は次に示す。 As a result of the determination by the determination unit 1112, the color changing unit 124 changes the color, thereby changing the color of the site of the malignant lesion and clearly displaying the position and shape of the malignant lesion. Details are shown below.

図１９は、色彩変更部が判定枠内の判定範囲の色彩を変更した様子を示す図である。
図１９（Ａ）は、判定枠Ｆ内の判定範囲が良性であり、色彩変更部１２４が色彩変更を行わなかった様子を示している。 FIG. 19 is a diagram illustrating a state in which the color changing unit has changed the color of the determination range within the determination frame.
FIG. 19A shows a state in which the determination range in the determination frame F is benign and the color changing unit 124 has not changed the color.

このように、移動する判定枠Ｆ内の判定範囲が良性である限り、判定医療映像の色彩が色彩変更部１２４によって変更されることはないので、判定医療映像になんら変化は見られない。 As described above, as long as the determination range within the moving determination frame F is benign, the color of the determination medical image is not changed by the color changing unit 124, and thus no change is seen in the determination medical image.

図１９（Ｂ）は、判定枠Ｆ内の判定範囲が悪性であり、色彩変更部１２４が色彩変更を行った様子を示している。
このように、移動する判定枠Ｆ内の判定範囲が悪性である場合、判定医療映像の色彩が色彩変更部１２４によって変更されるので、悪性部分が明確になる。また色彩変更部１２４が行う色彩変更を半透明化した色彩を判定範囲の上に重ねることで、重複した部分の色が重なり、より強調して見えるようになる。 FIG. 19B shows a state in which the determination range in the determination frame F is malignant and the color changing unit 124 has changed the color.
As described above, when the determination range in the moving determination frame F is malignant, the color of the determined medical image is changed by the color changing unit 124, so that the malignant part becomes clear. In addition, by superimposing the color change made by the color change unit 124 on the determination range, the color of the overlapped portion overlaps and appears more emphasized.

このように色彩変更部１２４が行う色彩変更を半透明化した色彩を判定範囲の上に重ねることで、従来では困難であった細長い悪性病変や複雑な形状をした病変部位であっても、図１９（Ｃ）のように悪性病変の位置や形状を明確に表示することができる。 In this way, the color change performed by the color change unit 124 is superimposed on the determination range so that the color change performed by the color change unit 124 can be performed even if the lesion is a long and narrow malignant lesion or a complicatedly shaped lesion. As in 19 (C), the position and shape of the malignant lesion can be clearly displayed.

図１９（Ｃ）では、悪性病変の境界部分は、色彩変更部１２４によって色彩変更された判定枠Ｆ内の判定範囲が重ならないため薄く表示され、悪性病変の中心部分は、色彩変更された判定範囲が重なるため濃く表示されていることが分かる。 In FIG. 19C, the boundary portion of the malignant lesion is displayed lightly because the determination range in the determination frame F whose color has been changed by the color changing unit 124 does not overlap, and the central portion of the malignant lesion is determined to have been changed in color. It can be seen that the areas are displayed dark because they overlap.

なお判定枠Ｆが移動する大きさは任意に設定できるが、前述したように判定枠Ｆの移動値が多ければ、判定枠Ｆが最後まで到達する時間が短くなるため、判定医療映像の映像処理を行なうための時間を短くすることができる。 Although the size of the determination frame F can be arbitrarily set, as described above, if the movement value of the determination frame F is large, the time for the determination frame F to reach the end is shortened. The time for performing can be shortened.

また判定枠Ｆの大きさを小さくし、判定枠Ｆの移動値を小さくすることで、細かい判定が可能となる。このため病変部分の境界部分の表示が明確になり、図２０（Ｃ）のように病変部分周辺の境界部分を明確に表示することができる。 Further, by making the size of the determination frame F small and reducing the movement value of the determination frame F, fine determination can be made. Therefore, the display of the boundary part of the lesion part becomes clear, and the boundary part around the lesion part can be clearly displayed as shown in FIG.

図２０は、判定医療映像に悪性病変の部位を明確にした状態を示す図である。
図２０に示すように、判定部１１１２が悪性と判定した部位を、色彩変更部１２４が色彩変更することで、黒丸内に示されるように病変の部位を明確にすることができる。このため医師が判定医療映像を見る際に見落としがないよう注意喚起ができ、医師の正確な診断率が上昇する。 FIG. 20 is a diagram illustrating a state in which the site of the malignant lesion is clarified in the determination medical image.
As shown in FIG. 20, the color change unit 124 changes the color of the part determined to be malignant by the determination unit 1112, thereby clarifying the site of the lesion as shown in the black circle. For this reason, it is possible to alert the doctor so as not to overlook when viewing the judgment medical image, and the accurate diagnosis rate of the doctor increases.

本実施の形態で示した例では、医療映像装置２００で撮影した判定医療映像であるマンモグラフィ検査の静止画像を例として挙げたが、映像処理装置１００は静止画像だけを処理するだけでなく、医療映像装置２００が撮影した動画を、判定手段１１０が判定処理を行い、映像処理手段１２０が映像処理を行うことで、動画上でも病変部位を明確にすることができる。 In the example shown in the present embodiment, a still image of a mammography examination that is a determination medical image taken by the medical image apparatus 200 is taken as an example. However, the image processing apparatus 100 not only processes a still image but also a medical image. The moving image captured by the video device 200 is subjected to determination processing by the determination unit 110 and the video processing unit 120 performs video processing, so that a lesion site can be clarified even on the moving image.

また、映像処理装置１００が行う映像処理は、エックス線や超音波、磁気共鳴などを用いて映像化したものだけでなく、判定手段１１０が必要な学習データを学習すれば、内視鏡検査や眼底カメラなどの可視光線の元で撮影された検査画像を、映像処理装置１００が映像処理を行うことで、悪性病変の位置や形状を明確にすることもできる。 Further, the image processing performed by the image processing apparatus 100 is not limited to an image obtained using X-rays, ultrasonic waves, magnetic resonance, or the like, but if the determination means 110 learns necessary learning data, endoscopic examination or fundus oculi is performed. When the video processing apparatus 100 performs video processing on an inspection image taken under visible light such as a camera, the position and shape of the malignant lesion can be clarified.

また、本実施の形態では、入力された判定医療映像全体を映像処理手段１２０が行なう映像処理によって、悪性病変の位置や形状を示したが、判定医療映像における映像処理手段１２０が行なう映像処理の範囲をあらかじめ特定し、その特定された範囲内で悪性病変の位置や形状を表示するようにしてもよい。 Further, in the present embodiment, the position and shape of the malignant lesion are shown by the video processing performed by the video processing unit 120 on the entire input judgment medical video, but the video processing performed by the video processing unit 120 on the judgment medical video is performed. A range may be specified in advance, and the position and shape of the malignant lesion may be displayed within the specified range.

１０病変検出装置
１１映像入力部
１２病変候補検出器
１３周辺客体検出器
１４病変候補検証器
１５候補除去器
１６ディスプレイ部
２０、２００医療映像装置
３０脈絡情報
４０病変候補検出画像
４１、４２病変候補領域
４３腺組織領域
１００映像処理装置
１１０判定手段
１１１判定処理部
１１２学習データ記憶部
１２０映像処理手段
１２１判定除外処理部
１２２判定範囲設定部
１２３判定範囲移動部
１２４色彩変更部
３００表示装置
１１１０学習情報調整部
１１１１学習部
１１１２判定部
Ａ特定領域
Ｆ判定枠 DESCRIPTION OF SYMBOLS 10 Lesion detection apparatus 11 Image | video input part 12 Lesion candidate detector 13 Peripheral object detector 14 Lesion candidate verifier 15 Candidate remover 16 Display part 20,200 Medical video apparatus 30 Context information 40 Lesion candidate detection image 41,42 Lesion candidate area | region 43 glandular tissue region 100 video processing device 110 determination unit 111 determination processing unit 112 learning data storage unit 120 video processing unit 121 determination exclusion processing unit 122 determination range setting unit 123 determination range moving unit 124 color change unit 300 display device 1110 learning information adjustment Part 1111 Learning part 1112 Judgment part A Specific area F Judgment frame

Claims

入力された医療映像から特定病変を検出して表示する映像処理装置において、
判定範囲を特定する判定範囲特定手段と、
前記判定範囲で特定病変の有無を判定する判定手段と、
前記判定範囲を移動させる判定範囲移動手段と、
前記判定手段が判定した結果に応じて前記判定範囲を強調して表示する強調表示手段と、
を備えることを特徴とする映像処理装置。 In an image processing device that detects and displays a specific lesion from an input medical image,
A determination range specifying means for specifying a determination range;
Determination means for determining the presence or absence of a specific lesion in the determination range;
Determination range moving means for moving the determination range;
Highlighting means for highlighting and displaying the determination range according to the determination result of the determination means;
A video processing apparatus comprising:

前記判定範囲移動手段は、
前記判定範囲の軌跡が重なるように前記判定範囲を移動させることを特徴とする請求項１記載の映像処理装置。 The determination range moving means includes
The video processing apparatus according to claim 1, wherein the determination range is moved so that trajectories of the determination range overlap.

前記判定範囲の領域を任意に変更できる判定範囲変更手段、
を備えることを特徴とする請求項１記載の映像処理装置。 Determination range changing means capable of arbitrarily changing the area of the determination range;
The video processing apparatus according to claim 1, further comprising:

前記判定範囲移動手段が移動させる前記判定範囲の移動値を任意に変更できる移動値変更手段、
を備えることを特徴とする請求項１記載の映像処理装置。 A movement value changing means capable of arbitrarily changing a movement value of the determination range to be moved by the determination range moving means;
The video processing apparatus according to claim 1, further comprising:

前記強調表示手段は、
色彩を変更して強調する色彩変更手段、
を備えることを特徴とする請求項１記載の映像処理装置。 The highlighting means includes
Color change means to change and emphasize the color,
The video processing apparatus according to claim 1, further comprising:

前記色彩変更手段は、
透明色を重ねて表示することを特徴とする請求項５記載の映像処理装置。 The color changing means is
6. The video processing apparatus according to claim 5, wherein the transparent color is displayed in an overlapping manner.

前記医療映像から検出対象部以外を、前記判定手段が行う判定範囲から除外させる判定除外手段、
を備えることを特徴とする請求項１記載の映像処理装置。 Determination exclusion means for excluding from the determination range performed by the determination means other than the detection target part from the medical video,
The video processing apparatus according to claim 1, further comprising:

前記判定手段は、
前記判定手段が判定を行うべき特定病変の有無を決定するための学習手段、
を備えることを特徴とする請求項１記載の映像処理装置。 The determination means includes
Learning means for determining the presence or absence of a specific lesion to be determined by the determination means;
The video processing apparatus according to claim 1, further comprising:

前記学習手段は、
ニューラルネットワークを用いたディープラーニングによって、学習用の医療映像から特定病変の特徴を抽出することを特徴とする請求項８記載の映像処理装置。 The learning means includes
9. The video processing apparatus according to claim 8, wherein a feature of a specific lesion is extracted from a medical image for learning by deep learning using a neural network.

前記学習用の医療映像は、
特定病変有の情報と特定病変無の情報との比率を同等にする病変情報調整手段、
を備えることを特徴とする請求項９記載の映像処理装置。 The learning medical images are:
Lesion information adjustment means that equalizes the ratio between information with a specific lesion and information without a specific lesion,
The video processing apparatus according to claim 9, further comprising:

病変情報調整手段は、
複数に分割した特定病変無の情報を、特定病変有の情報に対して入れ替えながら比率を調整することを特徴とする請求項１０記載の映像処理装置。 The lesion information adjustment means
The video processing apparatus according to claim 10, wherein the ratio is adjusted while replacing information with no specific lesion divided into information with a specific lesion.

入力された医療映像から特定病変を検出して表示する映像処理方法において、
判定範囲特定手段が、判定範囲を特定するステップと、
判定手段が、前記判定範囲で特定病変の有無を判定するステップと、
判定範囲移動手段が、前記判定範囲を移動させるステップと、
強調表示手段が、前記判定手段が判定した結果に応じて前記判定範囲を強調して表示するステップと、
を備えることを特徴とする映像処理方法。 In an image processing method for detecting and displaying a specific lesion from an input medical image,
A step of determining a determination range by the determination range specifying means;
A step of determining the presence or absence of a specific lesion in the determination range;
A determination range moving means for moving the determination range;
Highlighting means for emphasizing and displaying the determination range in accordance with the determination result of the determination means;
A video processing method comprising:

入力された医療映像から特定病変を検出して表示する映像処理プログラムにおいて、
コンピュータを、
判定範囲を特定する判定範囲特定手段、
前記判定範囲で特定病変の有無を判定する判定手段、
前記判定範囲を移動させる判定範囲移動手段、
前記判定手段が判定した結果に応じて前記判定範囲を強調して表示する強調表示手段、
として機能させることを特徴とする映像処理プログラム。 In a video processing program that detects and displays specific lesions from input medical images,
Computer
A determination range specifying means for specifying a determination range;
Determination means for determining the presence or absence of a specific lesion in the determination range;
Determination range moving means for moving the determination range;
Emphasis display means for emphasizing and displaying the determination range according to a result determined by the determination means,
A video processing program characterized by functioning as