JP2019118670A - Diagnosis support apparatus, image processing method, and program - Google Patents
Diagnosis support apparatus, image processing method, and program Download PDFInfo
- Publication number
- JP2019118670A JP2019118670A JP2018001044A JP2018001044A JP2019118670A JP 2019118670 A JP2019118670 A JP 2019118670A JP 2018001044 A JP2018001044 A JP 2018001044A JP 2018001044 A JP2018001044 A JP 2018001044A JP 2019118670 A JP2019118670 A JP 2019118670A
- Authority
- JP
- Japan
- Prior art keywords
- image
- background
- learning
- processing method
- inference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003745 diagnosis Methods 0.000 title claims abstract description 55
- 238000003672 processing method Methods 0.000 title claims abstract description 35
- 238000012545 processing Methods 0.000 claims abstract description 52
- 201000010099 disease Diseases 0.000 claims abstract description 42
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims abstract description 42
- 238000010801 machine learning Methods 0.000 claims abstract description 13
- 238000000034 method Methods 0.000 claims description 56
- 230000008569 process Effects 0.000 claims description 41
- 230000006870 function Effects 0.000 claims description 9
- 238000003709 image segmentation Methods 0.000 claims description 3
- 238000012937 correction Methods 0.000 description 45
- 238000013527 convolutional neural network Methods 0.000 description 18
- 238000007781 pre-processing Methods 0.000 description 16
- 210000003491 skin Anatomy 0.000 description 16
- 238000000605 extraction Methods 0.000 description 11
- 238000011176 pooling Methods 0.000 description 10
- 238000005259 measurement Methods 0.000 description 8
- 230000000875 corresponding effect Effects 0.000 description 7
- XUMBMVFBXHLACL-UHFFFAOYSA-N Melanin Chemical compound O=C1C(=O)C(C2=CNC3=C(C(C(=O)C4=C32)=O)C)=C2C4=CNC2=C1C XUMBMVFBXHLACL-UHFFFAOYSA-N 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 201000001441 melanoma Diseases 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 5
- 208000017520 skin disease Diseases 0.000 description 5
- 206010039796 Seborrhoeic keratosis Diseases 0.000 description 3
- 239000008280 blood Substances 0.000 description 3
- 210000004369 blood Anatomy 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 201000003385 seborrheic keratosis Diseases 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000003750 conditioning effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 206010061218 Inflammation Diseases 0.000 description 1
- CBENFWSGALASAD-UHFFFAOYSA-N Ozone Chemical compound [O-][O+]=O CBENFWSGALASAD-UHFFFAOYSA-N 0.000 description 1
- 235000010627 Phaseolus vulgaris Nutrition 0.000 description 1
- 244000046052 Phaseolus vulgaris Species 0.000 description 1
- 235000002492 Rungia klossii Nutrition 0.000 description 1
- 244000117054 Rungia klossii Species 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 208000035250 cutaneous malignant susceptibility to 1 melanoma Diseases 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 210000003780 hair follicle Anatomy 0.000 description 1
- 230000004054 inflammatory process Effects 0.000 description 1
- 238000002350 laparotomy Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 239000000049 pigment Substances 0.000 description 1
- 210000004694 pigment cell Anatomy 0.000 description 1
- 230000019612 pigmentation Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、疾患領域の診断を支援するための診断支援装置、画像処理方法及びプログラムに関する。 The present invention relates to a diagnosis support apparatus, an image processing method, and a program for supporting diagnosis of a disease area.
近年、高齢化やオゾン層破壊によってメラノーマ（悪性黒色腫）などの皮膚疾患の増加が問題となっている。肉眼や通常のルーペを用いて観察を行っても、メラノーマと良性の色素細胞母斑（ほくろ）や血豆などとの鑑別は困難であり、メラノーマの早期発見及び早期治療を行うことが難しかった。 In recent years, the increase in skin diseases such as melanoma (malignant melanoma) has become a problem due to aging and ozone layer destruction. It was difficult to distinguish between melanoma and benign pigment cell nacre (moku) or blood beans even when observed with the naked eye or a normal loupe, and it was difficult to perform early detection and early treatment of melanoma.
そこで、このような診断には、皮膚が部分的に透光性であることを利用することで、皮膚内部の色素分布や色合いを観察できるダーモスコープが活用されている。ダーモスコープは、発光ダイオードなどにより標的部に光を照射するとともに、皮膚内部を覆う皮膚表面からの反射光を低減し、かつ、標的部を１０倍から３０倍に拡大して観察することで、非侵襲的に皮膚内部の炎症、色、色素沈着、毛嚢及び血管などを視覚化するものである。最近では、さらに進んで、ダーモスコープ付きカメラを用いて病変を撮影するダーモスコピー診断が行われているが、画像の観察による症例の識別は医師のスキルに依存しているのが現状である。 Therefore, a dermoscope that can observe the pigment distribution and color tone inside the skin is utilized for such a diagnosis by utilizing the fact that the skin is partially translucent. The dermoscope irradiates light to the target portion with a light emitting diode or the like, reduces the reflected light from the skin surface covering the inside of the skin, and observes the target portion by magnifying by 10 to 30 times. It is used to visualize inflammation, color, pigmentation, hair follicles and blood vessels inside the skin in an invasive manner. Recently, further progress has been made in dermoscopy diagnosis in which a lesion is photographed using a dermoscope camera, but the present situation is that the identification of the case by observation of the image depends on the skill of the doctor.
この診断を支援する手段として、皮膚疾患などの患部を撮影し、機械学習を用いて画像処理して画像分類する技術がある。その際、患部のサイズを明確にするため目盛り等を一緒に撮影する場合が多いが、その場合、目盛り等が画像処理に影響を与えてしまうことから、疾患領域である前景画像をクロップし、リサイズして画像分類する技術が提案されている（例えば、非特許文献１参照）。 As a means to support this diagnosis, there is a technique of imaging an affected area such as a skin disease and performing image processing and image classification using machine learning. At that time, in order to clarify the size of the affected area, a scale or the like is often photographed together, but in that case, since the scale or the like affects the image processing, the foreground image which is a diseased area is cropped. A technique for resizing and classifying an image has been proposed (see, for example, Non-Patent Document 1).
しかしながら、非特許文献１に記載された技術によれば、元画像のサイズを変えるため、医師が目視による所見を得るときに、精度の高い診断がしにくいという課題があった。なお、上記では、メラノーマなどの皮膚疾患について背景技術を説明したが、本発明は、皮膚疾患に限られることなく、例えば、眼底検査、口腔内検査、開腹手術などにおける疾患領域の診断の支援にも適用できるものである。 However, according to the technique described in Non-Patent Document 1, there is a problem that it is difficult to diagnose with high accuracy when the doctor obtains visual observation because the size of the original image is changed. Although the background art has been described above for skin diseases such as melanoma, the present invention is not limited to skin diseases. For example, the present invention is intended to support diagnosis of disease areas in fundus examinations, intraoral examinations, laparotomy and the like. Is also applicable.
本発明は上記した課題を解決するためになされたものであり、元画像を原寸のまま画像処理可能であって、機械学習を用いて疾患領域の診断を支援する診断支援装置、画像処理方法及びプログラムを提供することを目的とする。 The present invention has been made to solve the above-described problems, and an original image can be processed as it is to its original size, and a diagnostic support apparatus that supports diagnosis of a diseased area using machine learning, an image processing method, and The purpose is to provide a program.
上記した課題を解決するために本発明の一態様は、疾患領域の診断を支援する診断支援装置の画像処理方法であって、前記疾患領域を撮影した元画像を疾患部である前景画像と非疾患部である背景画像に分離して抽出された前景画像マップに、新たな背景画像としてパターンを埋め込んだ背景埋め込み画像を生成する画像生成処理（Ａ）と、前記画像生成処理（Ａ）で生成された前記背景埋め込み画像を学習により特徴を抽出する識別器生成処理（Ｂ）と、前記識別器生成処理（Ｂ）で抽出された特徴を用いて未知の画像である予測対象画像について推論する識別器推論処理（Ｃ）と、を含むことを特徴とする。
本発明の他の特徴は、本明細書及び添付図面の記載により明らかにする。
One aspect of the present invention is an image processing method of a diagnosis support apparatus for supporting diagnosis of a disease area, and an original image obtained by photographing the disease area is a foreground image which is a disease part and a non-image area. Image generation processing (A) for generating a background embedded image in which a pattern is embedded as a new background image in a foreground image map separated and extracted as a background image which is a diseased part, and generated by the image generation processing (A) Discriminator generation processing (B) for extracting features by learning the background embedded image, and inference for a prediction target image which is an unknown image using the features extracted in the classifier generation processing (B) Device inference process (C).
Other features of the present invention will become apparent from the description of the present specification and the accompanying drawings.
本発明によれば、元画像を原寸のまま画像処理可能であって、機械学習を用いて疾患領域の診断を支援する診断支援装置、画像処理方法及びプログラムを提供することができる。 According to the present invention, it is possible to provide a diagnosis support device, an image processing method, and a program that can process an original image in its original size and use machine learning to support diagnosis of a diseased area.
以下、添付図面を参照して、本発明を実施するための形態（以下、実施形態）について詳細に説明する。以降の図においては、実施形態の説明の全体を通して同じ要素には同じ番号又は符号を付している。 Hereinafter, with reference to the accompanying drawings, modes (hereinafter, embodiments) for carrying out the present invention will be described in detail. In the following drawings, the same elements are denoted by the same reference numerals or symbols throughout the description of the embodiments.
（実施形態の構成）
本実施形態は、以下に詳述するように、疾患として皮膚疾患を例に取り、ダーモスコピー画像の機械学習において、疾患領域を撮影した元画像と、元画像を前景部(疾患部)と背景部(非疾患部)に分離して前景画像マップを抽出し、背景部として無地のパターンを埋め込んで得られる背景埋め込み画像（詳しくは後述）を用いて、画像増量を行うものである。本実施形態では、増量画像を、学習時、推論時のどちらにおいても利用する。これにより、学習時においては、背景部が分類の本質ではないことの学習が可能となり、推論時には背景部の影響を取り除いた精度の高い推論が可能となる。
(Configuration of the embodiment)
In the present embodiment, a skin disease is taken as an example of the disease as described in detail below, and in machine learning of a dermoscopy image, an original image obtained by photographing a diseased area, an original image in the foreground part (disease part) and a background part The image is increased using a background embedded image (details will be described later) obtained by separating into (non-diseased part) and extracting a foreground image map and embedding a plain pattern as a background part. In the present embodiment, the increase image is used in both learning and inference. This makes it possible to learn that the background part is not the essence of classification at the time of learning, and enables highly accurate inference at the time of inference without the influence of the background part.
まず、本実施形態に係る診断支援装置１００の構成を説明する。図１に示すように、本実施形態に係る診断支援装置１００には、ダーモスコープ付き撮影装置（取得部）１１０が接続されている。ダーモスコープ付き撮影装置１１０は、診断支援装置１００（処理部１０）からの指示により撮影を行ない、撮影画像（ダーモスコピー画像）を元画像として画像記憶部１０２に格納するとともに表示装置１２０上に表示する。入力装置１３０は、ダーモスコピー画像の撮影開始指示、後述するダーモスコピー画像中の部位選択操作等を行う。なお、表示装置１２０、例えば、ＬＣＤ（Liquid Crystal Display）モニタにより構成され、入力装置１３０は、マウス等により構成されている。
First, the configuration of the diagnosis support
画像データベース１０３は、処理部１０により、既知の画像データとして、疾患領域を撮影した元画像と、元画像に基づいて生成された背景埋め込み画像とが、学習用に付された疾患の識別名称と関連付けて記録されるデータベースである。背景埋め込み画像の生成の手順については、後述する。
In the
処理部１０は、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）を有し、学習用の元画像と背景埋め込み画像を畳み込みニューラルネットワークに入力することにより予め学習に付され、診断されるべき疾患の識別が可能なように分類情報を生成する識別器として機能する。識別器は、診断されるべき疾患について、未知の画像データ（予測対象画像）として、元画像と背景埋め込み画像を多チャンネル化により統合した第３の画像データを学習済みの畳み込みニューラルネットワークへ入力することにより学習処理を経て診断すべき疾患を識別する。なお、識別器は、例えば診断支援装置１００が製造工場から出荷される前に製造段階で予め学習に付されていてもよいし、出荷された後に病院側などで予め学習に付されることとしてもよい。ここで、「予め」とは、診断されるべき疾患を識別するよりも前にという意味である。
The
このため、処理部１０は、処理部１０がコンピュータにて実行するプログラムの機能をブロック展開して示したように、前処理部１１と、特徴抽出部１２と、識別部１３とを含む。前処理部１１は、元画像から背景埋め込み画像を生成する機能や、元画像と背景埋め込み画像とを学習用に付された疾患の識別名称と関連付けて画像データベース１０３に記録する機能を持つ。また、前処理部１１は、元画像と背景埋め込み画像を多チャンネル化により統合された第３の画像データとして畳み込みニューラルネットワークへ入力する機能も合わせ持つ。
For this reason, the
特徴抽出部１２と識別部１３は、中間層で畳み込みとプーリングの処理を繰り返し行う畳み込みニューラルネットワークを構成する機能ブロックである。図２に、畳み込みニューラルネットワークの代表的構成を示す。図２によれば、畳み込みニューラルネットワークは、第３の画像データ又は第３の画像データが入力される入力層（入力画像１０１）と、畳み込み層とプーリング層とから構成されるセット（処理ユニット１２ｂ）を複数有し、第３の画像データ又は第３の画像データから特徴（特徴マップ１２ａ）を抽出する中間層（第１層，第２層）と、中間層で抽出された特徴に基づき診断されるべき疾患の分類ごとに識別値を出力する出力層と、を備える。
The
特徴抽出部１２は、重みフィルタによる畳み込み演算とプーリングとを繰り返すことにより入力画像１０１である第３の画像データ又は第３の画像データの特徴を抽出する。具体的に、特徴抽出部１２は、入力画像１０１に対して重みフィルタをラスタスキャンさせて繰り返し畳み込み演算を行うことで特徴マップ１２ａを得、その後、特徴マップ１２ａに対してプーリングを行う。プーリングとは、ｍ−１の特徴マップ１２ａの小領域から値を出力してｍの特徴マップに変換する処理であり、識別部１３に入力する特徴次元削減機能を持つ。
The
上記した畳み込みニューラルネットワークの処理は、多段接続された複数の処理ユニット１２ｂを介して行われる。各処理ユニット１２ｂの入出力は、入力画像１０１から抽出される複数の特徴である特徴マップ１２ａで示される複数の二次元画像である。この場合、入力画像１０１も１枚の特徴量マップとみなされる。ここでは、畳み込み演算とプーリングのユニットのペアが処理ユニット１２ｂとして多段接続され、特徴量（ベクトル値）を算出する。この特徴量（ベクトル値）に対して識別部１３で識別処理が行われ、出力クラスを得る構成になっている。見出された特徴量（ベクトル値）は登録されることによって学習がなされる。
The processing of the above-described convolutional neural network is performed via a plurality of
識別部１３は、特徴抽出部１２で抽出した特徴を入力して識別を行う。畳み込みニューラルネットワークの学習は、誤差逆転伝搬法による学習により各層の重みを更新する。識別処理として多層パーセプトロンが用いられる。多層パーセプトロンは、入力層、中間層、出力層で構成される非線形のクラス識別器である。各階層間の重みは、誤差伝搬法による確率的勾配降下法で求める。識別時は、特徴量を順次伝搬し、出力層の各ユニットの出力を各クラスの事後確率として画像を分類する。
The
畳み込みニューラルネットワークは、高い精度で画像を分類するのに一般的な手法であり、例えば、インターネットＵＲＬ（http://en.wikipedia.org/wiki/Convolutional neural network）等に詳細に記載されている。 A convolutional neural network is a general method for classifying images with high accuracy, and is described in detail, for example, on the Internet URL (http://en.wikipedia.org/wiki/Convolutional neural network). .
ここで、学習用の元画像と背景埋め込み画像は畳み込みニューラルネットワークへ各別に入力されてもよい。この場合、識別器として機能する処理部１０は、診断されるべき疾患について、撮影された元画像と、元画像から生成された背景埋め込み画像が学習済みの畳み込みニューラルネットワークへ各別に入力されることにより、診断されるべき疾患を元画像及び背景埋め込み画像の予備的識別を統合して識別する。
Here, the original image for learning and the background embedded image may be separately input to the convolutional neural network. In this case, the
畳み込みニューラルネットワークは、学習用及び診断されるべき疾患に係る元画像及び背景埋め込み画像が入力される入力層と、畳み込み層とプーリング層から構成されたセットを複数有し、学習用及び診断されるべき疾患に係る元画像及び背景埋め込み画像から特徴を抽出する中間層と、抽出された特徴に基づき診断されるべき疾患の分類ごとに学習用及び診断されるべき疾患に係る元画像及び背景埋め込み画像の予備的識別値を統合して識別値を出力する出力層と、を備える。 A convolutional neural network has a plurality of sets composed of a convolutional layer and a pooling layer, and has a plurality of sets composed of a convolutional layer and a pooling layer, and is used for learning and diagnosis. An intermediate layer for extracting features from an original image and background embedded image relating to a disease and an original image and background embedded image relating to a disease to be diagnosed and diagnosed for each classification of a disease to be diagnosed based on the extracted features And an output layer that integrates the preliminary identification value of and outputs the identification value.
なお、上記した学習用の元画像及び背景埋め込み画像は、それぞれ、ダーモスコープ付き撮影装置１１０を用い撮影されたダーモスコピー画像データ及びダーモスコピー画像データの背景部にパターンを嵌め込んだ背景埋め込み画像データであってもよい。また、診断されるべき疾患に係る元画像及び背景埋め込み画像は、それぞれ、ダーモスコープ付き撮影装置１１０を用い撮影されたダーモスコピー画像データ及びダーモスコピー画像データの背景部にパターンを嵌め込んだ背景埋め込み画像データであってもよい。
Note that the original image for learning and the background embedded image described above are background embedded image data in which a pattern is embedded in the background of the dermoscopy image data and the dermoscopy image data photographed using the photographing
（実施形態の動作）
以下、図３から図９を参照しながら、図１，図２に示す本実施形態に係る診断支援装置１００の動作である画像処理方法について詳細に説明する。
(Operation of the embodiment)
Hereinafter, an image processing method which is an operation of the
図３は、診断支援装置１００の基本的な動作の流れを示している。図３において、処理部１０は、まず、前処理部１１が、疾患領域を撮影した元画像と、背景埋め込み画像とを生成する画像生成処理を実行する（ステップＳ１０。ステップＡともいう）。
FIG. 3 shows the basic operation flow of the
前処理部１１がステップＳ１０で画像生成処理を実行後、特徴抽出部１２が、重みフィルタによる畳み込み演算とプーリングとを繰り返すことにより入力画像１０１である第３の画像又は第３の画像データの特徴を抽出する。具体的に、特徴抽出部１２は、入力画像１０１に対して重みフィルタをラスタスキャンさせて繰り返し畳み込み演算を行うことで特徴マップ１２ａを得、その後、特徴マップ１２ａに対してプーリングを行ない、ｍ−１の特徴マップ１２ａの小領域から値を出力してｍの特徴マップに変換する識別器生成処理を実行する（ステップＳ２０。ステップＢともいう）。
After the
識別部１３は、特徴抽出部１２で抽出した特徴を入力して識別を行う。識別処理として多層パーセプトロンが用いられ、識別時は、特徴量を順次伝搬し、出力層の各ユニットの出力を各クラスの事後確率として入力画像を分類する未知の画像である予測対象画像について推論（識別）する識別器推論処理を実行する（ステップＳ３０。ステップＣともいう）。
The
以下の説明では、疾患領域を撮影した元画像と、背景埋め込み画像を畳み込みニューラルネットワークへ各別に入力することにより２個の推論値を得ることとし、この２個の推論値を平均して最終推論値として未知の画像である予測対象画像について推論（識別）する。 In the following description, it is assumed that two inference values are obtained by separately inputting an original image obtained by imaging a disease area and a background embedded image into a convolutional neural network, and averaging these two inference values to obtain a final inference Inference (identification) is performed on a prediction target image which is an image unknown as a value.
以下に、上記した基本的な流れを各別に説明する。まず、図４及び図７を参照して、画像生成処理（図３のステップＳ１０）の詳細を説明する。図４は画像生成処理（ステップＳ１０）のフローチャート、図７は図４に対応して画像の生成を示す概念図である。 The basic flow described above will be described separately below. First, details of the image generation process (step S10 in FIG. 3) will be described with reference to FIGS. 4 and 7. FIG. 4 is a flowchart of the image generation process (step S10), and FIG. 7 is a conceptual diagram showing the generation of an image corresponding to FIG.
図４に示すように、この画像生成処理を開始すると（ステップＳ１１）、まず、疾患領域についてダーモスコピー撮影を行なってダーモスコピー画像すなわち元画像を得る（ステップＳ１２）。この元画像には、図７（ａ）に示すように、例えば図中左端に疾患領域の大きさを読み取るためのスケールの目盛りが含まれている。 As shown in FIG. 4, when this image generation process is started (step S11), first, dermoscopy is performed on a diseased area to obtain a dermoscopy image, ie, an original image (step S12). In this original image, as shown in FIG. 7A, for example, a scale of a scale for reading the size of the diseased area is included at the left end in the figure.
元画像は、元画像の疾患部の周辺部すなわち非疾患部について、肌領域の色輝度を正規化する（ステップＳ１３）。例えば、図７（ｂ）に示すように、非疾患部は、ターゲット画素値を（Ｒ，Ｇ，Ｂ）＝（２００，１８０，２００）として、肌色に正規化される。色輝度の正規化は、撮影光源やメラニン濃度の個人差の影響を取り除いて画像分類のための前処理や画像を提示することを可能にし、特に、画像を複数並べて提示したときに疾患部の違いを俯瞰的に把握することを容易にし、結果として、精度の高い診断支援を行うためのものであるが、その処理の詳細は項をあらためて後述する。なお、ここでは、正規化する色を肌色としているが、肌色以外の所定の色としても差し支えない。 The original image normalizes the color brightness of the skin region for the peripheral part of the diseased part of the original image, that is, the non-diseased part (step S13). For example, as shown in FIG. 7B, the non-diseased part is normalized to the skin color with the target pixel value as (R, G, B) = (200, 180, 200). The normalization of color luminance makes it possible to remove the influence of individual differences in shooting light sources and melanin concentration to present pre-processing and images for image classification, and in particular, when a plurality of images are presented side by side, Although it is intended to make it easy to grasp the difference comprehensively, and as a result, to perform highly accurate diagnosis support, the details of the process will be described later. In addition, although the color to normalize is made into skin color here, it does not interfere as predetermined color other than skin color.
前処理部１１は、ピクセルごとに意味をラベル付けする画像セグメンテーションを利用した画像分類の技術を用いて、元画像を前景部すなわち疾患部と背景部すなわち非疾患部に分離し、前景部の領域抽出（切り出し）を行う（ステップＳ１４）。例えば、前景部は、図７（ｃ）に示すように、前景画像マップとして領域抽出される。この前景部の領域抽出は、診断支援装置１００のユーザが手動で行えるように構成してもよいし、前処理部１１が自動で行えるように構成してもよい。
The preprocessing
前処理部１１は、前景画像マップの背景部にパターンを埋め込む（ステップＳ１５）。この埋め込みは、色輝度正規化のターゲット画素値を背景部に設定し、図７（ｄ）に示すように、肌領域として埋め込んで背景埋め込み画像を得ることによって行われる。その際、前景部は、中心部にセンタリングされ、背景埋め込み画像には、元画像に含まれていた目盛りが除かれることとなる。これにより、画像生成処理の手順は終了する（ステップＳ１６）。
The preprocessing
埋め込まれるパターンは、無地のものが好ましい。背景部を無地パターンで埋めることによって、リサイズを行う必要がない。また、背景部がある元画像と、無地のパターンで埋めた背景埋め込み画像を両方学習することによって、疾患鑑別と無相関の要素を学習することができる。 The pattern to be embedded is preferably plain. By filling the background with a plain pattern, it is not necessary to resize. Also, by learning both an original image with a background part and a background embedded image filled with a plain pattern, it is possible to learn elements of disease discrimination and no correlation.
次に、図５及び図８を参照して、本実施形態の識別器生成処理の手順（図３のステップＳ２０）の詳細を説明する。図５は識別器生成処理（ステップＳ２０）のフローチャート、図８は図５に対応して識別器の生成を示す概念図である。 Next, with reference to FIG. 5 and FIG. 8, the details of the procedure of the discriminator generation process (step S <b> 20 of FIG. 3) of the present embodiment will be described. FIG. 5 is a flowchart of the discriminator generation process (step S20), and FIG. 8 is a conceptual diagram showing the generation of the discriminator corresponding to FIG.
図５に示すように、処理部１０は、まず、前処理部１１が、識別器生成処理を開始する段階で学習用の画像としてＭ枚の元画像を用意する（ステップＳ２１）。そして、上記した図４の手順にしたがって、元画像から領域抽出した前景画像マップの背景部に無地のパターンを埋め込んだ背景埋め込み画像を生成して画像増量を行い、埋め込みを行っていない元画像と合わせて、学習画像をＭｘ２枚とする（ステップＳ２２）。
As shown in FIG. 5, the
Ｍ枚の元画像とＭ枚の背景埋め込み画像は、図８に示すように、上記した識別部１３に入力される（ステップＳ２３）。入力された双方の画像データは、上記で説明した畳み込みニューラルネットワークに学習画像として入力され、機械学習が行われる（ステップＳ２４）。この機械学習は、必要回数繰り返され（ステップＳ２５の「Ｎ」の場合）、必要回数実行された段階（ステップＳ２５の「Ｙ」の場合）で識別器生成終了となる（ステップＳ２６）。
The M original images and the M background embedded images are input to the
次に、図６及び図９を参照して、本実施形態の識別器推論処理の手順（図３のステップＳ３０）の詳細を説明する。図６は識別器推論処理（ステップＳ３０）のフローチャート、図９は図６に対応して学習済みの識別器を用いた推論を示す概念図である。 Next, details of the procedure of the classifier inference process (step S30 in FIG. 3) according to the present embodiment will be described with reference to FIGS. FIG. 6 is a flowchart of the discriminator inference process (step S30), and FIG. 9 is a conceptual diagram showing inference using the learned discriminator corresponding to FIG.
図６に示すように、処理部１０は、まず、前処理部１１が、識別器推論処理を開始する段階で診断されるべき疾患に係る予測対象画像である１枚の元画像を識別部１３に入力する（ステップＳ３１）。そして、上記した図４の手順にしたがって、元画像から領域抽出した前景画像マップの背景部に無地のパターンを埋め込んだ背景埋め込み画像を生成して画像増量を行い、埋め込みを行っていない元画像と合わせて、予測対象画像を２枚とする（ステップＳ３２）。
As shown in FIG. 6, the
１枚の元画像と１枚の背景埋め込み画像は、それぞれ、図９に示すように、図５で説明した学習済みの識別部１３の畳み込みニューラルネットワークに予測対象画像として入力され、２個の推論値が得られる（ステップＳ３３）。そして、この２個の推論値を平均することによって最終推論値とし（ステップＳ３４）、推論処理終了となる（ステップＳ３５）。
One original image and one background embedded image are each input as a prediction target image to the convolutional neural network of the learned
（色輝度補正処理）
ここで、上記した色輝度補正処理（図４のステップＳ１３）について、説明する。
(Color brightness correction process)
Here, the color luminance correction process (step S13 in FIG. 4) described above will be described.
まず、色補正処理について説明する。前処理部１１は、色補正処理手段を含む。色補正処理手段は、色補正を行うために、撮影画像のうち疾患部の確率が高い中央部を除いた周辺部を測定領域に設定するとともに、補正変換ターゲットを肌色に設定して、色補正処理を行う。このとき、色補正処理手段は、中央部を撮影画像の中心円とし、中心円を除いた測定領域内で各ＲＧＢについて対応画素のＬｐノルムを求め、ｅＲ、ｅＧ及びｅＢのＬ２ノルムが１となるように係数ｋで正規化し、ｅｃに３＾（１／２）を乗算のうえ逆数にして色ゲインの設定を行い、ＲＧＢのゲイン係数を各画素に乗算し、元画像の色補正処理を行う。
First, color correction processing will be described. The preprocessing
色補正処理手段は、測定領域において全面が血液色であるような肌色仮説が成り立たない場合には、補正変換時に色補正ゲインにリミッタを設定してもよい。 The color correction processing means may set a limiter to the color correction gain at the time of correction conversion if the skin color hypothesis that the whole surface is blood color does not hold in the measurement area.
色補正処理手段が、補正対象のダーモスコピー画像に対して色合いを補正（色補正）する際に、色情報計測領域を疾患部である確率が高い中央部を除く領域に設定し、補正ターゲットを肌色に設定することで、自然で、かつロバストな補正を行うことができる。また、肌色仮説が成り立たない全体的に血液色の場合に、補正時にリミッタを設定することにより不自然な補正を抑制することができる。したがって、撮影光源やメラニン濃度の個人差の影響を取り除いて画像分類のための前処理や画像を提示することが可能になり、特に、画像を複数並べて提示したときに疾患部の違いを俯瞰的に把握することを容易にし、その結果、精度の高い診断支援を行うことができる。 When the color correction processing means corrects the color tone (color correction) with respect to the dermoscopy image to be corrected, the color information measurement area is set to an area excluding the central part where the probability of being a diseased part is high, and the correction target is skin color By setting to, natural and robust correction can be performed. In addition, in the case where the skin color hypothesis does not hold true and blood color as a whole, unnatural correction can be suppressed by setting a limiter at the time of correction. Therefore, it becomes possible to remove the influence of individual differences in shooting light source and melanin concentration to present pre-processing and images for image classification, and in particular, when a plurality of images are presented side by side, differences in diseased parts can not be ignored. As a result, accurate diagnosis support can be performed.
なお、ＲＧＢ色空間を持つ撮影画像を補正の対象として説明したが、ＲＧＢ色空間に限らず、輝度信号Ｙと、２つの色差信号Ｕ，Ｖを使って表現されるＹＵＶ色空間、又は色相Ｈ、彩度Ｓ及び明度Ｖを使って表現されるＨＳＶ色空間などを持つ撮影画像を補正の対象としても同様に色補正が可能である。ＹＵＶ色空間のときには、各画素Ｙ，Ｕ，Ｖに同一の補正ゲイン値を乗算し、ＨＳＶ色空間のときには、画素Ｓ，Ｖに同一の補正ゲイン値を乗算（画素Ｈは、そのまま）すればよく、色空間に応じて少なくとも２つの画素に同一の補正ゲイン値を乗算する。 Although the captured image having the RGB color space has been described as an object of correction, the present invention is not limited to the RGB color space, but a YUV color space or hue H represented using a luminance signal Y and two color difference signals U and V Similarly, color correction is possible even when a photographed image having an HSV color space or the like expressed using saturation S and lightness V is the target of correction. In YUV color space, each pixel Y, U, V is multiplied by the same correction gain value, and in HSV color space, pixel S, V is multiplied by the same correction gain value (pixel H is as it is). Often, at least two pixels are multiplied by the same correction gain value depending on the color space.
次に、輝度補正処理について説明する。前処理部１１は、輝度補正処理手段を含む。輝度補正処理手段は、輝度補正を行うために、撮影画像のうち疾患部の確率が高い中央部を除いた周辺部を測定領域に設定するとともに、測定領域に対して輝度ヒストグラムを生成し、輝度ヒストグラムのピーク値を基に補正ゲイン値を算出して、色相を変えないようにＲＧＢそれぞれに同一の補正ゲイン値を乗算して補正ゲインを得る。
Next, the brightness correction process will be described. The preprocessing
このとき、輝度補正処理手段は、中央部を撮影画像の中心円とし、中心円を除いた測定領域内で輝度値ごとに画素数をカウントして輝度ヒストグラムを作成し、隣接輝度値との加算平均を取って輝度方向の輝度ヒストグラムの平滑化を行い、高輝度側の輝度ヒストグラムのピーク値を求め、輝度補正のターゲット値を設定して補正前のピーク値がターゲット値となるように補正ゲインを設定し、求められた補正ゲイン値をＲＧＢそれぞれに乗算して輝度補正を行う。 At this time, the luminance correction processing means counts the number of pixels for each luminance value in the measurement area excluding the central circle, with the central portion as the central circle of the photographed image, and generates a luminance histogram, and adds it to adjacent luminance values. Averaging is performed to smooth the luminance histogram in the luminance direction, the peak value of the luminance histogram on the high luminance side is determined, and the target value for luminance correction is set so that the peak value before correction becomes the target value. Are set, and the obtained correction gain value is multiplied by each of RGB to perform luminance correction.
輝度補正処理手段は、輝度ヒストグラムを高輝度側から積算して輝度の上端値を求め、上端値を超えないように補正ゲインをクリップし、補正ゲイン値を最終的なものとしてもよい。 The luminance correction processing means may integrate the luminance histogram from the high luminance side to obtain the upper end value of the luminance, clip the correction gain so as not to exceed the upper end value, and make the correction gain value final.
輝度補正処理手段が、輝度計測領域を疾患部の確率が高い中央部を除いた領域に設定し、その領域に対してヒストグラムを生成し、そのヒストグラムピーク値に基づき補正ゲイン値を算出し、色相を変えないように、Ｒ，Ｇ，Ｂそれぞれに同一の補正ゲイン値を乗算することにより、自然でかつロバストな輝度補正を行うことができる。なお、ヒストグラムを作成する際に、肌色に近いもののみに限定することにより、診断精度が一層向上する。 The luminance correction processing means sets the luminance measurement area to an area excluding the central part where the probability of the diseased part is high, generates a histogram for the area, calculates the correction gain value based on the histogram peak value, By multiplying each of R, G, and B by the same correction gain value so as not to change R, G, it is possible to perform natural and robust luminance correction. In addition, when creating a histogram, the diagnostic accuracy is further improved by limiting to only those close to skin color.
また、肌色領域の判定を、補正の対象であるダーモスコピー画像に合わせ、空間的な条件付けとヒストグラムのピーク値の条件付けとを行い輝度補正を実行することにより、その結果に用途に応じた固有の特徴的処理が含まれ、したがって、撮影光源やメラニン濃度の個人差の影響を取り除くことができ、かつ、画像分類前処理や画像提示に利用することが可能となる。画像を複数並べて提示したときに疾患部の違いを俯瞰的に把握することを容易にし、その結果、精度の高い診断支援を行うことができる。 In addition, the skin color area is determined according to the dermoscopy image to be corrected, spatial conditioning and conditioning of peak values of the histogram are performed, and luminance correction is performed. Processing, so that the influence of individual differences in the imaging light source and melanin concentration can be removed, and it can be used for image classification preprocessing and image presentation. When a plurality of images are presented side by side, it is easy to comprehensively grasp the difference in the diseased part, and as a result, highly accurate diagnosis support can be performed.
（プログラム）
上記で説明した診断支援装置１００は、その機能をコンビュータに実行させるためのプログラムを備える。また、上記で説明した診断支援装置１００の動作である画像処理方法は、その処理をコンピュータに実行させるためのプログラムを備える。
(program)
The
（変形例）
上記した実施形態では、学習時と推論時の双方において、元画像と背景埋め込み画像を用いたが、以下のように組み合わせて実行してもよい。
（ａ）学習時に元画像と背景埋め込み画像を用い、推論時に背景埋め込み画像のみを用いる。診断されるべき疾患に係る予測対象画像に目盛り等をあえて含めて推論を行うような場合である。
（ｂ）学習時に元画像と背景埋め込み画像を用い、推論時に元画像のみを用いる。診断されるべき疾患に係る予測対象画像に目盛り等が含まれないような場合であり、この場合、推論時に前景部を領域抽出しないで済むメリットがある。
（ｃ）学習時に元画像のみを用い、推論時に背景埋め込み画像のみを用いる。学習用の元画像に目盛り等が含まれていないが、診断されるべき疾患に係る予測対象画像には目盛り等が含まれているような場合であり、この場合、学習時に前景部を領域抽出しないで済むメリットがある。
(Modification)
Although the original image and the background embedded image are used in both the learning and the inference in the above embodiment, they may be executed in combination as follows.
(A) The original image and the background embedded image are used in learning, and only the background embedded image is used in inference. This is a case where a reasoning is performed by intentionally including a scale or the like in a prediction target image relating to a disease to be diagnosed.
(B) The original image and the background embedded image are used in learning, and only the original image is used in inference. This is a case where a prediction target image relating to a disease to be diagnosed does not include a scale or the like, and in this case, there is an advantage that the foreground part does not have to be extracted at the time of inference.
(C) Only the original image is used in learning, and only the background embedded image is used in inference. In the case where the original image for learning does not include a scale, etc., the prediction target image related to the disease to be diagnosed includes a scale, etc. In this case, the foreground portion is extracted during learning There is a merit of not having to do it.
学習時に、例えば、脂漏性角化症とその他の疾患の識別をする際、脂漏性角化症の症例ばかりに、物差しが写っているのであれば、物差しが写った背景を、「その他」のクラスの症例にも埋め込んで、過学習を抑制するようにしてもよい。そうしない場合、物差しが写っていれば、「その他」についても脂漏性角化症だと誤判定してしまう可能性があるためである。なお、この際、前景を外接矩形でクロップの上で行うようにしてもよい。 For example, when identifying seborrheic keratosis and other diseases at the time of learning, if the scale is visible only in the cases of seborrheic keratosis, the background with the scale is It may be embedded also in the case of the class "" to suppress over-learning. If the ruler is not taken, "others" may be misjudged as seborrheic keratosis as well. At this time, the foreground may be cropped with a circumscribed rectangle.
（実施形態の効果）
上述した本実施形態によれば、疾患領域のダーモスコピー画像である元画像の前景部を抽出して背景部に無地のパターンで埋め込んだ背景埋め込み画像を用いることにより、元画像の原寸のまま処理を行うことができる。また、背景がある元画像と、無地パターンで埋めた背景埋め込み画像の両方を学習する場合は、疾患鑑別と無相関の要素を学習することができる。
(Effect of the embodiment)
According to the present embodiment described above, processing is performed with the original size of the original image by using the background embedded image in which the foreground part of the original image which is the dermoscopy image of the diseased area is extracted and embedded in the background part with a plain pattern. It can be carried out. Also, when learning both an original image with a background and a background embedded image filled with a plain pattern, it is possible to learn an element that is not correlated with disease discrimination.
以上、実施形態を用いて本発明を説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されないことは言うまでもない。上記実施形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。またその様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。 Although the present invention has been described above using the embodiment, it goes without saying that the technical scope of the present invention is not limited to the scope described in the above embodiment. It is apparent to those skilled in the art that various changes or modifications can be added to the above embodiment. It is also apparent from the scope of the claims that the embodiments added with such alterations or improvements can be included in the technical scope of the present invention.
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲のとおりである。
［請求項１］
疾患領域の診断を支援する診断支援装置の画像処理方法であって、
前記疾患領域を撮影した元画像を疾患部である前景画像と非疾患部である背景画像に分離して抽出された前景画像マップに、新たな背景画像としてパターンを埋め込んだ背景埋め込み画像を生成する画像生成処理（Ａ）と、
前記画像生成処理（Ａ）で生成された前記背景埋め込み画像を学習により特徴を抽出する識別器生成処理（Ｂ）と、
前記識別器生成処理（Ｂ）で抽出された特徴を用いて未知の画像である予測対象画像について推論する識別器推論処理（Ｃ）と、
を含むことを特徴とする画像処理方法。
［請求項２］
学習時と推論時の双方において、前記元画像と前記背景埋め込み画像を用いることを特徴とする請求項１に記載の画像処理方法。
［請求項３］
学習時に前記元画像と前記背景埋め込み画像を用い、推論時に前記背景埋め込み画像のみを用いることを特徴とする請求項１に記載の画像処理方法。
［請求項４］
学習時に前記元画像と前記背景埋め込み画像を用い、推論時に前記元画像のみを用いることを特徴とする請求項１に記載の画像処理方法。
［請求項５］
学習時に前記元画像のみを用い、推論時に前記背景埋め込み画像のみを用いることを特徴とする請求項１に記載の画像処理方法。
［請求項６］
前記画像生成処理（Ａ）において、前記元画像の疾患部周辺の非疾患部について、所定の色の色輝度を正規化することを特徴とする請求項１に記載の画像処理方法。
［請求項７］
前記画像生成処理（Ａ）において、ピクセルごとに意味をラベル付けする画像セグメンテーションによって前記前景画像と前記背景画像を生成することを特徴とする請求項１に記載の画像処理方法。
［請求項８］
前記識別器生成処理（Ｂ）において、学習用の画像としてＭ枚の元画像を用意し、前記元画像から領域抽出した前景画像マップの背景部に無地のパターンを埋め込んだ背景埋め込み画像を生成して画像増量を行い、埋め込みを行っていない元画像と合わせて、学習画像をＭｘ２枚とすることを特徴とする請求項１に記載の画像処理方法。
［請求項９］
前記識別器推論処理（Ｃ）において、前記元画像に対する推論値と、前記背景埋め込み画像に対する推論値を得て、その２個の推論値を平均することによって最終推論値とすることを特徴とする請求項２に記載の画像処理方法。
［請求項１０］
疾患領域の診断を支援する診断支援装置の画像処理方法であって、
前記疾患領域を撮影した元画像を疾患部である前景画像と非疾患部である背景画像に分離して抽出された前景画像マップに、新たな背景画像としてパターンが埋め込まれた背景埋め込み画像を用いて、前記診断支援装置の機械学習を実行する識別器において、前記背景埋め込み画像を用いて学習及び／又は推論がなされることを特徴とする画像処理方法。
［請求項１１］
請求項１から１０のいずれか１項に記載の画像処理方法をコンビュータに実行させることを特徴とするプログラム。
［請求項１２］
疾患領域の診断を支援する診断支援装置であって、
機械学習を実行する識別器を備え、
前記疾患領域を撮影した元画像を疾患部である前景画像と非疾患部である背景画像に分離して抽出された前景画像マップに、新たな背景画像としてパターンが埋め込まれた背景埋め込み画像を用いて、前記識別器が学習及び／又は推論することを特徴とする診断支援装置。
［請求項１３］
前記前景画像マップが学習時に予め用意されることを特徴とする請求項１２に記載の診断支援装置。
［請求項１４］
前記背景埋め込み画像が学習時に予め生成して用意されることを特徴とする請求項１２に記載の診断支援装置。
［請求項１５］
前記識別器が前記背景画像を正規化された所定の色に処理することを特徴とする請求項１２に記載の診断支援装置。
［請求項１６］
前記識別器が、学習時及び推論時のいずれにおいても、前記元画像と前記背景埋め込み画像を用いることを特徴とする請求項１２から１５のいずれか１項に記載の診断支援装置。
［請求項１７］
前記パターンが無地であることを特徴とする請求項１２から１５のいずれか１項に記載の診断支援装置。
［請求項１８］
前記識別器は、診断されるべき疾患を識別する前に予め機械学習が実行されていることを特徴とする請求項１２から１７のいずれか１項に記載の診断支援装置。
［請求項１９］
請求項１２から１８のいずれか１項に記載の診断支援装置の機能をコンビュータに実行させることを特徴とするプログラム。
In the following, the invention described in the claims initially attached to the request for this application is appended. The item numbers of the claims described in the appendices are as in the scope of the claims attached first to the application for this application.
[Claim 1]
An image processing method of a diagnosis support apparatus for supporting diagnosis of a disease area, comprising:
A background embedded image is generated in which a pattern is embedded as a new background image in the foreground image map extracted by separating the original image obtained by photographing the diseased area into a foreground image which is a diseased part and a background image which is a non-diseased part. Image generation processing (A),
A classifier generation process (B) for extracting features by learning the background embedded image generated in the image generation process (A);
A classifier inference process (C) for inferring a prediction target image which is an unknown image using the feature extracted in the classifier generation process (B);
An image processing method comprising:
[Claim 2]
The image processing method according to claim 1, wherein the original image and the background embedded image are used both at the time of learning and at the time of inference.
[Claim 3]
The image processing method according to claim 1, wherein the original image and the background embedded image are used at the time of learning, and only the background embedded image is used at the time of inference.
[Claim 4]
The image processing method according to claim 1, wherein the original image and the background embedded image are used at the time of learning, and only the original image is used at the time of inference.
[Claim 5]
The image processing method according to claim 1, wherein only the original image is used in learning, and only the background embedded image is used in inference.
[Claim 6]
The image processing method according to claim 1, wherein in the image generation processing (A), color brightness of a predetermined color is normalized for a non-diseased part around a diseased part of the original image.
[Claim 7]
The image processing method according to claim 1, wherein in the image generation process (A), the foreground image and the background image are generated by image segmentation in which meaning is labeled for each pixel.
[Claim 8]
In the discriminator generation process (B), M original images are prepared as learning images, and a background embedded image is generated by embedding a plain pattern in the background portion of the foreground image map extracted from the original image. 2. The image processing method according to claim 1, wherein the number of images is increased, and the learning image is Mx2 in combination with the original image not embedded.
[Claim 9]
In the discriminator inference process (C), an inference value for the original image and an inference value for the background embedded image are obtained, and the two inference values are averaged to obtain a final inference value. The image processing method according to claim 2.
[Claim 10]
An image processing method of a diagnosis support apparatus for supporting diagnosis of a disease area, comprising:
The background embedded image in which a pattern is embedded as a new background image is used in the foreground image map extracted by separating the original image obtained by photographing the diseased area into the foreground image which is the diseased part and the background image which is the non-diseased part. And an image processing method characterized in that learning and / or inference is performed using the background embedded image in a classifier that performs machine learning of the diagnosis support apparatus.
[Claim 11]
A program causing a computer to execute the image processing method according to any one of claims 1 to 10.
[Claim 12]
A diagnostic support device for supporting diagnosis of a disease area,
It has a classifier that performs machine learning,
The background embedded image in which a pattern is embedded as a new background image is used in the foreground image map extracted by separating the original image obtained by photographing the diseased area into the foreground image which is the diseased part and the background image which is the non-diseased part. The diagnosis support apparatus, wherein the classifier learns and / or infers.
[Claim 13]
The diagnosis support device according to
[Claim 14]
The diagnosis support device according to
[Claim 15]
The apparatus according to
[Claim 16]
The diagnosis support apparatus according to any one of
[Claim 17]
The diagnostic support device according to any one of
[Claim 18]
The diagnosis support apparatus according to any one of
[Claim 19]
A program causing a computer to execute the function of the diagnosis support apparatus according to any one of
１０…処理部（識別器）、１１…前処理部、１２…特徴抽出部、１３…識別部、１００…診断装置、１０２…画像記憶部、１０３…画像データベース、１１０…ダーモスコープ付き撮影装置（取得部）、１２０…表示装置、１３０…入力装置
DESCRIPTION OF
Claims (19)
前記疾患領域を撮影した元画像を疾患部である前景画像と非疾患部である背景画像に分離して抽出された前景画像マップに、新たな背景画像としてパターンを埋め込んだ背景埋め込み画像を生成する画像生成処理（Ａ）と、
前記画像生成処理（Ａ）で生成された前記背景埋め込み画像を学習により特徴を抽出する識別器生成処理（Ｂ）と、
前記識別器生成処理（Ｂ）で抽出された特徴を用いて未知の画像である予測対象画像について推論する識別器推論処理（Ｃ）と、
を含むことを特徴とする画像処理方法。 An image processing method of a diagnosis support apparatus for supporting diagnosis of a disease area, comprising:
A background embedded image is generated in which a pattern is embedded as a new background image in the foreground image map extracted by separating the original image obtained by photographing the diseased area into a foreground image which is a diseased part and a background image which is a non-diseased part. Image generation processing (A),
A classifier generation process (B) for extracting features by learning the background embedded image generated in the image generation process (A);
A classifier inference process (C) for inferring a prediction target image which is an unknown image using the feature extracted in the classifier generation process (B);
An image processing method comprising:
前記疾患領域を撮影した元画像を疾患部である前景画像と非疾患部である背景画像に分離して抽出された前景画像マップに、新たな背景画像としてパターンが埋め込まれた背景埋め込み画像を用いて、前記診断支援装置の機械学習を実行する識別器において、前記背景埋め込み画像を用いて学習及び／又は推論がなされることを特徴とする画像処理方法。 An image processing method of a diagnosis support apparatus for supporting diagnosis of a disease area, comprising:
The background embedded image in which a pattern is embedded as a new background image is used in the foreground image map extracted by separating the original image obtained by photographing the diseased area into the foreground image which is the diseased part and the background image which is the non-diseased part. And an image processing method characterized in that learning and / or inference is performed using the background embedded image in a classifier that performs machine learning of the diagnosis support apparatus.
機械学習を実行する識別器を備え、
前記疾患領域を撮影した元画像を疾患部である前景画像と非疾患部である背景画像に分離して抽出された前景画像マップに、新たな背景画像としてパターンが埋め込まれた背景埋め込み画像を用いて、前記識別器が学習及び／又は推論することを特徴とする診断支援装置。 A diagnostic support device for supporting diagnosis of a disease area,
It has a classifier that performs machine learning,
The background embedded image in which a pattern is embedded as a new background image is used in the foreground image map extracted by separating the original image obtained by photographing the diseased area into the foreground image which is the diseased part and the background image which is the non-diseased part. The diagnosis support apparatus, wherein the classifier learns and / or infers.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018001044A JP7087390B2 (en) | 2018-01-09 | 2018-01-09 | Diagnostic support device, image processing method and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018001044A JP7087390B2 (en) | 2018-01-09 | 2018-01-09 | Diagnostic support device, image processing method and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019118670A true JP2019118670A (en) | 2019-07-22 |
| JP7087390B2 JP7087390B2 (en) | 2022-06-21 |
Family
ID=67305603
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018001044A Active JP7087390B2 (en) | 2018-01-09 | 2018-01-09 | Diagnostic support device, image processing method and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7087390B2 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021033826A (en) * | 2019-08-28 | 2021-03-01 | 龍一 中原 | Medical image processing device, medical image processing method and medical image processing program |
| CN113763315A (en) * | 2021-05-18 | 2021-12-07 | 腾讯医疗健康(深圳)有限公司 | Slide image information acquisition method, device, equipment and medium |
| JP7496858B2 (en) | 2022-08-08 | 2024-06-07 | 基礎地盤コンサルタンツ株式会社 | Particle size distribution prediction device, machine learning device, particle size distribution prediction method, and machine learning method |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005192944A (en) * | 2004-01-09 | 2005-07-21 | Keio Gijuku | Remote diagnostic system for pigmentation region |
| JP2005536236A (en) * | 2001-12-28 | 2005-12-02 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Medical viewing system with image adjustment means |
| JP2009061266A (en) * | 2007-08-09 | 2009-03-26 | Toshiba Medical Systems Corp | Image diagnosis support system, medical image management apparatus, image diagnosis support processing apparatus, and image diagnosis support method |
| US20140036054A1 (en) * | 2012-03-28 | 2014-02-06 | George Zouridakis | Methods and Software for Screening and Diagnosing Skin Lesions and Plant Diseases |
| JP2015000347A (en) * | 2013-06-13 | 2015-01-05 | 株式会社東芝 | Medical image processor and medical image processing program |
| US20150206022A1 (en) * | 2014-01-22 | 2015-07-23 | Cognizant Technology Solutions India Pvt. Ltd. | System and method for classifying a skin infection |
| JP2016174728A (en) * | 2015-03-20 | 2016-10-06 | カシオ計算機株式会社 | Diagnostic system, image processing method in diagnostic system, image processing system and program |
-
2018
- 2018-01-09 JP JP2018001044A patent/JP7087390B2/en active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005536236A (en) * | 2001-12-28 | 2005-12-02 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Medical viewing system with image adjustment means |
| JP2005192944A (en) * | 2004-01-09 | 2005-07-21 | Keio Gijuku | Remote diagnostic system for pigmentation region |
| JP2009061266A (en) * | 2007-08-09 | 2009-03-26 | Toshiba Medical Systems Corp | Image diagnosis support system, medical image management apparatus, image diagnosis support processing apparatus, and image diagnosis support method |
| US20140036054A1 (en) * | 2012-03-28 | 2014-02-06 | George Zouridakis | Methods and Software for Screening and Diagnosing Skin Lesions and Plant Diseases |
| JP2015000347A (en) * | 2013-06-13 | 2015-01-05 | 株式会社東芝 | Medical image processor and medical image processing program |
| US20150206022A1 (en) * | 2014-01-22 | 2015-07-23 | Cognizant Technology Solutions India Pvt. Ltd. | System and method for classifying a skin infection |
| JP2016174728A (en) * | 2015-03-20 | 2016-10-06 | カシオ計算機株式会社 | Diagnostic system, image processing method in diagnostic system, image processing system and program |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021033826A (en) * | 2019-08-28 | 2021-03-01 | 龍一 中原 | Medical image processing device, medical image processing method and medical image processing program |
| JP7418730B2 (en) | 2019-08-28 | 2024-01-22 | 龍一 中原 | Medical image processing device, medical image processing method, and medical image processing program |
| CN113763315A (en) * | 2021-05-18 | 2021-12-07 | 腾讯医疗健康(深圳)有限公司 | Slide image information acquisition method, device, equipment and medium |
| JP7496858B2 (en) | 2022-08-08 | 2024-06-07 | 基礎地盤コンサルタンツ株式会社 | Particle size distribution prediction device, machine learning device, particle size distribution prediction method, and machine learning method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7087390B2 (en) | 2022-06-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107788948B (en) | Diagnosis support device, image processing method for diagnosis support device, and storage medium storing program | |
| JP7188514B2 (en) | Diagnosis support device, image processing method in diagnosis support device, and program | |
| US20210133473A1 (en) | Learning apparatus and learning method | |
| US9959618B2 (en) | Image processing apparatus, image processing method, and computer-readable recording medium | |
| JP7229996B2 (en) | Speckle contrast analysis using machine learning to visualize flow | |
| US11721086B2 (en) | Image processing system and image processing method | |
| JP4915737B2 (en) | Image analysis system and image analysis program | |
| JP4599520B2 (en) | Multispectral image processing method | |
| CN105979847A (en) | Endoscopic image diagnosis support system | |
| JP2019118670A (en) | Diagnosis support apparatus, image processing method, and program | |
| US20220351483A1 (en) | Image processing system, endoscope system, image processing method, and storage medium | |
| JP6471559B2 (en) | Diagnostic device, image processing method, image processing system, and program for the diagnostic device | |
| JPWO2018203514A1 (en) | Image analysis evaluation method, computer program, image analysis evaluation device | |
| KR20230059244A (en) | A system that assists endoscopy diagnosis based on artificial intelligence and method for controlling the same | |
| JP2005345310A (en) | Blood health support system | |
| JP6585623B2 (en) | Biological information measuring device, biological information measuring method, and biological information measuring program | |
| US20230180999A1 (en) | Learning apparatus, learning method, program, trained model, and endoscope system | |
| de Moura et al. | Skin lesions classification using multichannel dermoscopic Images | |
| JP6662246B2 (en) | Diagnosis support device, image processing method in diagnosis support device, and program | |
| Aydeniz et al. | Enhancing Two-Photon Images for Anatomical Visualisation using Super-Resolution | |
| Paquit et al. | Detecting flash artifacts in fundus imagery | |
| WO2023180289A1 (en) | Controller for an imaging system, system and corresponding method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201211 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211013 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211026 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211217 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220510 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220523 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7087390 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |