JP2017045341A - Diagnostic apparatus, leaning processing method in diagnostic apparatus, and program - Google Patents
Diagnostic apparatus, leaning processing method in diagnostic apparatus, and program Download PDFInfo
- Publication number
- JP2017045341A JP2017045341A JP2015168404A JP2015168404A JP2017045341A JP 2017045341 A JP2017045341 A JP 2017045341A JP 2015168404 A JP2015168404 A JP 2015168404A JP 2015168404 A JP2015168404 A JP 2015168404A JP 2017045341 A JP2017045341 A JP 2017045341A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- unit
- image
- converted
- diagnostic apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
Description
本発明は、診断装置、及び診断装置における学習処理方法、並びにプログラムに関する。 The present invention relates to a diagnostic device, a learning processing method in the diagnostic device, and a program.
皮膚病変の診断として視診は必ず行われ、多くの情報を得ることが出来る。しかしながら、肉眼やルーペだけでは、ホクロとしみの判別さえ難しく、良性腫瘍と悪性腫瘍の鑑別も難しい。そこで、ダーモスコープ付きカメラを用いて病変を撮影するダーモスコピー診断が行われているが、画像の観察による症例の識別は医師のスキルに依存しているのが現状である。 Visual inspection is always performed as a diagnosis of skin lesions, and a lot of information can be obtained. However, even with the naked eye or loupe alone, it is difficult to distinguish between moles and spots, and it is also difficult to distinguish benign and malignant tumors. Therefore, dermoscopy diagnosis in which a lesion is photographed using a camera with a dermoscope is performed, but the current situation is that case identification by observing an image depends on the skill of a doctor.
従来のダーモスコピー画像による画像の識別は原画像に基づき処理されており、このため、医師が症例を識別する手がかりである患部の血管構造に着目して重点処理することができず、したがって症例のパターン識別の精度に問題があった。 Conventional image identification using a dermoscopy image is processed based on the original image, and therefore the doctor cannot focus on the vascular structure of the affected area, which is a key to identify the case, and therefore the pattern of the case. There was a problem with the accuracy of identification.
ところで、一般的なパターン識別のための機械学習手法に、複数の識別器で識別を行い、その識別結果を統合することにより精度の高い識別を行うアンサンブル学習法が知られている。アンサンブル学習法は、推定の分散値が大きい識別器でも複数の識別器を集めて多数決による識別を行うと推定値の分散が小さくなることを識別の原理としている。 By the way, an ensemble learning method is known as a general machine learning method for pattern identification, in which identification is performed with a plurality of classifiers and identification results are integrated with high accuracy by integrating the identification results. The ensemble learning method is based on the principle of discriminating that even if a discriminator having a large estimated variance value is collected by performing a majority decision by collecting a plurality of discriminators, the variance of the estimated value becomes small.
例えば、特許文献１に、特徴量空間の無数の基底関数の選択肢の中からパターン識別に有効な基底関数を優先的に選択してアンサンブル学習を行う方法が開示されている。
For example,
上記した特許文献１に開示された技術によれば、従来のアンサンブル手法に比べて学習時の計算量とデータ量は抑制できるが、依然として識別の精度に問題が残る。
According to the technique disclosed in
本発明は上記した課題を解決するためになされたものであり、アンサンブル識別器による識別の精度向上をはかってより精度の高い診断支援が可能な、診断装置、及び診断装置における学習処理方法、並びにプログラムを提供することを目的とする。 The present invention has been made to solve the above-described problem, and is capable of providing more accurate diagnosis support by improving the accuracy of identification by an ensemble classifier, and a learning processing method in the diagnostic apparatus, and The purpose is to provide a program.
上記した課題を解決するために本発明の一態様は、皮膚画像を用いて皮膚の疾患を診断するための診断装置であって、診断されるべき対象に係わる複数の未知の皮膚画像データに基づいて疾患であるか否かを識別するアンサンブル識別器を備え、前記アンサンブル識別器が、前記対象に係る原画像データ、前記原画像データから変換された第１の変換画像データ及び同じく第２の変換画像データのうち少なくとも２つを含む前記複数の皮膚画像データに対応するように、少なくとも２つの単位識別器と、前記単位識別器によって各別に得られた識別値を統合し最終判定値を得る判定手段と、を備えることを特徴とする。
本発明の他の特徴は、本明細書及び添付図面の記載により明らかにする。
In order to solve the above-described problem, one aspect of the present invention is a diagnostic apparatus for diagnosing a skin disease using a skin image, and is based on a plurality of unknown skin image data related to an object to be diagnosed. An ensemble discriminator for discriminating whether or not the subject is a disease, the ensemble discriminator including the original image data relating to the object, the first converted image data converted from the original image data, and the second conversion Determination to obtain a final determination value by integrating at least two unit identifiers and identification values obtained by the unit identifiers so as to correspond to the plurality of skin image data including at least two of image data And means.
Other features of the present invention will become apparent from the description of the present specification and the accompanying drawings.
本発明によれば、アンサンブル識別器による識別の精度向上をはかり、より精度の高い診断支援が可能な、診断装置、及び診断装置における学習処理方法、並びにプログラムを提供することができる。 According to the present invention, it is possible to provide a diagnostic apparatus, a learning processing method in the diagnostic apparatus, and a program capable of improving the accuracy of identification by the ensemble classifier and capable of providing more accurate diagnosis support.
以下、添付図面を参照して、本発明を実施するための形態（以下、実施形態）について詳細に説明する。以降の図においては、実施形態の説明の全体を通して同じ要素には同じ番号又は符号を付している。 DESCRIPTION OF EMBODIMENTS Hereinafter, embodiments for carrying out the present invention (hereinafter referred to as embodiments) will be described in detail with reference to the accompanying drawings. In the subsequent drawings, the same numbers or symbols are assigned to the same elements throughout the description of the embodiments.
（第１実施形態の構成）
図１は、本発明の第１実施形態に係る診断装置１００Ａの構成を示すブロック図である。図１に示すように、本発明の第１実施態に係る診断装置１００Ａには、ダーモスコープ付き撮影装置１１０が接続されている。
(Configuration of the first embodiment)
FIG. 1 is a block diagram showing a configuration of a diagnostic apparatus 100A according to the first embodiment of the present invention. As shown in FIG. 1, an
ダーモスコープ付き撮影装置１１０は、診断装置１００Ａからの指示により撮影を行ない、撮影画像（ダーモスコピー画像）を画像記憶部１０４に格納すると共に、表示装置１２０上に表示する。また、撮影画像は、診断装置本体１０（前処理部１０ａ，処理部１１ａ）により画像処理が施されて画像記憶部１０４に保存されると共に表示装置１２０上に表示される。
The
入力装置１３０は、ダーモスコープ画像の撮影開始指示や、後述するダーモスコピー画像中の部位選択操作等を行う。なお、表示装置１２０、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）モニタ等により構成され、入力装置１３０は、マウス等により構成されている。
The
学習用皮膚画像記憶部１０３は、学習用に付された疾患の識別名称と既知の皮膚画像データを関連付けて記録される皮膚画像データベースである。
The learning skin
診断装置本体１０は、前処理部１０ａと、処理部１１ａ（アンサンブル識別器）と、取得部１２ａとを含む。
The
前処理部１０ａは、画像記憶部１０４に記憶された撮影画像（原画像データ）に構造明瞭変換処理を施した変換画像データ、あるいは、原画像データに対し部位強調処理が施された変換画像データを生成して処理部１１ａに出力する。ここで、構造明瞭変換処理とは、原画像データの輝度成分を強調する処理であり、部位強調処理とは、原画像データの輝度成分又は輝度成分及び色情報成分から該当する部位を抽出する処理である。なお、これら変換画像データを回転し、あるいは反転させた回転反転画像を含んでもよい。
The
このため、前処理部１０ａは、分離手段１０１と、抽出手段１０２と、を含む。
For this reason, the
分離手段１０１は、撮影画像を輝度成分と色情報成分に分離する手段として機能する。 The separating unit 101 functions as a unit that separates a captured image into a luminance component and a color information component.
抽出手段１０２は、診断の対象の部位を抽出する手段として機能し、部位候補を輝度成分により抽出する第１の抽出手段１０２ａと、部位らしさを輝度成分と色情報成分とから構成される色空間により抽出する第２の抽出手段１０２ｂの少なくとも１つを含み、抽出された部位候補又は部位らしさに平滑フィルタ処理を含むモルフォロジー処理を施す。
The
抽出手段１０２は、撮影画像における構造化要素中の部位候補又は部位らしさを示す形状を抽出する場合、第１の抽出手段１０２ａが輝度成分を用いて第１のモルフォロジー処理により部位候補を抽出するとともに、第２の抽出手段１０２ｂが色空間を用いて部位らしさを抽出し、抽出手段１０２が抽出された部位候補と部位らしさを統合して抽出画像を生成してもよい。
When extracting the part candidate or the shape indicating the part-likeness in the structuring element in the captured image, the extracting
抽出手段１０２は、撮影画像における構造化要素中の部位候補又は部位らしさを示す形状を抽出する場合、第２の抽出手段１０２ｂが色空間を用いて部位らしさを抽出し、抽出手段１０２が抽出された部位らしさを用いて第２のモルフォロジー処理により部位抽出画像を生成してもよい。
When the
ここで、第１のモルフォロジー処理とは、抽出された輝度成分に対し膨張処理と収縮処理をこの順に繰り返すクロージング処理、クロージング処理が施された輝度成分に対する平滑フィルタ処理、及び平滑フィルタ処理が施された輝度成分から撮影画像の輝度成分を減算する減算処理を含む。また、第２のモルフォロジー処理とは、抽出された部位らしさに対し収縮処理と膨張処理をこの順に繰り返すオープニング処理、オープニング処理が施された部位らしさに対する平滑フィルタ処理、及び平滑フィルタ処理が施された部位らしさを抽出された部位らしさから減算する処理を含む。 Here, the first morphological process is a closing process that repeats an expansion process and a contraction process in this order for the extracted luminance component, a smoothing filter process for the luminance component that has been subjected to the closing process, and a smoothing filter process. Subtraction processing for subtracting the luminance component of the photographed image from the luminance component. The second morphological process is an opening process that repeats the shrinkage process and the expansion process in this order for the extracted part-likeness, a smoothing filter process for the part-likeness that has been subjected to the opening process, and a smoothing filter process. It includes a process of subtracting the likelihood of the part from the extracted part likelihood.
処理部１１ａは、前処理部１０ａによって前処理された診断されるべき対象に係わる複数の未知の皮膚画像データに基づいて疾患であるか否かを識別するアンサンブル識別器を備え、このアンサンブル識別器は、対象に係る原画像データ、原画像データから変換された（第１の変換画像データ）及び同じく（第２の変換画像データ）のうち少なくとも２つを含む複数の皮膚画像データに対応するように、少なくとも２つの単位識別器１１１（ＣＮＮ１），１１２（ＣＮＮ２）・・と、単位識別器１１１，１１２によって各別に得られた識別値を統合し、最終判定値を得る判定手段１１３と、を含む。
The
なお、単位識別器１１１，１１２・・は、疾患に係る複数の既知の皮膚画像データに基づいて学習する畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を有し、前処理部１０ａによって生成される変換画像データを、この畳み込みニューラルネットワークに入力することにより予め学習に付され、診断されるべき疾患の識別が可能なように分類情報を生成する識別器として機能する。
The
なお、単位識別器１１１，１１２・・・は、例えば、診断装置１００Ａが製造工場から出荷される前に製造段階で予め学習に付されていてもよいし、出荷された後に病院側などで予め学習に付されることとしてもよい。ここで、「予め」とは、診断されるべき疾患を識別するよりも前にという意味である。
Note that the
図２に、畳み込みニューラルネットワーク（ＣＮＮ）の代表的構成を示す。図２によれば、畳み込みニューラルネットワークは、学習段階では複数の既知の皮膚画像データ（変換画像データ）が、試験段階では複数の未知の皮膚画像データ（変換画像データ）が入力される入力層１１１ａと、畳み込み層とプーリング層から構成されたセットを複数有し、複数の既知の皮膚画像データ又は複数の未知の皮膚画像データから特徴を抽出する中間層１１１ｂと、抽出された特徴に基づき診断対象の分類ごとに識別値を出力する出力層１１１ｃと、を備える。
FIG. 2 shows a typical configuration of a convolutional neural network (CNN). According to FIG. 2, the convolutional neural network has an input layer 111a to which a plurality of known skin image data (converted image data) is input in the learning stage and a plurality of unknown skin image data (converted image data) is input in the test stage. A plurality of sets composed of convolution layers and pooling layers, an
上記した畳み込みニューラルネットワークの処理は、多段接続された複数の処理ユニットａを介して行われる。各処理ユニットａの入出力は、入力画像から抽出される複数の特徴である特徴マップｂで示される複数の二次元画像である。この場合、入力画像も１枚の特徴量マップとみなされる。ここでは、畳み込み演算とプーリングのユニットのペアが処理ユニットａとして多段接続され、特徴量ベクトルを算出する。この特徴量ベクトルに対し、後述する判定手段１１３で識別処理が行われ、出力クラスを得る構成になっている。
The process of the convolutional neural network described above is performed via a plurality of processing units a connected in multiple stages. Input / output of each processing unit a is a plurality of two-dimensional images indicated by a feature map b which is a plurality of features extracted from the input image. In this case, the input image is also regarded as one feature map. Here, a pair of units for convolution calculation and pooling are connected in multiple stages as a processing unit a, and a feature vector is calculated. The feature vector is subjected to identification processing by a
判定手段１１３は、抽出された特徴を入力して識別を行う。畳み込みニューラルネットワークの学習は、誤差逆転伝搬法による学習により各層の重みを更新する。識別処理として多層パーセプトロンが用いられる。多層パーセプトロンは、入力層１１１ａ、中間層１１１ｂ、出力層１１１ｃで構成される非線形のクラス識別器である。各階層間の重みは、誤差伝搬法による確率的勾配降下法で求める。識別時は、特徴量を順次伝搬し、出力層の各ユニットの出力を各クラスの事後確率として画像を分類する。ここでは、各単位識別器に１１１，１１２よって各別に得られた識別値を、例えば、平均することにより統合し、最終判定値を得る。
The
畳み込みニューラルネットワークは、高い精度で画像を分類するのに一般的な手法であり、例えば、インターネットＵＲＬ（ｈｔｔｐ：／／ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）等に詳細に記載されている。畳み込みニューラルネットワーク（ＣＮＮ）は、脳の神経回路網を模したニューラルネットワークを多層にして学習するディープラーニング（ディープニューラルネットワーク；Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）の一種であり、画像解析に好適に用いることができる。なお、ディープラーニングの他の手法を採用したり、他の手法と組み合わせたりすることも可能である。 A convolutional neural network is a general technique for classifying images with high accuracy, and is described in detail in, for example, the Internet URL (http://en.wikipedia.org/wiki/Convolutional neural network). . A convolutional neural network (CNN) is a kind of deep learning (Deep Neural Network) that learns by multilayering a neural network imitating a neural network of the brain, and can be suitably used for image analysis. It should be noted that other methods of deep learning can be adopted or combined with other methods.
なお、取得部１２ａは、複数の未知の皮膚画像データを取得可能であって、構造明瞭、部位強調等の画像変換のために前処理部１０ａへ出力する。
The
（第１実施形態の動作）
以下、図３以降のフローチャートを参照しながら、図１，図２に示す本発明の第１実施形態に係る診断装置１００Ａの動作について詳細に説明する。なお、以下の動作は、コンピュータに実行させる学習処理プログラムとして構成することができる。
(Operation of the first embodiment)
Hereinafter, the operation of the diagnostic apparatus 100A according to the first embodiment of the present invention shown in FIGS. 1 and 2 will be described in detail with reference to the flowcharts in FIG. The following operation can be configured as a learning processing program to be executed by a computer.
図３において、診断装置本体１０の取得部１２ａは、まず、診断対象に係わる複数の未知の皮膚画像データを学習用皮膚画像として取得する（ステップＳ１０：学習画像収集）。具体的に、未知の皮膚画像データの収集にあたり、医師が患者の疾患部分のダーモスコピー撮影を行なうことにより、取得部１２ａが、その撮影操作により複数の未知の皮膚画像データを取り込み、前処理部１０ａへ出力する。
In FIG. 3, the
このとき、前処理部１０ａは、症例の疾患名を、収集した学習用皮膚画像データに関連付けて学習用皮膚画像記憶部１０３に登録する。そして、前処理部１０ａは、学習用皮膚画像を必要数収集したか否かを判定し、必要枚数収集するまで上記の手順を繰り返し実行し、学習用皮膚画像記憶部１０３上に皮膚画像データベースを構築する。
At this time, the
取得部１２ａがステップＳ１０で未知の皮膚画像データ収集処理を実行後、前処理部１０ａは、未知の皮膚画像データに対して構造明瞭、部位強調等の画像変換処理を実行し、更に、９０度回転等のデータ増量処理を施して処理部１１ａへ出力する。処理部１１ａは、単位識別器１１１，１１２・・・が、重みフィルタによる畳み込み演算とプーリングとを繰り返すことにより、入力画像である学習用皮膚画像の特徴を抽出する（ステップＳ２０：機械学習器生成処理）。
After the
具体的に、単位識別器１１１，１１２・・・は、入力画像に対して重みフィルタをラスタスキャンさせて繰り返し畳み込み演算を行うことで特徴マップｂ（図２）を得、その後、特徴マップｂに対してプーリングを行ない、ｍ−１の特徴マップｂの小領域から値を出力してｍの特徴マップに変換する識別器生成処理を実行する。
Specifically, the
次に、判定手段１１３は、単位識別器１１１，１１２・・・で抽出した特徴を入力して識別を行う。識別処理として多層パーセプトロンが用いられ、識別時は、特徴量を順次伝搬し、出力層１１１ｃの各ユニットの出力を各クラスの事後確率として入力画像を分類する未知の画像について識別処理を実行する（ステップＳ３０：試験画像識別）。
Next, the determination means 113 performs identification by inputting the features extracted by the
図４は、本発明の第１実施形態に係る診断装置１００Ａの機械学習識別器生成処理の手順（図３のステップＳ２０）を示すフローチャートである。図４によれば、まず、前処理部１０ａが、学習用皮膚画像に対して、部位強調、構造明瞭のための画像変換処理を実行する（ステップＳ２０１）。ここで、部位強調とは、原画像データに対し血管等の部位強調処理が施された画像データである。部位強調変換処理は、原画像データの輝度成分又は輝度成分及び色情報成分から該当する部位を抽出する処理、構造明瞭は、画像データの輝度成分を強調する処理である。
FIG. 4 is a flowchart showing a procedure (step S20 in FIG. 3) of the machine learning discriminator generation process of the diagnostic device 100A according to the first embodiment of the present invention. According to FIG. 4, first, the
以下、図５〜図１０を参照して、図４のステップＳ２０１の「学習用皮膚画像に画像の変換」の詳細な処理手順について説明する。 Hereinafter, with reference to FIGS. 5 to 10, a detailed processing procedure of “conversion of an image into a learning skin image” in step S <b> 201 of FIG. 4 will be described.
この画像変換にあたり、前処理部１０ａは、まず、ダーモスコープ付き撮影装置１１０で撮影された、例えば、皮膚の病変部位等、患部の撮影画像を取得する。そして、取得した撮影画像を画像記憶部１０４の所定の領域に格納し、続いて、前処理部１０ａは、撮影画像から血管抽出処理を行い、抽出された血管を強調する処理を実行する。
In this image conversion, the
図５に、画像変換（画像変換処理Ａ）のための詳細な処理手順が示されている。図５によれば、前処理部１０ａは、まず、分離手段１０１が、ＲＧＢ色空間の撮影画像を、Ｌａｂ色空間（正確には、ＣＩＥ １９７６ Ｌ＊ａ＊ｂ色空間）に変換する（ステップＳ２０１ａ）。Ｌａｂ色空間の詳細は、インターネットＵＲＬ（ｈｔｔｐ：／／ｊａ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｌａｂ％Ｅ８％８９％Ｂ２％Ｅ７％Ａ９％ＢＡ％Ｅ９％９６％９３）＜平成２６年９月１日＞に記載されている。
FIG. 5 shows a detailed processing procedure for image conversion (image conversion processing A). According to FIG. 5, in the
次に、前処理部１０ａは、抽出手段１０２が、診断の対象として選択された部位を抽出する。具体的に、第１の抽出手段１０２ａが、選択された部位の候補（血管候補）をＬａｂ色空間において分離された輝度成分から抽出する。このため、第１の抽出手段１０２ａは、分離手段１０１によって色空間変換されたＬａｂ色空間で輝度に相当するＬ画像を用い、モルフォロジー処理Ａ（第１のモルフォロジー処理）により血管候補画像ＢＨを得る（ステップＳ２０２ａ）。ここで、モルフオロジー処理とは、構造化要素を入力画像に適用し、同じサイズの出力画像としての血管候補画像ＢＨを生成するもので、出力画像の各値は、入力画像内の対応する画素と近傍画素との比較に基づいている。
Next, in the
最も基本的なモルフォロジー処理は、膨張と収縮である。膨張は入力画像内のオブジェクトの境界に画素を付加し、収縮は、境界の画素を除去する。オブジェクトに付加し、あるいは削除する画素の数は、画像処理に使用される構造化要素のサイズと形状によって異なる。 The most basic morphological processes are expansion and contraction. Dilation adds pixels to the boundary of the object in the input image, and shrinkage removes the boundary pixels. The number of pixels added to or deleted from the object varies depending on the size and shape of the structuring element used for image processing.
ここでは、モルフォロジー処理Ａを実行し、診断の対象として選択された部位（血管候補）を輝度成分から抽出する方法について説明する。ボトムハット処理については、図６にその詳細手順が示されている。 Here, a method of executing the morphological process A and extracting a region (blood vessel candidate) selected as a diagnosis target from the luminance component will be described. The detailed procedure of the bottom hat process is shown in FIG.
図６によれば、第１の抽出手段１０２ａは、Ｌ画像に膨張処理を行い、処理後の輝度画像Ｌ１を得る（ステップＳ２０２ａ−１）。膨張処理の詳細は、インターネットＵＲＬ（ｈｔｔｐ：／／ｗｗｗ．ｍａｔｈｗｏｒｋｓ．ｃｏ．ｊｐ／ｊｐ／ｈｅｌｐ／ｉｍａｇｅｓ／ｍｏｒｐｈｏｌｏｇｙ−ｆｕｎｄａｍｅｎｔａｌｓ−ｄｉｌａｔｉｏｎ−ａｎｄ−ｅｒｏｓｉｏｎ．ｈｔｍｌ）＜平成２６年９月１日閲覧＞に記載されている。 According to FIG. 6, the first extraction means 102a performs an expansion process on the L image, and obtains a processed luminance image L1 (step S202a-1). Details of the expansion process can be found on the Internet URL (http://www.mathworks.co.jp/jp/help/images/morphology-fundamentals-dilation-and-erosion.html) <browse September 1, 2014> Have been described.
次に、第１の抽出手段１０２ａは、膨張処理後の輝度画像Ｌ１に対して収縮処理を行い、収縮処理後の輝度画像Ｌ２を得る（ステップＳ２０２ａ−２）。続いて、第１の抽出手段１０２ａは、収縮処理後の輝度画像Ｌ２に対して輝度を滑らかにする平滑フィルタ処理を施し、平滑化された輝度画像Ｌ３を得る（ステップＳ２０２ａ−３）。ここでは、ガウシアンフィルタにより平滑化が施される。 Next, the first extraction unit 102a performs a contraction process on the brightness image L1 after the expansion process, and obtains a brightness image L2 after the contraction process (step S202a-2). Subsequently, the first extraction unit 102a performs a smoothing filter process for smoothing the luminance on the luminance image L2 after the contraction process, and obtains a smoothed luminance image L3 (step S202a-3). Here, smoothing is performed by a Gaussian filter.
ガウシアンフィルタによる平滑化は以下の演算式で表現される。
ｆ（ｘ，ｙ）＝（１／√（２πσ＾２））ｅｘｐ（−（ｘ＾２＋ｙ＾２）／（２σ＾２））
Smoothing by the Gaussian filter is expressed by the following arithmetic expression.
f (x, y) = (1 / √ (2πσ ^ 2)) exp (− (x ^ 2 + y ^ 2) / (2σ ^ 2))
ガウシアンフィルタでは、ガウス分布による重み付けが上記所定レートとして利用される。上記した演算式中のσの大きさにより平滑度を制御でき、所定の値を設定することにより実現される。なお、平滑フィルタは、ガウシアンフィルタに限定されず、メディアンフィルタ、平均フィルタ等を用いてもよい。平滑処理後の輝度画像Ｌ３からＬ画像を減算して（ＢＨ＝Ｌ２−Ｌ）ボトムハット処理後の画像ＢＨを得る（ステッフＳ２０２ａ−４）。 In the Gaussian filter, weighting by a Gaussian distribution is used as the predetermined rate. The smoothness can be controlled by the magnitude of σ in the arithmetic expression described above, and this is realized by setting a predetermined value. The smoothing filter is not limited to a Gaussian filter, and a median filter, an average filter, or the like may be used. The L image is subtracted from the smoothed luminance image L3 (BH = L2-L) to obtain an image BH after the bottom hat processing (step S202a-4).
以上の処理を規定回数について繰り返し、規定回数が終了したときは、画像ＢＨを血管抽出画像Ｅとする。規定回数内のときは、画像ＢＨを画像Ｌとして膨張処理（ステップＳ２０２ａ−１）、収縮処理（ステップＳ２０２ａ−２）等を繰り返す。 The above processing is repeated for the specified number of times, and when the specified number of times is completed, the image BH is set as the blood vessel extraction image E. If it is within the specified number of times, the image BH is set as the image L, and the expansion process (step S202a-1), the contraction process (step S202a-2), etc. are repeated.
ここで、膨張処理について補足する。例えば、半径５ドットの構造化要素を考える。膨張処理とは、注目画素の構造化要素の範囲内での最大値をその注目画像の値とする処理を全画素について行うことをいう。すなわち、出力される注目画素値は、入力画素近傍の中で全ての画素の最大値である。一方、縮小処理は、注目画素の構造化要素の範囲内での最小値をその注目画素の値とする。すなわち、注目画素値は、入力画素近傍の中で全ての画素の最小値である。なお、構造化要素は円としたが、例えば、矩形でもよい。但し、円にしたほうが平滑フィルタの平滑度を小さくできる。 Here, the expansion process will be supplemented. For example, consider a structured element with a radius of 5 dots. The expansion processing is to perform processing for all the pixels with the maximum value within the range of the structuring element of the target pixel as the value of the target image. That is, the output target pixel value is the maximum value of all the pixels in the vicinity of the input pixel. On the other hand, in the reduction process, the minimum value within the range of the structuring element of the target pixel is set as the value of the target pixel. That is, the target pixel value is the minimum value of all the pixels in the vicinity of the input pixel. The structuring element is a circle, but may be a rectangle, for example. However, the smoothness of the smoothing filter can be reduced by using a circle.
説明を図５のフローチャートに戻す。次に、処理部１１ａは、第２の抽出手段１０２ｂが、選択された部位のそれらしさ（血管らしさ）を輝度成分と色情報成分とから構成される色空間により抽出する。このため、第２の抽出手段１０２ｂは、血管らしさを尤度Ａとして計算する（ステップＳ２０３ａ）。尤度Ａの求め方は図７にその一例が示されている。
The description returns to the flowchart of FIG. Next, in the
図７のフローチャートによれば、前処理部１０ａは、第２の抽出手段１０２ｂが、Ｌａｂ色空間の赤系の色相方向に応じた色情報成分であるａ軸の値、及び青系の色相方向に応じた色情報成分であるｂ軸の値を用いて抽出する（ステップＳ２０３ａ−１）。すなわち、第２の抽出手段１０２ｂは、Ｌａｂ色空間のａ軸，ｂ軸の値から以下の計算を行うことによってＬＨ１を生成する（ステップＳ２０３ａ−２）。
According to the flowchart of FIG. 7, the
ａｄ＝（ａ−ｃａ）＊ｃｏｓ（ｒ）＋ｂ＊ｓｉｎ（ｒ）＋ｃａ
ｂｄ＝−（ａ−ｃａ）＊ｓｉｎ（ｒ）＋ｂ＊ｃｏｓ（ｒ）
ＬＨ１＝ｅｘｐ（−（（ａｄ＊ａｄ）／ｓａ／ｓａ＋（ｂｄ＊ｂｄ）
／ｓｂ／ｓｂ））
ad = (a−ca) * cos (r) + b * sin (r) + ca
bd = − (a−ca) * sin (r) + b * cos (r)
LH1 = exp (-((ad * ad) / sa / sa + (bd * bd)
/ Sb / sb))
ここで、ａｄ，ｂｄは、（ｃａ，０）を中心に、反時計回りにａｂ平面をｒラジアンだけ回転させたものとなる。また、ｒの値として、０．３〜０．８ラジアン程度を設定する。ｃａは、０〜５０の間で設定する。ｓａ，ｓｂは、それぞれａ軸方向の感度の逆数、ｂ軸方向の感度の逆数となる。ここでは、ｓａ＞ｓｂとして設定する。 Here, ad and bd are obtained by rotating the ab plane by r radians counterclockwise around (ca, 0). Also, the value of r is set to about 0.3 to 0.8 radians. ca is set between 0 and 50. sa and sb are the reciprocal of the sensitivity in the a-axis direction and the reciprocal of the sensitivity in the b-axis direction, respectively. Here, it is set as sa> sb.
次に、第２の抽出手段１０２ｂは、得られたＬＨ１に輝度Ｌで制限をかける。輝度Ｌが閾値ＴＨ１以上であれば０にしたものをＬＨ２とし（ステップＳ２０３ａ−３）、輝度Ｌが閾値ＴＨ２以下のものをＬＨ３とする（ステップＳ２０３ａ−４）。ここでは、閾値ＴＨ１は６０から１００の間で、閾値ＴＨ２は０から４０の間で設定するものとする。ここで求めたＬＨ３を、血管らしさを示す尤度Ａとする（ステップＳ２０３ａ−５）。 Next, the second extraction unit 102b limits the obtained LH1 with the luminance L. If the luminance L is greater than or equal to the threshold TH1, the one set to 0 is set to LH2 (step S203a-3), and the luminance L is equal to or lower than the threshold TH2 is set to LH3 (step S203a-4). Here, the threshold value TH1 is set between 60 and 100, and the threshold value TH2 is set between 0 and 40. LH3 obtained here is set as likelihood A indicating the likelihood of blood vessels (step S203a-5).
説明を図５に戻す。第２の抽出手段１０２ｂは、上記した手順にしたがい血管らしさを尤度Ａとして抽出した後（ステップＳ２０３ａ）、ボトムハット処理後の画像ＢＨと、血管らしさを示す尤度Ａの各要素を乗算し、係数Ｎで除算する（ステップＳ２０４ａ）。さらに、１でクリッピング処理を行なうことで強調された血管抽出画像Ｅを生成する（ステップＳ２０５ａ）。 Returning to FIG. The second extraction unit 102b extracts the blood vessel likelihood as the likelihood A according to the above procedure (step S203a), and then multiplies the bottom hat processed image BH and each element of the likelihood A indicating the blood vessel likelihood. And division by the coefficient N (step S204a). Furthermore, the blood vessel extraction image E enhanced by performing clipping processing at 1 is generated (step S205a).
上記した例によれば、血管抽出画像Ｅは、０〜１までの値を持つ多値画像であるものの、ポトムハット処理を経ているため、抽出された血管の境界は急峻になっている。さらに急峻な境界を得たい場合は、所望の閾値で２値化をしてもよい。 According to the above-described example, the blood vessel extraction image E is a multi-valued image having a value from 0 to 1, but has undergone a pottom hat process, so the boundary of the extracted blood vessel is steep. If it is desired to obtain a steeper boundary, binarization may be performed with a desired threshold value.
上述したように、第２の抽出手段１０２ｂは、色空間の赤系の色相方向と、青系の色相方向で構成される平面座標を、赤系の色相方向軸の特定の点を中心に反時計まわりに所定角回転させ、特定の値域で輝度成分に制限をかけることにより、選択された部位の血管らしさを示す尤度Ａを算出する。そして、算出された尤度Ａを、輝度成分の画像にボトムハット処理を施して得られる輝度画像に乗算して選択された部位を強調する。 As described above, the second extracting unit 102b converts the plane coordinates formed by the red hue direction and the blue hue direction of the color space around a specific point on the red hue direction axis. The likelihood A indicating the blood vessel-likeness of the selected part is calculated by rotating a predetermined angle clockwise and limiting the luminance component in a specific value range. Then, the selected likelihood is emphasized by multiplying the calculated likelihood A by the luminance image obtained by performing the bottom hat process on the luminance component image.
血管らしさを尤度Ａとして抽出する変形例について、図８のフローチャートを参照して説明する。抽出手段１０２は、Ｌａｂ色空間の赤系の色相方向であるａ軸の値を取得し（ステップＳ２０３ａ−７）、Ｓを例えば８０とし（ステップＳ２０３ａ−８）、血管らしさＡの値を、０〜８０の範囲で制限を与えて正規化（Ａ←ｍａｘ（ｍｉｎ（ａ，Ｓ），０）／Ｓ）を行い、０から１の値範囲に設定している（ステップＳ２０３ａ−９）。ここでは、０から８０の値で制限を与えたが、この値は一例であり、この値に制限されない。
A modification example in which the likelihood of blood vessels is extracted as the likelihood A will be described with reference to the flowchart of FIG. The
次に、学習画像の画像変換処理の他の例として、色情報から直接血管を抽出する方法について図９，図１０のフローチャートを参照しながら説明する。以降の説明では、色情報から血管尤度画像を生成し、改良されたトップハット処理（以下、モルフォロジー処理Ｂという）によって血管を抽出するものである。なお、血管尤度画像は、尤度の高い方が画像の値が大きい。 Next, as another example of the image conversion process of the learning image, a method of directly extracting a blood vessel from color information will be described with reference to the flowcharts of FIGS. In the following description, a blood vessel likelihood image is generated from color information, and blood vessels are extracted by an improved top hat process (hereinafter referred to as morphological process B). The blood vessel likelihood image has a higher image value when the likelihood is higher.
図６に示したモルフォロジー処理Ａは、ソース画像に対して膨張処理を施した後に縮小処理を行なっている。膨張、収縮を同じ回数分繰り返して行う処理はクロージング処理と呼ばれている。つまり、クロージング処理した画像に平滑フィルタ処理を施し、ソース画像から減算（ブラックハット処理）している。ここで、ソース画像は輝度画像Ｌであり、血管での画像の値は比較的小さくなっている。このように、画像中の値が小さい形状を抽出する場合に図６に示すモルフォロジー処理Ａが用いられる。 In the morphological process A shown in FIG. 6, the reduction process is performed after the expansion process is performed on the source image. A process in which expansion and contraction are repeated the same number of times is called a closing process. That is, a smoothing filter process is performed on the image subjected to the closing process, and the image is subtracted (black hat process) from the source image. Here, the source image is the luminance image L, and the value of the image in the blood vessel is relatively small. In this way, when extracting a shape having a small value in the image, the morphology process A shown in FIG. 6 is used.
以下に、モルフォロジー処理Ｂによる血管抽出処理について説明する。図９に、画像変換Ｂの処理手順を示すように、前処理部１０ａは、まず、分離手段１０１が、ＲＧＢ色空間の撮影画像を、Ｌａｂ色空間変換する（ステップＳ２０１ｂ）。次に、前処理部１０ａは、第２の抽出手段１０２ｂが、選択された部位のそれらしさ（血管らしさ）をＬａｂ色空間において分離された色情報成分により抽出する。このため、第２の抽出手段１０２ｂは、血管らしさを尤度Ａとして計算する（ステップＳ２０２ｂ）。尤度Ａの求め方は、先に図７、図８を使用して説明した通りである。
Hereinafter, the blood vessel extraction process by the morphological process B will be described. As shown in FIG. 9, the processing procedure of the image conversion B is as follows. In the
続いて、第２の抽出手段１０２ｂは、血管らしさを示す血管尤度画像Ａから血管抽出Ｅ画像を取得する（ステップＳ２０３ｂ）。血管尤度画像Ａから血管抽出画像を取得する処理手順は図１０に示されている。 Subsequently, the second extraction unit 102b acquires a blood vessel extraction E image from the blood vessel likelihood image A indicating the likelihood of blood vessels (step S203b). A processing procedure for acquiring a blood vessel extraction image from the blood vessel likelihood image A is shown in FIG.
図１０のフローチャートによれば、第２の抽出手段１０２ｂは、まず、血管尤度画像Ａを適切な構造化要素により収縮処理を行なって収縮処理後の血管尤度画像Ａ１を取得する（ステップＳ２０３ｂ−１）。次に、収縮処理後の血管尤度画像Ａ１を膨張処理して膨張処理後の血管尤度画像Ａ２を得る（ステップＳ２０３ｂ−２）。第２の抽出手段１０２ｂは、更にこの膨張処理後の血管尤度画像Ａ２に平滑フィルタ処理（ガウシアンフィルタ）を施し、平滑処理後の血管尤度画像Ａ３を得る（ステップＳ２０３ｂ−３）。最後に、血管尤度画像Ａから平滑処理後の血管尤度画像Ａ３を差し引いて血管抽出画像Ｅを得る（ステップＳ２０３ｂ−４）。 According to the flowchart of FIG. 10, the second extraction unit 102b first performs a contraction process on the blood vessel likelihood image A with an appropriate structuring element to obtain a blood vessel likelihood image A1 after the contraction process (step S203b). -1). Next, the blood vessel likelihood image A1 after the contraction process is expanded to obtain a blood vessel likelihood image A2 after the expansion process (step S203b-2). The second extraction unit 102b further performs a smoothing filter process (Gaussian filter) on the blood vessel likelihood image A2 after the expansion process to obtain a blood vessel likelihood image A3 after the smoothing process (step S203b-3). Finally, a blood vessel extraction image E is obtained by subtracting the smoothed blood vessel likelihood image A3 from the blood vessel likelihood image A (step S203b-4).
上記したように、ソース画像（血管尤度画像Ａ）に対して収縮処理を行ない、続いて膨張処理を行なったものを、オープニング処理という。第２の抽出手段１０２ｂは、オープニング処理した画像に対して平滑フィルタ処理を施し、ソース画像からオープニングした画像を差し引いて（トップハット処理）、ソース画像中の血管形状を抽出している。ここで、ソース画像は血管尤度画像になっているため、血管らしいところでは画像の値が大きくなっている。 As described above, an image obtained by performing a contraction process on the source image (blood vessel likelihood image A) and subsequently performing an expansion process is called an opening process. The second extraction unit 102b performs smoothing filter processing on the image that has been subjected to the opening process, and subtracts the image that has been opened from the source image (top hat process) to extract the blood vessel shape in the source image. Here, since the source image is a blood vessel likelihood image, the value of the image is large where it seems to be a blood vessel.
説明を図９のフローチャートに戻す。第２の抽出手段１０２ｂは、血管尤度画像Ａから血管抽出Ｅ画像を取得した後、血管抽出Ｅ画像に適切な係数Ｎを乗算し（ステップＳ２０４ｂ）、１でクリッピング処理を行なうことで強調された血管抽出画像を生成する（ステップＳ２０５ｂ）。
The description returns to the flowchart of FIG. The second extraction unit 102b obtains the blood vessel extraction E image from the blood vessel likelihood image A, then multiplies the blood vessel extraction E image by an appropriate coefficient N (step S204b), and is enhanced by performing clipping processing in
上記したように、多値画像から形状を取得するために、画像中の値が大きい形状を取得する場合には、クロージング処理を行った画像に対して平滑フィルタ処理を施し、ソース画像を差し引くことにより血管抽出画像を得、一方、画像中の値が小さい形状を取得する場合には、オープニング処理を行ったものに対して平滑フィルタ処理を施してソース画像から減算することにより血管抽出画像を得る。 As described above, in order to obtain a shape from a multi-valued image, when obtaining a shape having a large value in the image, smoothing filter processing is performed on the image subjected to the closing process, and the source image is subtracted. If a shape with a small value in the image is acquired, a smoothed filter process is performed on the image subjected to the opening process, and the blood vessel extracted image is obtained by subtracting from the source image. .
ここで、オープニング処理とは、収縮処理と膨張処理をその順で一回あるいは複数回繰り返したものをいい、クロードング処理とは、膨張処理と収縮処理をその順で一回あるいは複数回繰り返したものをいう。オープニング処理、クロージング処理ともに、使用する構造化要素の形状は円が好ましい。また、平滑フィルタとし、例えば、ガウシアンフィルタ、平均フィルタ、メディアンフィルタ等が使用される。 Here, the opening process is a process in which the contraction process and the expansion process are repeated once or a plurality of times in that order, and the crowding process is a process in which the expansion process and the contraction process are repeated once or a plurality of times in that order. Say things. In both the opening process and the closing process, the shape of the structuring element used is preferably a circle. As the smoothing filter, for example, a Gaussian filter, an average filter, a median filter, or the like is used.
以上が学習画像の画像変換処理（血管強調、構造明瞭）であり、輝度画像からの血管形状抽出、血管尤度画像からの血管形状抽出を行い、その結果、不規則な形状、値変動が大きな形状に対してもモアレ等の疑似模様を発生させることなく形状取得が可能になる。 The above is the image conversion processing of the learning image (blood vessel emphasis, structure clearness), and blood vessel shape extraction from the luminance image and blood vessel shape extraction from the blood vessel likelihood image are performed. As a result, irregular shapes and value fluctuations are large. The shape can be acquired without generating a pseudo pattern such as moire.
説明を図４の機械学習識別器生成処理のフローチャートに戻す。図４において、前処理部１０ａは、上記した、血管強調、構造明瞭のための画像変換処理を実行後（ステップＳ２０１）、各変換画像を９０ｘＮ回転と反転の組み合わせで８倍に増量処理を実行し、結果を処理部１１ａに引き渡す（ステップＳ２０２）。
The description returns to the flowchart of the machine learning discriminator generation process of FIG. In FIG. 4, the
これを受けて処理部１１ａは、増量された各画像の学習済みＣＮＮ値を変換画像毎に平均して４０９６次元の特徴ベクトルを得る（ステップＳ２０３）。処理部１１ａは、更に、変換画像毎に出力された特徴ベクトル平均を連結して最終的なベクトル表現とする（ステップＳ２０４）。そして、ステッップＳ２１０からＳ２０４の処理を繰り返し実行して必要種類の識別器生成後（ステップＳ２０５“ＹＥＳ”）、連結された特徴ベクトルを用い、そのベクトルを入力とする線形ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）学習を行ない、機械学習識別器生成処理を終了する（ステップＳ２０６）。
Receiving this, the
図１１は、本発明の第１実施形態に係る診断装置１００Ａの試験画像の識別処理の手順（図３のステップＳ３０）を示すフローチャートである。 FIG. 11 is a flowchart showing a procedure (step S30 in FIG. 3) of test image identification processing of the diagnostic apparatus 100A according to the first embodiment of the present invention.
図１１によれば、まず、前処理部１０ａは、取得部１２ａが取得した未知の皮膚画像データに対して、部位強調、構造明瞭のための画像変換を実行する（ステップＳ３０１）。ここで行われる画像変換は、学習用皮膚画像の画像変換と同様、図５〜図１０のフローチャートにしたがう。前処理部１０ａは、更に、各変換画像を９０ｘＮ回転と反転の組み合わせで８倍に増量処理を実行し、結果を処理部１１ａに引き渡す。
According to FIG. 11, first, the
処理部１１ａは、増量された各画像の学習済みＣＮＮ値を変換画像毎に平均して４０９６次元の特徴ベクトルを得、更に、変換画像毎に出力された特徴ベクトル平均を連結して最終的なベクトル表現とする（ステップＳ３０２）。そして、処理部１１ａは、ステッップＳ３０１とＳ３０２の処理を繰り返し実行して必要種類の識別器生成後（ステップＳ３０３“ＹＥＳ”）、判定手段１１３が、全ての識別値を平均貸して最終判定値を得、例えば、表示装置１２０に表示する（ステップＳ３０４）。
The
すなわち、ステップＳ３０１〜Ｓ３０３までの処理は、画像変換の対象となる入力画像が学習用皮膚画像から試験画像（未知の画像）に変更されただけであり、必要種類の識別器生成後、学習済みの線形ＳＶＭ識別器の出力値により識別結果を得る。 In other words, the processing from step S301 to S303 is merely the change of the input image to be subjected to image conversion from the learning skin image to the test image (unknown image). The identification result is obtained from the output value of the linear SVM classifier.
（第２実施形態）
図１２に、本発明の第２実施形態に係る診断装置１００Ｂの構成が示されている。図１に示す第１実施形態に係る診断装置１００Ａとの構成上の差異は、診断装置本体１０の処理部１１ｂの構成にのみある。第２実施形態に係る診断装置１００Ｂにおいて、処理部１１ｂは、原画像を含む変換画像毎に複数の識別器を生成する構成になっている。周辺装置であるダーモスコープ付撮影装置１１０、表示装置１２０、入力装置１３０も含め他の構成は図１に示した第１実施形態に係る診断装置１００Ａと同様である。
(Second Embodiment)
FIG. 12 shows the configuration of a diagnostic apparatus 100B according to the second embodiment of the present invention. The difference in configuration from the diagnostic device 100A according to the first embodiment shown in FIG. 1 is only in the configuration of the
上記構成において、処理部１１ｂは、原画像に対して単位識別器ＣＮＮ１〜ＣＮＮ３（２１１〜２１３）、部位強調画像に対して識別器ＣＮＮ４〜ＣＮＮ６（２１４〜２１６）、構造明瞭画像に対して識別器ＣＮＮ７〜ＣＮＮ９（２１７〜２１９）がそれぞれ特徴ベクトルを生成する。この場合、識別器生成の際の学習時の初期値は、都度、乱数で決定し、同じ変換画像群に対しても、異なる識別器となるようにする。
In the above configuration, the
すなわち、第２実施形態に係る診断装置１００Ｂでは、各単位識別器２１１〜２１９は、初期値がその都度乱数によって決定されることにより、決定された初期値ごとに単位識別器の群として多段的に機能することができる。
That is, in the diagnostic apparatus 100B according to the second embodiment, each of the
（実施形態の効果）
以上説明のように本実施形態に係る診断装置１００Ａ（１００Ｂ）によれば、構造明瞭や部位強調などの画像変換を行った後、変換アリゴリズム毎に、個別で画像識別を行い、それぞれの識別スコアを総合的に判定することにより疾患の識別率を向上させることができる。
(Effect of embodiment)
As described above, according to the diagnostic apparatus 100A (100B) according to the present embodiment, after image conversion such as structural clarity and region enhancement is performed, image identification is performed individually for each conversion algorithm, and each identification score is obtained. It is possible to improve the disease identification rate by comprehensively determining the above.
具体的に、イボとホクロ識別試験による識別率を評価結果として図１３に表形式で示した。識別対象は、イボとホクロの２クラス分類とした。イボはウイルス感染や皮脂腺の多い部位の皮膚表面が変化してできるもの、ホンロは色素細胞（メラノサイト）というメラニン色素を作る細胞が変化した母斑細胞と呼ばれる細胞のかたまりで発生箇所が異なるもので、色、形状が似通っていて素人には判別が困難なケースが一定数存在する。イボかホクロかの識別には直接的な需要がある点と、症例が多くデータの入手が比較的よういである点を考慮してこのような問題設定を選択した。 Specifically, the discrimination rate by wart and mole discrimination test is shown in tabular form as an evaluation result in FIG. The identification object was classified into two classes of warts and moles. Warts are those that are caused by changes in the surface of the skin where there are many viral infections or sebaceous glands, and Honro is a cluster of cells called nevus cells that change the cells that make melanin, called pigment cells (melanocytes). There are a certain number of cases that are similar in color and shape and difficult for an amateur to distinguish. This problem setting was selected in consideration of the direct demand for discrimination between warts and moles and the relative availability of data for many cases.
評価用データは、イボ画像２６１枚、ホクロ画像７０４枚を用い、イボ画像、ホクロ画像をそれぞれ４分割して評価を行った。更に、この評価用データセットを用い、イボ、ホクロの識別学習器を用いて評価した。このイボ、ホクロの識別成功率が図１３に示されている。表には、学習済みＣＮＮを利用した個別識別（但し、前処理無し）、５種画像アンサンブル（５種類の変換画像による特徴ベクトルの連結）、７種変換画像による識別成功率がそれぞれ示されている。 As the evaluation data, 261 wart images and 704 mole images were used, and the wart image and the mole image were divided into four parts for evaluation. Furthermore, using this evaluation data set, evaluation was performed using a discriminating and learning device for warts and moles. FIG. 13 shows the success rate for identifying warts and moles. The table shows individual identification using the learned CNN (but no pre-processing), five types of image ensemble (concatenation of feature vectors by five types of converted images), and identification success rate by seven types of converted images. Yes.
図１３に示すように、個別の変換画像のみによる識別器においては、従来のＢｏＦ（Ｂａｇ−ｏｆ−Ｆｅａｔｕｒｅｓ）方式で前処理無しのグレー画像で８９．８％、ＨＤＲＣ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ Ｃｏｍｐｒｅｓｓｉｏｎ）グレー画像で８９．８％よりも約１〜２％ほど上回っており、本実施形態に係る診断装置１００Ａ（１００Ｂ）により優位性を確認することができた。また、５種アンサンブル方式に対して構造明瞭画像、血管等部位強調画像を加えた７種アンサンブル方式にすることにより、９３．９％から９４．７％へ識別成功率の向上を確認することができた。 As shown in FIG. 13, in a discriminator using only individual converted images, 89.8% of gray images without pre-processing by the conventional BoF (Bag-of-Features) method and HDRC (High Dynamic Range Compression) gray are used. The image is about 1-2% higher than 89.8%, and the superiority could be confirmed by the diagnostic apparatus 100A (100B) according to the present embodiment. In addition, it is possible to confirm the improvement of the identification success rate from 93.9% to 94.7% by using a 7-type ensemble system with a structure-clear image and a region-enhanced image such as blood vessels added to a 5-type ensemble system. did it.
最後に、以上では、本実施形態として、診断装置、及び診断装置における学習処理方法、並びにプログラムを説明したが、各要素をそれぞれの手段とする診断システムとして構築してもよい、例えば、個々の手段をネットワークで接続し、医療現場には患者の疾患に係る未知の皮膚画像データを取得する手段を端末として配置し、その皮膚画像データをもとに診断されるべき疾患を識別する手段を専門機関が有するサーバに配置するようにしてもよい。 Finally, in the above description, the diagnosis apparatus, the learning processing method in the diagnosis apparatus, and the program have been described as the present embodiment. However, the diagnosis apparatus may be constructed as each means of each element. Specializes in identifying the diseases to be diagnosed based on the skin image data by connecting the devices with a network, and placing medical means at the terminal as a terminal to obtain unknown skin image data related to the patient's disease. You may make it arrange | position to the server which an organization has.
以上、実施形態を用いて本発明を説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されないことは言うまでもない。上記実施形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。またその様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。 As mentioned above, although this invention was demonstrated using embodiment, it cannot be overemphasized that the technical scope of this invention is not limited to the range as described in the said embodiment. It will be apparent to those skilled in the art that various modifications or improvements can be added to the above-described embodiments. Further, it is apparent from the scope of the claims that the embodiments added with such changes or improvements can be included in the technical scope of the present invention.
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
［請求項１］
皮膚画像を用いて皮膚の疾患を診断するための診断装置であって、
診断されるべき対象に係わる複数の未知の皮膚画像データに基づいて疾患であるか否かを識別するアンサンブル識別器を備え、
前記アンサンブル識別器が、
前記対象に係る原画像データ、前記原画像データから変換された第１の変換画像データ及び同じく第２の変換画像データのうち少なくとも２つを含む前記複数の皮膚画像データに対応するように、少なくとも２つの単位識別器と、
前記単位識別器によって各別に得られた識別値を統合し、最終判定値を得る判定手段と、を備えることを特徴とする診断装置。
［請求項２］
前記アンサンブル識別器が、前記対象に係る原画像データ、前記原画像データから変換された第１の変換画像データ及び同じく第２の変換画像データを含む前記複数の未知の皮膚画像データに対応するように、３つの単位識別器を備えることを特徴とする請求項１に記載の診断装置。
［請求項３］
前記アンサンブル識別器が、前記対象に係る原画像に係る原画像データから変換された第１の変換画像データ、及び前記第１の変換画像データを回転及び／又は反転させた複数の回転反転画像のうち少なくとも２つを含む前記複数の未知の皮膚画像データに対応するように、少なくとも２つの単位識別器を備えることを特徴とする請求項１に記載の診断装置。
［請求項４］
前記アンサンブル識別器が、前記対象に係る原画像データから変換された第２の変換画像データ、及び前記第２の変換画像データを回転及び／又は反転させた複数の回転及び／又は反転画像のうち少なくとも２つを含む前記複数の未知の皮膚画像データに対応するように、少なくとも２つの単位識別器を備えることを特徴とする請求項１に記載の診断装置。
［請求項５］
各単位識別器が、初期値がその都度乱数によって決定されることにより、決定された初期値ごとに単位識別器の群として多段的に機能することを特徴とする請求項１から４のいずれか１項に記載の診断装置。
［請求項６］
前記判定手段が、前記複数の識別値を平均して統合することを特徴とする請求項１から５のいずれか１項に記載の診断装置。
［請求項７］
前記第１の変換画像データが前記原画像データに対し構造明瞭変換処理が施された画像データであり、前記構造明瞭変換処理が前記原画像データの輝度成分を強調する処理であることを特徴とする請求項１から６のいずれか１項に記載の診断装置。
［請求項８］
前記第２の変換画像データが前記原画像データに対し部位強調処理が施された画像データであり、前記部位強調変換処理が前記原画像データの輝度成分又は輝度成分及び色情報成分から該当する部位を抽出する処理であることを特徴とすることを特徴とする請求項１から６のいずれか１項に記載の診断装置。
［請求項９］
疾患の識別名称と既知の皮膚画像データを関連付けて記録している皮膚画像データベースと、前記複数の未知の皮膚画像データを取得可能な取得部と、をさらに備えることを特徴とする請求項１から８のいずれか１項に記載の診断装置。
［請求項１０］
前記単位識別器が、疾患に係る複数の既知の皮膚画像データに基づいて学習する畳み込みニューラルネットワークを有し、
前記畳み込みニューラルネットワークが、
学習段階では前記複数の既知の皮膚画像データが、試験段階では前記複数の未知の皮膚画像データが入力される入力層と、
畳み込み層とプーリング層から構成されたセットを複数有し、前記複数の既知の皮膚画像データ又は前記複数の未知の皮膚画像データから特徴を抽出する中間層と、
抽出された前記特徴に基づき診断対象の分類ごとに識別値を出力する出力層と、を備えることを特徴とする請求項１から９のいずれか１項に記載の診断装置。
［請求項１１］
診断されるべき対象に係る複数の未知の皮膚画像データに基づいて疾患であるか否かを識別するアンサンブル識別器を備えた診断装置における学習処理方法であって、
前記対象に係る原画像データ、前記原画像データから変換された第１の変換画像データ及び同じく第２の変換画像データの少なくとも２つを含む前記複数の未知の皮膚画像データを取得するステップと、
前記アンサンブル識別器を構成する少なくとも２つの単位識別器に、前記複数の未知の皮膚画像データのそれぞれを入力するステップと、
前記単位識別器によって各別に得られた識別値を統合して最終判定値を得るステップと、を有することを特徴とする診断装置における学習処理方法。
［請求項１２］
診断されるべき対象に係る複数の未知の皮膚画像データに基づいて疾患であるか否かを識別するアンサンブル識別器を備えた診断装置の学習処理プログラムであって、
コンピュータに、
前記対象に係る原画像データ、前記原画像データから変換された第１の変換画像データ及び同じく第２の変換画像データの少なくとも２つを含む前記複数の未知の皮膚画像データを取得する手順と、
前記アンサンブル識別器を構成する少なくとも２つの単位識別器に、前記複数の未知の皮膚画像データのそれぞれを入力する手順と、
前記単位識別器によって各別に得られた識別値を統合して最終判定値を得る手順と、を実行させる学習処理プログラム。
The invention described in the scope of claims attached to the application of this application will be added below. The item numbers of the claims described in the appendix are as set forth in the claims attached to the application of this application.
[Claim 1]
A diagnostic device for diagnosing skin diseases using skin images,
An ensemble classifier that identifies whether or not the disease is based on a plurality of unknown skin image data relating to the subject to be diagnosed;
The ensemble identifier is
At least so as to correspond to the plurality of skin image data including at least two of the original image data relating to the object, the first converted image data converted from the original image data, and the second converted image data. Two unit identifiers;
A diagnostic device comprising: a determination unit that integrates identification values obtained by the unit classifiers to obtain a final determination value.
[Claim 2]
The ensemble classifier corresponds to the plurality of unknown skin image data including the original image data related to the object, the first converted image data converted from the original image data, and the second converted image data. The diagnostic apparatus according to
[Claim 3]
The ensemble discriminator includes first converted image data converted from original image data related to the original image related to the target, and a plurality of rotation inverted images obtained by rotating and / or inverting the first converted image data. The diagnostic apparatus according to
[Claim 4]
Among the plurality of rotated and / or inverted images obtained by rotating and / or inverting the second converted image data converted from the original image data related to the target and the second converted image data by the ensemble classifier The diagnostic apparatus according to
[Claim 5]
5. Each unit discriminator functions in a multistage manner as a group of unit discriminators for each determined initial value by determining an initial value by a random number each time. The diagnostic device according to
[Claim 6]
The diagnostic apparatus according to
[Claim 7]
The first converted image data is image data obtained by performing structural clarity conversion processing on the original image data, and the structural clarity conversion processing is processing for enhancing a luminance component of the original image data. The diagnostic apparatus according to any one of
[Claim 8]
The second converted image data is image data obtained by performing part enhancement processing on the original image data, and the part enhancement conversion processing corresponds to a luminance component or a luminance component and a color information component of the original image data. The diagnostic apparatus according to
[Claim 9]
The apparatus further comprises a skin image database in which a disease identification name and known skin image data are recorded in association with each other, and an acquisition unit capable of acquiring the plurality of unknown skin image data. 9. The diagnostic device according to any one of
[Claim 10]
The unit identifier has a convolutional neural network that learns based on a plurality of known skin image data related to a disease,
The convolutional neural network is
In the learning stage, the plurality of known skin image data, and in the test stage, the input layer to which the plurality of unknown skin image data is input,
A plurality of sets composed of convolutional layers and pooling layers, and an intermediate layer for extracting features from the plurality of known skin image data or the plurality of unknown skin image data;
The diagnostic apparatus according to
[Claim 11]
A learning processing method in a diagnostic apparatus comprising an ensemble discriminator for identifying whether or not a disease is based on a plurality of unknown skin image data relating to a subject to be diagnosed,
Obtaining the plurality of unknown skin image data including at least two of the original image data relating to the object, the first converted image data converted from the original image data, and the second converted image data;
Inputting each of the plurality of unknown skin image data into at least two unit classifiers constituting the ensemble classifier;
And a step of integrating identification values obtained separately by the unit classifier to obtain a final determination value.
[Claim 12]
A learning processing program for a diagnostic device comprising an ensemble classifier that identifies whether or not a disease is based on a plurality of unknown skin image data relating to a subject to be diagnosed,
On the computer,
Obtaining the plurality of unknown skin image data including at least two of the original image data relating to the object, the first converted image data converted from the original image data, and the second converted image data;
Inputting each of the plurality of unknown skin image data to at least two unit classifiers constituting the ensemble classifier;
A learning processing program for executing a procedure for integrating final identification values by integrating identification values obtained separately by the unit classifier.
１０…診断装置本体、１０ａ，１０ｂ…前処理部、１１ａ，１１ａ…処理部（アンサンブル識別器）、１２ａ，１２ｂ…取得部、１００Ａ，１００Ｂ…診断装置、１０３…学習用皮膚画像記憶部、１０４…画像記憶部、１０３…学習用皮膚画像記憶部、１１０…ダーモスコープ付き撮影装置、１２０…表示装置、１３０…入力装置、１０１…分離手段、１０２…抽出手段、１０２ａ…第１の抽出手段、１０２ｂ…第２の抽出手段、１１１，１１２，２０１〜２０９…単位識別器、１１３…判定手段、１１１ａ…入力層、１１１ｂ…中間層、１１１ｃ…出力層、ａ…処理ユニット、ｂ…特徴マップ
DESCRIPTION OF
Claims (12)
診断されるべき対象に係わる複数の未知の皮膚画像データに基づいて疾患であるか否かを識別するアンサンブル識別器を備え、
前記アンサンブル識別器が、
前記対象に係る原画像データ、前記原画像データから変換された第１の変換画像データ及び同じく第２の変換画像データのうち少なくとも２つを含む前記複数の皮膚画像データに対応するように、少なくとも２つの単位識別器と、
前記単位識別器によって各別に得られた識別値を統合し、最終判定値を得る判定手段と、を備えることを特徴とする診断装置。 A diagnostic device for diagnosing skin diseases using skin images,
An ensemble classifier that identifies whether or not the disease is based on a plurality of unknown skin image data relating to the subject to be diagnosed;
The ensemble identifier is
At least so as to correspond to the plurality of skin image data including at least two of the original image data relating to the object, the first converted image data converted from the original image data, and the second converted image data. Two unit identifiers;
A diagnostic device comprising: a determination unit that integrates identification values obtained by the unit classifiers to obtain a final determination value.
前記畳み込みニューラルネットワークが、
学習段階では前記複数の既知の皮膚画像データが、試験段階では前記複数の未知の皮膚画像データが入力される入力層と、
畳み込み層とプーリング層から構成されたセットを複数有し、前記複数の既知の皮膚画像データ又は前記複数の未知の皮膚画像データから特徴を抽出する中間層と、
抽出された前記特徴に基づき診断対象の分類ごとに識別値を出力する出力層と、を備えることを特徴とする請求項１から９のいずれか１項に記載の診断装置。 The unit identifier has a convolutional neural network that learns based on a plurality of known skin image data related to a disease,
The convolutional neural network is
In the learning stage, the plurality of known skin image data, and in the test stage, the input layer to which the plurality of unknown skin image data is input,
A plurality of sets composed of convolutional layers and pooling layers, and an intermediate layer for extracting features from the plurality of known skin image data or the plurality of unknown skin image data;
The diagnostic apparatus according to claim 1, further comprising: an output layer that outputs an identification value for each classification of the diagnosis target based on the extracted feature.
前記対象に係る原画像データ、前記原画像データから変換された第１の変換画像データ及び同じく第２の変換画像データの少なくとも２つを含む前記複数の未知の皮膚画像データを取得するステップと、
前記アンサンブル識別器を構成する少なくとも２つの単位識別器に、前記複数の未知の皮膚画像データのそれぞれを入力するステップと、
前記単位識別器によって各別に得られた識別値を統合して最終判定値を得るステップと、を有することを特徴とする診断装置における学習処理方法。 A learning processing method in a diagnostic apparatus comprising an ensemble discriminator for identifying whether or not a disease is based on a plurality of unknown skin image data relating to a subject to be diagnosed,
Obtaining the plurality of unknown skin image data including at least two of the original image data relating to the object, the first converted image data converted from the original image data, and the second converted image data;
Inputting each of the plurality of unknown skin image data into at least two unit classifiers constituting the ensemble classifier;
And a step of integrating identification values obtained separately by the unit classifier to obtain a final determination value.
コンピュータに、
前記対象に係る原画像データ、前記原画像データから変換された第１の変換画像データ及び同じく第２の変換画像データの少なくとも２つを含む前記複数の未知の皮膚画像データを取得する手順と、
前記アンサンブル識別器を構成する少なくとも２つの単位識別器に、前記複数の未知の皮膚画像データのそれぞれを入力する手順と、
前記単位識別器によって各別に得られた識別値を統合して最終判定値を得る手順と、を実行させる学習処理プログラム。 A learning processing program for a diagnostic device comprising an ensemble classifier that identifies whether or not a disease is based on a plurality of unknown skin image data relating to a subject to be diagnosed,
On the computer,
Obtaining the plurality of unknown skin image data including at least two of the original image data relating to the object, the first converted image data converted from the original image data, and the second converted image data;
Inputting each of the plurality of unknown skin image data to at least two unit classifiers constituting the ensemble classifier;
A learning processing program for executing a procedure for integrating final identification values by integrating identification values obtained separately by the unit classifier.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015168404A JP6528608B2 (en) | 2015-08-28 | 2015-08-28 | Diagnostic device, learning processing method in diagnostic device, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015168404A JP6528608B2 (en) | 2015-08-28 | 2015-08-28 | Diagnostic device, learning processing method in diagnostic device, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017045341A true JP2017045341A (en) | 2017-03-02 |
| JP6528608B2 JP6528608B2 (en) | 2019-06-12 |
Family
ID=58211562
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015168404A Active JP6528608B2 (en) | 2015-08-28 | 2015-08-28 | Diagnostic device, learning processing method in diagnostic device, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6528608B2 (en) |
Cited By (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3373204A1 (en) | 2017-03-08 | 2018-09-12 | Casio Computer Co., Ltd. | Identification apparatus, identification method and program |
| JP2018161206A (en) * | 2017-03-24 | 2018-10-18 | カシオ計算機株式会社 | Image processing apparatus, image processing method, and program |
| CN109523522A (en) * | 2018-10-30 | 2019-03-26 | 腾讯科技（深圳）有限公司 | Processing method, device, system and the storage medium of endoscopic images |
| WO2019088121A1 (en) | 2017-10-30 | 2019-05-09 | 公益財団法人がん研究会 | Image diagnosis assistance apparatus, data collection method, image diagnosis assistance method, and image diagnosis assistance program |
| WO2019102844A1 (en) | 2017-11-21 | 2019-05-31 | 国立研究開発法人理化学研究所 | Classification device, classification method, program, and information recording medium |
| JP2019103412A (en) * | 2017-12-11 | 2019-06-27 | 憲隆 福永 | Embryo selection system |
| KR20190090583A (en) * | 2018-01-25 | 2019-08-02 | 안준범 | A device that divides the body skin into the type of skin required for the procedure through image analysis using convolution neural network |
| JP2019141090A (en) * | 2019-05-07 | 2019-08-29 | 憲隆 福永 | Embryo selection system |
| WO2019230447A1 (en) * | 2018-06-01 | 2019-12-05 | 株式会社フロンティアファーマ | Image processing method, medicine sensitivity test method and image processing device |
| JP2019212296A (en) * | 2018-05-31 | 2019-12-12 | キヤノンメディカルシステムズ株式会社 | Medical information processing device, method and program |
| JP2019211468A (en) * | 2018-06-01 | 2019-12-12 | 株式会社フロンティアファーマ | Image processing method, chemical sensitivity testing method and image processing device |
| WO2019245009A1 (en) | 2018-06-22 | 2019-12-26 | 株式会社Ａｉメディカルサービス | Method of assisting disease diagnosis based on endoscope image of digestive organ, diagnosis assistance system, diagnosis assistance program, and computer-readable recording medium having said diagnosis assistance program stored thereon |
| WO2020105699A1 (en) | 2018-11-21 | 2020-05-28 | 株式会社Ａｉメディカルサービス | Disease diagnostic assistance method based on digestive organ endoscopic images, diagnostic assistance system, diagnostic assistance program, and computer-readable recording medium having diagnostic assistance program stored thereon |
| JP2020519853A (en) * | 2017-04-13 | 2020-07-02 | シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレーテッドＳｉｅｍｅｎｓ Ｈｅａｌｔｈｃａｒｅ Ｄｉａｇｎｏｓｔｉｃｓ Ｉｎｃ． | HILN evaluation method and apparatus using convolutional neural network |
| JP2020144700A (en) * | 2019-03-07 | 2020-09-10 | 株式会社日立製作所 | Diagnostic imaging apparatus, image processing method and program |
| JP2020155111A (en) * | 2019-03-22 | 2020-09-24 | ネイバー コーポレーションＮＡＶＥＲ Ｃｏｒｐｏｒａｔｉｏｎ | Framework for combining multi-global descriptors for image search |
| CN112689756A (en) * | 2018-09-12 | 2021-04-20 | 分子装置有限公司 | System and method for label-free identification and classification of biological samples |
| CN112789686A (en) * | 2018-10-02 | 2021-05-11 | 翰林大学产学合作团 | Device and method for diagnosing stomach pathological changes by deep learning of stomach endoscope images |
| JP2021513167A (en) * | 2018-05-16 | 2021-05-20 | テンセント・テクノロジー・（シェンジェン）・カンパニー・リミテッド | Image recognition method, storage medium and computer equipment |
| US11017264B2 (en) | 2018-12-03 | 2021-05-25 | Samsung Electronics Co., Ltd. | Method and apparatus with dilated convolution |
| EP3862923A1 (en) | 2020-02-07 | 2021-08-11 | Casio Computer Co., Ltd. | Identification apparatus, identifier training method, identification method, and program |
| US11100638B2 (en) | 2017-07-31 | 2021-08-24 | Hitachi, Ltd. | Medical imaging device and medical image processing method using a neutral network |
| JP2021133142A (en) * | 2020-02-28 | 2021-09-13 | 株式会社日立製作所 | Medical imaging apparatus, medical image processing apparatus and image processing program |
| JP2021144749A (en) * | 2017-12-08 | 2021-09-24 | 日本電気株式会社 | Person collation device, method, and program |
| JP2022507002A (en) * | 2018-10-02 | 2022-01-18 | インダストリー アカデミック コオペレーション ファウンデーション、ハルリム ユニヴァーシティ | Endoscopic devices and methods for diagnosing gastric lesions based on real-time gastroscopy images |
| KR102365783B1 (en) * | 2021-11-30 | 2022-02-21 | 주식회사 미모바이오 | Method and device for generating customized prescription data based on artificial intelligence |
| US11270433B2 (en) | 2017-06-09 | 2022-03-08 | Ai Medical Service Inc. | Disease diagnosis support method employing endoscopic images of a digestive organ, a diagnosis support system, a diagnosis support program and a computer-readable recording medium having the diagnosis support program stored therein |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005192944A (en) * | 2004-01-09 | 2005-07-21 | Keio Gijuku | Remote diagnostic system for pigmentation region |
| JP2006350704A (en) * | 2005-06-16 | 2006-12-28 | Fujifilm Holdings Corp | Learning method of discriminator, and face discrimination method, device, and program |
| JP2009295100A (en) * | 2008-06-09 | 2009-12-17 | Denso Corp | Image identifying device |
| JP2010504578A (en) * | 2006-09-22 | 2010-02-12 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | A method for feature selection based on genetic algorithm using classifier ensemble |
| WO2015066628A1 (en) * | 2013-11-04 | 2015-05-07 | Facebook, Inc. | Systems and methods for facial representation |
-
2015
- 2015-08-28 JP JP2015168404A patent/JP6528608B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005192944A (en) * | 2004-01-09 | 2005-07-21 | Keio Gijuku | Remote diagnostic system for pigmentation region |
| JP2006350704A (en) * | 2005-06-16 | 2006-12-28 | Fujifilm Holdings Corp | Learning method of discriminator, and face discrimination method, device, and program |
| JP2010504578A (en) * | 2006-09-22 | 2010-02-12 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | A method for feature selection based on genetic algorithm using classifier ensemble |
| JP2009295100A (en) * | 2008-06-09 | 2009-12-17 | Denso Corp | Image identifying device |
| WO2015066628A1 (en) * | 2013-11-04 | 2015-05-07 | Facebook, Inc. | Systems and methods for facial representation |
Cited By (55)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11004227B2 (en) | 2017-03-08 | 2021-05-11 | Casio Computer Co., Ltd. | Identification apparatus, identification method and non-transitory computer-readable recording medium |
| EP3373204A1 (en) | 2017-03-08 | 2018-09-12 | Casio Computer Co., Ltd. | Identification apparatus, identification method and program |
| JP2018161206A (en) * | 2017-03-24 | 2018-10-18 | カシオ計算機株式会社 | Image processing apparatus, image processing method, and program |
| JP7024197B2 (en) | 2017-03-24 | 2022-02-24 | カシオ計算機株式会社 | Image processing equipment, image processing methods and programs |
| JP2020519853A (en) * | 2017-04-13 | 2020-07-02 | シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレーテッドＳｉｅｍｅｎｓ Ｈｅａｌｔｈｃａｒｅ Ｄｉａｇｎｏｓｔｉｃｓ Ｉｎｃ． | HILN evaluation method and apparatus using convolutional neural network |
| JP7055818B2 (en) | 2017-04-13 | 2022-04-18 | シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレーテッド | HILIN evaluation method and device using convolutional neural network |
| US11238318B2 (en) | 2017-04-13 | 2022-02-01 | Siemens Healthcare Diagnostics Inc. | Methods and apparatus for HILN characterization using convolutional neural network |
| US11270433B2 (en) | 2017-06-09 | 2022-03-08 | Ai Medical Service Inc. | Disease diagnosis support method employing endoscopic images of a digestive organ, a diagnosis support system, a diagnosis support program and a computer-readable recording medium having the diagnosis support program stored therein |
| US11100638B2 (en) | 2017-07-31 | 2021-08-24 | Hitachi, Ltd. | Medical imaging device and medical image processing method using a neutral network |
| WO2019088121A1 (en) | 2017-10-30 | 2019-05-09 | 公益財団法人がん研究会 | Image diagnosis assistance apparatus, data collection method, image diagnosis assistance method, and image diagnosis assistance program |
| US11633084B2 (en) | 2017-10-30 | 2023-04-25 | Japanese Foundation For Cancer Research | Image diagnosis assistance apparatus, data collection method, image diagnosis assistance method, and image diagnosis assistance program |
| KR20200106028A (en) | 2017-10-30 | 2020-09-10 | 고에키자이단호진 간겐큐카이 | Image diagnosis support device, data collection method, image diagnosis support method, and image diagnosis support program |
| US11263494B2 (en) | 2017-11-21 | 2022-03-01 | Riken | Classification device, classification method, program, and information recording medium |
| WO2019102844A1 (en) | 2017-11-21 | 2019-05-31 | 国立研究開発法人理化学研究所 | Classification device, classification method, program, and information recording medium |
| US11495057B2 (en) | 2017-12-08 | 2022-11-08 | Nec Corporation | Person verification device and method and non-transitory computer readable media |
| US11748864B2 (en) | 2017-12-08 | 2023-09-05 | Nec Corporation | Person verification device and method and non-transitory computer readable media |
| US11763435B2 (en) | 2017-12-08 | 2023-09-19 | Nec Corporation | Person verification device and method and non-transitory computer readable media |
| JP2021144749A (en) * | 2017-12-08 | 2021-09-24 | 日本電気株式会社 | Person collation device, method, and program |
| US11776098B2 (en) | 2017-12-08 | 2023-10-03 | Nec Corporation | Person verification device and method and non-transitory computer readable media |
| JP2019103412A (en) * | 2017-12-11 | 2019-06-27 | 憲隆 福永 | Embryo selection system |
| KR102121462B1 (en) | 2018-01-25 | 2020-06-10 | 안준범 | A device that divides the body skin into the type of skin required for the procedure through image analysis using convolution neural network |
| KR20190090583A (en) * | 2018-01-25 | 2019-08-02 | 안준범 | A device that divides the body skin into the type of skin required for the procedure through image analysis using convolution neural network |
| JP7085007B2 (en) | 2018-05-16 | 2022-06-15 | テンセント・テクノロジー・（シェンジェン）・カンパニー・リミテッド | Image recognition methods, computer devices and programs |
| US11270169B2 (en) | 2018-05-16 | 2022-03-08 | Tencent Technology (Shenzhen) Company Limited | Image recognition method, storage medium and computer device |
| JP2021513167A (en) * | 2018-05-16 | 2021-05-20 | テンセント・テクノロジー・（シェンジェン）・カンパニー・リミテッド | Image recognition method, storage medium and computer equipment |
| JP7366583B2 (en) | 2018-05-31 | 2023-10-23 | キヤノンメディカルシステムズ株式会社 | Medical information processing device, method and program |
| JP2019212296A (en) * | 2018-05-31 | 2019-12-12 | キヤノンメディカルシステムズ株式会社 | Medical information processing device, method and program |
| US11734824B2 (en) | 2018-06-01 | 2023-08-22 | Frontier Pharma Inc. | Image processing method, drug sensitivity test method and image processing apparatus |
| WO2019230447A1 (en) * | 2018-06-01 | 2019-12-05 | 株式会社フロンティアファーマ | Image processing method, medicine sensitivity test method and image processing device |
| CN112135912A (en) * | 2018-06-01 | 2020-12-25 | 株式会社前沿制药 | Image processing method, drug sensitivity test method, and image processing device |
| JP2019211468A (en) * | 2018-06-01 | 2019-12-12 | 株式会社フロンティアファーマ | Image processing method, chemical sensitivity testing method and image processing device |
| WO2019245009A1 (en) | 2018-06-22 | 2019-12-26 | 株式会社Ａｉメディカルサービス | Method of assisting disease diagnosis based on endoscope image of digestive organ, diagnosis assistance system, diagnosis assistance program, and computer-readable recording medium having said diagnosis assistance program stored thereon |
| CN112689756A (en) * | 2018-09-12 | 2021-04-20 | 分子装置有限公司 | System and method for label-free identification and classification of biological samples |
| JP7218432B2 (en) | 2018-10-02 | 2023-02-06 | インダストリー アカデミック コオペレーション ファウンデーション、ハルリム ユニヴァーシティ | Endoscope apparatus and method for diagnosing gastric lesions based on gastroscopic images acquired in real time |
| JP2022502150A (en) * | 2018-10-02 | 2022-01-11 | インダストリー アカデミック コオペレーション ファウンデーション、ハルリム ユニヴァーシティ | Devices and methods for diagnosing gastric lesions using deep learning of gastroscopy images |
| JP2022507002A (en) * | 2018-10-02 | 2022-01-18 | インダストリー アカデミック コオペレーション ファウンデーション、ハルリム ユニヴァーシティ | Endoscopic devices and methods for diagnosing gastric lesions based on real-time gastroscopy images |
| CN112789686A (en) * | 2018-10-02 | 2021-05-11 | 翰林大学产学合作团 | Device and method for diagnosing stomach pathological changes by deep learning of stomach endoscope images |
| CN109523522A (en) * | 2018-10-30 | 2019-03-26 | 腾讯科技（深圳）有限公司 | Processing method, device, system and the storage medium of endoscopic images |
| US11849914B2 (en) | 2018-10-30 | 2023-12-26 | Tencent Technology (Shenzhen) Company Limited | Endoscopic image processing method and system, and computer device |
| JP7214291B2 (en) | 2018-10-30 | 2023-01-30 | ▲騰▼▲訊▼科技（深▲セン▼）有限公司 | COMPUTER DEVICE OPERATING METHOD, COMPUTER DEVICE, COMPUTER PROGRAM, AND ENDOSCOPE IMAGE PROCESSING SYSTEM |
| JP2021519663A (en) * | 2018-10-30 | 2021-08-12 | ▲騰▼▲訊▼科技（深▲セン▼）有限公司 | Endoscopic image processing methods, systems, computer devices and computer programs |
| WO2020105699A1 (en) | 2018-11-21 | 2020-05-28 | 株式会社Ａｉメディカルサービス | Disease diagnostic assistance method based on digestive organ endoscopic images, diagnostic assistance system, diagnostic assistance program, and computer-readable recording medium having diagnostic assistance program stored thereon |
| US11017264B2 (en) | 2018-12-03 | 2021-05-25 | Samsung Electronics Co., Ltd. | Method and apparatus with dilated convolution |
| US11854241B2 (en) | 2018-12-03 | 2023-12-26 | Samsung Electronics Co., Ltd. | Method and apparatus with dilated convolution |
| JP2020144700A (en) * | 2019-03-07 | 2020-09-10 | 株式会社日立製作所 | Diagnostic imaging apparatus, image processing method and program |
| JP7218215B2 (en) | 2019-03-07 | 2023-02-06 | 株式会社日立製作所 | Image diagnosis device, image processing method and program |
| US11373301B2 (en) | 2019-03-07 | 2022-06-28 | Hitachi, Ltd. | Image diagnostic device, image processing method, and program for obtaining diagnostic prediction models using deep learning |
| JP2020155111A (en) * | 2019-03-22 | 2020-09-24 | ネイバー コーポレーションＮＡＶＥＲ Ｃｏｒｐｏｒａｔｉｏｎ | Framework for combining multi-global descriptors for image search |
| JP2019141090A (en) * | 2019-05-07 | 2019-08-29 | 憲隆 福永 | Embryo selection system |
| JP7000379B2 (en) | 2019-05-07 | 2022-01-19 | 憲隆 福永 | Embryo selection system |
| EP3862923A1 (en) | 2020-02-07 | 2021-08-11 | Casio Computer Co., Ltd. | Identification apparatus, identifier training method, identification method, and program |
| US11295443B2 (en) | 2020-02-07 | 2022-04-05 | Casio Computer Co., Ltd. | Identification apparatus, identifier training method, identification method, and recording medium |
| JP7256765B2 (en) | 2020-02-28 | 2023-04-12 | 株式会社日立製作所 | Medical imaging device, medical image processing device, and image processing program |
| JP2021133142A (en) * | 2020-02-28 | 2021-09-13 | 株式会社日立製作所 | Medical imaging apparatus, medical image processing apparatus and image processing program |
| KR102365783B1 (en) * | 2021-11-30 | 2022-02-21 | 주식회사 미모바이오 | Method and device for generating customized prescription data based on artificial intelligence |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6528608B2 (en) | 2019-06-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6528608B2 (en) | Diagnostic device, learning processing method in diagnostic device, and program | |
| Schilham et al. | A computer-aided diagnosis system for detection of lung nodules in chest radiographs with an evaluation on a public database | |
| Giancardo et al. | Microaneurysm detection with radon transform-based classification on retina images | |
| JP6361776B2 (en) | Diagnosis support apparatus, image processing method and program in diagnosis support apparatus | |
| CN107862249B (en) | Method and device for identifying split palm prints | |
| Kaur et al. | Brain tumor detection using self-adaptive K-means clustering | |
| Odstrcilik et al. | Thickness related textural properties of retinal nerve fiber layer in color fundus images | |
| JP6578058B2 (en) | Image processing apparatus, method for operating image processing apparatus, and operation program for image processing apparatus | |
| Khordehchi et al. | Automatic lung nodule detection based on statistical region merging and support vector machines | |
| Cavalcanti et al. | A coarse-to-fine approach for segmenting melanocytic skin lesions in standard camera images | |
| Mishra et al. | Automatic lesion border selection in dermoscopy images using morphology and color features | |
| AU2015275262B2 (en) | Diagnostic apparatus for lesion, image processing method in the same apparatus, and medium storing program associated with the same method | |
| JP6519703B2 (en) | Image processing method, diagnostic device, and program | |
| JP6069582B2 (en) | Biometric authentication device, biometric authentication method, and program | |
| JP6187535B2 (en) | Diagnosis support apparatus, image processing method in the diagnosis support apparatus, and program thereof | |
| JP6503733B2 (en) | Diagnosis support apparatus, image processing method in the diagnosis support apparatus, and program thereof | |
| JP6117988B2 (en) | Biometric authentication device, biometric authentication method, and program | |
| JP6431044B2 (en) | Biometric authentication device, biometric authentication method, and program | |
| Goyal | Gaussian filtering based image integration for improved disease diagnosis and treatment planning | |
| JP6838549B2 (en) | Diagnostic support device, image processing method and its program | |
| JP6459410B2 (en) | Diagnostic device, image processing method in the diagnostic device, and program thereof | |
| Esgario et al. | Beyond Visual Image: Automated Diagnosis of Pigmented Skin Lesions Combining Clinical Image Features with Patient Data | |
| Lidayová et al. | Coverage segmentation of thin structures by linear unmixing and local centre of gravity attraction | |
| Pranay et al. | Detection Analysis of Diabetic Retinopathy Using Modified DensNet-121 | |
| Ghazal et al. | Exploring Types of Multi-Focus Image Fusion |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171114 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181105 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181204 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190131 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190416 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190429 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6528608 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |