JP7176486B2 - Similar image display control device, similar image display control system, similar image display control method and program - Google Patents
Similar image display control device, similar image display control system, similar image display control method and program Download PDFInfo
- Publication number
- JP7176486B2 JP7176486B2 JP2019122644A JP2019122644A JP7176486B2 JP 7176486 B2 JP7176486 B2 JP 7176486B2 JP 2019122644 A JP2019122644 A JP 2019122644A JP 2019122644 A JP2019122644 A JP 2019122644A JP 7176486 B2 JP7176486 B2 JP 7176486B2
- Authority
- JP
- Japan
- Prior art keywords
- similar
- category
- image
- display control
- disease
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
本発明は、類似画像表示制御装置、類似画像表示制御システム、類似画像表示制御方法及びプログラムに関する。 The present invention relates to a similar image display control device, a similar image display control system, a similar image display control method, and a program.
皮膚科において、皮膚の疾患の診断は、熟練を要し、かなり困難な作業である。そこで、最近では、患部を撮影してその撮影画像をコンピュータにより解析する技術が開発されてきている。大量の症例をデータベース化して、患者の患部の撮影画像をクエリ画像として類似画像検索を行い、類似した症例を参考に診断を行なうものである。
類似画像を表示する装置として、例えば、特許文献１には、画像データベースに登録されている画像の中から、クエリ画像と類似する類似画像を抽出し、クエリ画像の周囲に類似画像を配置するとともに、クエリ画像と類似画像間を連結表示した検索結果を表示手段に提示する画像検索装置等が記載されている。
また、診断を支援するために、患部の良性／悪性を判定する技術も開発されてきている。例えば、非特許文献１には、皮膚疾患の良性／悪性の度合いを１軸の情報で視覚的に提供する診断支援装置が記載されている。
In dermatology, diagnosis of skin diseases is a very difficult task requiring skill. Therefore, recently, a technique has been developed in which an affected part is photographed and the photographed image is analyzed by a computer. A database of a large number of cases is created, a similar image search is performed using a photographed image of a patient's affected area as a query image, and a diagnosis is made with reference to similar cases.
As a device for displaying similar images, for example, Patent Document 1 discloses extracting similar images similar to a query image from among images registered in an image database, and arranging the similar images around the query image. , an image retrieval device that presents a retrieval result in which a query image and a similar image are linked and displayed on a display means.
Techniques for judging whether an affected area is benign or malignant have also been developed to assist diagnosis. For example, Non-Patent Document 1 describes a diagnostic support device that visually provides the degree of benign/malignant skin disease as uniaxial information.
特許文献１に記載の画像検索装置は、クエリ画像と類似する画像をクエリ画像の周囲にリンク線とともに表示し、新たなクエリ画像が指定された場合、過去の検索結果に追加表示することはできるが、クエリ画像と類似する複数の画像について、その類似の関係性がわかりにくいという課題があった。
また、非特許文献１に記載の診断支援装置は、診断対象部分の良性／悪性の度合いを視覚的に把握できる情報を提供するが、良性／悪性の度合いしか把握できず、診断対象部分の疾患の属性情報を把握しにくいという課題があった。
The image search device described in Patent Document 1 displays images similar to the query image together with link lines around the query image, and when a new query image is specified, it can be additionally displayed in addition to past search results. However, there is a problem that it is difficult to understand the similarity relationship between multiple images similar to the query image.
In addition, although the diagnostic support device described in Non-Patent Document 1 provides information that allows a visual grasp of the degree of benign/malignantness of a portion to be diagnosed, only the degree of benign/malignantness can be grasped, and the disease of the portion to be diagnosed There was a problem that it was difficult to grasp the attribute information of
本発明は、上記問題を解決するためになされたものであり、従来よりも類似画像間の関係性をよりわかりやすく表示させることができる類似画像表示制御装置、類似画像表示制御システム、類似画像表示制御方法及びプログラムを提供することである。 The present invention has been made to solve the above problems, and is capable of displaying the relationship between similar images in a more comprehensible manner than in the past . It is to provide a display control method and program.
上記目的を達成するため、本発明の類似画像表示制御装置は、
クエリ画像に対する類似画像検索の結果得られた類似画像を複数取得する類似画像取得手段と、
前記類似画像取得手段が取得した複数の類似画像を分類する複数のカテゴリを設定するカテゴリ設定手段と、
２以上の所定の次元数の次元の空間における、前記カテゴリ設定手段が設定した各カテゴリを示す領域であるカテゴリ領域の位置を示す座標を、前記次元数の種類の属性に従って決定する位置決定手段と、
前記類似画像取得手段が取得した複数の類似画像を前記複数の類似画像夫々に付加されているタグ情報に基づいて、前記カテゴリ設定手段が設定した複数のカテゴリのいずれかに分類する分類手段と、
前記カテゴリ領域を前記カテゴリ領域に対応するカテゴリに分類された類似画像の数が多いほど大きな円で表示させるとともに、前記分類された類似画像に共通して付加されているタグ情報を前記カテゴリ領域と関連付けるように表示させ、前記分類手段で各カテゴリに分類された前記類似画像を前記クエリ画像との類似度に基づいて前記位置決定手段で決定された座標で示される位置に位置する前記カテゴリ領域の内部に配置し、前記カテゴリ領域を示す円の円周の線を、前記カテゴリ領域に対応するカテゴリに分類された類似画像のうち前記クエリ画像に最も類似する類似画像のクエリ画像との類似度が高いほど太くなるように、表示部に表示させる画像表示制御手段と、
を備える。
In order to achieve the above object, the similar image display control device of the present invention includes:
a similar image obtaining means for obtaining a plurality of similar images obtained as a result of similar image search for the query image;
Category setting means for setting a plurality of categories for classifying the plurality of similar images obtained by the similar image obtaining means;
position determining means for determining, in accordance with the attribute of the type of the number of dimensions, the coordinates indicating the position of the category area, which is the area indicating each category set by the category setting means, in a space of dimensions having a predetermined number of dimensions of two or more; ,
Classification means for classifying the plurality of similar images acquired by the similar image acquisition means into one of the plurality of categories set by the category setting means based on the tag information attached to each of the plurality of similar images;
The category area is displayed in a larger circle as the number of similar images classified into the category corresponding to the category area increases, and tag information commonly added to the classified similar images is displayed as the category area. The similar images classified into each category by the classification means are displayed in association with each other, and the similar images are displayed in the category area located at the position indicated by the coordinates determined by the position determination means based on the degree of similarity with the query image. The similarity of the similar image most similar to the query image among the similar images classified into the category corresponding to the category region has a degree of similarity with the query image. an image display control means for causing the display unit to display such that the higher the image, the thicker the image;
Prepare.
本発明によれば、類似画像間の関係性をよりわかりやすく表示させることができる。 According to the present invention, it is possible to display the relationship between similar images in a more comprehensible manner .
以下、本発明の実施形態に係る類似画像表示装置等について、図表を参照して説明する。なお、図中同一又は相当部分には同一符号を付す。 Hereinafter, similar image display devices and the like according to embodiments of the present invention will be described with reference to the drawings. The same reference numerals are given to the same or corresponding parts in the drawings.
（実施形態１）
本発明の実施形態１に係る類似画像表示装置１００は、クエリ画像に対する類似画像検索の結果得られた類似画像を、所定のカテゴリ毎に集めて、クエリ画像との類似度に基づいてカテゴリ内に配置する。そして、その類似画像が集まって配置されたカテゴリを、所定の軸で定義されたｎ次元空間内に配置して表示することにより、類似画像間の関係性をわかりやすく表示する。このような表示を行うための仕組みについて、以下に説明する。
(Embodiment 1)
The similar
実施形態１に係る類似画像表示装置１００は、図１に示すように、制御部１０、記憶部２０、入力部３１、出力部３２、通信部３３、を備える。
The similar
制御部１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等で構成され、記憶部２０に記憶されたプログラムを実行することにより、後述する各部（類似画像取得部１１、カテゴリ設定部１２、位置決定部１３、分類部１４、画像表示制御部１５）の機能を実現する。
The
記憶部２０は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、制御部１０のＣＰＵが実行するプログラム及び必要なデータを記憶する。
The
入力部３１は、類似画像表示装置１００のユーザが類似画像表示装置１００に与える指示を入力したり、クエリ画像を入力したりするためのデバイス（キーボード、マウス、タッチパネル、カメラ等）である。制御部１０は、入力部３１を介してユーザからの指示や、クエリ画像を取得する。入力部３１としては、制御部１０がユーザからの指示や、クエリ画像を取得できるなら、任意のデバイスを使用することができる。ただし、制御部１０は、クエリ画像を、通信部３３を介して取得してもよい。なお、クエリ画像とは、ユーザが類似画像表示装置１００に表示させる類似画像を検索する際に入力する画像データである。類似画像表示装置１００は、クエリ画像に類似する複数の画像をユーザにわかりやすく提示する。
The
出力部３２は、制御部１０が、類似画像をユーザに提示するためのデバイス（ディスプレイ、ディスプレイ用のインタフェース等）である。類似画像表示装置１００は、出力部３２としてディスプレイ（表示部）を備えてもよいし、出力部３２を介して接続した外部のディスプレイに検索結果等を表示してもよい。なお、ディスプレイ（表示部）を備えない類似画像表示装置１００（出力部３２がディスプレイ（表示部）用のインタフェースになっている類似画像表示装置１００）は、類似画像表示制御装置とも呼ばれる。
The
通信部３３は、外部の他の装置（例えば、画像データのデータベースが格納されているサーバ、類似画像検索装置等）とデータの送受信を行うためのデバイス（ネットワークインタフェース等）である。制御部１０は、通信部３３を介してクエリ画像やクエリ画像に類似する画像を取得することができる。
The
次に、制御部１０の機能について説明する。制御部１０は、類似画像取得部１１、カテゴリ設定部１２、位置決定部１３、分類部１４及び画像表示制御部１５の機能を実現する。
Next, functions of the
類似画像取得部１１は、クエリ画像に対する類似画像検索の結果得られたデータ（類似画像の画像データ及び該画像のクエリ画像との類似度）を取得する。具体的には、類似画像検索において、クエリ画像との類似度が所定の閾値以上となった画像データを、該類似度とともに取得する。類似画像取得部１１は、制御部１０がクエリ画像に類似する画像を検索した結果得られた類似画像のデータを取得してもよいし、例えば、通信部３３を介して、外部の類似画像検索装置にクエリ画像に類似する画像を検索させ、該類似画像検索装置によって検索された類似画像のデータを取得してもよい。また、各画像データにはタグ情報として、その画像に対応する疾患名等の情報が付加されているものとする。類似画像取得部１１は、類似画像取得手段として機能する。
The similar image acquisition unit 11 acquires data (image data of the similar image and degree of similarity of the image to the query image) obtained as a result of similar image search for the query image. Specifically, in the similar image search, image data whose degree of similarity to the query image is equal to or greater than a predetermined threshold value is obtained together with the degree of similarity. The similar image acquisition unit 11 may acquire similar image data obtained as a result of searching for an image similar to the query image by the
カテゴリ設定部１２は、類似画像取得部１１が取得した画像データを分類するカテゴリ群（複数のカテゴリ）を設定する。このカテゴリ群とは、例えば、皮膚の画像データを対象とする場合は、疾患名（色素性母斑、メラノーマ、基底細胞癌等）、外形形状（円形、星形、楕円形等）、色味（赤、黒、茶等）、大きさ、内部構造、母斑（色素斑）の状態（網状パターン、小球状パターン、敷石状パターン、均一パターン、平行パターン、スターバーストパターン、多構築パターン、非特異的パターン等）等である。例えば、疾患名をカテゴリ群とする場合、具体的な疾患名である色素性母斑、メラノーマ、基底細胞癌等が、それぞれ１つのカテゴリとなる。分類するカテゴリ群（複数のカテゴリ）の情報は、予め記憶部２０に記憶されており、カテゴリ設定部１２は、記憶部２０に記憶されているカテゴリ群の情報に基づいて、画像データを分類するカテゴリ群（複数のカテゴリ）を設定する。カテゴリ設定部１２は、カテゴリ設定手段として機能する。
The
位置決定部１３は、カテゴリ設定部１２が設定したカテゴリ群（複数のカテゴリ）に含まれる各カテゴリを示す領域を表示する位置を、ｎ種類（ｎは１以上の整数）の属性に従ってｎ次元の空間における座標として決定する。より詳細には、ｎ種類の属性のそれぞれを、ｎ次元空間の座標を定義するｎ本の座標軸に１対１で対応させ、各カテゴリを示す領域（カテゴリ領域）を表示する位置を示す座標を、各座標軸においてその座標軸に対応する属性の属性値に基づいて決定する。
The
例えば、カテゴリ設定部１２が設定したカテゴリ群が疾患名で、位置決定部１３が、「良性／悪性」及び「メラノサイト系／非メラノサイト系」の２種類の属性でそのカテゴリ群（疾患名）の２次元空間での位置を決定する場合を考える。この場合、位置決定部１３は、例えば図２に示すように、「良性／悪性」を縦軸（Ｙ軸）、「メラノサイト系／非メラノサイト系」を横軸（Ｘ軸）とする２次元空間において、各疾患名を表示する位置の座標を決定することになる。ここでは、縦軸（Ｙ軸）においては、良性が下側、悪性が上側とし、横軸（Ｘ軸）においては、メラノサイト系が左側、非メラノサイト系が右側とする。
For example, the category group set by the
具体例として、疾患名として色素性母斑、メラノーマ、脂漏性角化症、血腫・血管腫、基底細胞癌の５つがある場合を考えると、それぞれの疾患の属性は、色素性母斑が「良性、メラノサイト系」、メラノーマが「悪性、メラノサイト系」、脂漏性角化症が「良性、非メラノサイト系」、血腫・血管腫が「良性、非メラノサイト系」、基底細胞癌が「悪性、非メラノサイト系」である。従って、位置決定部１３は、図２に示すように、色素性母斑２０１を左下の領域に、メラノーマ２０２を左上の領域に、脂漏性角化症２０３を右下の領域（領域中央より少し左）に、血腫・血管腫２０４も右下の領域（領域中央より少し右）に、基底細胞癌２０５を右上の領域に表示されるように、それぞれの位置を決定する。
As a specific example, if there are five disease names: nevus pigmentosa, melanoma, seborrheic keratosis, hematoma/hemangioma, and basal cell carcinoma, the attributes of each disease are “Benign, melanocytic”, melanoma is “malignant, melanocytic”, seborrheic keratosis is “benign, non-melanocytic”, hematoma/hemangioma is “benign, non-melanocytic”, basal cell carcinoma is “malignant” , non-melanocyte system”. Therefore, as shown in FIG. 2, the
なお、位置決定部１３は、異なるカテゴリが表示される位置が同じ座標にならないように、必要に応じてカテゴリの表示位置を調整してもよい。例えば、図２に示す例では、脂漏性角化症２０３も血腫・血管腫２０４も「良性、非メラノサイト系」なので、表示位置を調整しないと両カテゴリともに同じ右下の領域に表示されることになってしまう。このため、図２に示す例では、位置決定部１３は、脂漏性角化症２０３を右下の領域の中央よりも少し左にずらした位置に、血腫・血管腫２０４を右下の領域の中央よりも少し右にずらした位置に、それぞれ表示されるように表示位置を調整している。
Note that the
位置決定部１３が各カテゴリの表示位置を決定する空間の座標軸を決めるために用いるｎ種類の属性の情報と、各カテゴリの該属性の情報と、各属性の配置情報は、予め記憶部２０に記憶されている。位置決定部１３は、記憶部２０に記憶されているｎ種類の属性の情報、各カテゴリの該属性の情報及び各属性の配置情報に基づいて、カテゴリ群（複数のカテゴリ）を表示する位置のｎ次元空間における座標を決定する。図２に示す例においては、属性の情報として「良性／悪性」の属性と、「メラノサイト系／非メラノサイト系」の属性の２種類の属性の情報が記憶部２０に記憶されている。そして、各カテゴリの該属性の情報として、色素性母斑２０１は「良性、メラノサイト系」、メラノーマ２０２は「悪性、メラノサイト系」、脂漏性角化症２０３は「良性、非メラノサイト系」、血腫・血管腫２０４は「良性、非メラノサイト系」、基底細胞癌２０５は「悪性、非メラノサイト系」という情報が記憶部２０に記憶されている。そして、各属性の配置情報として、「良性／悪性」の属性においては、「良性」は下側に「悪性」は上側に配置し、「メラノサイト系／非メラノサイト系」の属性においては、「メラノサイト系」は左側に「非メラノサイト系」は右側に配置するという情報が記憶部２０に記憶されている。位置決定部１３は、位置決定手段として機能する。
Information on n types of attributes used by the
分類部１４は、類似画像取得部１１が取得した画像データを、カテゴリ設定部１２が設定したカテゴリ群（複数のカテゴリ）のいずれかのカテゴリに分類する。なお、分類部１４は、各画像データに付加されているタグ情報（例えば、各画像データには疾患名がタグ情報として付加されている）を利用して画像データを分類することができる。分類部１４は、分類手段として機能する。
The
画像表示制御部１５は、分類部１４によって各カテゴリに分類された画像データを、クエリ画像との類似度に基づいて、位置決定部１３によりｎ次元空間における座標が決定されたそのカテゴリを示す領域の内部に配置し、出力部３２を介して表示する。画像表示制御部１５は、例えば図３に示すように、色素性母斑に分類された類似画像を色素性母斑の領域３０１（図３の左下の円内）に、メラノーマに分類された類似画像をメラノーマの領域３０２（図３の左上の円内）に、脂漏性角化症に分類された類似画像を脂漏性角化症の領域３０３（図３の右下の少し左寄りの円内）に、血腫・血管腫に分類された類似画像を血腫・血管腫の領域３０４（図３の右下の少し右寄りの円内）に、基底細胞癌に分類された類似画像を基底細胞癌の領域３０５（図３の右上の円内）に、それぞれクエリ画像３００との類似度が高い程、各領域（円内）の中心に位置するように配置して表示する。画像表示制御部１５は、画像表示制御手段として機能する。
Based on the degree of similarity between the image data classified into each category by the
以上、類似画像表示装置１００の機能構成について説明した。次に、類似画像表示装置１００が行う類似画像表示処理の内容について、図４を参照して説明する。類似画像表示処理は、ユーザが入力部３１を介して類似画像表示装置１００に類似画像表示処理の開始を指示すると開始される。
The functional configuration of the similar
まず、類似画像表示装置１００の制御部１０は、クエリ画像を取得する（ステップＳ１０１）。例えば、ユーザが入力部３１を介してクエリ画像を類似画像表示装置１００に入力（例えば画面の指定領域にクエリ画像をドラッグ・アンド・ドロップする）すると、制御部１０は、クエリ画像を取得する。
First, the
次に、類似画像取得部１１は、クエリ画像に対する類似画像検索の結果得られた類似画像を取得する（ステップＳ１０２）。具体的には、類似画像検索において、クエリ画像との類似度が所定の閾値以上となった類似画像を取得する。このとき、類似画像取得部１１は、類似画像とともに、該類似画像とクエリ画像との類似度も取得する。ステップＳ１０２は、類似画像取得ステップとも呼ばれる。類似画像検索の処理は、類似画像表示装置１００の代わりに外部の類似画像検索装置で行ってもよい。その場合は、制御部１０は、ステップＳ１０１で取得したクエリ画像を、通信部３３を介して類似画像検索装置に送信し、類似画像検索装置が類似画像検索をした結果を類似画像取得部１１が取得する。
Next, the similar image acquisition unit 11 acquires similar images obtained as a result of similar image search for the query image (step S102). Specifically, in the similar image search, similar images having a degree of similarity with the query image equal to or greater than a predetermined threshold are acquired. At this time, the similar image obtaining unit 11 obtains the similar image and the degree of similarity between the similar image and the query image. Step S102 is also called a similar image acquisition step. Similar image retrieval processing may be performed by an external similar image retrieval device instead of the similar
そして、分類部１４は、類似画像取得部１１が取得した類似画像を、各類似画像に付加されているタグ情報に基づいて、カテゴリ設定部１２が設定したカテゴリに分類する（ステップＳ１０３）。ステップＳ１０３は、分類ステップとも呼ばれる。
Then, the
次に、画像表示制御部１５は、ステップＳ１０３で各カテゴリに分類された類似画像を、位置決定部１３が位置を決定した各カテゴリの領域に配置し、出力部３２を介して表示する（ステップＳ１０４）。具体的には、図３に示すように、各カテゴリの領域に、クエリ画像との類似度が高い画像ほどそのカテゴリの領域の中心に配置されるように、同心円状に配置する。図３に示す例では、各カテゴリに分類された類似画像のうち、クエリ画像との類似度が最も高い画像をそのカテゴリの中心に配置し、類似度の高さが２番目以降の画像をその外側に上から時計回りに配置することによって、同心円状に配置している。
Next, the image
また、画像表示制御部１５はステップＳ１０４において、各カテゴリの領域にそのカテゴリに分類された類似画像の個数に応じた大きさの円を表示する。この円を表示することにより、各カテゴリの規模を直感的に把握しやすくなる。さらに、画像表示制御部１５はこの円の円周の線の太さを、中心の画像（そのカテゴリでクエリ画像との類似度が最も高い類似画像）とクエリ画像との類似度が高いほど太く表示する。このように円の太さを太くすることによって、ユーザは最もクエリ画像に類似する類似画像の配置場所を直感的に把握できるようになる。また、画像表示制御部１５は、この円の円周の線の太さを、中心の画像に限らず、所定の画像（例えばそのカテゴリでクエリ画像との類似度がｎ番目（ｎは１以上かつそのカテゴリに分類された類似画像の個数以下の整数）に高い画像、最も低い画像、類似度順に並べた時に真ん中にくる画像等）とクエリ画像との類似度に応じて所定の太さ（例えば類似度が高ければ太く、類似度が低ければ細く）で表示してもよい。なお、ユーザが各類似画像とクエリ画像の比較を容易にできるようにするために、画像表示制御部１５はステップＳ１０４において、図３に示すように、クエリ画像３００を表示画面の中心部に表示する処理も行う。ステップＳ１０４は、画像表示制御ステップとも呼ばれる。
Further, in step S104, the image
次に、制御部１０は、ステップＳ１０４で表示された類似画像が入力部３１を介して選択（例えばユーザによりクリック）されたか否かを判定する（ステップＳ１０５）。類似画像が選択されなければ（ステップＳ１０５；Ｎｏ）、ステップＳ１０８に進む。
Next, the
類似画像が選択されたら（ステップＳ１０５；Ｙｅｓ）、画像表示制御部１５は、ステップＳ１０５で選択された画像とクエリ画像とを比較できるように、これらの画像を拡大表示する（ステップＳ１０６）。例えば、図３の色素性母斑の中心の画像（色素性母斑に分類された類似画像の中で、クエリ画像に最も類似する画像）が比較対象画像としてクリックされた場合は、図５に示すように、クエリ画像５１とクリックされた比較対象画像５２とが拡大表示される比較表示画面が出力部３２を介して表示される。図５は、画像表示制御部１５が、比較対象画像５２の下に、その比較対象画像に付加されているタグ情報５３、その比較対象画像５２とクエリ画像５１との類似度の順位５４、比較対象画像５２を類似度の順番に切り換える順送りボタン５５及び逆送りボタン５６を表示することも示している。
When a similar image is selected (step S105; Yes), the image
そして、画像表示制御部１５は、ユーザ操作に応じた画像表示を行う（ステップＳ１０７）。例えば、画像表示制御部１５は、クエリ画像５１又は比較対象画像５２の上で、ドラッグ操作が行われたら該画像を平行移動させ、ホイールの回転が行われたら該画像を拡大又は縮小させ、クエリ画像５１の上でダブルクリックされたら図３に示すクエリ画像表示画面に戻す。また、画像表示制御部１５は、順送りボタン５５又は逆送りボタン５６がクリックされたら、比較対象画像をクエリ画像との類似度の順番に切り替える。
Then, the image
次に、制御部１０は、類似画像表示処理の終了が指示されたか否かを判定する（ステップＳ１０８）。類似画像表示処理の終了が指示されていないなら（ステップＳ１０８；Ｎｏ）、ステップＳ１０７に戻る。類似画像表示処理の終了が指示されたら（ステップＳ１０８；Ｙｅｓ）、類似画像表示処理を終了する。例えば、入力部３１を介してユーザにより類似画像表示処理の終了が指示されたら、類似画像表示処理を終了する。
Next, the
以上のように、類似画像表示装置１００は、類似画像をカテゴリに分類して、カテゴリ毎にクエリ画像との類似度の高い順に類似画像を配置して表示することができるので、類似画像間の関係性をよりわかりやすく表示させることができる。
As described above, the similar
例えば、皮膚疾患の画像を表示させる場合、メラノーマ、基底細胞癌、日光角化症はいずれも悪性疾患であるが、悪性度（人体への影響度）は大きく異なる。従って、例えば、各カテゴリの属性の情報として、メラノーマは「悪性度１０、メラノサイト系」、基底細胞癌は「悪性度８、非メラノサイト系」、日光角化症は「悪性度３、非メラノサイト系」、というように、悪性度の情報（属性の属性値）も記憶部２０に記憶しておき、位置決定部１３が、悪性度に応じて、例えば悪性度が高いカテゴリほど画面の上部の方にそのカテゴリの円が表示されるように当該カテゴリの位置を決定すると、ユーザは各カテゴリに配置された類似画像を、その悪性度とともに確認することができるようになる。他の属性についても同様にその属性の属性値に基づいて位置が決定されることにより、ユーザは類似画像をその属性の属性値に応じて確認することができるようになる。なお、これらはあくまで一例として示したものであって、必ずしも医学的に正しいという意味ではない。医師等、類似画像表示装置１００のユーザの考え方や状況に応じてこれらの表示位置は適宜変更可能である。
For example, when displaying an image of a skin disease, melanoma, basal cell carcinoma, and actinic keratosis are all malignant diseases, but their degree of malignancy (degree of impact on the human body) differs greatly. Therefore, for example, as attribute information for each category, melanoma is "
（変形例１）
上述の実施形態１では、類似画像表示処理において、図３のような表示を行っていたが、さらに類似の関係性を分かり易くする変形例１について図６を参照して説明する。
(Modification 1)
In the first embodiment described above, the display as shown in FIG. 3 is performed in the similar image display process, but a modified example 1 that makes the similarity relationship easier to understand will be described with reference to FIG. 6 .
変形例１にかかる類似画像表示装置１００では、類似画像表示処理（図４）のステップＳ１０４において、画像表示制御部１５が次のような処理を行う。（なお、各カテゴリの領域に描画する円の大きさは、上述の実施形態１と同様に、そのカテゴリに分類された類似画像の個数が多いほど大きくする。例えば図６に示されるように、色素性母斑のカテゴリ円３１１はメラノーマのカテゴリ円３１２より大きい。）
‐各カテゴリの領域に描画する円の背景を、中心を濃く、外側になるほど薄く描画する。例えば図６に示されるように、色素性母斑のカテゴリ円３１１のカテゴリの領域に描画する円の背景に、中心側から同心円状のグラフィック図形３１１ａ、３１１ｂ、３１１ｃ、３１１ｄを表示している。なお、図６では濃さを各カテゴリ円の大きさに応じて２～４段階で変化させているが、このような段階を設けずにスムーズに（グラデーションで）変化させてもよい。
‐クエリ画像から各カテゴリの中心の画像までを接続線で接続する。
‐接続線の太さはその接続線が接続しているカテゴリの中心に配置される類似画像（そのカテゴリにおいてクエリ画像と最も類似する類似画像）とクエリ画像との類似度が高いほど太くする。例えば色素性母斑のカテゴリ円３１１への接続線３２１の太さはメラノーマのカテゴリ円３１２への接続線３２２より太い。（なお、接続線の太さは、中心の画像に限らず、所定の画像（例えばそのカテゴリでクエリ画像との類似度がｎ番目（ｎは１以上そのカテゴリに分類された類似画像の個数以下の整数）に高い画像、最も低い画像、類似度順に並べた時に真ん中にくる画像等）とクエリ画像との類似度に応じて所定の太さ（例えば類似度が高ければ太く、類似度が低ければ細く）で表示してもよい。）
‐接続線３２１，３２２，３２３，３２４，３２５の途中には位置決定部１３が各カテゴリの位置を決定する際に用いる属性の情報を表示する。例えば、メラノーマのカテゴリにおいては悪性３３２、メラノサイト系３３４という属性の情報を表示している。
‐上記のような接続線３２１，３２２，３２３，３２４，３２５により、各カテゴリを示す領域は、クエリ画像を根ノードとする木構造を介して、葉ノードとして接続される。つまり、クエリ画像を根ノードとし、各カテゴリを示す領域を葉ノードとして、各カテゴリを示す領域に対応するカテゴリの属性に基づいた接続線が根ノードから葉ノードに接続した木構造により、類似画像等が表示されることになる。そして、各カテゴリに接続される接続線３２１，３２２，３２３，３２４，３２５の内部ノードとして該カテゴリの属性の情報を示す属性名（良性３３１、悪性３３２、メラノサイト系３３３，３３４、非メラノサイト系３３５，３３６等）が表示される。
‐属性の情報は、特に注目して欲しい場合には大きく表示する。（例えば、皮膚の疾患の画像データを対象として類似画像表示を行う場合に、悪性の類似画像の方が良性の類似画像より多い場合には、属性の情報のうち悪性３３２を大きく表示する。なお、図６では良性の類似画像の方が多いため、悪性３３２は良性３３１と同じ大きさで表示されている。）
‐各類似画像は、小さい円で囲って表示するが、その小さい円の線の太さはその類似画像とクエリ画像との類似度が高いほど太くする。例えば、血腫・血管腫のカテゴリ円３１４の中心に配置されている類似画像を囲う小さい円３１４１の線の太さは、その周辺に配置されている類似画像を囲う小さい円３１４２の線の太さより太い。
In the similar
- Draw the background of the circle drawn in each category area darker in the center and lighter toward the outside. For example, as shown in FIG. 6, concentric graphic figures 311a, 311b, 311c, and 311d are displayed from the center side on the background of the circle drawn in the category area of the pigmented
- Connect lines from the query image to the center image of each category.
- The thickness of the connection line is made thicker as the similarity between the similar image placed in the center of the category to which the connection line connects (the similar image that is most similar to the query image in that category) and the query image is higher. For example, the connecting
-In the middle of the
- By the connecting
- Display attribute information in a large size if you want it to draw particular attention. (For example, when similar images are displayed for image data of a skin disease, if there are more malignant similar images than benign similar images, the malignant 332 of the attribute information is displayed larger. 6, malignant 332 is displayed in the same size as benign 331 because there are more benign similar images.)
- Each similar image is displayed by enclosing it in a small circle, and the thickness of the line of the small circle is made thicker as the similarity between the similar image and the query image is higher. For example, the line thickness of the
類似画像表示処理（図４）のステップＳ１０４にて、画像表示制御部１５が以上のような処理を行うことにより、例えば図６に示すような、類似画像の表示が行われる。このような表示が行われることにより、以下のような効果が得られる。
‐各カテゴリ円３１１，３１２，３１３，３１４，３１５がｎ種類の属性に従ってｎ次元空間に配置されることによって、ユーザは直感的にクエリ画像の性質を把握することができる。
‐各カテゴリ円３１１，３１２，３１３，３１４，３１５がそのカテゴリに分類された件数（検索件数）の多いほど大きく表示されることによって、ユーザは検索件数を直感的に把握することができる。
‐各カテゴリへの接続線３２１，３２２，３２３，３２４，３２５の太さが、そのカテゴリの中心に配置される類似画像（そのカテゴリにおいてクエリ画像と最も類似する類似画像）とクエリ画像との類似度が高いほど太く表示されることによって、ユーザはクエリ画像に最も類似する類似画像の配置場所を直感的に把握することができる。
‐各カテゴリの領域に描画されるカテゴリ円の背景が、中心を濃く、外側になるほど薄く描画されることによって、円中心部側の症例の重要度が高いことをユーザに視覚的に認識させることができる。
In step S104 of the similar image display process (FIG. 4), the image
- Each
- Each
-The thickness of the connecting
- The background of the category circle drawn in the area of each category is drawn darker in the center and lighter toward the outside, so that the user can visually recognize that the cases on the center side of the circle are of high importance. can be done.
（変形例２）
上述の実施形態１では、画像表示制御部１５が類似画像検索結果をカテゴリ毎に同心円状にまとめて配置しているが、これに限られず、放射状、楕円形状、四角形状、等でもよい。例えば、四角形状に配置すると、図７に示すように、よりコンパクトに表示することができ、検索結果が多い場合等でも全ての類似画像を一度に一覧性よく表示することができる。図７に示す例では、画像表示制御部１５は、各カテゴリの四角形３５１，３５２，３５３，３５４，３５５の大きさをそのカテゴリに分類された類似画像の個数が多いほど大きくし、その四角形内に左上からクエリ画像３００との類似度が高い順に右に類似画像を並べ、右端に来たら、左端に戻って一段下から類似画像を並べて表示している。
(Modification 2)
In the first embodiment described above, the image
なお、上述の実施形態１では、位置決定部１３が位置を決定する際に用いる属性の数を２種類とし、この２つの属性を２次元空間の２つの軸（Ｘ軸及びＹ軸）に対応させて、類似画像検索結果の表示位置の２次元空間における座標を決定する場合を例として説明したが、これに限られない。例えば、位置を決定する際に用いる属性の数を１種類にして、直線上（１次元空間）に各カテゴリが配置されるようにしてもよい。この場合、カテゴリの配置は直線上に行われるが、カテゴリ内の類似画像は同心円状に配置されるので、最終的には２次元空間に配置されることになる。
In the first embodiment described above, the number of attributes used when the
また、位置を決定する際に用いる属性の数を３種類にして、３次元空間に各カテゴリが配置されるようにしてもよい。この場合、カテゴリや類似画像は３次元空間に配置されるが、出力部３２に出力する際はそれを２次元空間に投影したものを出力することにより、通常のディスプレイ上に表示することができる。また、位置を決定する際に用いる属性の種類数ｎを４以上にしたい場合は、各カテゴリを仮想的にｎ次元空間に配置し、最終的に２次元空間に投影して出力するようにしてもよい。なお、属性の種類としては、上述した「良性／悪性」及び「メラノサイト系／非メラノサイト系」だけでなく、「上皮性／非上皮性」、「転移性／非転移性」、「浸潤性／非浸潤性」、「ウイルス性／非ウイルス性」、「サイズ（例えば、疾患部に外接する楕円の長径）」、「扁平率（例えば、疾患部に外接する楕円の扁平率）」、「病変面積（疾患部の面積）」、「輪郭線の長さ（疾患部の外縁の輪郭線の長さ）」、「腫瘍の深さ（例えば、色（浅ければ黒、深くなるにつれて、褐色、灰青色、青白い鋼色）で判断する）」、「疾患部の色（例えば、腫瘍の深さに対応させて色の軸に並べる）」、「形状（例えば、モーメント（病変領域の座標値、病変領域の輪郭線の座標値、病変領域の画素値等についてモーメント計算を行って算出）の値を用いる）」、「時間（例えば、横軸に時間をとって、縦軸にサイズ等の計測値を取ると、経過観察でサイズ等の計測値の時間変化を見ることができる）」等を用いてもよい。
Also, the number of attributes used for determining the position may be set to three types, and each category may be arranged in a three-dimensional space. In this case, categories and similar images are arranged in a three-dimensional space, but when they are output to the
また、上述の実施形態１では、皮膚の疾患を例にとって説明したが、本発明は皮膚科の分野に限定されるものではなく、類似画像を表示させる分野において広く適用できる。例えば、花の画像の類似検索、細菌の顕微鏡写真の類似検索等にも適用できる。 Further, in the above-described first embodiment, skin diseases have been described as an example, but the present invention is not limited to the field of dermatology, and can be widely applied in the field of displaying similar images. For example, it can be applied to similarity retrieval of images of flowers, similarity retrieval of microscope photographs of bacteria, and the like.
また、上述の実施形態１では、類似画像表示処理を制御部１０が行っていたが、外部のサーバに処理させた結果を通信部３３で受信して出力部３２に出力してもよい。
Further, in the first embodiment described above, similar image display processing is performed by the
また、上述の実施形態１及び変形例１，２は適宜組み合わせることができる。例えば、変形例１と変形例２とを組み合わせることにより、類似画像をカテゴリ毎に四角形状に表示させ、接続線や四角形の背景の描画を行うことができ、変形例１の効果と変形例２の効果を両方とも得ることができる。例えば、この場合、各カテゴリの四角形内の一番左上の類似画像（そのカテゴリにおいてクエリ画像と最も類似する類似画像）への接続線をその類似画像とクエリ画像との類似度に応じて太くし、その四角形の背景を、左上を濃く右下にいくほど薄く描画することになる。 Further, the first embodiment and modified examples 1 and 2 described above can be appropriately combined. For example, by combining Modification 1 and Modification 2, it is possible to display similar images in a rectangular shape for each category, draw connection lines and backgrounds of the rectangles, and obtain the effects of Modification 1 and Modification 2. You can get both effects. For example, in this case, the connection line to the top left similar image in each category rectangle (the similar image that is most similar to the query image in that category) is made thicker according to the similarity between the similar image and the query image. , the background of the square will be drawn darker at the upper left and lighter as it goes to the lower right.
（実施形態２）
本発明の実施形態２に係る表示制御装置１０１は、クエリ画像に写っている診断対象部分の疾患の属性（例えば「良性／悪性」、「メラノサイト系／非メラノサイト系」等）を各座標軸に対応させて、疾患が各属性に関係する可能性を表す指標を、疾患の属性数を次元数とする空間にプロットして表示する。このような表示を行うことにより、表示制御装置１０１は、診断対象部分の疾患の属性情報を把握しやすくする。なお、実施形態２では、診断対象部分の疾患が人の皮膚疾患である場合を例にして説明するが、診断対象部分（疾患）としては、他に人の子宮（子宮頸がん）や口腔（口腔がん）、人以外の動物（犬猫）の皮膚（皮膚がん）や口腔（口腔がん）等、撮影画像に基づいて診断する様々な部分（疾患）があり得る。
(Embodiment 2)
The
実施形態２に係る表示制御装置１０１は、図８に示すように、制御部１０、記憶部２０、入力部３１、出力部３２、通信部３３、を備える。
A
制御部１０は、ＣＰＵ等で構成され、記憶部２０に記憶されたプログラムを実行することにより、後述する各部（指標取得部１６、リスク取得部１７、表示制御部１８）の機能を実現する。
The
記憶部２０は、ＲＯＭ、ＲＡＭ等で構成され、制御部１０のＣＰＵが実行するプログラム及び必要なデータを記憶する。
The
入力部３１は、表示制御装置１０１のユーザが表示制御装置１０１に与える指示を入力したり、クエリ画像を入力したりするためのデバイス（キーボード、マウス、タッチパネル、カメラ等）である。制御部１０は、入力部３１を介して、ユーザからの指示や、クエリ画像を取得する。入力部３１としては、制御部１０がユーザからの指示や、クエリ画像を取得できるなら、任意のデバイスを使用することができる。ただし、制御部１０は、クエリ画像を、通信部３３を介して取得してもよい。なお、クエリ画像とは、ダーモスコープ等を用いて診断対象部分を撮影した画像の画像データである。表示制御装置１０１は、クエリ画像に写っている診断対象部分の疾患の属性情報を、ユーザにわかりやすく提示する。
The
出力部３２は、制御部１０が、疾患の属性情報をユーザにわかりやすく提示するためのデバイス（ディスプレイ、ディスプレイ用のインタフェース等）である。表示制御装置１０１は、出力部３２としてディスプレイ（表示部）を備えてもよいし、出力部３２を介して接続した外部のディスプレイ（表示部）に疾患の属性情報等を表示してもよい。
The
通信部３３は、外部の他の装置（例えば、画像データのデータベースが格納されているサーバ、画像識別装置等）とデータの送受信を行うためのデバイス（ネットワークインタフェース等）である。制御部１０は、通信部３３を介して、画像識別装置による画像識別結果等を取得することができる。
The
次に、制御部１０の機能について説明する。制御部１０は、指標取得部１６、リスク取得部１７及び表示制御部１８の機能を実現する。
Next, functions of the
指標取得部１６は、識別器を用いて、クエリ画像に写っている診断対象部分の疾患が各属性に関係する確率（可能性）を求め、求めた確率を当該属性の指標として取得する。この識別器は、例えばコンボリューショナル・ニューラルネットワークで構成されており、予め所定の学習用画像データを用いて学習されている。指標取得部１６は、このような学習済みの識別器を備えてもよいし、例えば、通信部３３を介して、学習済みの識別器を備えた外部の画像識別装置にクエリ画像を識別させ、その結果得られた各属性に関係する確率（可能性）を当該属性の指標として取得してもよい。なお、指標取得部１６が取得する指標は確率に限定されず、指標取得部１６は、より一般的なスコア（可能性が高いほどより大きな値となるスコア（確率の値と一致するとは限らない）や、逆に可能性が低いほどより大きな値となるスコアがあり得る）を指標として取得してもよい。指標取得部１６は、取得手段として機能する。
The
ここでは、指標取得部１６は、クエリ画像に写っている診断対象部分の疾患が４つの疾患（メラノーマ、基底細胞癌、色素性母斑、脂漏性角化症）の各々である確率（以下「疾患該当確率」という）を出力する疾患識別器を備えているものとする。そして、この疾患識別器にクエリ画像を入力して得られた疾患該当確率が、例えば、メラノーマについて８９．０％、基底細胞癌について４．４％、色素性母斑について６．４％、脂漏性角化症について０．２％であるとする。なお、これらの疾患の属性は、色素性母斑が「良性、メラノサイト系」、メラノーマが「悪性、メラノサイト系」、脂漏性角化症が「良性、非メラノサイト系」、基底細胞癌が「悪性、非メラノサイト系」である。
Here, the
この例では、診断対象部分の疾患の属性が「悪性」である確率が８９．０％＋４．４％＝９３．４％、「良性」である確率が６．４％＋０．２％＝６．６％と算出される。また、診断対象部分の疾患の属性が「メラノサイト系」である確率が８９．０＋６．４％＝９５．４％、「非メラノサイト系」である確率が４．４％＋０．２％＝４．６％と算出される。指標取得部１６は、このようにして算出された診断対象部分の疾患の属性が各種の属性である確率を、診断対象部分の疾患の属性が各種の属性である可能性を表す指標として取得する。特に、診断対象部分の疾患の属性が「悪性」である確率及び「良性」である確率についてはそれぞれ、悪性指標及び良性指標とも呼ばれ、診断対象部分の疾患の属性が「メラノサイト系」や「非メラノサイト系」等の所定の疾患属性である確率については、疾患属性指標とも呼ばれる。また、複数の疾患属性を区別して呼ぶ場合は、第１、第２等を付ける。例えば診断対象部分の疾患の属性のうち、「メラノサイト系」を第１疾患属性、「非メラノサイト系」を第２疾患属性とした場合、診断対象部分の疾患の属性が「メラノサイト系」である確率は第１疾患属性指標、診断対象部分の疾患の属性が「非メラノサイト系」である確率は第２疾患属性指標と呼ばれる。
In this example, the probability that the attribute of the disease in the part to be diagnosed is "malignant" is 89.0% + 4.4% = 93.4%, and the probability that it is "benign" is 6.4% + 0.2% = 6. calculated to be .6%. Also, the probability that the attribute of the disease in the diagnostic target portion is "melanocyte system" is 89.0+6.4%=95.4%, and the probability that it is "non-melanocyte system" is 4.4%+0.2%=4. calculated as 6%. The
なお、指標取得部１６は、必ずしも診断対象部分の疾患該当確率を取得する疾患識別器を用いなくても良い。指標取得部１６は、例えば疾患識別器の代わりに、診断対象部分の疾患の種類によらずに診断対象部分の疾患の属性が「悪性」である確率（悪性指標）を出力する識別器や、診断対象部分の疾患の属性が「メラノサイト系」のような所定の疾患属性である確率（疾患属性指標）を出力する識別器を用いてもよい。
It should be noted that the
リスク取得部１７は、疾患の属性が悪性であり、かつ、当該疾患の属性が所定の疾患属性である場合における当該疾患のリスクが高いか否かを表すリスク指標を取得する。ここで、リスクとしては、見逃しリスク（識別器の誤判定（悪性未検出）のリスク）や予後リスク（放置リスク）が考えられるが、リスク取得部１７は、これらのリスクを区別して別々のリスク指標として扱ってもよいし、これらの値を総合的に扱って１つのリスク指標として扱ってもよい。例えば、制御部１０は、疾患識別器の学習に用いた学習用データ以外の画像データ（試験用症例データ）を用いる等して見逃しリスクのリスク指標を求めたり、専門家等による予後リスクに関するデータを用いる等して予後リスクのリスク指標を求めたりして、予めリスク指標を記憶部２０に保存しておく。または、外部のサーバ等で予めリスク指標を求めておいてもよい。そして、リスク取得部１７は、予め制御部１０又は外部のサーバ等により求めたリスク指標を取得する。本実施形態では、このリスク指標は、疾患の属性が悪性の場合における当該疾患の見逃しリスクの高さを当該疾患の悪性指標を基準として表した指標であり、予め後述するリスク境界線生成処理によって生成されているものとする。
The risk acquisition unit 17 acquires a risk index indicating whether the risk of the disease is high when the disease attribute is malignant and the disease attribute is a predetermined disease attribute. Here, the risks include overlooked risk (risk of misjudgment by the discriminator (non-detection of malignancy)) and prognostic risk (neglected risk). It may be treated as an index, or these values may be comprehensively treated as one risk index. For example, the
例えば、「悪性」の確率（悪性指標）が同じであっても、メラノサイト系の悪性疾患は非メラノサイト系の悪性疾患よりも識別難易度が高く、見逃しリスクが高い。本実施形態では、悪性指標がリスク指標より高ければ見逃しリスクが高いことを表すので、疾患属性が「メラノサイト系」の場合のリスク指標は、疾患属性が「非メラノサイト系」の場合のリスク指標より低い値となる。そこで、リスク取得部１７は、疾患属性が「メラノサイト系」の場合は、疾患属性が「非メラノサイト系」の場合よりも低い値のリスク指標を取得することになる。リスク取得部１７は、リスク取得手段として機能する。 For example, even if the probability of “malignancy” (malignancy index) is the same, melanocytic malignant disease is more difficult to identify than non-melanocytic malignant disease, and the risk of oversight is higher. In the present embodiment, if the malignancy index is higher than the risk index, it means that the risk of overlooking is high. low value. Therefore, when the disease attribute is "melanocyte", the risk acquisition unit 17 acquires a risk index with a lower value than when the disease attribute is "non-melanocyte". The risk acquisition unit 17 functions as risk acquisition means.
表示制御部１８は、後述する表示制御処理により、指標取得部１６が取得した複数の指標を、互いに関連づけて表示部に表示させる。例えば、クエリ画像に写っている診断対象部分について、指標取得部１６が「悪性」の指標として９３．４％を取得し、「メラノサイト系」の指標として９５．４％を取得したら、図９に示すように、（９５．４％，９３．４％）に対応する点として、点２０６を表示部に表示させる。表示制御部１８は表示制御手段として機能する。
The
なお、図９においては、縦軸に悪性及び良性、横軸にメラノサイト系及び非メラノサイト系、というように、各軸の両端に属性の名称を記載した。しかし、実際には各軸とも１つの指標に基づいている（各軸の両端の属性は表裏の関係であり、例えば悪性１００％は良性０％を意味する）ので、例えば、縦軸には悪性のみ、横軸にはメラノサイト系のみ、というように単一の名称のみを記載しても良い。図９において、縦軸と横軸の交点は、悪性及び良性の指標がいずれも５０％、かつ、メラノサイト系及び非メラノサイト系の指標がいずれも５０％であることを示す点となる。 In FIG. 9, attribute names are shown at both ends of each axis, such as malignant and benign on the vertical axis and melanocyte and non-melanocyte on the horizontal axis. However, each axis is actually based on one index (attributes at both ends of each axis are two sides of the same coin, for example, 100% malignant means 0% benign). Only a single name may be described, such as only the melanocyte system on the horizontal axis. In FIG. 9, the intersection of the vertical axis and the horizontal axis is a point indicating that both the malignant and benign indices are 50% and the melanocytic and non-melanocytic indices are both 50%.
また、表示制御部１８は、リスク取得部１７で取得されたリスク指標を、指標取得部１６が取得した複数の指標と互いに関連づけて表示部に表示させる。このための表示として、表示制御部１８は、例えば、後述するリスク境界線生成処理によって生成したリスク境界線を、図９に点線で示すようなリスク境界線２０７として表示する。図９では、点２０６がリスク境界線２０７よりも上にあるが、これは、クエリ画像に写っている診断対象部分の疾患のリスクが高いことを示している。なお、図９は、見逃しリスクに基づくリスク境界線２０７の例を示しているが、リスク取得部１７が見逃しリスクだけでなく予後リスクも取得する場合は、表示制御部１８は、見逃しリスクに基づくリスク境界線２０７に加えて、予後リスクに基づくリスク境界線（図示せず）を表示してもよい。また、リスク取得部１７が予後リスクのみを取得する場合は、表示制御部１８は、見逃しリスクに基づくリスク境界線２０７は表示せずに、予後リスクに基づくリスク境界線（図示せず）のみを表示してもよい。
In addition, the
以上、表示制御装置１０１の機能構成について説明した。次に表示制御装置１０１が行う表示制御処理の内容について、図１０を参照して説明する。表示制御処理は、ユーザが入力部３１を介して表示制御装置１０１に表示制御処理の開始を指示すると開始される。また、ユーザは表示制御処理の開始の指示に先立って、座標軸に用いる属性の種類（例えば、縦軸に「良性／悪性」、横軸に「メラノサイト系／非メラノサイト系」）を予め表示制御装置１０１に指示しているものとする。
The functional configuration of the
まず、表示制御部１８は、表示部に座標軸を表示する（ステップＳ２０１）。ここで表示する座標軸は、予めユーザから指示されている属性に基づく座標軸である。例えば図９に示す例では、縦軸が悪性（良性／悪性）の座標軸で、横軸がメラノサイト系（メラノサイト系／非メラノサイト系）の座標軸である。
First, the
次に、表示制御装置１０１の制御部１０は、クエリ画像を取得する（ステップＳ２０２）。例えば、ユーザが入力部３１を介してクエリ画像を表示制御装置１０１に入力する（例えば表示部の画面の所定の領域にクエリ画像をドラッグ・アンド・ドロップする）と、制御部１０は、クエリ画像を取得する。
Next, the
次に、指標取得部１６は、クエリ画像を識別器に入力して、各属性の指標を取得する（ステップＳ２０３）。ステップＳ２０３は取得ステップとも呼ばれる。そして、表示制御部１８は、表示部に表示されている座標軸において、指標取得部１６が取得した指標で表される座標に、点２０６を表示する（ステップＳ２０４）。ステップＳ２０４は表示制御ステップとも呼ばれる。
Next, the
次に表示制御部１８は、後述するリスク境界線生成処理によって予め生成して記憶部２０に保存しておいたリスク境界線２０７を表示部に表示し（ステップＳ２０５）、表示制御処理を終了する。
Next, the
次に、リスク境界線生成処理について、図１１を参照して説明する。リスク境界線生成処理は、表示制御処理（図１０）が実行される前に予め実行されているものとする。具体的には、例えば、図９の座標軸に用いる属性をユーザから指示されるとリスク境界線生成処理が開始される。ただし、リスク境界線生成処理は、予め外部のサーバ等で実行されていてもよい。この場合、制御部１０は、その結果（リスク境界線の座標）を通信部３３を介して取得して、記憶部２０に保存する。では、予め制御部１０がリスク境界線生成処理を実行する場合を説明する。
Next, risk boundary line generation processing will be described with reference to FIG. It is assumed that the risk boundary line generation process has been executed in advance before the display control process (FIG. 10) is executed. Specifically, for example, when the user instructs the attributes to be used for the coordinate axes in FIG. 9, the risk boundary line generation process is started. However, the risk boundary line generation process may be executed in advance by an external server or the like. In this case, the
まず、制御部１０は、記憶部２０から、又は通信部３３を介して、（疾患識別器の学習に用いていない）試験用症例の画像データを取得する（ステップＳ３０１）。次に、指標取得部１６は、試験用症例の画像データを疾患識別器に入力して、各座標軸に対応する属性の指標を取得する（ステップＳ３０２）。図９に示す例ではこの属性は「悪性」と「メラノサイト系」であり、ここでは、「悪性」の指標を悪性指標、「メラノサイト系」の指標を疾患属性指標と呼ぶ。
First, the
そして、制御部１０は、ステップＳ３０２で取得された指標について、悪性指標を疾患属性指標の各区間に分類する（ステップＳ３０３）。ここで、疾患属性指標の各区間とは、例えば疾患属性指標の値を０％以上１００％以下とし、各区間の幅を１０％とすると、疾患属性指標の値が０％以上１０％未満の区間１、疾患属性指標の値が１０％以上２０％未満の区間２、…、疾患属性指標の値が９０％以上１００％以下の区間１０、の１０個の区間である。例えば、ステップＳ３０２で取得された指標が、悪性指標３５％、疾患属性指標５５％だったとすると、制御部１０は、悪性指標３５％を、区間６に分類する。
Then, the
次に、制御部１０は、ステップＳ３０３で分類された悪性指標が全ての区間（上記の例では区間１から区間１０までの全ての区間）にそれぞれ所定数（例えば２０）以上分類されたか否かを判定する（ステップＳ３０４）。所定数未満しか分類されていない区間が存在するなら（ステップＳ３０４；Ｎｏ）、ステップＳ３０１に戻って、新たな試験用症例データによる指標の分類を繰り返す。
Next, the
全ての区間で所定数以上分類されているなら（ステップＳ３０４；Ｙｅｓ）、制御部１０は、各区間について、悪性疾患の感度が所定感度（例えば感度９５％）となる悪性指標の悪性判定閾値（例えば感度９５％の場合、一定数の悪性疾患の試験用症例を識別させたときに、９５％が当該悪性疾患と判定されるようにする閾値）を算出する（ステップＳ３０５）。この閾値が低いほど、疾患の属性が悪性であると判定されやすく、感度が上がり、特異度（良性症例の正解率）が下がる。
If a predetermined number or more are classified in all sections (step S304; Yes), the
そして、制御部１０は、各区間の悪性判定閾値の値をスプライン曲線等で結んだ線をリスク境界線とし、このリスク境界線の座標を記憶部２０に保存し（ステップＳ３０６）、リスク境界線生成処理を終了する。表示制御処理（図１０）のステップＳ２０４で表示される点が、このリスク境界線よりも上部にあると、クエリ画像に示される診断対象部分の疾患のリスクが高いことを意味する。
Then, the
なお、上述のリスク境界線生成処理は、あくまでも一例に過ぎず、以下のような変形例も考えられる。
‐疾患リスクに応じて変化させる（メラノサイト系（メラノーマ等）の方が、非メラノサイト系（基底細胞癌等）よりも転移可能性が格段に高く、予後リスクが上がるので、疾患の属性がメラノサイト系である確率が高い領域において、リスク境界線を下げる。）
‐診断対象部分のサイズに応じて上下させる（サイズが大きくなると予後リスクが上がるので、リスク境界線を下げる。）
‐診断対象部分の病変深度に応じて上下させる（診断対象部分の色による判定等の画像処理によって病変深度を推定し、病変深度が深くなると予後リスクが上がるので、リスク境界線を下げる。）
‐診断対象部分としての潰瘍のサイズ、診断対象部分における出血している領域のサイズに応じて、上下させる（潰瘍、出血があり、またその領域が大きいほど予後リスクが上がるので、リスク境界線を下げる。）
Note that the above-described risk boundary line generation processing is merely an example, and the following modifications are also conceivable.
- Change according to disease risk (melanocyte type (melanoma, etc.) has much higher metastasis potential than non-melanocytic type (basal cell carcinoma, etc.), and the prognostic risk is higher, so the disease attribute is melanocytic Lower the risk boundary in areas where there is a high probability that
- Raise or lower according to the size of the part to be diagnosed.
- Increase or decrease according to the lesion depth of the diagnosis target area (The lesion depth is estimated by image processing such as judgment based on the color of the diagnosis target area, and the prognosis risk increases as the lesion depth increases, so the risk boundary line is lowered.)
- raise or lower depending on the size of the ulcer as the diagnostic area and the size of the bleeding area in the diagnostic area lower.)
以上説明したように、表示制御装置１０１は、入力されたクエリ画像に対し、クエリ画像に写っている診断対象部分の属性情報を図９に示すように点２０６の座標によって分かり易く表示することができる。また、リスク境界線２０７も表示することにより、点２０６とリスク境界線２０７との位置関係によって、診断対象部分の疾患のリスクの高さを把握することができる。
As described above, the
実施形態２に係る表示制御装置１０１においても、実施形態１に係る類似画像表示装置と同様、属性としては、「良性／悪性」及び「メラノサイト系／非メラノサイト系」の少なくとも一方に代えて、「上皮性／非上皮性」、「転移性／非転移性」、「浸潤性／非浸潤性」、「ウイルス性／非ウイルス性」、「疾患部のサイズ」、「疾患部の色」、「時間（例えば、横軸に時間をとって、縦軸にサイズ等の計測値を取ると、経過観察でサイズ等の計測値の時間変化を見ることができる）」等を用いてもよい。これらの属性のうち、予後リスクが最も高いのは、メラノサイト系と考えられるため、図９に示す例では、疾患の属性がメラノサイト系（メラノサイト系／非メラノサイト系）である可能性を表す指標を横軸に取っている。
In the
また、上述の実施形態２では、属性として、「良性／悪性」及び「メラノサイト系／非メラノサイト系」の二つを縦軸及び横軸に割り当てて２次元空間上で点２０６を表示した。しかし、用いる属性を３種類にして、３次元空間上に点２０６を配置して、それを２次元空間に投影したものを出力部３２に出力してもよい。また、用いる属性の種類数ｎを４以上にしたい場合は、仮想的にｎ次元空間に点２０６を配置し、それを最終的に２次元空間に投影して出力部３２に出力するようにしてもよい。
In the above-described Embodiment 2, two attributes of "benign/malignant" and "melanocyte/non-melanocyte" are assigned to the vertical and horizontal axes, and the
（実施形態３）
本発明の実施形態３に係る表示制御装置１０２は、クエリ画像に写っている診断対象部分の疾患の属性を、診断対象部分の疾患が所定の疾患である確率と共に、クエリ画像を根ノードとする木構造で表示する。このような表示を行うことにより、表示制御装置１０２は、診断対象部分の疾患の属性情報を把握しやすくする。
(Embodiment 3)
The
実施形態３に係る表示制御装置１０２は、図１２に示すように、制御部１０、記憶部２０、入力部３１、出力部３２、通信部３３、を備える。これらのうち、記憶部２０、入力部３１、出力部３２及び通信部３３は、実施形態２に係る表示制御装置１０１が備える記憶部２０、入力部３１、出力部３２及び通信部３３と同様であるので、説明を省略する。
A
制御部１０は、ＣＰＵ等で構成され、記憶部２０に記憶されたプログラムを実行することにより、後述する各部（指標取得部１６、位置決定部１３、疾患リスク取得部１９、表示制御部１８）の機能を実現する。
The
指標取得部１６は、所定の疾患数の疾患を識別する疾患識別器を用いて、クエリ画像に写っている診断対象部分の疾患が各属性に関係する確率（可能性）を求め、求めた確率を当該属性の指標として取得する。この疾患識別器は、例えばコンボリューショナル・ニューラルネットワークで構成されており、予め所定の学習用画像データを用いて学習されている。指標取得部１６は、このような学習済みの疾患識別器を備えてもよいし、例えば、通信部３３を介して、学習済みの疾患識別器を備えた外部の画像識別装置にクエリ画像を識別させ、その結果得られた各属性に関係する確率（可能性）を当該属性の指標として取得してもよい。
The
ここでは、指標取得部１６は、実施形態２に係る指標取得部１６の項目で説明したように、例えば、４つの疾患（メラノーマ、基底細胞癌、色素性母斑、脂漏性角化症）についての疾患該当確率を出力する疾患識別器を備えているものとする。そして、この疾患識別器にクエリ画像を入力して得られた疾患該当確率が、例えば、メラノーマについて８９．０％、基底細胞癌について４．４％、色素性母斑について６．４％、脂漏性角化症について０．２％であるとする。
Here, as described in the item of the
この例では、実施形態２に係る指標取得部１６の説明で説明したように、診断対象部分の疾患の属性が各種の属性である可能性を表す指標は、悪性指標が９３．４％、良性指標が６．６％、「メラノサイト系」の疾患属性指標が９５．４％、「非メラノサイト系」の疾患属性指標が４．６％となる。また、実施形態３に係る指標取得部１６は、疾患識別器が出力する各疾患の確率も疾患指標として取得する。この例では、メラノーマの疾患指標が８９．０％、基底細胞癌の疾患指標が４．４％、色素性母斑の疾患指標が６．４％、脂漏性角化症の疾患指標が０．２％となる。
In this example, as described in the explanation of the
位置決定部１３は、指標取得部１６が取得する疾患指標の数の各疾患（カテゴリ）に関する情報を表示する位置を、ｎ種類（ｎは１以上の整数）の属性に従ってｎ次元の空間における座標として決定する。より詳細には、ｎ種類の属性のそれぞれを、ｎ次元空間の座標を定義するｎ本の座標軸に１対１で対応させ、各疾患に関する情報を表示する位置を示す座標を、各座標軸においてその座標軸に対応する属性に当該疾患が関係する可能性を表す指標に基づいて決定する。
The
例えば、上記ｎ種類の属性として、「良性／悪性」及び「メラノサイト系／非メラノサイト系」の２種類の属性を採用する場合は、位置決定部１３は、指標取得部１６が取得する疾患指標に対応する各疾患に関する情報を表示する２次元空間上の座標を決定する。位置決定部１３は、例えば図１３に示すように、「良性／悪性」を縦軸（Ｙ軸）、「メラノサイト系／非メラノサイト系」を横軸（Ｘ軸）とする２次元空間において、診断対象部分の各疾患の確率の大きさを表す円（確率円）を表示する位置の座標を決定することになる。なお、図１３では、縦軸（Ｙ軸）においては、良性が下側、悪性が上側とし、横軸（Ｘ軸）においては、メラノサイト系が左側、非メラノサイト系が右側としている。
For example, when adopting two types of attributes, “benign/malignant” and “melanocyte/non-melanocyte”, as the n types of attributes, the
具体例として、疾患として色素性母斑、メラノーマ、脂漏性角化症、基底細胞癌の４つがある場合を考えると、それぞれの疾患の属性は、色素性母斑が「良性、メラノサイト系」、メラノーマが「悪性、メラノサイト系」、脂漏性角化症が「良性、非メラノサイト系」、基底細胞癌が「悪性、非メラノサイト系」である。従って、位置決定部１３は、図１３に示すように、色素性母斑を左下の領域に、メラノーマを左上の領域に、脂漏性角化症を右下の領域に、基底細胞癌を右上の領域に表示されるように、それぞれの位置を決定する。
As a specific example, if there are four diseases: pigmented nevi, melanoma, seborrheic keratosis, and basal cell carcinoma, the attribute of each disease is that the pigmented nevi is “benign, melanocytic”. , melanoma is "malignant, melanocytic," seborrheic keratosis is "benign, non-melanocytic," and basal cell carcinoma is "malignant, non-melanocytic." Therefore, as shown in FIG. 13, the
なお、位置決定部１３は、異なる疾患に関する情報が表示される位置が同じ座標にならないように、必要に応じて疾患に関する情報の表示位置を調整してもよい。図１３には示されていないが、例えば指標取得部が血腫・血管腫の疾患指標も取得する場合、血腫・血管腫も、脂漏性角化症と同様にその属性は「良性、非メラノサイト系」なので、疾患に関する情報の表示位置を調整しないと両疾患ともに同じ右下の領域に当該疾患に関する情報が表示されることになってしまう。このような場合、位置決定部１３は、例えば、脂漏性角化症に関する情報の表示位置を右下の領域の中央よりも少し左にずらし、血腫・血管腫に関する情報の表示位置を右下の領域の中央よりも少し右にずらす等、各疾患に関する情報の表示位置を調整してもよい。
Note that the
位置決定部１３が各疾患に関する情報の表示位置を決定する空間の座標軸を決めるために用いるｎ種類の属性の情報と、各疾患の該属性の情報と、各属性の配置情報は、予め記憶部２０に記憶されている。位置決定部１３は、記憶部２０に記憶されているｎ種類の属性の情報、各疾患の該属性の情報及び各属性の配置情報に基づいて、各疾患に関する情報を表示する位置のｎ次元空間における座標を決定する。図１３に示す例においては、属性の情報として「良性／悪性」の属性と、「メラノサイト系／非メラノサイト系」の属性の２種類の属性の情報が記憶部２０に記憶されている。そして、各疾患の該属性の情報として、色素性母斑は「良性、メラノサイト系」、メラノーマは「悪性、メラノサイト系」、脂漏性角化症は「良性、非メラノサイト系」、基底細胞癌は「悪性、非メラノサイト系」という情報が記憶部２０に記憶されている。そして、各属性の配置情報として、「良性／悪性」の属性においては、「良性」は下側に「悪性」は上側に配置し、「メラノサイト系／非メラノサイト系」の属性においては、「メラノサイト系」は左側に「非メラノサイト系」は右側に配置するという情報が記憶部２０に記憶されている。
Information on n types of attributes used by the
疾患リスク取得部１９は、疾患毎にその疾患のリスクが高いか否かを表すリスク指標を取得する。ここで、疾患のリスクには、予後リスク（疾患を放置した場合の放置リスク）や、見逃しリスク（疾患識別器が悪性疾患を悪性疾患と判定しない誤判定リスク）があるが、疾患リスク取得部１９は、これらのリスクを区別して別々のリスク指標として扱ってもよいし、これらのリスクを総合的に扱って一つのリスク指標として扱ってもよい。例えば、メラノーマは基底細胞癌よりも予後リスク、見逃しリスクともに高い。したがって、疾患リスク取得部１９は、例えば、メラノーマのリスク指標として１０％を、基底細胞癌のリスク指標として８０％を、それぞれ取得する。これは、診断対象部分の疾患がメラノーマであれば確率（疾患指標）が１０％でもリスクが高いが、基底細胞癌であれば確率（疾患指標）が８０％以上でないとリスクが高いとは言えない場合の例である。これらの各疾患のリスク指標の値は、疾患毎に医師等が予め設定した値であっても良いし、実施形態２のリスク境界線生成処理（図１１）の処理と同様にして、学習用に用いたデータとは異なる試験用症例データを用いて、予め各疾患について感度が所定の値（例えば９５％や９０％）となる疾患指標を判定閾値として求めておき、求めた判定閾値をリスク指標として取得するようにしてもよい。疾患リスク取得部１９は、疾患リスク取得手段として機能する。
The disease
表示制御部１８は、後述する表示制御処理により、指標取得部１６が取得した複数の指標を、互いに関連づけて木構造で図１３に示すように表示部に表示させる。例えば、クエリ画像に写っている診断対象部分について、指標取得部１６が各疾患の疾患指標として、メラノーマ ８９．０％、基底細胞癌 ４．４％、色素性母斑 ６．４％、脂漏性角化症 ０．２％という値を取得したら、図１３に示すように、表示制御部１８は、診断対象部分の疾患が色素性母斑である確率を６．４％に相当する大きさの確率円４１１で、診断対象部分の疾患がメラノーマである確率を８９．０％に相当する大きな確率円４１２で、診断対象部分の疾患が脂漏性角化症である確率を０．２％に相当する小さな確率円４１３で、診断対象部分の疾患が基底細胞癌である確率を４．４％に相当する大きさの確率円４１４で、それぞれ表示する。なお、図１３では、各確率円の中心に中心を示すドットを表示しているが、このようなドットを表示するか否かは任意であり、ユーザの指示等により、中心のドットの表示をオン／オフできるようにしてもよい。
The
以上、表示制御装置１０２の機能構成について説明した。次に表示制御装置１０２が行う表示制御処理の内容について、図１４を参照して説明する。表示制御処理は、ユーザが入力部３１を介して表示制御装置１０２に表示制御処理の開始を指示すると開始される。
The functional configuration of the
まず、表示制御装置１０２の制御部１０は、クエリ画像を取得する（ステップＳ４０１）。例えば、ユーザが入力部３１を介してクエリ画像を表示制御装置１０２に入力する（例えば表示部の画面の所定の領域にクエリ画像をドラッグ・アンド・ドロップする）と、制御部１０は、クエリ画像を取得する。
First, the
次に、表示制御部１８は、図１３に示すように、クエリ画像４００を表示画面の中央部に表示する（ステップＳ４０２）。
Next, the
次に、指標取得部１６は、クエリ画像を疾患識別器に入力して、各疾患の疾患指標を取得する（ステップＳ４０３）。そして、表示制御部１８は、図１３に示すように、各疾患の疾患指標の大きさに基づく確率円を、位置決定部１３が位置を決定した各疾患に関する情報の表示位置に表示する（ステップＳ４０４）。
Next, the
そして、表示制御部１８は、疾患リスク取得部１９で取得された各疾患のリスク指標の大きさを示すリスク円を、その中心が各疾患の確率円の中心と一致する位置で、表示する（ステップＳ４０５）。例えば、図１３では、メラノーマの感度９０％となるリスク指標の大きさに基づくリスク円４１５を実線で、感度９５％となるリスク指標の大きさに基づくリスク円４１６を点線で示している。また、基底細胞癌の感度９０％となるリスク指標の大きさに基づくリスク円４１７を実線で、感度９５％となるリスク指標の大きさに基づくリスク円４１８を点線で示している。ここで、「疾患Ｓの感度Ｐ％となるリスク指標」とは、一定数の疾患Ｓの試験用症例画像を疾患識別器で識別した場合に、そのＰ％が疾患Ｓと判定されるようにするための疾患識別器の出力（疾患Ｓの確率値）の閾値である。
Then, the
図１３に示す例では、メラノーマの確率円４１２は、感度９０％となるリスク指標の大きさに基づくリスク円４１５よりも大きいため、メラノーマの見逃しリスクが高いことが示されている。反面、基底細胞癌の確率円４１４は、感度９５％となるリスク指標の大きさに基づくリスク円４１８よりも小さいため、基底細胞癌の見逃しリスクは低いことが示されている。
In the example shown in FIG. 13, the
次に、表示制御部１８は、表示画面の中央部のクエリ画像４００を根ノードとし、各疾患の確率円４１１，４１２，４１３，４１４を葉ノードとし、それらを接続線４２１，４２２，４２３，４２４で接続した木構造を図１３に示すように表示し（ステップＳ４０６）、表示制御処理を終了する。
Next, the
ステップＳ４０６での木構造の表示においては、表示制御部１８は、指標取得部１６により取得された指標に基づき、悪性指標が良性指標より大きければ、図１３に示すように、悪性ノード４３２を良性ノード４３１よりも大きく表示する。また、悪性ノード４３２、良性ノード４３１のあとに、メラノサイト系ノード４３３，４３４や非メラノサイト系ノード４３５，４３６の各ノードを設定し、それらの各ノードから各属性に対応する疾患の確率円４１１，４１２，４１３，４１４に接続線４２１，４２２，４２３，４２４を延ばした木構造を表示する。
In displaying the tree structure in step S406, if the malignant index is larger than the benign index based on the index obtained by the
図１３では示されていないが、表示制御部１８は、各疾患の危険度を分かり易くするために、良性疾患の確率円には緑枠、悪性疾患の確率円には赤枠を付ける等の表示を行ってもよい。
Although not shown in FIG. 13, the
また、図１３では、各確率円の大きさは対応する疾患の確率の大きさに応じた大きさになっているが、これに限られない。確率が同じでも疾患に応じてリスクの高さは異なるため、例えば、疾患リスク取得部１９で取得されたリスク指標が当該疾患の確率よりも高い場合は、その疾患の確率が小さくても大きな確率円を表示するようにしてもよいし、疾患リスク取得部１９で取得されたリスク指標が当該疾患の確率よりも低い場合は、その疾患の確率が大きくても小さな確率円を表示するようにしてもよい。
In addition, in FIG. 13, the size of each probability circle corresponds to the size of the probability of the corresponding disease, but the size is not limited to this. Even if the probability is the same, the degree of risk varies depending on the disease. Therefore, for example, if the risk index obtained by the disease
以上説明したように、表示制御装置１０２は、入力されたクエリ画像に対し、クエリ画像に写っている診断対象部分の疾患が所定の疾患である確率を図１３に示すように確率円の大きさで示し、確率円を各疾患の属性に基づいて木構造で表示することにより、診断対象部分の疾患の属性情報を把握しやすくすることができる。また、リスク円４１５，４１６，４１７，４１８も表示することにより、確率円４１２，４１４とリスク円４１５，４１６，４１７，４１８との大小関係によって、診断対象部分の疾患のリスクの高さを把握することができる。
As described above, the
実施形態３に係る表示制御装置１０２においても、上述の実施形態と同様、属性として、「良性／悪性」及び「メラノサイト系／非メラノサイト系」の少なくとも一方に代えて、「上皮性／非上皮性」、「転移性／非転移性」、「浸潤性／非浸潤性」、「ウイルス性／非ウイルス性」、「疾患部のサイズ」、「疾患部の色」、「時間（例えば、横軸に時間をとって、縦軸にサイズ等の計測値を取ると、経過観察でサイズ等の計測値の時間変化を見ることができる）」等を用いることができる。これらの属性のうち、予後リスクが最も高いのは、メラノサイト系と考えられるため、図１３に示す例では、疾患の属性がメラノサイト系（メラノサイト系／非メラノサイト系）である可能性を表す指標を横軸に、疾患の属性が悪性（良性／悪性）である可能性を表す指標を縦軸に、それぞれ取った木構造を表示している。
Also in the
また、表示制御部１８は、悪性ノード４３２や良性ノード４３１、メラノサイト系ノード４３３，４３４や非メラノサイト系ノード４３５，４３６の各ノードや、それらの各ノードから各属性に対応する疾患の確率円４１１，４１２，４１３，４１４への接続線４２１，４２２，４２３，４２４等を延ばした木構造を表示せずに、確率円４１１，４１２，４１３，４１４のみを表示してもよいし、確率円４１１，４１２，４１３，４１４とリスク円４１５，４１６，４１７，４１８のみを表示してもよいし、これらの円並びに、木構造を構成する各ノード及び接続線の一部のみを表示してもよい。
In addition, the
また、上述の実施形態３では、属性として、「良性／悪性」及び「メラノサイト系／非メラノサイト系」の二つを縦軸及び横軸に割り当てて２次元空間上で木構造を表示した。しかし、用いる属性を３種類にして、３次元空間上に木構造を配置して、それを２次元空間に投影したものを出力部３２に出力してもよい。また、用いる属性の種類数ｎを４以上にしたい場合は、仮想的にｎ次元空間に木構造を配置し、それを最終的に２次元空間に投影して出力部３２に出力するようにしてもよい。
In the above-described Embodiment 3, two attributes of "benign/malignant" and "melanocyte/non-melanocyte" are assigned to the vertical and horizontal axes to display a tree structure in a two-dimensional space. However, three types of attributes may be used, a tree structure may be arranged in a three-dimensional space, and a result projected onto a two-dimensional space may be output to the
（実施形態４）
本発明の実施形態４に係る表示制御装置１０３は、実施形態３に係る表示制御装置１０２の木構造の表示に加えて、クエリ画像に類似する画像を各確率円の周囲に表示する。このような表示を行うことにより、表示制御装置１０３は、診断対象部分の疾患の属性情報を把握しやすくするとともに、類似画像間の関係性をよりわかりやすく表示する。
(Embodiment 4)
The
実施形態４に係る表示制御装置１０３は、図１５に示すように、制御部１０、記憶部２０、入力部３１、出力部３２、通信部３３、を備える。これらのうち、記憶部２０、入力部３１及び出力部３２は、実施形態３に係る表示制御装置１０２が備える記憶部２０、入力部３１及び出力部３２と同様であるので、説明を省略する。通信部３３も実施形態３に係る表示制御装置１０２が備える通信部３３と同様であるが、データの送受信先の外部の他の装置として類似画像検索装置等も想定されており、制御部１０は、通信部３３を介して類似画像検索装置による類似画像検索結果（例えば、クエリ画像に類似する画像）を取得することができる。
A
制御部１０は、ＣＰＵ等で構成され、記憶部２０に記憶されたプログラムを実行することにより、後述する各部（指標取得部１６、位置決定部１３、疾患リスク取得部１９、類似画像取得部１１、分類部１４、表示制御部１８）の機能を実現する。
The
指標取得部１６、位置決定部１３及び疾患リスク取得部１９は、実施形態３に係る表示制御装置１０２が備える指標取得部１６、位置決定部１３及び疾患リスク取得部１９と同様なので、説明を省略する。
The
類似画像取得部１１は、実施形態１に係る類似画像取得部１１と同様に、クエリ画像に対する類似画像検索の結果得られたデータ（類似画像の画像データ及び該画像のクエリ画像との類似度）を取得する。具体的には、類似画像検索において、クエリ画像との類似度が所定の閾値以上となった画像データを、該類似度とともに取得する。類似画像取得部１１は、制御部１０がクエリ画像に類似する画像を検索した結果得られた類似画像のデータを取得してもよいし、例えば、通信部３３を介して、外部の類似画像検索装置にクエリ画像に類似する画像を検索させ、該類似画像検索装置によって検索された類似画像のデータを取得してもよい。また、各画像データにはタグ情報として、その画像に対応する疾患名等の情報が付加されているものとする。
Similar to the similar image obtaining unit 11 according to the first embodiment, the similar image obtaining unit 11 obtains data (image data of the similar image and the degree of similarity of the image to the query image) obtained as a result of similar image search for the query image. to get Specifically, in the similar image search, image data whose degree of similarity to the query image is equal to or greater than a predetermined threshold value is obtained together with the degree of similarity. The similar image acquisition unit 11 may acquire similar image data obtained as a result of searching for an image similar to the query image by the
分類部１４は、類似画像取得部１１が取得した画像データを、指標取得部１６が用いる疾患識別器が識別する疾患のいずれかに分類する。分類部１４は、各画像データに付加されているタグ情報（例えば、各画像データには疾患名がタグ情報として付加されている）を利用して画像データをいずれかの疾患に分類することができる。
The
表示制御部１８は、後述する表示制御処理により、実施形態３に係る表示制御部１８の処理に加え、類似画像取得部１１が取得した類似画像のデータを、図１６に示すように、分類部１４が分類した疾患に対応する確率円の周囲に表示する処理を行う。
In addition to the processing of the
以上、表示制御装置１０３の機能構成について説明した。次に表示制御装置１０３が行う表示制御処理の内容について、図１７を参照して説明する。表示制御処理は、ユーザが入力部３１を介して表示制御装置１０３に表示制御処理の開始を指示すると開始される。ただし、図１７に示す表示制御処理のうち、ステップＳ４０１からステップＳ４０６までは、実施形態３に係る表示制御装置１０２の表示制御処理（図１４）と同様の処理であるので、説明を省略する。
The functional configuration of the
ステップＳ４０６までの処理で木構造が表示されると、次に、類似画像取得部１１は、クエリ画像に対する類似画像検索の結果得られた類似画像を取得する（ステップＳ４０７）。具体的には、類似画像検索において、クエリ画像との類似度が所定の閾値以上となった類似画像を取得する。このとき、類似画像取得部１１は、類似画像とともに、該類似画像とクエリ画像との類似度も取得する。 After the tree structure is displayed by the processing up to step S406, the similar image obtaining unit 11 obtains similar images obtained as a result of the similar image search for the query image (step S407). Specifically, in the similar image search, similar images having a degree of similarity with the query image equal to or greater than a predetermined threshold are acquired. At this time, the similar image obtaining unit 11 obtains the similar image and the degree of similarity between the similar image and the query image.
そして、分類部１４は、類似画像取得部１１が取得した類似画像を、各類似画像に付加されているタグ情報（疾患名）に基づいて、指標取得部１６が用いる疾患識別器が識別する疾患のいずれかに分類する（ステップＳ４０８）。
Then, the
そして、表示制御部１８は、類似画像取得部１１がステップＳ４０７で取得した類似画像を、分類部１４がステップＳ４０８で分類した疾患に対応する確率円の周囲（又は内部）に配置して表示部に表示し（ステップＳ４０９）、表示制御処理を終了する。
Then, the
ステップＳ４０９での表示制御部１８による類似画像の表示は、図１６に示すように、各疾患の確率円の周囲（又は内部）に、クエリ画像との類似度が高い画像ほど、その確率円の中心に配置されるように、同心円状に配置して表示する。図１６に示す例では、各疾患に分類された類似画像のうち、クエリ画像との類似度が最も高い類似画像を各確率円の中心の上に配置し、そこから時計回りに配置することによって、同心円状に配置している。
The display of similar images by the
また、各類似画像は、小さい円で囲って表示するが、その小さい円の線の太さはその類似画像とクエリ画像との類似度が高いほど太くする。例えば、図１６に示す例では、メラノーマの確率円４１２の中心の上部に配置されている類似画像を囲う小さい円４１２１の線の太さは、その隣に配置されている類似画像を囲う小さい円４１２２の線の太さより太く表示されている。さらに、メラノーマの確率円４１２の中心の上部に配置されている類似画像を囲う小さい円４１２１の線の太さは、色素性母斑の確率円４１１の上部に配置されている類似画像を囲う小さい円４１１１の線の太さや、脂漏性角化症の確率円４１３の上部に配置されている類似画像を囲う小さい円４１３１の線の太さや、基底細胞癌の確率円４１４の上部に配置されている類似画像を囲う小さい円４１４１の線の太さのいずれよりも太く表示されている。これは、類似画像取得部１１が取得した類似画像のうちクエリ画像に最も類似する類似画像がメラノーマの画像（類似画像を囲う小さい円４１２１に囲われている画像）であることを意味する。
Each similar image is displayed by enclosing it in a small circle, and the thickness of the line of the small circle is made thicker as the degree of similarity between the similar image and the query image is higher. For example, in the example shown in FIG. 16, the line thickness of the
以上説明したように、表示制御装置１０３は、入力されたクエリ画像に対し、図１６に示すように、クエリ画像に写っている診断対象部分の疾患が所定の疾患である確率を確率円の大きさで示し、確率円を各疾患の属性に基づいて木構造で表示することにより、診断対象部分の疾患の属性情報を把握しやすくすることができる。また、リスク円４１５，４１６，４１７，４１８も表示することにより、確率円４１２，４１４とリスク円４１５，４１６，４１７，４１８との大小関係によって、診断対象部分の疾患のリスクの高さを把握することができる。さらに、クエリ画像との類似度の高い順に類似画像を各確率円の周囲（又は内部）に配置して表示することができるので、類似画像間の関係性をよりわかりやすく表示させることができる。
As described above, the
実施形態４に係る表示制御装置１０２においても、実施形態３に係る表示制御装置１０２と同様に、様々な属性を用いることができ、また表示制御部１８は、確率円４１１，４１２，４１３，４１４、リスク円４１５，４１６，４１７，４１８、クエリ画像４００、類似画像、木構造を構成する各ノード及び接続線の一部のみを表示してもよい。また、属性の種類数が２の木構造（２次元空間上の木構造）だけでなく、属性の種類をｎ種類にして、ｎ次元空間に木構造を配置し、それを最終的に２次元空間に投影して出力部３２に出力するようにしてもよい。
Also in the
また、上述の実施形態２，３，４では、皮膚の疾患を例にとって説明したが、本発明は皮膚科の分野に限定されるものではなく、識別器で画像を識別させる分野において広く適用できる。例えば、花の画像による花の種類の識別、細菌の顕微鏡写真による細菌の識別等にも適用できる。また、これらの識別器の実現方法は任意であり、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）等のＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いて実現してもよいし、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）やロジスティック回帰等で実現してもよい。 In the above-described second, third, and fourth embodiments, skin diseases have been described as examples, but the present invention is not limited to the field of dermatology, and can be widely applied to fields where images are identified by classifiers. . For example, the method can be applied to identification of flower types using images of flowers, identification of bacteria using microscope photographs of bacteria, and the like. In addition, these discriminators may be implemented by any method, and may be implemented using a DNN (Deep Neural Network) such as a CNN (Convolutional Neural Network), or may be implemented using an SVM (Support Vector Machine), logistic regression, or the like. You may
また、上述の実施形態２，３，４では、表示制御処理を制御部１０が行っていたが、外部のサーバで表示制御処理に相当する処理を行わせた結果を通信部３３で受信して出力部３２に出力してもよい。
Further, in the second, third, and fourth embodiments described above, the display control processing was performed by the
また、上述の各実施形態及び各変形例は適宜組み合わせることができる。実施形態４は実施形態３に実施形態１の一部を組み合わせた実施形態と言えるが、例えば、逆に、実施形態１に実施形態３の一部を組み合わせてもよい。そうすると、図３に示す各カテゴリ円を当該カテゴリに対応する疾患の確率の大きさを示す確率円に置き換え、当該カテゴリに対応する疾患の確率の値やリスク円を表示させることもできる。このようにすると、各疾患の確率やリスクを視覚的に確認しながら、類似画像を参照することができ、より診断の参考にすることができる。また、実施形態３や実施形態４における確率円やリスク円の形状は円に限られず、他の適当な形状（例えば、三角形、四角形等のｎ角形、ハート型、星形等のシンボル形状等）でもよい。 Moreover, each of the above-described embodiments and modifications can be appropriately combined. Although the fourth embodiment can be said to be an embodiment obtained by combining a part of the first embodiment with the third embodiment, for example, the first embodiment may be combined with a part of the third embodiment. Then, each category circle shown in FIG. 3 can be replaced with a probability circle indicating the magnitude of the probability of the disease corresponding to the category, and the value of the probability of the disease and the risk circle corresponding to the category can be displayed. By doing so, it is possible to refer to similar images while visually confirming the probability and risk of each disease, which can be used as a reference for diagnosis. Further, the shape of the probability circle and the risk circle in Embodiments 3 and 4 is not limited to a circle, and other suitable shapes (for example, n-sided shapes such as triangles and squares, symbol shapes such as heart shapes and star shapes, etc.) It's okay.
なお、類似画像表示装置１００及び表示制御装置１０１，１０２，１０３の各機能は、通常のＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等のコンピュータによっても実施することができる。具体的には、上記実施形態では、類似画像表示装置１００が行う類似画像表示処理のプログラム及び表示制御装置１０１，１０２，１０３が行う表示制御処理のプログラムが、記憶部２０のＲＯＭに予め記憶されているものとして説明した。しかし、プログラムを、フレキシブルディスク、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、ＭＯ（Ｍａｇｎｅｔｏ－Ｏｐｔｉｃａｌ Ｄｉｓｃ）、メモリカード、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ等のコンピュータ読み取り可能な記録媒体に格納して配布し、そのプログラムをコンピュータに読み込んでインストールすることにより、上述の各機能を実現することができるコンピュータを構成してもよい。
Each function of the similar
以上、本発明の好ましい実施形態について説明したが、本発明は係る特定の実施形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲が含まれる。以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。 Although the preferred embodiments of the present invention have been described above, the present invention is not limited to such specific embodiments, and the present invention includes the invention described in the claims and their equivalents. be The invention described in the original claims of the present application is appended below.
（付記１）
クエリ画像に対する類似画像検索の結果得られた類似画像を取得する類似画像取得手段と、
前記類似画像取得手段が取得した類似画像を分類する複数のカテゴリを設定するカテゴリ設定手段と、
２以上の所定の次元数の次元の空間における、前記カテゴリ設定手段が設定した各カテゴリを示す領域であるカテゴリ領域の位置を示す座標を、前記次元数の種類の属性に従って決定する位置決定手段と、
前記類似画像取得手段が取得した類似画像を前記カテゴリ設定手段が設定した複数のカテゴリのいずれかに分類する分類手段と、
前記分類手段で各カテゴリに分類された前記類似画像を、前記位置決定手段で決定された座標で示される位置に位置する前記カテゴリ領域の内部に配置して、表示部に表示させる画像表示制御手段と、
を備える類似画像表示制御装置。
(Appendix 1)
a similar image obtaining means for obtaining a similar image obtained as a result of a similar image search for the query image;
Category setting means for setting a plurality of categories for classifying the similar images acquired by the similar image acquisition means;
position determining means for determining, in accordance with the attribute of the type of the number of dimensions, the coordinates indicating the position of the category area, which is the area indicating each category set by the category setting means, in a space of dimensions having a predetermined number of dimensions of two or more; ,
Classifying means for classifying the similar image acquired by the similar image acquiring means into one of a plurality of categories set by the category setting means;
image display control means for arranging the similar image classified into each category by the classification means inside the category area positioned at the position indicated by the coordinates determined by the position determination means and displaying the similar image on a display unit; When,
A similar image display control device comprising:
（付記２）
前記画像表示制御手段は、前記類似画像を、前記クエリ画像との類似度に基づいて、前記カテゴリ領域の内部に配置して表示させる、
付記１に記載の類似画像表示制御装置。
(Appendix 2)
The image display control means arranges and displays the similar image inside the category area based on the degree of similarity with the query image.
The similar image display control device according to appendix 1.
（付記３）
前記画像表示制御手段は、前記カテゴリ領域を、前記カテゴリ領域に対応するカテゴリに分類された類似画像が多いほど、大きな円で表示させる、
付記１又は２に記載の類似画像表示制御装置。
(Appendix 3)
The image display control means causes the category area to be displayed in a larger circle as the number of similar images classified into the category corresponding to the category area increases.
The similar image display control device according to appendix 1 or 2.
（付記４）
前記画像表示制御手段は、前記カテゴリ領域を示す円の円周の線を、前記カテゴリ領域に対応するカテゴリに分類された類似画像のうち前記クエリ画像に最も類似する類似画像のクエリ画像との類似度が高いほど太く表示させる、
付記３に記載の類似画像表示制御装置。
(Appendix 4)
The image display control means displays a similarity image of a similar image most similar to the query image out of the similar images classified into the category corresponding to the category area to the query image. The higher the degree, the thicker the display,
The similar image display control device according to appendix 3.
（付記５）
前記画像表示制御手段は、前記類似画像を、前記カテゴリ領域内に同心円状に配置して表示させる、
付記３又は４に記載の類似画像表示制御装置。
(Appendix 5)
The image display control means arranges and displays the similar images concentrically within the category area.
5. The similar image display control device according to appendix 3 or 4.
（付記６）
前記画像表示制御手段は、前記類似画像を、前記クエリ画像との類似度が高いほど前記カテゴリ領域の中心に近い位置に配置して表示させる、
付記５に記載の類似画像表示制御装置。
(Appendix 6)
The image display control means arranges and displays the similar image at a position closer to the center of the category area as the similarity to the query image is higher.
The similar image display control device according to appendix 5.
（付記７）
前記画像表示制御手段は、前記同心円状に配置して表示された類似画像の背景に同心円状のグラフィック図形を表示させる、
付記５又は６に記載の類似画像表示制御装置。
(Appendix 7)
The image display control means displays a concentric graphic figure in the background of the similar image arranged and displayed concentrically.
The similar image display control device according to appendix 5 or 6.
（付記８）
前記位置決定手段は、前記属性のそれぞれを前記空間の各座標軸に対応させて、前記カテゴリ領域の位置を示す座標を前記空間の該カテゴリの前記属性の属性値に応じた座標に決定する、
付記１から７のいずれか１つに記載の類似画像表示制御装置。
(Appendix 8)
The position determination means associates each of the attributes with each coordinate axis of the space, and determines the coordinates indicating the position of the category area to be the coordinates according to the attribute value of the attribute of the category in the space.
8. The similar image display control device according to any one of Appendices 1 to 7.
（付記９）
前記画像表示制御手段は、前記カテゴリ領域に、前記カテゴリ領域に対応するカテゴリの属性に基づいた接続線を接続して表示させる、
付記１から８のいずれか１つに記載の類似画像表示制御装置。
(Appendix 9)
The image display control means connects and displays a connection line based on the attribute of the category corresponding to the category area in the category area.
9. The similar image display control device according to any one of Appendices 1 to 8.
（付記１０）
前記画像表示制御手段は、前記クエリ画像を根ノードとし、前記決定された座標で示される位置に位置する前記カテゴリ領域を葉ノードとして、前記カテゴリ領域に対応するカテゴリの属性に基づいた接続線を前記根ノードから前記葉ノードに接続した木構造により、前記類似画像を表示部に表示させ、前記接続線の内部ノードとして前記カテゴリの属性の情報を示す属性名を表示させる、
付記１から８のいずれか１つに記載の類似画像表示制御装置。
(Appendix 10)
The image display control means uses the query image as a root node and the category area located at the position indicated by the determined coordinates as a leaf node, and draws a connection line based on the attribute of the category corresponding to the category area. causing the similar image to be displayed on a display unit by a tree structure connecting the root node to the leaf node, and displaying an attribute name indicating attribute information of the category as an internal node of the connecting line;
9. The similar image display control device according to any one of Appendices 1 to 8.
（付記１１）
前記画像表示制御手段は、前記分類手段で前記カテゴリ領域に対応するカテゴリに分類された複数の類似画像のうちの所定の類似画像のクエリ画像との類似度に応じて、前記類似画像が分類された前記カテゴリに対応する前記カテゴリ領域に接続された前記接続線の太さを、前記表示部に所定の太さで表示させる、
付記９又は１０に記載の類似画像表示制御装置。
(Appendix 11)
The image display control means classifies the similar images according to the degree of similarity between a predetermined similar image and the query image among the plurality of similar images classified into the category corresponding to the category area by the classification means. causing the display unit to display the thickness of the connection line connected to the category area corresponding to the category, with a predetermined thickness;
11. The similar image display control device according to
（付記１２）
前記画像表示制御手段は、前記類似画像のうちユーザに選択された１または複数の類似画像と前記クエリ画像とを前記表示部に拡大表示させる、
付記１から１１のいずれか１つに記載の類似画像表示制御装置。
(Appendix 12)
The image display control means enlarges and displays one or more similar images selected by a user from among the similar images and the query image on the display unit.
12. The similar image display control device according to any one of Appendices 1 to 11.
（付記１３）
前記カテゴリは、皮膚の疾患名である、
付記１から１２のいずれか１つに記載の類似画像表示制御装置。
(Appendix 13)
The category is a skin disease name,
13. The similar image display control device according to any one of Appendices 1 to 12.
（付記１４）
前記属性は、良性／悪性及びメラノサイト系／非メラノサイト系の２種類である、
付記１３に記載の類似画像表示制御装置。
(Appendix 14)
The attributes are of two types: benign/malignant and melanocytic/non-melanocytic.
The similar image display control device according to
（付記１５）
類似画像表示制御装置と表示部とを備える類似画像表示制御システムであって、
前記類似画像表示制御装置は、
クエリ画像に対する類似画像検索の結果得られた類似画像を取得する類似画像取得手段と、
前記類似画像取得手段が取得した類似画像を分類する複数のカテゴリを設定するカテゴリ設定手段と、
２以上の所定の次元数の次元の空間における、前記カテゴリ設定手段が設定した各カテゴリを示す領域であるカテゴリ領域の位置を示す座標を、前記次元数の種類の属性に従って決定する位置決定手段と、
前記類似画像取得手段が取得した類似画像を前記カテゴリ設定手段が設定した複数のカテゴリのいずれかに分類する分類手段と、
前記分類手段で各カテゴリに分類された前記類似画像を、前記位置決定手段で決定された座標で示される位置に位置する前記カテゴリ領域の内部に配置して、前記表示部に表示させる画像表示制御手段と、
を備える、
類似画像表示制御システム。
(Appendix 15)
A similar image display control system comprising a similar image display control device and a display unit,
The similar image display control device includes:
a similar image obtaining means for obtaining a similar image obtained as a result of a similar image search for the query image;
Category setting means for setting a plurality of categories for classifying the similar images acquired by the similar image acquisition means;
position determining means for determining, in accordance with the attribute of the type of the number of dimensions, the coordinates indicating the position of the category area, which is the area indicating each category set by the category setting means, in a space of dimensions having a predetermined number of dimensions of two or more; ,
Classifying means for classifying the similar image acquired by the similar image acquiring means into one of a plurality of categories set by the category setting means;
image display control for arranging the similar image classified into each category by the classification means inside the category area positioned at the position indicated by the coordinates determined by the position determination means and displaying the similar image on the display section; means and
comprising
Similar image display control system.
（付記１６）
クエリ画像に対する類似画像検索の結果得られた類似画像を取得する類似画像取得ステップと、
前記類似画像取得ステップで取得した類似画像を複数のカテゴリのいずれかに分類する分類ステップと、
２以上の所定の次元数の次元の空間における、前記カテゴリを示す領域であるカテゴリ領域の位置を示す座標を、前記次元数の種類の属性に従って決定するとともに、前記分類ステップで各カテゴリに分類された前記類似画像を、前記決定された座標で示される位置に位置する前記カテゴリ領域の内部に配置して、表示部に表示させる画像表示制御ステップと、
を含む類似画像表示制御方法。
(Appendix 16)
a similar image obtaining step of obtaining a similar image obtained as a result of a similar image search for the query image;
a classification step of classifying the similar image obtained in the similar image obtaining step into one of a plurality of categories;
Coordinates indicating the position of the category region, which is the region indicating the category, in a dimensional space with a predetermined number of dimensions of two or more are determined according to the attribute of the type of the number of dimensions, and are classified into each category in the classification step. an image display control step of arranging the obtained similar image inside the category area located at the position indicated by the determined coordinates and displaying it on a display unit;
Similar image display control method including.
（付記１７）
コンピュータに、
クエリ画像に対する類似画像検索の結果得られた類似画像を取得する類似画像取得ステップ、
前記類似画像取得ステップで取得した類似画像を複数のカテゴリのいずれかに分類する分類ステップ、及び、
２以上の所定の次元数の次元の空間における、前記カテゴリを示す領域であるカテゴリ領域の位置を示す座標を、前記次元数の種類の属性に従って決定するとともに、前記分類ステップで各カテゴリに分類された前記類似画像を、前記決定された座標で示される位置に位置する前記カテゴリ領域の内部に配置して、表示部に表示させる画像表示制御ステップ、
を実行させるためのプログラム。
(Appendix 17)
to the computer,
a similar image obtaining step of obtaining a similar image obtained as a result of similar image search for the query image;
a classification step of classifying the similar image obtained in the similar image obtaining step into one of a plurality of categories;
Coordinates indicating the position of the category region, which is the region indicating the category, in a dimensional space with a predetermined number of dimensions of two or more are determined according to the attribute of the type of the number of dimensions, and are classified into each category in the classification step. an image display control step of arranging the similar image that has been obtained inside the category area located at the position indicated by the determined coordinates and displaying it on a display unit;
program to run the
（付記１８）
診断対象部分の疾患の属性が悪性である可能性を表す悪性指標と、前記診断対象部分の疾患の属性が所定の第１疾患属性である可能性を表す第１疾患属性指標と、を取得する取得手段と、
前記取得された悪性指標及び前記取得された第１疾患属性指標を、互いに関連づけて表示部に表示させる表示制御手段と、
を備える表示制御装置。
(Appendix 18)
Acquiring a malignancy index representing the possibility that the disease attribute of the diagnosis target portion is malignant and a first disease attribute index representing the possibility that the disease attribute of the diagnosis target portion is a predetermined first disease attribute. acquisition means;
display control means for displaying the acquired malignancy index and the acquired first disease attribute index in association with each other on a display unit;
A display controller comprising:
（付記１９）
疾患の属性が悪性であり、かつ、前記疾患の属性が前記第１疾患属性である場合における前記疾患のリスクが高いか否かを表すリスク指標を取得するリスク取得手段をさらに備え、
前記表示制御手段は、前記取得されたリスク指標を、前記取得された悪性指標及び前記取得された第１疾患属性指標と関連づけて前記表示部に表示させる、
付記１８に記載の表示制御装置。
(Appendix 19)
further comprising risk acquiring means for acquiring a risk index representing whether the risk of the disease is high when the disease attribute is malignant and the disease attribute is the first disease attribute;
The display control means causes the display unit to display the obtained risk index in association with the obtained malignancy index and the obtained first disease attribute index.
18. The display control device according to
（付記２０）
前記取得手段は、前記診断対象部分の疾患の属性が良性である可能性を表す良性指標と、前記診断対象部分の疾患の属性が前記第１疾患属性とは異なる第２疾患属性である可能性を表す第２疾患属性指標と、をさらに取得し、
前記表示制御手段は、前記取得された悪性指標、前記取得された第１疾患属性指標、前記取得された良性指標及び前記取得された第２疾患属性指標を、互いに関連づけて前記表示部に表示させる、
付記１８に記載の表示制御装置。
(Appendix 20)
The obtaining means obtains a benign index indicating a possibility that the disease attribute of the diagnostic target portion is benign, and a possibility that the disease attribute of the diagnostic target portion is a second disease attribute different from the first disease attribute. and further obtaining a second disease attribute index representing
The display control means causes the display unit to display the acquired malignant index, the acquired first disease attribute index, the acquired benign index, and the acquired second disease attribute index in association with each other. ,
18. The display control device according to
（付記２１）
前記診断対象部分の疾患のリスクが高いか否かを表すリスク指標を取得する疾患リスク取得手段をさらに備え、
前記表示制御手段は、前記取得されたリスク指標を、前記取得された悪性指標、前記取得された第１疾患属性指標、前記取得された良性指標及び前記取得された第２疾患属性指標と、互いに関連づけて表示部に表示させる、
付記２０に記載の表示制御装置。
(Appendix 21)
further comprising disease risk acquiring means for acquiring a risk index indicating whether the diagnosis target portion has a high risk of disease,
The display control means merges the acquired risk indicator with the acquired malignancy indicator, the acquired first disease attribute indicator, the acquired benign indicator, and the acquired second disease attribute indicator. associated and displayed on the display,
21. The display control device according to
（付記２２）
疾患に関する情報を表示する位置の座標を決定する位置決定手段をさらに備え、
前記取得手段は、前記診断対象部分の疾患が所定の疾患である可能性を表す疾患指標をさらに取得し、
前記表示制御手段は、クエリ画像を根ノードとし、前記決定された座標で示される位置に位置する前記取得された疾患指標に基づく大きさの確率円を葉ノードとして、前記診断対象部分の疾患の属性に基づいた接続線を前記根ノードから前記葉ノードに接続した木構造により、前記取得された各指標を互いに関連づけて前記表示部に表示させる、
付記２０又は２１に記載の表示制御装置。
(Appendix 22)
further comprising a position determination means for determining the coordinates of the position where the information about the disease is displayed;
The acquisition means further acquires a disease index indicating a possibility that the disease in the diagnostic target portion is a predetermined disease,
The display control means uses a query image as a root node and a probability circle having a size based on the acquired disease index located at the position indicated by the determined coordinates as a leaf node to describe the disease in the diagnosis target portion. causing each of the obtained indexes to be associated with each other and displayed on the display unit by a tree structure in which a connection line based on an attribute is connected from the root node to the leaf node;
22. The display control device according to
（付記２３）
前記第１疾患属性がメラノサイト系であり、前記第２疾患属性が非メラノサイト系である、
付記２０から２２のいずれか１つに記載の表示制御装置。
(Appendix 23)
wherein the first disease attribute is melanocyte-based and the second disease attribute is non-melanocytic;
23. The display control device according to any one of
（付記２４）
前記診断対象部分の疾患が各属性に関係する確率を出力する識別器をさらに備え、
前記取得手段は、前記出力された各属性に関係する確率を前記各属性の指標として取得する、
付記１８から２３のいずれか１つに記載の表示制御装置。
(Appendix 24)
further comprising a discriminator that outputs a probability that the disease of the diagnostic target portion is related to each attribute;
the acquiring means acquires the output probability related to each attribute as an index of each attribute;
24. The display control device according to any one of
（付記２５）
表示制御装置と表示部とを備える表示制御システムであって、
前記表示制御装置は、
診断対象部分の疾患の属性が悪性である可能性を表す悪性指標と、前記診断対象部分の疾患の属性が所定の第１疾患属性である可能性を表す第１疾患属性指標と、を取得する取得手段と、
前記取得された悪性指標及び前記取得された第１疾患属性指標を、互いに関連づけて前記表示部に表示させる表示制御手段と、
を備える、
表示制御システム。
(Appendix 25)
A display control system comprising a display control device and a display unit,
The display control device is
Acquiring a malignancy index representing the possibility that the disease attribute of the diagnosis target portion is malignant and a first disease attribute index representing the possibility that the disease attribute of the diagnosis target portion is a predetermined first disease attribute. acquisition means;
display control means for displaying the acquired malignancy index and the acquired first disease attribute index in association with each other on the display unit;
comprising
Display control system.
（付記２６）
診断対象部分の疾患の属性が悪性である可能性を表す悪性指標と、前記診断対象部分の疾患の属性が所定の第１疾患属性である可能性を表す第１疾患属性指標と、を取得する取得ステップと、
前記取得された悪性指標及び前記取得された第１疾患属性指標を、互いに関連づけて表示部に表示させる表示制御ステップと、
を備える表示制御方法。
(Appendix 26)
Acquiring a malignancy index representing the possibility that the disease attribute of the diagnosis target portion is malignant and a first disease attribute index representing the possibility that the disease attribute of the diagnosis target portion is a predetermined first disease attribute. an acquisition step;
a display control step of displaying the acquired malignancy index and the acquired first disease attribute index on a display unit in association with each other;
A display control method comprising:
（付記２７）
コンピュータに、
診断対象部分の疾患の属性が悪性である可能性を表す悪性指標と、前記診断対象部分の疾患の属性が所定の第１疾患属性である可能性を表す第１疾患属性指標と、を取得する取得ステップ、並びに、
前記取得された悪性指標及び前記取得された第１疾患属性指標を、互いに関連づけて表示部に表示させる表示制御ステップ、
を実行させるためのプログラム。
(Appendix 27)
to the computer,
Acquiring a malignancy index representing the possibility that the disease attribute of the diagnosis target portion is malignant and a first disease attribute index representing the possibility that the disease attribute of the diagnosis target portion is a predetermined first disease attribute. an acquisition step, and
a display control step of displaying the acquired malignancy index and the acquired first disease attribute index in association with each other on a display unit;
program to run the
１０…制御部、１１…類似画像取得部、１２…カテゴリ設定部、１３…位置決定部、１４…分類部、１５…画像表示制御部、１６…指標取得部、１７…リスク取得部、１８…表示制御部、１９…疾患リスク取得部、２０…記憶部、３１…入力部、３２…出力部、３３…通信部、５１，３００，４００…クエリ画像、５２…比較対象画像、５３…タグ情報、５４…類似度の順位、５５…順送りボタン、５６…逆送りボタン、１００…類似画像表示装置、１０１，１０２，１０３…表示制御装置、２０１…色素性母斑、２０２…メラノーマ、２０３…脂漏性角化症、２０４…血腫・血管腫、２０５…基底細胞癌、２０６…点、２０７…リスク境界線、３０１…色素性母斑の領域、３０２…メラノーマの領域、３０３…脂漏性角化症の領域、３０４…血腫・血管腫の領域、３０５…基底細胞癌の領域、３１１，３１２，３１３，３１４，３１５…カテゴリ円、３１１ａ，３１１ｂ，３１１ｃ，３１１ｄ，３１２ａ，３１２ｂ，３１３ａ，３１３ｂ，３１４ａ，３１４ｂ，３１５ａ，３１５ｂ，３１５ｃ…グラフィック図形、３２１，３２２，３２３，３２４，３２５，４２１，４２２，４２３，４２４…接続線、３３１…良性、３３２…悪性、３３３，３３４…メラノサイト系、３３５，３３６…非メラノサイト系、３５１，３５２，３５３，３５４，３５５…四角形、４１１，４１２，４１３，４１４…確率円、４１５，４１６，４１７，４１８…リスク円、４３１…良性ノード、４３２…悪性ノード、４３３，４３４…メラノサイト系ノード、４３５，４３６…非メラノサイト系ノード、３１４１，３１４２，４１１１，４１２１，４１２２，４１３１，４１４１…類似画像を囲う小さい円
DESCRIPTION OF
Claims (14)
前記類似画像取得手段が取得した複数の類似画像を分類する複数のカテゴリを設定するカテゴリ設定手段と、
２以上の所定の次元数の次元の空間における、前記カテゴリ設定手段が設定した各カテゴリを示す領域であるカテゴリ領域の位置を示す座標を、前記次元数の種類の属性に従って決定する位置決定手段と、
前記類似画像取得手段が取得した複数の類似画像を前記複数の類似画像夫々に付加されているタグ情報に基づいて、前記カテゴリ設定手段が設定した複数のカテゴリのいずれかに分類する分類手段と、
前記カテゴリ領域を前記カテゴリ領域に対応するカテゴリに分類された類似画像の数が多いほど大きな円で表示させるとともに、前記分類された類似画像に共通して付加されているタグ情報を前記カテゴリ領域と関連付けるように表示させ、前記分類手段で各カテゴリに分類された前記類似画像を前記クエリ画像との類似度に基づいて前記位置決定手段で決定された座標で示される位置に位置する前記カテゴリ領域の内部に配置し、前記カテゴリ領域を示す円の円周の線を、前記カテゴリ領域に対応するカテゴリに分類された類似画像のうち前記クエリ画像に最も類似する類似画像のクエリ画像との類似度が高いほど太くなるように、表示部に表示させる画像表示制御手段と、
を備えることを特徴とする類似画像表示制御装置。 a similar image obtaining means for obtaining a plurality of similar images obtained as a result of similar image search for the query image;
Category setting means for setting a plurality of categories for classifying the plurality of similar images obtained by the similar image obtaining means;
position determining means for determining, in accordance with the attribute of the type of the number of dimensions, the coordinates indicating the position of the category area, which is the area indicating each category set by the category setting means, in a space of dimensions having a predetermined number of dimensions of two or more; ,
Classification means for classifying the plurality of similar images acquired by the similar image acquisition means into one of the plurality of categories set by the category setting means based on the tag information attached to each of the plurality of similar images;
The category area is displayed in a larger circle as the number of similar images classified into the category corresponding to the category area increases, and tag information commonly added to the classified similar images is displayed as the category area. The similar images classified into each category by the classification means are displayed in association with each other, and the similar images are displayed in the category area located at the position indicated by the coordinates determined by the position determination means based on the degree of similarity with the query image. The similarity of the similar image most similar to the query image among the similar images classified into the category corresponding to the category region has a degree of similarity with the query image. an image display control means for causing the display unit to display such that the higher the image, the thicker the image;
A similar image display control device comprising:
請求項１に記載の類似画像表示制御装置。 The image display control means arranges and displays the similar image concentrically within the category area,
The similar image display control device according to claim 1.
請求項２に記載の類似画像表示制御装置。 The image display control means arranges and displays the similar image at a position closer to the center of the category area as the similarity to the query image is higher.
The similar image display control device according to claim 2.
請求項２又は３に記載の類似画像表示制御装置。 The image display control means displays a concentric graphic figure in the background of the similar image arranged and displayed concentrically.
The similar image display control device according to claim 2 or 3.
請求項１から４のいずれか１項に記載の類似画像表示制御装置。 The position determination means associates each of the attributes with each coordinate axis of the space, and determines the coordinates indicating the position of the category area to be the coordinates according to the attribute value of the attribute of the category in the space. characterized by
The similar image display control device according to any one of claims 1 to 4.
請求項１から５のいずれか１項に記載の類似画像表示制御装置。 The image display control means connects and displays a connection line based on the attribute of the category corresponding to the category area in the category area,
The similar image display control device according to any one of claims 1 to 5.
請求項１から６のいずれか１項に記載の類似画像表示制御装置。 The image display control means uses the query image as a root node and the category area located at the position indicated by the determined coordinates as a leaf node, and draws a connection line based on the attribute of the category corresponding to the category area. The similar image is displayed on the display unit by a tree structure connecting the root node to the leaf node, and an attribute name indicating attribute information of the category is displayed as an internal node of the connection line,
The similar image display control device according to any one of claims 1 to 6.
請求項６又は７に記載の類似画像表示制御装置。 The image display control means classifies the similar images according to the degree of similarity between a predetermined similar image and the query image among the plurality of similar images classified into the category corresponding to the category area by the classification means. The thickness of the connection line connected to the category area corresponding to the category is displayed in a predetermined thickness on the display unit,
The similar image display control device according to claim 6 or 7.
請求項１から８のいずれか１項に記載の類似画像表示制御装置。 The image display control means enlarges and displays one or more similar images selected by the user from among the similar images and the query image on the display unit,
The similar image display control device according to any one of claims 1 to 8.
請求項１から９のいずれか１項に記載の類似画像表示制御装置。 The tag information is a skin disease name,
The similar image display control device according to any one of claims 1 to 9.
請求項１０に記載の類似画像表示制御装置。 The attributes are of two types: benign/malignant and melanocyte/non-melanocyte.
The similar image display control device according to claim 10.
前記類似画像表示制御装置は、
クエリ画像に対する類似画像検索の結果得られた類似画像を複数取得する類似画像取得手段と、
前記類似画像取得手段が取得した複数の類似画像を分類する複数のカテゴリを設定するカテゴリ設定手段と、
２以上の所定の次元数の次元の空間における、前記カテゴリ設定手段が設定した各カテゴリを示す領域であるカテゴリ領域の位置を示す座標を、前記次元数の種類の属性に従って決定する位置決定手段と、
前記類似画像取得手段が取得した複数の類似画像を前記複数の類似画像夫々に付加されているタグ情報に基づいて、前記カテゴリ設定手段が設定した複数のカテゴリのいずれかに分類する分類手段と、
前記カテゴリ領域を前記カテゴリ領域に対応するカテゴリに分類された類似画像の数が多いほど大きな円で表示させるとともに、前記分類された類似画像に共通して付加されているタグ情報を前記カテゴリ領域と関連付けるように表示させ、前記分類手段で各カテゴリに分類された前記類似画像を前記クエリ画像との類似度に基づいて前記位置決定手段で決定された座標で示される位置に位置する前記カテゴリ領域の内部に配置し、前記カテゴリ領域を示す円の円周の線を、前記カテゴリ領域に対応するカテゴリに分類された類似画像のうち前記クエリ画像に最も類似する類似画像のクエリ画像との類似度が高いほど太くなるように、前記表示部に表示させる画像表示制御手段と、
を備えることを特徴とする、
類似画像表示制御システム。 A similar image display control system comprising a similar image display control device and a display unit,
The similar image display control device includes:
a similar image obtaining means for obtaining a plurality of similar images obtained as a result of similar image search for the query image;
Category setting means for setting a plurality of categories for classifying the plurality of similar images obtained by the similar image obtaining means;
position determining means for determining, in accordance with the attribute of the type of the number of dimensions, the coordinates indicating the position of the category area, which is the area indicating each category set by the category setting means, in a space of dimensions having a predetermined number of dimensions of two or more; ,
Classification means for classifying the plurality of similar images acquired by the similar image acquisition means into one of the plurality of categories set by the category setting means based on the tag information attached to each of the plurality of similar images;
The category area is displayed in a larger circle as the number of similar images classified into the category corresponding to the category area increases, and tag information commonly added to the classified similar images is displayed as the category area. The similar images classified into each category by the classification means are displayed in association with each other, and the similar images are displayed in the category area located at the position indicated by the coordinates determined by the position determination means based on the degree of similarity with the query image. The similarity of the similar image most similar to the query image among the similar images classified into the category corresponding to the category region has a degree of similarity with the query image. an image display control means for causing the display unit to display such that the higher the image, the thicker the image;
characterized by comprising
Similar image display control system.
クエリ画像に対する類似画像検索の結果得られた類似画像を複数取得する類似画像取得ステップと、
前記類似画像取得ステップにて取得した複数の類似画像を分類する複数のカテゴリを設定するカテゴリ設定ステップと、
２以上の所定の次元数の次元の空間における、前記カテゴリ設定ステップにて設定した各カテゴリを示す領域であるカテゴリ領域の位置を示す座標を、前記次元数の種類の属性に従って決定する位置決定ステップと、
前記類似画像取得ステップにて取得した複数の類似画像を前記複数の類似画像夫々に付加されているタグ情報に基づいて、前記カテゴリ設定ステップにて設定した複数のカテゴリのいずれかに分類する分類ステップと、
前記カテゴリ領域を前記カテゴリ領域に対応するカテゴリに分類された類似画像の数が多いほど大きな円で表示させるとともに、前記分類された類似画像に共通して付加されているタグ情報を前記カテゴリ領域と関連付けるように表示させ、前記分類ステップにて各カテゴリに分類された前記類似画像を前記クエリ画像との類似度に基づいて前記位置決定ステップにて決定された座標で示される位置に位置する前記カテゴリ領域の内部に配置し、前記カテゴリ領域を示す円の円周の線を、前記カテゴリ領域に対応するカテゴリに分類された類似画像のうち前記クエリ画像に最も類似する類似画像のクエリ画像との類似度が高いほど太くなるように、表示部に表示させる画像表示制御ステップと、
を含むことを特徴とする類似画像表示制御方法。 A similar image display control method executed by a similar image display control device,
a similar image obtaining step of obtaining a plurality of similar images obtained as a result of similar image search for the query image;
a category setting step of setting a plurality of categories for classifying the plurality of similar images obtained in the similar image obtaining step;
A position determining step of determining, in accordance with the attribute of the type of the number of dimensions, the coordinates indicating the position of the category area, which is the area indicating each category set in the category setting step, in a dimensional space of a predetermined number of dimensions equal to or greater than two. When,
A classification step of classifying the plurality of similar images obtained in the similar image obtaining step into one of the plurality of categories set in the category setting step based on the tag information attached to each of the plurality of similar images. When,
The category area is displayed in a larger circle as the number of similar images classified into the category corresponding to the category area increases, and tag information commonly added to the classified similar images is displayed as the category area. displaying the similar images so as to be associated with each other, and displaying the similar images classified into the respective categories in the classifying step based on the degree of similarity with the query image; The similarity of a similar image most similar to the query image among the similar images classified into the category corresponding to the category region to the query image An image display control step for displaying on the display unit so that the higher the degree, the thicker the image;
A similar image display control method comprising:
クエリ画像に対する類似画像検索の結果得られた類似画像を複数取得する類似画像取得手段、
前記類似画像取得手段が取得した複数の類似画像を分類する複数のカテゴリを設定するカテゴリ設定手段、
２以上の所定の次元数の次元の空間における、前記カテゴリ設定手段が設定した各カテゴリを示す領域であるカテゴリ領域の位置を示す座標を、前記次元数の種類の属性に従って決定する位置決定手段、
前記類似画像取得手段が取得した複数の類似画像を前記複数の類似画像夫々に付加されているタグ情報に基づいて、前記カテゴリ設定手段が設定した複数のカテゴリのいずれかに分類する分類手段、
前記カテゴリ領域を前記カテゴリ領域に対応するカテゴリに分類された類似画像の数が多いほど大きな円で表示させるとともに、前記分類された類似画像に共通して付加されているタグ情報を前記カテゴリ領域と関連付けるように表示させ、前記分類手段で各カテゴリに分類された前記類似画像を前記クエリ画像との類似度に基づいて前記位置決定手段で決定された座標で示される位置に位置する前記カテゴリ領域の内部に配置し、前記カテゴリ領域を示す円の円周の線を、前記カテゴリ領域に対応するカテゴリに分類された類似画像のうち前記クエリ画像に最も類似する類似画像のクエリ画像との類似度が高いほど太くなるように、表示部に表示させる画像表示制御手段、
として機能させるためのプログラム。
the computer,
Similar image acquisition means for acquiring a plurality of similar images obtained as a result of similar image search for the query image;
category setting means for setting a plurality of categories for classifying the plurality of similar images obtained by the similar image obtaining means;
position determining means for determining, in accordance with the attribute of the type of the number of dimensions, the coordinates indicating the position of the category area, which is the area indicating each category set by the category setting means, in a dimensional space of a predetermined number of dimensions of two or more;
Classification means for classifying the plurality of similar images acquired by the similar image acquisition means into one of the plurality of categories set by the category setting means based on the tag information attached to each of the plurality of similar images;
The category area is displayed in a larger circle as the number of similar images classified into the category corresponding to the category area increases, and tag information commonly added to the classified similar images is displayed as the category area. The similar images classified into each category by the classification means are displayed in association with each other, and the similar images are displayed in the category area located at the position indicated by the coordinates determined by the position determination means based on the degree of similarity with the query image. The similarity of the similar image most similar to the query image among the similar images classified into the category corresponding to the category region has a degree of similarity with the query image. image display control means for causing the display unit to display such that the higher the image, the thicker the image;
A program to function as
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910785443.9A CN110867241B (en) | 2018-08-27 | 2019-08-23 | Image-like display control device, system, method, and recording medium |
| CN202311474685.9A CN117438053A (en) | 2018-08-27 | 2019-08-23 | Display control device, display control system, display control method, and recording medium |
| US16/550,899 US20200066396A1 (en) | 2018-08-27 | 2019-08-26 | Similar image display control apparatus, similar image display control system, similar image display control method, display control apparatus, display control system, display control method, and recording medium |
| JP2021203346A JP7380668B2 (en) | 2018-08-27 | 2021-12-15 | Display control device, display control system, display control method and program |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018158048 | 2018-08-27 | ||
| JP2018158048 | 2018-08-27 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021203346A Division JP7380668B2 (en) | 2018-08-27 | 2021-12-15 | Display control device, display control system, display control method and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020035423A JP2020035423A (en) | 2020-03-05 |
| JP7176486B2 true JP7176486B2 (en) | 2022-11-22 |
Family
ID=69668461
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019122644A Active JP7176486B2 (en) | 2018-08-27 | 2019-07-01 | Similar image display control device, similar image display control system, similar image display control method and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7176486B2 (en) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000112991A (en) | 1998-10-08 | 2000-04-21 | Canon Inc | Device for information retrieval, method therefor and storage medium |
| JP2004254742A (en) | 2003-02-24 | 2004-09-16 | Konica Minolta Holdings Inc | Medical image processor and method of judging malignancy |
| JP2009301536A (en) | 2008-06-12 | 2009-12-24 | Fuji Xerox Co Ltd | Method, apparatus and program for displaying files |
| JP2013131051A (en) | 2011-12-21 | 2013-07-04 | Canon Marketing Japan Inc | Information processing apparatus, information processing method, and program |
-
2019
- 2019-07-01 JP JP2019122644A patent/JP7176486B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000112991A (en) | 1998-10-08 | 2000-04-21 | Canon Inc | Device for information retrieval, method therefor and storage medium |
| JP2004254742A (en) | 2003-02-24 | 2004-09-16 | Konica Minolta Holdings Inc | Medical image processor and method of judging malignancy |
| JP2009301536A (en) | 2008-06-12 | 2009-12-24 | Fuji Xerox Co Ltd | Method, apparatus and program for displaying files |
| JP2013131051A (en) | 2011-12-21 | 2013-07-04 | Canon Marketing Japan Inc | Information processing apparatus, information processing method, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2020035423A (en) | 2020-03-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20230106440A1 (en) | Content based image retrieval for lesion analysis | |
| Lam et al. | Retinal lesion detection with deep learning using image patches | |
| Amin et al. | Use of machine intelligence to conduct analysis of human brain data for detection of abnormalities in its cognitive functions | |
| Sharif et al. | A comprehensive review on multi-organs tumor detection based on machine learning | |
| US9514416B2 (en) | Apparatus and method of diagnosing a lesion using image data and diagnostic models | |
| Rocha et al. | Points of interest and visual dictionaries for automatic retinal lesion detection | |
| US20200085382A1 (en) | Automated lesion detection, segmentation, and longitudinal identification | |
| Silva et al. | Hybrid analysis for indicating patients with breast cancer using temperature time series | |
| JP5054252B1 (en) | Similar case search device, similar case search method, operation method and program of similar case search device | |
| US20210052137A1 (en) | Training data collection apparatus, training data collection method, program, training system, trained model, and endoscopic image processing apparatus | |
| Yap et al. | End-to-end breast ultrasound lesions recognition with a deep learning approach | |
| Sanchez et al. | Scaled radial axes for interactive visual feature selection: A case study for analyzing chronic conditions | |
| JP2010000133A (en) | Image display, image display method and program | |
| JP2006034585A (en) | Picture display device and picture display method, and program thereof | |
| Abedini et al. | 10 Accurate and Scalable System for Automatic Detection of Malignant Melanoma | |
| Rahman et al. | Developing a retrieval based diagnostic aid for automated melanoma recognition of dermoscopic images | |
| JPWO2020027228A1 (en) | Diagnostic support system and diagnostic support method | |
| Maleki et al. | An intelligent algorithm for lung cancer diagnosis using extracted features from Computerized Tomography images | |
| Patel et al. | Automated screening of glaucoma stages from retinal fundus images using BPS and LBP based GLCM features | |
| Sonia et al. | Segmenting and classifying skin lesions using a fruit fly optimization algorithm with a machine learning framework | |
| JP7380668B2 (en) | Display control device, display control system, display control method and program | |
| Namdeo et al. | Thyroid disorder diagnosis by optimal convolutional neuron based CNN architecture | |
| Boulahia et al. | Att2ResNet: A deep attention‐based approach for melanoma skin cancer classification | |
| JP7176486B2 (en) | Similar image display control device, similar image display control system, similar image display control method and program | |
| Kumar et al. | Automatic brain tumor detection using machine learning and mixed supervision |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201008 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210922 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211019 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211215 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220510 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220614 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221011 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221024 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7176486 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |