JP7176486B2 - 類似画像表示制御装置、類似画像表示制御システム、類似画像表示制御方法及びプログラム - Google Patents
類似画像表示制御装置、類似画像表示制御システム、類似画像表示制御方法及びプログラム Download PDFInfo
- Publication number
- JP7176486B2 JP7176486B2 JP2019122644A JP2019122644A JP7176486B2 JP 7176486 B2 JP7176486 B2 JP 7176486B2 JP 2019122644 A JP2019122644 A JP 2019122644A JP 2019122644 A JP2019122644 A JP 2019122644A JP 7176486 B2 JP7176486 B2 JP 7176486B2
- Authority
- JP
- Japan
- Prior art keywords
- similar
- category
- image
- display control
- disease
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
類似画像を表示する装置として、例えば、特許文献1には、画像データベースに登録されている画像の中から、クエリ画像と類似する類似画像を抽出し、クエリ画像の周囲に類似画像を配置するとともに、クエリ画像と類似画像間を連結表示した検索結果を表示手段に提示する画像検索装置等が記載されている。
また、診断を支援するために、患部の良性/悪性を判定する技術も開発されてきている。例えば、非特許文献1には、皮膚疾患の良性/悪性の度合いを1軸の情報で視覚的に提供する診断支援装置が記載されている。
また、非特許文献1に記載の診断支援装置は、診断対象部分の良性/悪性の度合いを視覚的に把握できる情報を提供するが、良性/悪性の度合いしか把握できず、診断対象部分の疾患の属性情報を把握しにくいという課題があった。
クエリ画像に対する類似画像検索の結果得られた類似画像を複数取得する類似画像取得手段と、
前記類似画像取得手段が取得した複数の類似画像を分類する複数のカテゴリを設定するカテゴリ設定手段と、
2以上の所定の次元数の次元の空間における、前記カテゴリ設定手段が設定した各カテゴリを示す領域であるカテゴリ領域の位置を示す座標を、前記次元数の種類の属性に従って決定する位置決定手段と、
前記類似画像取得手段が取得した複数の類似画像を前記複数の類似画像夫々に付加されているタグ情報に基づいて、前記カテゴリ設定手段が設定した複数のカテゴリのいずれかに分類する分類手段と、
前記カテゴリ領域を前記カテゴリ領域に対応するカテゴリに分類された類似画像の数が多いほど大きな円で表示させるとともに、前記分類された類似画像に共通して付加されているタグ情報を前記カテゴリ領域と関連付けるように表示させ、前記分類手段で各カテゴリに分類された前記類似画像を前記クエリ画像との類似度に基づいて前記位置決定手段で決定された座標で示される位置に位置する前記カテゴリ領域の内部に配置し、前記カテゴリ領域を示す円の円周の線を、前記カテゴリ領域に対応するカテゴリに分類された類似画像のうち前記クエリ画像に最も類似する類似画像のクエリ画像との類似度が高いほど太くなるように、表示部に表示させる画像表示制御手段と、
を備える。
本発明の実施形態1に係る類似画像表示装置100は、クエリ画像に対する類似画像検索の結果得られた類似画像を、所定のカテゴリ毎に集めて、クエリ画像との類似度に基づいてカテゴリ内に配置する。そして、その類似画像が集まって配置されたカテゴリを、所定の軸で定義されたn次元空間内に配置して表示することにより、類似画像間の関係性をわかりやすく表示する。このような表示を行うための仕組みについて、以下に説明する。
上述の実施形態1では、類似画像表示処理において、図3のような表示を行っていたが、さらに類似の関係性を分かり易くする変形例1について図6を参照して説明する。
‐各カテゴリの領域に描画する円の背景を、中心を濃く、外側になるほど薄く描画する。例えば図6に示されるように、色素性母斑のカテゴリ円311のカテゴリの領域に描画する円の背景に、中心側から同心円状のグラフィック図形311a、311b、311c、311dを表示している。なお、図6では濃さを各カテゴリ円の大きさに応じて2~4段階で変化させているが、このような段階を設けずにスムーズに(グラデーションで)変化させてもよい。
‐クエリ画像から各カテゴリの中心の画像までを接続線で接続する。
‐接続線の太さはその接続線が接続しているカテゴリの中心に配置される類似画像(そのカテゴリにおいてクエリ画像と最も類似する類似画像)とクエリ画像との類似度が高いほど太くする。例えば色素性母斑のカテゴリ円311への接続線321の太さはメラノーマのカテゴリ円312への接続線322より太い。(なお、接続線の太さは、中心の画像に限らず、所定の画像(例えばそのカテゴリでクエリ画像との類似度がn番目(nは1以上そのカテゴリに分類された類似画像の個数以下の整数)に高い画像、最も低い画像、類似度順に並べた時に真ん中にくる画像等)とクエリ画像との類似度に応じて所定の太さ(例えば類似度が高ければ太く、類似度が低ければ細く)で表示してもよい。)
‐接続線321,322,323,324,325の途中には位置決定部13が各カテゴリの位置を決定する際に用いる属性の情報を表示する。例えば、メラノーマのカテゴリにおいては悪性332、メラノサイト系334という属性の情報を表示している。
‐上記のような接続線321,322,323,324,325により、各カテゴリを示す領域は、クエリ画像を根ノードとする木構造を介して、葉ノードとして接続される。つまり、クエリ画像を根ノードとし、各カテゴリを示す領域を葉ノードとして、各カテゴリを示す領域に対応するカテゴリの属性に基づいた接続線が根ノードから葉ノードに接続した木構造により、類似画像等が表示されることになる。そして、各カテゴリに接続される接続線321,322,323,324,325の内部ノードとして該カテゴリの属性の情報を示す属性名(良性331、悪性332、メラノサイト系333,334、非メラノサイト系335,336等)が表示される。
‐属性の情報は、特に注目して欲しい場合には大きく表示する。(例えば、皮膚の疾患の画像データを対象として類似画像表示を行う場合に、悪性の類似画像の方が良性の類似画像より多い場合には、属性の情報のうち悪性332を大きく表示する。なお、図6では良性の類似画像の方が多いため、悪性332は良性331と同じ大きさで表示されている。)
‐各類似画像は、小さい円で囲って表示するが、その小さい円の線の太さはその類似画像とクエリ画像との類似度が高いほど太くする。例えば、血腫・血管腫のカテゴリ円314の中心に配置されている類似画像を囲う小さい円3141の線の太さは、その周辺に配置されている類似画像を囲う小さい円3142の線の太さより太い。
‐各カテゴリ円311,312,313,314,315がn種類の属性に従ってn次元空間に配置されることによって、ユーザは直感的にクエリ画像の性質を把握することができる。
‐各カテゴリ円311,312,313,314,315がそのカテゴリに分類された件数(検索件数)の多いほど大きく表示されることによって、ユーザは検索件数を直感的に把握することができる。
‐各カテゴリへの接続線321,322,323,324,325の太さが、そのカテゴリの中心に配置される類似画像(そのカテゴリにおいてクエリ画像と最も類似する類似画像)とクエリ画像との類似度が高いほど太く表示されることによって、ユーザはクエリ画像に最も類似する類似画像の配置場所を直感的に把握することができる。
‐各カテゴリの領域に描画されるカテゴリ円の背景が、中心を濃く、外側になるほど薄く描画されることによって、円中心部側の症例の重要度が高いことをユーザに視覚的に認識させることができる。
上述の実施形態1では、画像表示制御部15が類似画像検索結果をカテゴリ毎に同心円状にまとめて配置しているが、これに限られず、放射状、楕円形状、四角形状、等でもよい。例えば、四角形状に配置すると、図7に示すように、よりコンパクトに表示することができ、検索結果が多い場合等でも全ての類似画像を一度に一覧性よく表示することができる。図7に示す例では、画像表示制御部15は、各カテゴリの四角形351,352,353,354,355の大きさをそのカテゴリに分類された類似画像の個数が多いほど大きくし、その四角形内に左上からクエリ画像300との類似度が高い順に右に類似画像を並べ、右端に来たら、左端に戻って一段下から類似画像を並べて表示している。
本発明の実施形態2に係る表示制御装置101は、クエリ画像に写っている診断対象部分の疾患の属性(例えば「良性/悪性」、「メラノサイト系/非メラノサイト系」等)を各座標軸に対応させて、疾患が各属性に関係する可能性を表す指標を、疾患の属性数を次元数とする空間にプロットして表示する。このような表示を行うことにより、表示制御装置101は、診断対象部分の疾患の属性情報を把握しやすくする。なお、実施形態2では、診断対象部分の疾患が人の皮膚疾患である場合を例にして説明するが、診断対象部分(疾患)としては、他に人の子宮(子宮頸がん)や口腔(口腔がん)、人以外の動物(犬猫)の皮膚(皮膚がん)や口腔(口腔がん)等、撮影画像に基づいて診断する様々な部分(疾患)があり得る。
‐疾患リスクに応じて変化させる(メラノサイト系(メラノーマ等)の方が、非メラノサイト系(基底細胞癌等)よりも転移可能性が格段に高く、予後リスクが上がるので、疾患の属性がメラノサイト系である確率が高い領域において、リスク境界線を下げる。)
‐診断対象部分のサイズに応じて上下させる(サイズが大きくなると予後リスクが上がるので、リスク境界線を下げる。)
‐診断対象部分の病変深度に応じて上下させる(診断対象部分の色による判定等の画像処理によって病変深度を推定し、病変深度が深くなると予後リスクが上がるので、リスク境界線を下げる。)
‐診断対象部分としての潰瘍のサイズ、診断対象部分における出血している領域のサイズに応じて、上下させる(潰瘍、出血があり、またその領域が大きいほど予後リスクが上がるので、リスク境界線を下げる。)
本発明の実施形態3に係る表示制御装置102は、クエリ画像に写っている診断対象部分の疾患の属性を、診断対象部分の疾患が所定の疾患である確率と共に、クエリ画像を根ノードとする木構造で表示する。このような表示を行うことにより、表示制御装置102は、診断対象部分の疾患の属性情報を把握しやすくする。
本発明の実施形態4に係る表示制御装置103は、実施形態3に係る表示制御装置102の木構造の表示に加えて、クエリ画像に類似する画像を各確率円の周囲に表示する。このような表示を行うことにより、表示制御装置103は、診断対象部分の疾患の属性情報を把握しやすくするとともに、類似画像間の関係性をよりわかりやすく表示する。
クエリ画像に対する類似画像検索の結果得られた類似画像を取得する類似画像取得手段と、
前記類似画像取得手段が取得した類似画像を分類する複数のカテゴリを設定するカテゴリ設定手段と、
2以上の所定の次元数の次元の空間における、前記カテゴリ設定手段が設定した各カテゴリを示す領域であるカテゴリ領域の位置を示す座標を、前記次元数の種類の属性に従って決定する位置決定手段と、
前記類似画像取得手段が取得した類似画像を前記カテゴリ設定手段が設定した複数のカテゴリのいずれかに分類する分類手段と、
前記分類手段で各カテゴリに分類された前記類似画像を、前記位置決定手段で決定された座標で示される位置に位置する前記カテゴリ領域の内部に配置して、表示部に表示させる画像表示制御手段と、
を備える類似画像表示制御装置。
前記画像表示制御手段は、前記類似画像を、前記クエリ画像との類似度に基づいて、前記カテゴリ領域の内部に配置して表示させる、
付記1に記載の類似画像表示制御装置。
前記画像表示制御手段は、前記カテゴリ領域を、前記カテゴリ領域に対応するカテゴリに分類された類似画像が多いほど、大きな円で表示させる、
付記1又は2に記載の類似画像表示制御装置。
前記画像表示制御手段は、前記カテゴリ領域を示す円の円周の線を、前記カテゴリ領域に対応するカテゴリに分類された類似画像のうち前記クエリ画像に最も類似する類似画像のクエリ画像との類似度が高いほど太く表示させる、
付記3に記載の類似画像表示制御装置。
前記画像表示制御手段は、前記類似画像を、前記カテゴリ領域内に同心円状に配置して表示させる、
付記3又は4に記載の類似画像表示制御装置。
前記画像表示制御手段は、前記類似画像を、前記クエリ画像との類似度が高いほど前記カテゴリ領域の中心に近い位置に配置して表示させる、
付記5に記載の類似画像表示制御装置。
前記画像表示制御手段は、前記同心円状に配置して表示された類似画像の背景に同心円状のグラフィック図形を表示させる、
付記5又は6に記載の類似画像表示制御装置。
前記位置決定手段は、前記属性のそれぞれを前記空間の各座標軸に対応させて、前記カテゴリ領域の位置を示す座標を前記空間の該カテゴリの前記属性の属性値に応じた座標に決定する、
付記1から7のいずれか1つに記載の類似画像表示制御装置。
前記画像表示制御手段は、前記カテゴリ領域に、前記カテゴリ領域に対応するカテゴリの属性に基づいた接続線を接続して表示させる、
付記1から8のいずれか1つに記載の類似画像表示制御装置。
前記画像表示制御手段は、前記クエリ画像を根ノードとし、前記決定された座標で示される位置に位置する前記カテゴリ領域を葉ノードとして、前記カテゴリ領域に対応するカテゴリの属性に基づいた接続線を前記根ノードから前記葉ノードに接続した木構造により、前記類似画像を表示部に表示させ、前記接続線の内部ノードとして前記カテゴリの属性の情報を示す属性名を表示させる、
付記1から8のいずれか1つに記載の類似画像表示制御装置。
前記画像表示制御手段は、前記分類手段で前記カテゴリ領域に対応するカテゴリに分類された複数の類似画像のうちの所定の類似画像のクエリ画像との類似度に応じて、前記類似画像が分類された前記カテゴリに対応する前記カテゴリ領域に接続された前記接続線の太さを、前記表示部に所定の太さで表示させる、
付記9又は10に記載の類似画像表示制御装置。
前記画像表示制御手段は、前記類似画像のうちユーザに選択された1または複数の類似画像と前記クエリ画像とを前記表示部に拡大表示させる、
付記1から11のいずれか1つに記載の類似画像表示制御装置。
前記カテゴリは、皮膚の疾患名である、
付記1から12のいずれか1つに記載の類似画像表示制御装置。
前記属性は、良性/悪性及びメラノサイト系/非メラノサイト系の2種類である、
付記13に記載の類似画像表示制御装置。
類似画像表示制御装置と表示部とを備える類似画像表示制御システムであって、
前記類似画像表示制御装置は、
クエリ画像に対する類似画像検索の結果得られた類似画像を取得する類似画像取得手段と、
前記類似画像取得手段が取得した類似画像を分類する複数のカテゴリを設定するカテゴリ設定手段と、
2以上の所定の次元数の次元の空間における、前記カテゴリ設定手段が設定した各カテゴリを示す領域であるカテゴリ領域の位置を示す座標を、前記次元数の種類の属性に従って決定する位置決定手段と、
前記類似画像取得手段が取得した類似画像を前記カテゴリ設定手段が設定した複数のカテゴリのいずれかに分類する分類手段と、
前記分類手段で各カテゴリに分類された前記類似画像を、前記位置決定手段で決定された座標で示される位置に位置する前記カテゴリ領域の内部に配置して、前記表示部に表示させる画像表示制御手段と、
を備える、
類似画像表示制御システム。
クエリ画像に対する類似画像検索の結果得られた類似画像を取得する類似画像取得ステップと、
前記類似画像取得ステップで取得した類似画像を複数のカテゴリのいずれかに分類する分類ステップと、
2以上の所定の次元数の次元の空間における、前記カテゴリを示す領域であるカテゴリ領域の位置を示す座標を、前記次元数の種類の属性に従って決定するとともに、前記分類ステップで各カテゴリに分類された前記類似画像を、前記決定された座標で示される位置に位置する前記カテゴリ領域の内部に配置して、表示部に表示させる画像表示制御ステップと、
を含む類似画像表示制御方法。
コンピュータに、
クエリ画像に対する類似画像検索の結果得られた類似画像を取得する類似画像取得ステップ、
前記類似画像取得ステップで取得した類似画像を複数のカテゴリのいずれかに分類する分類ステップ、及び、
2以上の所定の次元数の次元の空間における、前記カテゴリを示す領域であるカテゴリ領域の位置を示す座標を、前記次元数の種類の属性に従って決定するとともに、前記分類ステップで各カテゴリに分類された前記類似画像を、前記決定された座標で示される位置に位置する前記カテゴリ領域の内部に配置して、表示部に表示させる画像表示制御ステップ、
を実行させるためのプログラム。
診断対象部分の疾患の属性が悪性である可能性を表す悪性指標と、前記診断対象部分の疾患の属性が所定の第1疾患属性である可能性を表す第1疾患属性指標と、を取得する取得手段と、
前記取得された悪性指標及び前記取得された第1疾患属性指標を、互いに関連づけて表示部に表示させる表示制御手段と、
を備える表示制御装置。
疾患の属性が悪性であり、かつ、前記疾患の属性が前記第1疾患属性である場合における前記疾患のリスクが高いか否かを表すリスク指標を取得するリスク取得手段をさらに備え、
前記表示制御手段は、前記取得されたリスク指標を、前記取得された悪性指標及び前記取得された第1疾患属性指標と関連づけて前記表示部に表示させる、
付記18に記載の表示制御装置。
前記取得手段は、前記診断対象部分の疾患の属性が良性である可能性を表す良性指標と、前記診断対象部分の疾患の属性が前記第1疾患属性とは異なる第2疾患属性である可能性を表す第2疾患属性指標と、をさらに取得し、
前記表示制御手段は、前記取得された悪性指標、前記取得された第1疾患属性指標、前記取得された良性指標及び前記取得された第2疾患属性指標を、互いに関連づけて前記表示部に表示させる、
付記18に記載の表示制御装置。
前記診断対象部分の疾患のリスクが高いか否かを表すリスク指標を取得する疾患リスク取得手段をさらに備え、
前記表示制御手段は、前記取得されたリスク指標を、前記取得された悪性指標、前記取得された第1疾患属性指標、前記取得された良性指標及び前記取得された第2疾患属性指標と、互いに関連づけて表示部に表示させる、
付記20に記載の表示制御装置。
疾患に関する情報を表示する位置の座標を決定する位置決定手段をさらに備え、
前記取得手段は、前記診断対象部分の疾患が所定の疾患である可能性を表す疾患指標をさらに取得し、
前記表示制御手段は、クエリ画像を根ノードとし、前記決定された座標で示される位置に位置する前記取得された疾患指標に基づく大きさの確率円を葉ノードとして、前記診断対象部分の疾患の属性に基づいた接続線を前記根ノードから前記葉ノードに接続した木構造により、前記取得された各指標を互いに関連づけて前記表示部に表示させる、
付記20又は21に記載の表示制御装置。
前記第1疾患属性がメラノサイト系であり、前記第2疾患属性が非メラノサイト系である、
付記20から22のいずれか1つに記載の表示制御装置。
前記診断対象部分の疾患が各属性に関係する確率を出力する識別器をさらに備え、
前記取得手段は、前記出力された各属性に関係する確率を前記各属性の指標として取得する、
付記18から23のいずれか1つに記載の表示制御装置。
表示制御装置と表示部とを備える表示制御システムであって、
前記表示制御装置は、
診断対象部分の疾患の属性が悪性である可能性を表す悪性指標と、前記診断対象部分の疾患の属性が所定の第1疾患属性である可能性を表す第1疾患属性指標と、を取得する取得手段と、
前記取得された悪性指標及び前記取得された第1疾患属性指標を、互いに関連づけて前記表示部に表示させる表示制御手段と、
を備える、
表示制御システム。
診断対象部分の疾患の属性が悪性である可能性を表す悪性指標と、前記診断対象部分の疾患の属性が所定の第1疾患属性である可能性を表す第1疾患属性指標と、を取得する取得ステップと、
前記取得された悪性指標及び前記取得された第1疾患属性指標を、互いに関連づけて表示部に表示させる表示制御ステップと、
を備える表示制御方法。
コンピュータに、
診断対象部分の疾患の属性が悪性である可能性を表す悪性指標と、前記診断対象部分の疾患の属性が所定の第1疾患属性である可能性を表す第1疾患属性指標と、を取得する取得ステップ、並びに、
前記取得された悪性指標及び前記取得された第1疾患属性指標を、互いに関連づけて表示部に表示させる表示制御ステップ、
を実行させるためのプログラム。
Claims (14)
- クエリ画像に対する類似画像検索の結果得られた類似画像を複数取得する類似画像取得手段と、
前記類似画像取得手段が取得した複数の類似画像を分類する複数のカテゴリを設定するカテゴリ設定手段と、
2以上の所定の次元数の次元の空間における、前記カテゴリ設定手段が設定した各カテゴリを示す領域であるカテゴリ領域の位置を示す座標を、前記次元数の種類の属性に従って決定する位置決定手段と、
前記類似画像取得手段が取得した複数の類似画像を前記複数の類似画像夫々に付加されているタグ情報に基づいて、前記カテゴリ設定手段が設定した複数のカテゴリのいずれかに分類する分類手段と、
前記カテゴリ領域を前記カテゴリ領域に対応するカテゴリに分類された類似画像の数が多いほど大きな円で表示させるとともに、前記分類された類似画像に共通して付加されているタグ情報を前記カテゴリ領域と関連付けるように表示させ、前記分類手段で各カテゴリに分類された前記類似画像を前記クエリ画像との類似度に基づいて前記位置決定手段で決定された座標で示される位置に位置する前記カテゴリ領域の内部に配置し、前記カテゴリ領域を示す円の円周の線を、前記カテゴリ領域に対応するカテゴリに分類された類似画像のうち前記クエリ画像に最も類似する類似画像のクエリ画像との類似度が高いほど太くなるように、表示部に表示させる画像表示制御手段と、
を備えることを特徴とする類似画像表示制御装置。 - 前記画像表示制御手段は、前記類似画像を、前記カテゴリ領域内に同心円状に配置して表示させることを特徴とする、
請求項1に記載の類似画像表示制御装置。 - 前記画像表示制御手段は、前記類似画像を、前記クエリ画像との類似度が高いほど前記カテゴリ領域の中心に近い位置に配置して表示させることを特徴とする、
請求項2に記載の類似画像表示制御装置。 - 前記画像表示制御手段は、前記同心円状に配置して表示された類似画像の背景に同心円状のグラフィック図形を表示させることを特徴とする、
請求項2又は3に記載の類似画像表示制御装置。 - 前記位置決定手段は、前記属性のそれぞれを前記空間の各座標軸に対応させて、前記カテゴリ領域の位置を示す座標を前記空間の該カテゴリの前記属性の属性値に応じた座標に決定することを特徴とする、
請求項1から4のいずれか1項に記載の類似画像表示制御装置。 - 前記画像表示制御手段は、前記カテゴリ領域に、前記カテゴリ領域に対応するカテゴリの属性に基づいた接続線を接続して表示させることを特徴とする、
請求項1から5のいずれか1項に記載の類似画像表示制御装置。 - 前記画像表示制御手段は、前記クエリ画像を根ノードとし、前記決定された座標で示される位置に位置する前記カテゴリ領域を葉ノードとして、前記カテゴリ領域に対応するカテゴリの属性に基づいた接続線を前記根ノードから前記葉ノードに接続した木構造により、前記類似画像を表示部に表示させ、前記接続線の内部ノードとして前記カテゴリの属性の情報を示す属性名を表示させることを特徴とする、
請求項1から6のいずれか1項に記載の類似画像表示制御装置。 - 前記画像表示制御手段は、前記分類手段で前記カテゴリ領域に対応するカテゴリに分類された複数の類似画像のうちの所定の類似画像のクエリ画像との類似度に応じて、前記類似画像が分類された前記カテゴリに対応する前記カテゴリ領域に接続された前記接続線の太さを、前記表示部に所定の太さで表示させることを特徴とする、
請求項6又は7に記載の類似画像表示制御装置。 - 前記画像表示制御手段は、前記類似画像のうちユーザに選択された1または複数の類似画像と前記クエリ画像とを前記表示部に拡大表示させることを特徴とする、
請求項1から8のいずれか1項に記載の類似画像表示制御装置。 - 前記タグ情報は、皮膚の疾患名であることを特徴とする、
請求項1から9のいずれか1項に記載の類似画像表示制御装置。 - 前記属性は、良性/悪性及びメラノサイト系/非メラノサイト系の2種類であることを特徴とする、
請求項10に記載の類似画像表示制御装置。 - 類似画像表示制御装置と表示部とを備える類似画像表示制御システムであって、
前記類似画像表示制御装置は、
クエリ画像に対する類似画像検索の結果得られた類似画像を複数取得する類似画像取得手段と、
前記類似画像取得手段が取得した複数の類似画像を分類する複数のカテゴリを設定するカテゴリ設定手段と、
2以上の所定の次元数の次元の空間における、前記カテゴリ設定手段が設定した各カテゴリを示す領域であるカテゴリ領域の位置を示す座標を、前記次元数の種類の属性に従って決定する位置決定手段と、
前記類似画像取得手段が取得した複数の類似画像を前記複数の類似画像夫々に付加されているタグ情報に基づいて、前記カテゴリ設定手段が設定した複数のカテゴリのいずれかに分類する分類手段と、
前記カテゴリ領域を前記カテゴリ領域に対応するカテゴリに分類された類似画像の数が多いほど大きな円で表示させるとともに、前記分類された類似画像に共通して付加されているタグ情報を前記カテゴリ領域と関連付けるように表示させ、前記分類手段で各カテゴリに分類された前記類似画像を前記クエリ画像との類似度に基づいて前記位置決定手段で決定された座標で示される位置に位置する前記カテゴリ領域の内部に配置し、前記カテゴリ領域を示す円の円周の線を、前記カテゴリ領域に対応するカテゴリに分類された類似画像のうち前記クエリ画像に最も類似する類似画像のクエリ画像との類似度が高いほど太くなるように、前記表示部に表示させる画像表示制御手段と、
を備えることを特徴とする、
類似画像表示制御システム。 - 類似画像表示制御装置が実行する類似画像表示制御方法であって、
クエリ画像に対する類似画像検索の結果得られた類似画像を複数取得する類似画像取得ステップと、
前記類似画像取得ステップにて取得した複数の類似画像を分類する複数のカテゴリを設定するカテゴリ設定ステップと、
2以上の所定の次元数の次元の空間における、前記カテゴリ設定ステップにて設定した各カテゴリを示す領域であるカテゴリ領域の位置を示す座標を、前記次元数の種類の属性に従って決定する位置決定ステップと、
前記類似画像取得ステップにて取得した複数の類似画像を前記複数の類似画像夫々に付加されているタグ情報に基づいて、前記カテゴリ設定ステップにて設定した複数のカテゴリのいずれかに分類する分類ステップと、
前記カテゴリ領域を前記カテゴリ領域に対応するカテゴリに分類された類似画像の数が多いほど大きな円で表示させるとともに、前記分類された類似画像に共通して付加されているタグ情報を前記カテゴリ領域と関連付けるように表示させ、前記分類ステップにて各カテゴリに分類された前記類似画像を前記クエリ画像との類似度に基づいて前記位置決定ステップにて決定された座標で示される位置に位置する前記カテゴリ領域の内部に配置し、前記カテゴリ領域を示す円の円周の線を、前記カテゴリ領域に対応するカテゴリに分類された類似画像のうち前記クエリ画像に最も類似する類似画像のクエリ画像との類似度が高いほど太くなるように、表示部に表示させる画像表示制御ステップと、
を含むことを特徴とする類似画像表示制御方法。 - コンピュータを、
クエリ画像に対する類似画像検索の結果得られた類似画像を複数取得する類似画像取得手段、
前記類似画像取得手段が取得した複数の類似画像を分類する複数のカテゴリを設定するカテゴリ設定手段、
2以上の所定の次元数の次元の空間における、前記カテゴリ設定手段が設定した各カテゴリを示す領域であるカテゴリ領域の位置を示す座標を、前記次元数の種類の属性に従って決定する位置決定手段、
前記類似画像取得手段が取得した複数の類似画像を前記複数の類似画像夫々に付加されているタグ情報に基づいて、前記カテゴリ設定手段が設定した複数のカテゴリのいずれかに分類する分類手段、
前記カテゴリ領域を前記カテゴリ領域に対応するカテゴリに分類された類似画像の数が多いほど大きな円で表示させるとともに、前記分類された類似画像に共通して付加されているタグ情報を前記カテゴリ領域と関連付けるように表示させ、前記分類手段で各カテゴリに分類された前記類似画像を前記クエリ画像との類似度に基づいて前記位置決定手段で決定された座標で示される位置に位置する前記カテゴリ領域の内部に配置し、前記カテゴリ領域を示す円の円周の線を、前記カテゴリ領域に対応するカテゴリに分類された類似画像のうち前記クエリ画像に最も類似する類似画像のクエリ画像との類似度が高いほど太くなるように、表示部に表示させる画像表示制御手段、
として機能させるためのプログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311474685.9A CN117438053A (zh) | 2018-08-27 | 2019-08-23 | 显示控制装置、显示控制***、显示控制方法及记录介质 |
CN201910785443.9A CN110867241B (zh) | 2018-08-27 | 2019-08-23 | 类似图像显示控制装置、***及方法、以及记录介质 |
US16/550,899 US20200066396A1 (en) | 2018-08-27 | 2019-08-26 | Similar image display control apparatus, similar image display control system, similar image display control method, display control apparatus, display control system, display control method, and recording medium |
JP2021203346A JP7380668B2 (ja) | 2018-08-27 | 2021-12-15 | 表示制御装置、表示制御システム、表示制御方法及びプログラム |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018158048 | 2018-08-27 | ||
JP2018158048 | 2018-08-27 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021203346A Division JP7380668B2 (ja) | 2018-08-27 | 2021-12-15 | 表示制御装置、表示制御システム、表示制御方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020035423A JP2020035423A (ja) | 2020-03-05 |
JP7176486B2 true JP7176486B2 (ja) | 2022-11-22 |
Family
ID=69668461
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019122644A Active JP7176486B2 (ja) | 2018-08-27 | 2019-07-01 | 類似画像表示制御装置、類似画像表示制御システム、類似画像表示制御方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7176486B2 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000112991A (ja) | 1998-10-08 | 2000-04-21 | Canon Inc | 情報検索装置、情報検索方法及び記憶媒体 |
JP2004254742A (ja) | 2003-02-24 | 2004-09-16 | Konica Minolta Holdings Inc | 医用画像処理装置及び悪性度の判定方法 |
JP2009301536A (ja) | 2008-06-12 | 2009-12-24 | Fuji Xerox Co Ltd | ファイルを表示する方法、装置およびプログラム |
JP2013131051A (ja) | 2011-12-21 | 2013-07-04 | Canon Marketing Japan Inc | 情報処理装置、情報処理方法、プログラム |
-
2019
- 2019-07-01 JP JP2019122644A patent/JP7176486B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000112991A (ja) | 1998-10-08 | 2000-04-21 | Canon Inc | 情報検索装置、情報検索方法及び記憶媒体 |
JP2004254742A (ja) | 2003-02-24 | 2004-09-16 | Konica Minolta Holdings Inc | 医用画像処理装置及び悪性度の判定方法 |
JP2009301536A (ja) | 2008-06-12 | 2009-12-24 | Fuji Xerox Co Ltd | ファイルを表示する方法、装置およびプログラム |
JP2013131051A (ja) | 2011-12-21 | 2013-07-04 | Canon Marketing Japan Inc | 情報処理装置、情報処理方法、プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2020035423A (ja) | 2020-03-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20230106440A1 (en) | Content based image retrieval for lesion analysis | |
Lam et al. | Retinal lesion detection with deep learning using image patches | |
Amin et al. | Use of machine intelligence to conduct analysis of human brain data for detection of abnormalities in its cognitive functions | |
Sharif et al. | A comprehensive review on multi-organs tumor detection based on machine learning | |
US9514416B2 (en) | Apparatus and method of diagnosing a lesion using image data and diagnostic models | |
Rocha et al. | Points of interest and visual dictionaries for automatic retinal lesion detection | |
Silva et al. | Hybrid analysis for indicating patients with breast cancer using temperature time series | |
JP5868231B2 (ja) | 医用画像診断支援装置、医用画像診断支援方法ならびにコンピュータプログラム | |
EP3629898A1 (en) | Automated lesion detection, segmentation, and longitudinal identification | |
US20210052137A1 (en) | Training data collection apparatus, training data collection method, program, training system, trained model, and endoscopic image processing apparatus | |
Yap et al. | End-to-end breast ultrasound lesions recognition with a deep learning approach | |
EP3478164B1 (en) | Classifying hormone receptor status of malignant tumorous tissue from breast thermographic images | |
Sanchez et al. | Scaled radial axes for interactive visual feature selection: A case study for analyzing chronic conditions | |
JP2010000133A (ja) | 画像表示装置、画像表示方法及びプログラム | |
JP2006034585A (ja) | 画像表示装置、画像表示方法およびそのプログラム | |
US20210319880A1 (en) | Diagnostic Support System and a Diagnostic Support Method | |
Abedini et al. | 10 Accurate and Scalable System for Automatic Detection of Malignant Melanoma | |
Maleki et al. | An intelligent algorithm for lung cancer diagnosis using extracted features from Computerized Tomography images | |
Patel et al. | Automated screening of glaucoma stages from retinal fundus images using BPS and LBP based GLCM features | |
Kaur et al. | A review on optimization techniques for medical image analysis | |
Zhang et al. | Modeling false positive error making patterns in radiology trainees for improved mammography education | |
JP7380668B2 (ja) | 表示制御装置、表示制御システム、表示制御方法及びプログラム | |
Bhuyan et al. | Diagnosis system for cancer disease using a single setting approach | |
Boulahia et al. | Att2ResNet: A deep attention‐based approach for melanoma skin cancer classification | |
JP7176486B2 (ja) | 類似画像表示制御装置、類似画像表示制御システム、類似画像表示制御方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201008 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210922 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211019 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211215 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220510 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220614 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221011 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221024 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7176486 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |