JP2015152778A - 画像処理装置、画像表示装置、及びその制御方法 - Google Patents
画像処理装置、画像表示装置、及びその制御方法 Download PDFInfo
- Publication number
- JP2015152778A JP2015152778A JP2014026687A JP2014026687A JP2015152778A JP 2015152778 A JP2015152778 A JP 2015152778A JP 2014026687 A JP2014026687 A JP 2014026687A JP 2014026687 A JP2014026687 A JP 2014026687A JP 2015152778 A JP2015152778 A JP 2015152778A
- Authority
- JP
- Japan
- Prior art keywords
- image
- hierarchy
- cell
- hierarchical
- cell mass
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Microscoopes, Condenser (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
【課題】複数の異なる合焦距離で標本を撮像して得られる階層画像を表示する画像表示装置において、より少ない枚数の階層画像で標本内のより多くのオブジェクトを観察できるようにする。
【解決手段】複数のオブジェクトを含む標本の深さ方向の位置が異なる複数の階層の各々にフォーカスを合わせて撮像して得られる複数の階層画像を取得する取得手段と、複数の階層画像に基づき、各オブジェクトについて、オブジェクトが存在する階層及び深さ方向と垂直の平面内での存在領域を検出する検出手段と、各オブジェクトが存在する階層及び平面内での存在領域に基づき、複数の階層画像から、標本内のオブジェクトの位置を移動した場合の標本の各階層の階層画像を生成する生成手段と、を有し、生成手段は、標本内でオブジェクトが存在する階層の数が少なくなるようにオブジェクトを移動した場合の階層画像を生成する画像処理装置。
【選択図】図2
【解決手段】複数のオブジェクトを含む標本の深さ方向の位置が異なる複数の階層の各々にフォーカスを合わせて撮像して得られる複数の階層画像を取得する取得手段と、複数の階層画像に基づき、各オブジェクトについて、オブジェクトが存在する階層及び深さ方向と垂直の平面内での存在領域を検出する検出手段と、各オブジェクトが存在する階層及び平面内での存在領域に基づき、複数の階層画像から、標本内のオブジェクトの位置を移動した場合の標本の各階層の階層画像を生成する生成手段と、を有し、生成手段は、標本内でオブジェクトが存在する階層の数が少なくなるようにオブジェクトを移動した場合の階層画像を生成する画像処理装置。
【選択図】図2
Description
本発明は、画像処理装置、画像表示装置、及びその制御方法に関する。
近年の病理診断では、従来の顕微鏡を使った病理診断から、スキャナで撮影したデジタル画像による診断が増加している。細胞診などのように厚みのある標本部位を観察する際は、標本部位に対して深さを変えてスキャンし、複数の階層画像からなる画像データを蓄積する。画像観察時には、ビューアを使って各階層画像を切り替えて表示することで、擬似的にフォーカスを調節するような感覚で観察できる。
図18は、標本部位がのせられたプレパラートを側面からみた図である。(a)〜(f)は標本部位に対して深さを変えてスキャンして得られた画像で、それぞれ図19の(a)〜(f)に対応している。(a)(c)(f)は細胞1801にも細胞1802にもフォーカスが合っておらず、ぼけた画像が表示されている。(b)は細胞1801のみにフォーカスが合っている。(d)(e)は細胞1802のみにフォーカスが合っている。よって、図18の標本を診断する診断医が全ての細胞を診断するには、(b)(d)(e)の3枚を診断する必要がある。診断する必要のある階層画像の枚数が多いと、効率良く診断を行うことができない。
これに対し、フォーカスの合う位置を変更しながら複数の画像を撮影した後、各画像からフォーカスの合っている部分を抽出し単一の合成画像を作成することで、少ない枚数の画像を用いて効率良く診断することが図られている(例えば特許文献1)。
しかしながら、上述した従来技術では、撮影対象物の厚さを考慮せずに単一の合成画像を作成するので、厚みのある細胞の各階層の画像を観察できない。診断医が厚みのある細胞を正確に診断するためには、細胞の厚み方向の位置が異なる複数の階層で画像を観察する必要がある。従来技術では単一の画像が作成されるだけなので細胞の厚み方向の位置が異なる複数の階層の画像を観察することができない。よって、細胞の塊(以下、細胞塊)の位置関係を保ったまま複数層の画像を作成することが必要である。
そこで、本発明は、複数の異なる合焦距離で標本を撮像して得られる階層画像を表示する画像表示装置において、より少ない枚数の階層画像で標本内のより多くのオブジェクトを観察できるようにすることを目的とする。
本発明は、複数のオブジェクトを含む標本の深さ方向の位置が異なる複数の階層の各々にフォーカスを合わせて撮像して得られる複数の階層画像を取得する取得手段と、
前記複数の階層画像に基づき、前記各オブジェクトについて、オブジェクトが存在する階層及び深さ方向と垂直の平面内での存在領域を検出する検出手段と、
前記各オブジェクトが存在する階層及び平面内での存在領域に基づき、前記複数の階層画像から、前記標本内の前記オブジェクトの位置を移動した場合の前記標本の前記各階層
の階層画像を生成する生成手段と、
を有し、
前記生成手段は、前記標本内で前記オブジェクトが存在する階層の数が少なくなるように前記オブジェクトを移動した場合の階層画像を生成する画像処理装置である。
前記複数の階層画像に基づき、前記各オブジェクトについて、オブジェクトが存在する階層及び深さ方向と垂直の平面内での存在領域を検出する検出手段と、
前記各オブジェクトが存在する階層及び平面内での存在領域に基づき、前記複数の階層画像から、前記標本内の前記オブジェクトの位置を移動した場合の前記標本の前記各階層
の階層画像を生成する生成手段と、
を有し、
前記生成手段は、前記標本内で前記オブジェクトが存在する階層の数が少なくなるように前記オブジェクトを移動した場合の階層画像を生成する画像処理装置である。
本発明は、複数のオブジェクトを含む標本の深さ方向の位置が異なる複数の階層の各々にフォーカスを合わせて撮像して得られる複数の階層画像を取得する取得工程と、
前記複数の階層画像に基づき、前記各オブジェクトについて、オブジェクトが存在する階層及び深さ方向と垂直の平面内での存在領域を検出する検出工程と、
前記各オブジェクトが存在する階層及び平面内での存在領域に基づき、前記複数の階層画像から、前記標本内の前記オブジェクトの位置を移動した場合の前記標本の前記各階層の階層画像を生成する生成工程と、
を有し、
前記生成工程では、前記標本内で前記オブジェクトが存在する階層の数が少なくなるように前記オブジェクトを移動した場合の階層画像を生成する画像処理装置の制御方法である。
前記複数の階層画像に基づき、前記各オブジェクトについて、オブジェクトが存在する階層及び深さ方向と垂直の平面内での存在領域を検出する検出工程と、
前記各オブジェクトが存在する階層及び平面内での存在領域に基づき、前記複数の階層画像から、前記標本内の前記オブジェクトの位置を移動した場合の前記標本の前記各階層の階層画像を生成する生成工程と、
を有し、
前記生成工程では、前記標本内で前記オブジェクトが存在する階層の数が少なくなるように前記オブジェクトを移動した場合の階層画像を生成する画像処理装置の制御方法である。
本発明によれば、複数の異なる合焦距離で標本を撮像して得られる階層画像を表示する画像表示装置において、より少ない枚数の階層画像で標本内のより多くのオブジェクトを観察できるようにすることが可能となる。
(実施例1)
本発明に係る画像表示装置の実施例1について説明する。実施例1に係る画像表示装置は、複数のオブジェクト(細胞塊)を含む標本の深さ方向の位置が異なる複数の階層の各々にフォーカスを合わせて撮像して得られる複数の階層画像から、標本内のオブジェクトの位置を移動した場合の新たな階層画像を生成する。
本発明に係る画像表示装置の実施例1について説明する。実施例1に係る画像表示装置は、複数のオブジェクト(細胞塊)を含む標本の深さ方向の位置が異なる複数の階層の各々にフォーカスを合わせて撮像して得られる複数の階層画像から、標本内のオブジェクトの位置を移動した場合の新たな階層画像を生成する。
実施例1では、複数の異なる合焦距離で標本を撮像して得られる階層画像を表示する画像表示装置に本発明を適用した例を説明する。実施例1では、複数の階層画像から標本内の細胞塊を識別し、細胞塊の標本内での位置を仮想的に移動させた場合の階層画像を新たに生成する。これにより、少ない枚数の階層画像で標本内のより多くのオブジェクト(細胞塊)を観察することを可能にする。
図1は、実施例1に係る、画像データを機器間伝送するネットワークシステムを示す図である。図1に示すように、スキャナ101、画像管理サーバ102、画像表示装置103は、院内LAN(Local Area Network)100を介して接続されている。
スキャナ101は、診断対象の標本を載せたプレパラートに対して深さ(厚み)方向の合焦位置(合焦距離)を変えてスキャンし複数の階層画像を生成し、生成した階層画像の画像データ(階層画像データ)を画像管理サーバ102へ送信する。
画像管理サーバ102は、院内LAN100経由で受信した画像データを保管する。
画像表示装置103は、画像ビューアを搭載したPC(Personal Computer)とディス
プレイで構成され、ユーザの要求により画像管理サーバ102から画像データを取得し、画像データに基づく画像を表示する。
画像管理サーバ102は、院内LAN100経由で受信した画像データを保管する。
画像表示装置103は、画像ビューアを搭載したPC(Personal Computer)とディス
プレイで構成され、ユーザの要求により画像管理サーバ102から画像データを取得し、画像データに基づく画像を表示する。
図2は、実施例1に係る画像表示装置103の構成を示すブロック図である。画像表示装置103は、画像データ受信部201、記憶部202、モード管理部203、表示制御部204、表示部205、フォーカスマップ作成部206、細胞塊識別部207、細胞配置部208を備える。
画像データ受信部201は、ユーザの要求により、院内LAN100を介して画像管理サーバ102から画像データを入力(受信)して、記憶部202に送信する。
記憶部202は、画像データ受信部201から取得した画像データを保存する。
記憶部202は、画像データ受信部201から取得した画像データを保存する。
モード管理部203は、画像表示装置103による画像の表示モードを管理する。実施例1では、画像表示装置103は2種類の表示モードを切り替えることができる。第1の表示モードは、スキャナ101が取得した画像(原画像)をそのまま表示する「原画像表示モード」、第2の表示モードは、細胞塊の標本内での位置を仮想的に移動させた場合の画像を新たに作成して表示する「一覧表示モード」である。詳細は後述する。
表示制御部204は、モード管理部203から表示モードの情報を取得する。表示モードが「原画像表示モード」の場合、表示制御部204は、ユーザの要求により指定された層の階層画像データを記憶部202から取得し、表示部205へ送信する。表示モードが「一覧表示モード」の場合、表示制御部204は、フォーカスマップ作成部206へフォーカスマップの作成を要求する。その後、表示制御部204は、細胞配置部208から細胞塊情報を受信し、細胞塊情報に基づいて全ての層の階層画像の画像データを生成する。最後に、表示制御部204は、生成した画像データの中で、ユーザの要求により指定された層の階層画像データを表示部205へ送信する。表示部205は、表示制御部204から取得した一つの層の階層画像データに基づく画像を表示する。
以下に、フォーカスマップ作成部206、細胞塊識別部207、細胞配置部208について説明する。ここでは、図3のような標本が階層画像取得及び観察(診断)の対象である場合を例に説明する。図4は、図3の標本を矢印306の方向から見た図である。図4の細胞塊303〜305は、図3の細胞塊303〜305と対応している。(a)〜(g)は、スキャナで深さ(合焦距離)を変えて撮影した各層の階層画像の深さ方向の位置を表す。
フォーカスマップ作成部206は、表示制御部204からフォーカスマップ作成要求を受信すると処理を開始する。フォーカスマップとは、一つの層の階層画像の中でフォーカスの合っている画像領域(以下、合焦領域という)の位置を示す情報である。フォーカスマップによって、階層画像内の細胞塊の位置が分かる。
具体的には、フォーカスマップ作成部206は、記憶部202から全階層の画像データを取得すると、階層画像毎に合焦領域を検出する。フォーカスマップ作成部206は、階層画像の全領域をマトリクス状に分割し、分割領域毎の空間周波数の周波数成分を評価することにより、各分割領域が合焦領域であるか否かを判断する。そして、連続する、合焦領域と判定された分割領域を繋ぎ合わせた領域を、階層画像内の合焦領域として検出する。
ぼけた画像のように画素間の隣接相関が高い場合は、空間周波数は低い値となる。逆にフォーカスの合っている画像は、物体の輪郭が明瞭となるため、画素間の隣接相関が低く、空間周波数は高い値となる。フォーカスマップ作成部206は、空間周波数が閾値以上である分割領域を合焦領域と判定し、空間周波数が閾値より低い分割領域を非合焦領域と判定する。
以上の処理で得られた階層画像内の合焦領域は、階層画像内の細胞塊の存在範囲を表す。フォーカスマップ作成部206は、合焦領域を画像データにマッピングすることでフォーカスマップを作成する。フォーカスマップ作成部206は、記憶部202から取得した全ての階層画像データについてフォーカスマップを作成し、細胞塊識別部207へ送信する。
図5は、図4の位置(a)〜(d)の階層画像のフォーカスマップを表す。位置(a)の階層画像には合焦領域がないため、位置(a)の層には細胞塊が存在しないことがわかる。位置(b)(c)の階層画像には、合焦領域があるため、位置(b)(c)の層には細胞塊が存在することがわかる。この例では、位置(b)(c)の層に存在する細胞塊303であり、この層の階層画像の合焦領域は細胞塊303に合焦して撮像された画像である。位置(d)の階層画像には、合焦領域があるため、位置(d)の層には細胞塊が存在し、この例では、この層の階層画像の合焦領域は細胞塊304に合焦して撮像された画像である。
細胞塊識別部207は、フォーカスマップ作成部206からフォーカスマップを受信すると、フォーカスマップを重ね合わせて比較することで細胞塊毎にグルーピングし、細胞塊毎の位置情報を示す細胞塊情報を作成する。その後、細胞塊識別部207は、作成した細胞塊情報を細胞配置部208へ送信する。
具体的には、細胞塊識別部207は、隣接する2つの層のフォーカスマップ同士を比較し、合焦領域が重複しているか判定する。重複とは、2つのフォーカスマップの合焦領域を同一平面に射影した場合に重なる部分(共通部分)が存在することを表す。細胞塊識別部207は、重複していると判定した合焦領域は、層に垂直の方向(深さ方向)に連続している細胞塊の画像であると識別する。一方、隣接する2つの層の一方の層に存在する合焦領域と重複する合焦領域が他方の層に無い場合、当該一方の層の合焦領域は、細胞塊の端部の画像であると判断できる。細胞塊識別部207は、以上の処理を互いに隣接する層のフォーカスマップ全てに対して実行することで、標本に含まれる全ての細胞塊を細胞塊毎にグルーピングする。
図6は、隣接層のフォーカスマップ比較の一例を表す。図6(A)は、図5の(b)と(c)のフォーカスマップ比較を表す。(b)の合焦領域と(c)の合焦領域は領域70
1で重複しているため、細胞塊識別部207は、一つの細胞塊が(b)と(c)の層にまたがっていると判定する。細胞塊識別部207は、(b)の合焦領域と(c)の合焦領域はそれぞれ深さ方向に連続している一つの細胞塊の深さ方向の位置が異なる部分の画像として識別する。この細胞塊は、図4の細胞塊303に対応する。
1で重複しているため、細胞塊識別部207は、一つの細胞塊が(b)と(c)の層にまたがっていると判定する。細胞塊識別部207は、(b)の合焦領域と(c)の合焦領域はそれぞれ深さ方向に連続している一つの細胞塊の深さ方向の位置が異なる部分の画像として識別する。この細胞塊は、図4の細胞塊303に対応する。
図6(B)は、図5の(c)と(d)の比較を表す。(c)の合焦領域と(d)の合焦領域は重複していないため、細胞塊識別部207は、一つの細胞が(c)と(d)の層にまたがっておらず、それぞれ細胞塊の端部の画像であると識別する。合焦領域706は図4の細胞塊303に対応し、合焦領域707は細胞塊304に対応している。
全てのフォーカスマップ比較が完了後、細胞塊識別部207は、細胞塊情報を作成する。細胞塊情報には、細胞塊識別部207で格納する情報として、細胞塊毎に付された番号である細胞塊No、平面方向の細胞塊領域の位置(座標)、幅、及び高さ、並びに細胞塊がどの層にまたがっているかを示す情報がある。また、細胞配置部208で格納する情報として、細胞塊を移動したときの移動先の層、配置フラグ、細胞塊重複フラグが格納される。
平面方向の細胞塊領域は、各層の階層画像において当該細胞塊に対応するものと識別した合焦領域を同一の平面に射影した場合の全ての射影領域を包含する矩形領域とする。細胞塊領域は、標本の深さ方向と垂直の平面内での細胞塊の存在領域を示す。図6(A)では、(b)の合焦領域(を図6(A)の平面に射影した領域)と(c)の合焦領域(を図6(A)の平面に射影した領域)との両方を包含する矩形領域702が、この細胞塊の細胞塊領域となる。細胞塊識別部207は、細胞塊領域を検出すると、細胞塊の領域の開始点703の座標、幅704、及び高さ705の情報を細胞塊情報に格納する。
図7は、細胞塊情報の一例を表す。図7は、図3の標本に対応する細胞塊情報である。以下に、細胞塊識別部207が細胞塊情報に情報を格納する処理について記載する。細胞塊No801は、細胞塊識別部207で識別した細胞塊毎に付与される識別番号である。細胞塊領域の位置を表す座標は、階層画像の最も左上の角の座標を(0,0)とした場合の座標で表す。位置x802と位置y803は、細胞塊領域の最も左上の角の画素(開始点)の座標を表す。位置w804は細胞塊領域の幅、位置h805は細胞塊領域の高さを表す。層806は、細胞塊がどの層にまたがっているかを表す。移動後の層807は、細胞塊を移動した場合の移動先の層を表す(細胞塊の移動については後述)。
配置フラグ808は、細胞塊の移動を検討したか否かを示すフラグで、ONの場合は検討済み、OFFの場合は未検討であることを表す。細胞塊重複フラグ809は、細胞塊が平面領域で重複しているか否かを示すフラグで、ONの場合は重複している、OFFの場合は重複していないことを表す。
細胞配置部208は、細胞塊識別部207から細胞塊情報を受信すると、細胞塊毎に移動先の層を算出し、細胞塊情報に細胞塊の移動先の層の情報を格納して、表示制御部204へ送信する。
図8は、細胞配置部208の処理フロー図である。本処理では、細胞配置部208は、全細胞塊の中で最も高い層にある細胞塊から順に配置の検討を行う。ある細胞塊についての配置検討は、次のように行う。細胞配置部208は、配置検討中の細胞塊が、それより高い層にある他の細胞塊と平面方向で重なっているかを確認する。すなわち、細胞配置部208は、配置検討中の細胞塊の細胞塊領域と、当該細胞塊より高い層にある他の細胞塊の細胞塊領域と、が平面方向で重複しているかを判定する。重複していない場合、細胞配置部208は、配置検討中の細胞塊を、最も高い層にある他の細胞塊の層へ移動し、重複している場合は、当該重複している他の細胞塊の下の層へ仮想的に移動する処理を行う。
以下に、本処理を詳細に説明する。
図8は、細胞配置部208の処理フロー図である。本処理では、細胞配置部208は、全細胞塊の中で最も高い層にある細胞塊から順に配置の検討を行う。ある細胞塊についての配置検討は、次のように行う。細胞配置部208は、配置検討中の細胞塊が、それより高い層にある他の細胞塊と平面方向で重なっているかを確認する。すなわち、細胞配置部208は、配置検討中の細胞塊の細胞塊領域と、当該細胞塊より高い層にある他の細胞塊の細胞塊領域と、が平面方向で重複しているかを判定する。重複していない場合、細胞配置部208は、配置検討中の細胞塊を、最も高い層にある他の細胞塊の層へ移動し、重複している場合は、当該重複している他の細胞塊の下の層へ仮想的に移動する処理を行う。
以下に、本処理を詳細に説明する。
細胞配置部208は、細胞塊情報を取得すると、全細胞塊の中で最も高い層に存在する細胞塊を検出し、細胞塊の移動を検討したことを示す配置フラグを「オン」にする(S901)。なお、各細胞塊の配置フラグの初期値は「オフ」である。
次に、細胞配置部208は、配置フラグが「オフ」の細胞塊の中で最も高い層にある細胞塊を検出し(S902)、当該細胞塊(配置検討中の細胞塊)が、配置フラグ「オン」の他の細胞塊と平面方向で重複しているか確認する(S903)。すなわち、細胞配置部208は、配置検討中の細胞塊が、配置検討中の細胞塊より高い層にある他の細胞塊と、平面方向で重複しているか判定する。
次に、細胞配置部208は、配置フラグが「オフ」の細胞塊の中で最も高い層にある細胞塊を検出し(S902)、当該細胞塊(配置検討中の細胞塊)が、配置フラグ「オン」の他の細胞塊と平面方向で重複しているか確認する(S903)。すなわち、細胞配置部208は、配置検討中の細胞塊が、配置検討中の細胞塊より高い層にある他の細胞塊と、平面方向で重複しているか判定する。
配置検討中の細胞塊が他の細胞塊と平面方向で重複していない場合(S903:No)、細胞配置部208は、現在配置を検討している細胞塊を、最上位にある細胞塊と同じ層に移動する(S905)。すなわち、配置検討中の細胞塊の基準層の位置と、最上位にある細胞塊の基準層の位置とが同じになるように、配置検討中の細胞塊の標本内で仮想的に移動する。ここで、基準層とは、細胞塊が複数の層にまたがって存在する場合に、細胞塊が存在する層のうち最も高い位置の層である。細胞塊が1つの層にしか存在しない場合は、その層が基準層となる。細胞配置部208は、配置検討中の細胞塊の移動先の層の情報を細胞塊情報へ格納する。
配置検討中の細胞塊が他の細胞塊と平面方向で重複している場合(S903:Yes)、細胞配置部208は、細胞塊が重複していることを示す細胞塊重複フラグを「オン」にする(S904)。なお、各細胞塊の細胞塊重複フラグの初期値は「オフ」である。
細胞配置部208は、今回配置検討した細胞塊の配置フラグを「オン」にする(S906)。
細胞配置部208は、配置未検討の細胞塊(配置フラグが「オフ」の細胞塊)が有るか確認し(S907)、有る場合(S907:Yes)は配置検討処理(S902)へ戻る。配置未検討の細胞塊(配置フラグが「オフ」の細胞塊)がない場合(S907:No)、細胞配置部208は、細胞塊情報のうちに、細胞塊重複フラグが「オン」の細胞塊があるか確認する(S908)。
細胞配置部208は、今回配置検討した細胞塊の配置フラグを「オン」にする(S906)。
細胞配置部208は、配置未検討の細胞塊(配置フラグが「オフ」の細胞塊)が有るか確認し(S907)、有る場合(S907:Yes)は配置検討処理(S902)へ戻る。配置未検討の細胞塊(配置フラグが「オフ」の細胞塊)がない場合(S907:No)、細胞配置部208は、細胞塊情報のうちに、細胞塊重複フラグが「オン」の細胞塊があるか確認する(S908)。
細胞塊重複フラグが「オン」の細胞塊がある場合(S908:Yes)、細胞配置部208は、当該細胞塊重複フラグが「オン」の細胞塊を、当該細胞塊と平面方向で重複している他の細胞塊がある層の下の層に配置するように標本内で移動する(S909)。具体的には、細胞塊重複フラグ「オン」の細胞塊と重複している他の細胞塊の存在する層のうち最も低い位置の層の1つ下の層を、当該細胞塊重複フラグ「オン」の細胞塊の基準層とするよう、当該細胞塊を標本内で仮想的に移動する。細胞配置部208は、当該細胞塊重複フラグ「オン」の細胞塊の移動先の層の情報を細胞塊情報へ格納し、当該細胞塊の細胞塊重複フラグを「オフ」にする(S910)。
細胞塊重複フラグが「オン」の細胞塊がない場合(S908:No)、細胞配置部208は、細胞塊情報を表示制御部204へ送信する。
図9は、細胞配置部208で作成した細胞塊情報の一例を表す。図9は、図7の細胞塊情報を基に細胞配置部208が細胞塊の配置を決定し、移動後の層807に情報を格納したものである。図8の処理フローに沿って、細胞塊毎の移動後の層を決定する処理について説明する。
まず、細胞配置部208は、全細胞塊の中で最も高い位置の細胞は、基準層がb層にある細胞塊1(図4の細胞塊303)であることを検出し、細胞塊1の配置フラグを「オン」にする。
まず、細胞配置部208は、全細胞塊の中で最も高い位置の細胞は、基準層がb層にある細胞塊1(図4の細胞塊303)であることを検出し、細胞塊1の配置フラグを「オン」にする。
次に細胞配置部208は、配置未検討細胞の中で最も高い位置にある細胞として細胞塊2(図4の細胞塊304)を検出し、細胞塊2が配置フラグ「オン」の細胞塊である細胞塊1と平面方向で重複しているか確認する。ここでは重複していないため、細胞配置部208は、細胞塊1の最上位層を、配置検討中の細胞塊2の基準層とするよう、細胞塊2を移動する。具体的には、d層の細胞塊2の画像をb層に移動し、e層の細胞塊2の画像をc層に移動する。
最後に、細胞配置部208は、細胞塊2の配置フラグを「オン」にする。
最後に、細胞配置部208は、細胞塊2の配置フラグを「オン」にする。
次に細胞配置部208は、配置フラグ「オフ」の細胞塊で最も高い層にある細胞塊として細胞塊3(図4の細胞塊305)を検出する。
細胞配置部208は、細胞塊3が、それより上に位置する配置フラグが「オン」の細胞塊である細胞塊1、2と平面方向で重複しているか確認する。細胞塊3は、細胞塊1と平面方向で重複しているため、細胞配置部208は、配置検討中の細胞塊3について、細胞塊重複フラグを「オン」にするとともに、配置フラグを「オン」にする。
細胞配置部208は、細胞塊3が、それより上に位置する配置フラグが「オン」の細胞塊である細胞塊1、2と平面方向で重複しているか確認する。細胞塊3は、細胞塊1と平面方向で重複しているため、細胞配置部208は、配置検討中の細胞塊3について、細胞塊重複フラグを「オン」にするとともに、配置フラグを「オン」にする。
以上で全細胞塊の配置フラグが「オン」になったため、細胞配置部208は、細胞塊情報のうちに、細胞塊重複フラグが「オン」の細胞塊があるか確認する。ここでは細胞塊3の細胞塊重複フラグが「オン」のため、当該細胞塊3と重複している細胞塊である細胞塊1が存在する層(b、c)のうち最も下の層cの1つ下の層dが、細胞塊3の基準層となるよう、細胞塊3を移動する。具体的には、f層の細胞塊3の画像をd層に移動する。以上の処理によって、図9の細胞塊情報が生成される。
表示制御部204は、細胞配置部208から細胞塊情報を受信し、細胞塊情報に基づいて画像を生成する。図9の細胞塊情報を基に説明すると、表示制御部204は、細胞塊2については、d層の階層画像における位置(x、y)、幅w、高さhの矩形の細胞塊領域の画像をコピーし、b層の階層画像の同位置に貼り付ける。また、e層の階層画像における位置(x、y)、幅w、高さhの矩形の細胞塊領域の画像をコピーし、c層の階層画像の同位置に貼り付ける。表示制御部204は、細胞塊3については、f層の階層画像における位置(x、y)、幅w、高さhの矩形の細胞塊領域の画像をコピーし、d層の階層画像の同位置に貼り付ける。
図10は、標本内の各細胞塊を上記の処理により仮想的に移動した場合の、階層画像と細胞塊との位置関係を示している。原画像表示モードでは図4に基づく画像表示が行われ、一覧表示モードでは図10に基づく画像表示が行われる。図10の細胞塊1001(図9の細胞塊1)は、図4の細胞塊303と対応しており、位置は変わっていない。図10の細胞塊1002(図9の細胞塊2)は、図4の細胞塊304と対応しており、基準層の位置が細胞塊1001の基準層の位置と同じになるように移動している。細胞塊1003(図9の細胞塊3)は、図4の細胞塊305と対応しており、細胞塊1001の存在する層の最も下の層のすぐ下の層が基準層になるように配置されている。
図11(A)は、図4の階層画像を示す。原画像表示モードでは、図11(A)に示す階層画像から観察者(診断医)が指定した階層の階層画像が表示される。観察者は、標本内の全細胞塊を各々の細胞塊が存在する全ての階層について観察するためには、b、c、d、e、fの5つの層の階層画像を観察する必要がある。
図11(B)は、図10の階層画像を示す。一覧表示モードでは、図11(B)に示す階層画像から観察者が指定した階層の階層画像が表示される。観察者は、標本内の全細胞塊を各々の細胞塊が存在する全ての階層について観察するために、b、c、dの3つの層の階層画像を観察すれば良い。すなわち、原画像表示モードより少ない枚数の階層画像で効率良く全細胞塊を観察できる。
図11(B)は、図10の階層画像を示す。一覧表示モードでは、図11(B)に示す階層画像から観察者が指定した階層の階層画像が表示される。観察者は、標本内の全細胞塊を各々の細胞塊が存在する全ての階層について観察するために、b、c、dの3つの層の階層画像を観察すれば良い。すなわち、原画像表示モードより少ない枚数の階層画像で効率良く全細胞塊を観察できる。
なお、各表示モードにおいて、細胞塊が存在しない階層画像については、ユーザが層を選択する際に選択候補から除外しても良い。また、細胞塊が存在しない階層画像をユーザが指定(選択)し表示した場合に、表示中の階層画像には細胞塊が存在しない旨の通知を表示しても良い。
以下に、実施例1に係る画像表示装置の動作について説明する。図12は、実施例1に係る画像表示装置の動作を示すフロー図である。表示制御部204は、モード管理部203から表示モードの情報を取得する(S1201)。表示モードが「原画像表示モード」の場合、表示制御部204は、ユーザ操作による層の指定(選択)を受け付け(S1203)、指定された層の階層画像データを記憶部202から取得して表示部205へ送信する。表示部205は、表示制御部204から取得した階層画像データに基づく画像を表示する(S1204)。
表示モードが「一覧表示モード」の場合、表示制御部204は、細胞塊を移動した新たな階層画像を生成する処理を行う。まず、表示制御部204は、フォーカスマップ作成部206へフォーカスマップ作成を要求する。フォーカスマップ作成部206は、階層画像毎にフォーカスマップを作成し、細胞塊識別部207へフォーカスマップを送信する(S1205)。細胞塊識別部207は、取得したフォーカスマップを使って細胞塊を識別し、細胞塊毎の位置を格納した細胞塊情報を作成して、細胞配置部208へ送信する(S1206)。細胞配置部208は、取得した細胞塊情報に基づき細胞塊の移動先を算出し、細胞塊情報へ移動先の情報を格納して、表示制御部204へ送信する(S1207)。表示制御部204は、取得した細胞塊情報に基づき、細胞塊を移動した新たな階層画像を作成し、記憶部202に作成した階層画像データを保存する(S1208)。その後、表示制御部204は、上記の原画像表示モードと同様に、ユーザから表示すべき階層画像の指定を受け付け、指定された階層画像の表示を行う。
なお、図12のフローでは、表示モードの判定後に細胞塊を移動した階層画像の生成処理を行う例を説明した。しかし、画像表示装置103が画像管理サーバ102から図4に示す階層画像を取得した時点で、図10に示す細胞塊を移動した階層画像の生成を自動的に実行して、記憶部202に保存しても良い。記憶部202は、図4に示す原画像と、図10に示す細胞塊を移動した階層画像と、の両方を記憶し、表示制御部204は、表示モードに応じて、記憶部202から読み出す階層画像を切り換えるようにしても良い。また、画像表示装置103は、細胞塊を移動した新たな階層画像を生成した後、生成した新たな階層画像を画像管理サーバ102に送信し、一度生成した一覧表示モード用の階層画像を後から再利用できるようにしても良い。また、画像管理サーバ102が、スキャナ101から取得した原画像から一覧表示モード用に細胞塊を移動した新たな階層画像を生成する処理を行っても良い。この場合、画像表示装置103は、表示モードに応じた画像データを画像管理サーバ102から取得する用にしても良い。
実施例1によれば、複数の異なる合焦距離で標本を撮像して得られる階層画像を表示する画像表示装置において、より少ない枚数の階層画像で標本内のより多くの細胞塊(オブジェクト)を観察することが可能になる。これにより、効率良く診断することが可能となる。また、実施例1の画像生成処理では、CAD(Computer-Aided Diagnosis:コンピュータ支援診断)等の複雑な解析は不要であり、簡易な構成で実現できる。また、画像の生成に過去の診断医の観察履歴や操作履歴の情報は不要であり、初診の段階から効率的な診断が可能である。
なお、実施例1では、配置検討中の細胞塊の細胞塊領域がそれより上に位置する他の細胞塊の細胞塊領域と平面方向で重複しない場合、当該他の細胞塊のうち最も高い層にある
細胞塊の層へ、配置検討中の細胞塊を移動した。しかし、配置検討中の細胞塊の移動先はこれに限られず、少なくとも1つの層でも元の層より高い層に移動すれば本発明の効果は得られる。また、配置検討中の細胞塊の細胞塊領域がそれより上に位置する他の細胞塊の細胞塊領域と平面方向で重複する場合、当該重複する他の細胞塊の直ぐ下の層へ、配置検討中の細胞塊を移動した。しかし、配置検討中の細胞塊の移動先はこれに限られず、少なくとも1つの層でも元の層より高い層に移動すれば本発明の効果は得られる。
細胞塊の層へ、配置検討中の細胞塊を移動した。しかし、配置検討中の細胞塊の移動先はこれに限られず、少なくとも1つの層でも元の層より高い層に移動すれば本発明の効果は得られる。また、配置検討中の細胞塊の細胞塊領域がそれより上に位置する他の細胞塊の細胞塊領域と平面方向で重複する場合、当該重複する他の細胞塊の直ぐ下の層へ、配置検討中の細胞塊を移動した。しかし、配置検討中の細胞塊の移動先はこれに限られず、少なくとも1つの層でも元の層より高い層に移動すれば本発明の効果は得られる。
また、実施例1では、上位層の細胞塊から配置検討を行い、配置検討中の細胞塊をより高い層へ移動させる例を示したが、下位層の細胞塊から配置検討を行い、配置検討中の細胞塊をより低い層へ移動させるようにしても良い。いずれにしても、細胞塊領域が互いに重ならない2つの細胞塊があった場合、当該2つの細胞塊が共に存在する階層の数が増えるように、2つの細胞塊のうち少なくとも一方を移動させれば良い。実施例1では、2つの細胞塊の各々が存在する階層のうち最も高い階層(すなわち基準層)が当該2つの細胞塊で同じになるように移動する例を示した。しかし、2つの細胞塊の各々が存在する階層のうち最も低い階層が当該2つの細胞塊で同じになるように移動しても良い。
また、実施例1では、細胞塊領域が互いに重なる2つの細胞塊があった場合、一方の細胞塊(2つのうち上の階層に存在する細胞塊)の最も下の階層の1つ下の階層が、他方の細胞塊(2つのうち下の階層に存在する細胞塊)の基準層になるように移動した。しかし、一方の細胞塊(2つのうち下の階層に存在する細胞塊)の最も上の階層の1つ上の階層が、他方の細胞塊(2つのうち上の階層に存在する細胞塊)が存在する階層のうち最も下の階層と同じ階層になるように移動しても良い。
また、細胞塊領域が互いに重なる2つの細胞塊があった場合、当該2つの細胞塊の間に存在する階層の数が減るように、2つの細胞塊のうち少なくとも一方を移動させればよい。すなわち、上記実施例では、配置検討中の細胞塊を移動させる例を示したが、両方を移動しても良いし、配置検討中の細胞塊以外の細胞塊のみを移動しても良い。実施例1において、画像表示装置103を構成する表示制御部204、フォーカスマップ作成部206、細胞塊識別部207、細胞配置部208は、画像管理サーバ102から取得した原画像から新たな階層画像を生成する画像処理装置を構成する。実施例1では、画像表示装置103が画像処理装置を有する構成を例示した。しかし、画像管理サーバ102から取得した原画像から新たな階層画像を生成する画像処理装置と、表示モードに応じて原画像又は画像処理装置が生成した階層画像を表示する画像表示装置と、は別体構成であっても良い。
(実施例2)
実施例2では、画像表示装置において、多層画像から細胞塊を識別し、2つの細胞塊が平面方向で重複している場合は、重複しない位置まで一方の細胞塊を平面方向で移動したうえで、当該細胞塊を層方向(深さ方向)で移動して新たな階層画像を生成する。実施例2において、実施例1と同等の構成要素には同一の符号を付け、説明を省略する。
実施例2では、画像表示装置において、多層画像から細胞塊を識別し、2つの細胞塊が平面方向で重複している場合は、重複しない位置まで一方の細胞塊を平面方向で移動したうえで、当該細胞塊を層方向(深さ方向)で移動して新たな階層画像を生成する。実施例2において、実施例1と同等の構成要素には同一の符号を付け、説明を省略する。
図13は、実施例2に係る、画像データを機器間伝送するネットワークシステム示す図である。図13に示すように、スキャナ101、画像管理サーバ102、画像表示装置1303は、院内LAN(Local Area Network)100を介して接続されている。画像表示装置1303は、画像ビューアを搭載したPC(Personal Computer)とディスプレイで
構成され、ユーザの要求により画像管理サーバ102から画像データを取得し、画像データに基づく画像を表示する。
構成され、ユーザの要求により画像管理サーバ102から画像データを取得し、画像データに基づく画像を表示する。
図14は、実施例2に係る画像表示装置1303の構成を示すブロック図である。実施例2では、細胞配置部1408が、実施例1の細胞配置部208と異なる動作を行う。
実施例2においても、実施例1と同様、図3のような標本が階層画像取得及び観察(診断)の対象である場合を例に説明する。
細胞配置部1408は、細胞塊識別部207から細胞塊情報を受信すると、細胞塊毎に移動先の位置を算出し、細胞塊の移動先の情報を格納した細胞塊情報を表示制御部204へ送信する。
実施例2においても、実施例1と同様、図3のような標本が階層画像取得及び観察(診断)の対象である場合を例に説明する。
細胞配置部1408は、細胞塊識別部207から細胞塊情報を受信すると、細胞塊毎に移動先の位置を算出し、細胞塊の移動先の情報を格納した細胞塊情報を表示制御部204へ送信する。
図15は、実施例2に係る細胞配置部1408の処理フロー図である。本処理では、細胞配置部1408は、全細胞塊の中で最も高い層にある細胞塊から順に配置の検討を行う。細胞配置部1408は、配置検討中の細胞塊が、それより高い層にある他の細胞塊と平面方向で重なっているかを確認する。すなわち、細胞配置部1408は、配置検討中の細胞塊の細胞塊領域と、当該細胞塊より高い層にある他の細胞塊の細胞塊領域と、を同一平面に射影した場合に共有部分があるか判定する。
重なっていない場合、細胞配置部1408は、配置検討中の細胞塊を、最も高い層にある他の細胞塊の層へ移動する。重なっている場合、細胞配置部1408は、配置検討中の細胞塊より高い層にある他の細胞塊と平面方向で重ならない領域があるか確認する。すなわち、細胞配置部1408は、配置検討中の細胞塊より高い層にある他の細胞塊の細胞塊領域を全て同一平面上に射影した場合に、当該平面内でどの細胞塊領域の射影も存在しない領域があるか確認する。このような領域を「空き領域」と称する。更に、細胞配置部1408は、空き領域がある場合に、当該空き領域が、配置検討中の細胞塊の細胞塊領域の当該平面への射影を包含し得るスペースを有するか確認する。空き領域が配置検討中の細胞塊の細胞塊領域を包含し得るスペースを有している場合、細胞配置部1408は、配置検討中の細胞塊を、その細胞塊領域が空き領域に入るように平面方向に移動する。細胞配置部1408は、更に、実施例1と同様、最も高い層にある他の細胞塊と同じ層へ層方向に移動する。空き領域が配置検討中の細胞塊の細胞塊領域を包含し得るスペースを有していない場合、細胞配置部1408は、実施例1と同様、配置検討中の細胞塊を、重なっている他の細胞塊の下の層へ移動する。以下に、本処理を具体的に説明する。なお、実施例1と同等の処理には同一の符号を付け、説明を省略する。
細胞配置部1408は、S901〜S907の処理を実施例1と同様に行った後、全細胞塊の配置フラグが「オン」であることを確認後(S907:No)、細胞塊重複フラグが「オン」の細胞があるか確認する(S908)。
細胞塊重複フラグが「オン」の細胞塊がある場合(S908:Yes)、細胞配置部1408は、当該細胞塊重複フラグが「オン」の細胞塊より高い層にある他の細胞塊を検出し、空き領域を検出する(S1509)。次に、細胞配置部1408は、前記検出した空き領域に、細胞塊重複フラグが「オン」の細胞塊の細胞塊領域を包含できるスペースがあるか確認する(S1510)。
細胞塊重複フラグが「オン」の細胞塊がある場合(S908:Yes)、細胞配置部1408は、当該細胞塊重複フラグが「オン」の細胞塊より高い層にある他の細胞塊を検出し、空き領域を検出する(S1509)。次に、細胞配置部1408は、前記検出した空き領域に、細胞塊重複フラグが「オン」の細胞塊の細胞塊領域を包含できるスペースがあるか確認する(S1510)。
スペースがある場合(S1510:Yes)、細胞配置部1408は、前記細胞塊重複フラグが「オン」の細胞塊の細胞塊領域が当該空き領域内に入るように当該細胞塊重複フラグが「オン」の細胞塊を平面方向に移動する(S1511)。更に、細胞配置部1408は、当該細胞塊重複フラグが「オン」の細胞塊を、最も高い位置にある他の細胞塊の層に移動する(S1512)。すなわち、当該細胞塊重複フラグが「オン」の細胞塊の基準層の位置と、最上位にある細胞塊の基準層の位置とが同じになるように、当該細胞塊重複フラグが「オン」の細胞塊の配置を変更する。そして、細胞配置部1408は、当該細胞塊重複フラグが「オン」の細胞塊の移動先の位置座標と移動先の層の情報を細胞塊情報へ格納し、当該細胞塊の細胞塊重複フラグを「オフ」にする(S1514)。
スペースがない場合(S1510:No)、細胞配置部1408は、前記細胞塊重複フラグが「オン」の細胞塊を、当該細胞塊と平面方向で重複している他の細胞塊がある層の
下の層に配置するように標本内で仮想的に移動する(S1513)。具体的には、当該細胞塊重複フラグが「オン」の細胞塊と重複している他の細胞塊の存在する層のうち最も低い位置の層の1つ下の層を、当該細胞塊重複フラグが「オン」の細胞塊の基準層とするよう、当該細胞塊を標本内で仮想的に移動する。細胞配置部1408は、当該細胞塊重複フラグが「オン」の細胞塊の移動先の層の情報を細胞塊情報へ格納し、当該細胞塊の細胞塊重複フラグを「オフ」にする(S1514)。
細胞塊重複フラグが「オン」の細胞塊がない場合(S908:No)、細胞配置部1408は、細胞塊情報を表示制御部204へ送信する。
下の層に配置するように標本内で仮想的に移動する(S1513)。具体的には、当該細胞塊重複フラグが「オン」の細胞塊と重複している他の細胞塊の存在する層のうち最も低い位置の層の1つ下の層を、当該細胞塊重複フラグが「オン」の細胞塊の基準層とするよう、当該細胞塊を標本内で仮想的に移動する。細胞配置部1408は、当該細胞塊重複フラグが「オン」の細胞塊の移動先の層の情報を細胞塊情報へ格納し、当該細胞塊の細胞塊重複フラグを「オフ」にする(S1514)。
細胞塊重複フラグが「オン」の細胞塊がない場合(S908:No)、細胞配置部1408は、細胞塊情報を表示制御部204へ送信する。
図16は、細胞配置部1408で作成した細胞塊情報の一例を表す。図4の標本を例に、図15の処理フローに沿って、細胞塊毎の移動後の位置及び層を決定する処理について説明する。細胞配置部1408は、全ての細胞塊の配置フラグが「オン」であることを確認後、細胞塊重複フラグが「オン」の細胞塊があるか確認する。図4の標本の場合、細胞塊305(図16の細胞塊3)の細胞塊重複フラグが「オン」になる。細胞配置部1408は、細胞塊3より高い位置にある他の細胞塊1と細胞塊2と平面方向で重ならない領域(空き領域)を検出する。細胞配置部1408は、検出した空き領域において、細胞塊3が入り込むスペースがあるか判定し、スペースがある場合は当該空き領域へ平面方向に細胞塊3の全体を移動し、更に、細胞塊3の基準層が細胞塊1の基準層と同じになるよう層方向へ移動する。これにより、図16に示すように、細胞塊3の位置Xが変更され(空き領域への平面方向の移動に対応)、細胞塊の存在する層がf層からb層へ移動する(層方向の移動に対応)。細胞配置部1408は、細胞塊3の移動先の座標と層の情報を細胞位置情報へ格納し、細胞塊重複フラグを「オフ」にする。以上の処理によって図16の細胞塊情報が生成される。なお、細胞塊2の層がd,eからb、cに移動する点については実施例1と同様である。
図17は、標本内の各細胞塊を上記の処理により仮想的に移動した場合の、階層画像と細胞塊との位置関係を示している。原画像表示モードでは図4に基づく画像表示が行われ、一覧表示モードでは図17に基づく画像表示が行われる。図17の細胞塊1701(図16の細胞塊1)は、図4の細胞塊303と対応しており、位置は変わっていない。図17の細胞塊1702(図16の細胞塊2)は、図4の細胞塊304と対応しており、基準層の位置が細胞塊1701の基準層の位置と同じになるように層方向(深さ方向)に移動している。図17の細胞塊1703(図6の細胞塊3)は、図4の細胞塊305と対応している。細胞塊1703は、細胞塊1701と細胞塊1702に重ならない空き領域に平面方向に移動するとともに、基準層の位置が細胞塊1701の基準層の位置と同じになるように層方向(深さ方向)に移動している。
観察者(診断医)は、標本内の全細胞塊を各々の細胞塊が存在する全ての階層について観察するために、原画像表示モードではb、c、d、e、fの5つの層の階層画像を観察する必要がある。しかし、上記の処理により作成された階層画像を用いる一覧表示モードでは、b、cの2つの層の階層画像を観察すればよく、より少ない枚数の階層画像で効率良く全細胞塊を観察できる。
なお、実施例2では、細胞塊3の基準層が細胞塊1の基準層と同じになる位置(図17のb層)まで細胞塊3を層方向に移動する例を説明したが、これに限らない。元の層より高い層(図17のc層)まで移動する場合でも、全細胞塊を観察するために必要な階層画像の枚数を減らすことができる。
実施例2では、平面内での存在領域が互いに重なる第1の細胞塊と第2の細胞塊がある場合、上位階層の第1の細胞塊が存在しない空き領域に下位階層の第2の細胞塊の細胞塊領域を包含し得るスペースがあるときは、当該空き領域に第2の細胞塊を移動した。すな
わち、第1の細胞塊は移動せずに第2の細胞塊のみ移動する例を示したが、もし、第1の細胞塊も移動すれば第2の細胞塊の細胞塊領域を包含し得る空き領域を作り出すことができるならば、両方の細胞塊を移動するようにしても良い。すなわち、第1の細胞塊が存在しない空き領域に第2の細胞塊の細胞塊領域を包含し得るスペースが無い場合には、第1の細胞塊を適当に移動することで第2の細胞塊の細胞塊領域を包含し得るスペースを有する空き領域を作り出せるか判定する。判定方法は、第1の細胞塊と第2の細胞塊の細胞塊領域の形状、面積、階層画像の平面領域の形状、面積等に基づき幾何学的に判定する。作り出せると判定した場合、まず第1の細胞塊を平面内で移動し、それによって確保された広い空き領域に、第2の細胞塊の細胞塊領域が入るように、第2の細胞塊を平面内で移動するようにしても良い。
わち、第1の細胞塊は移動せずに第2の細胞塊のみ移動する例を示したが、もし、第1の細胞塊も移動すれば第2の細胞塊の細胞塊領域を包含し得る空き領域を作り出すことができるならば、両方の細胞塊を移動するようにしても良い。すなわち、第1の細胞塊が存在しない空き領域に第2の細胞塊の細胞塊領域を包含し得るスペースが無い場合には、第1の細胞塊を適当に移動することで第2の細胞塊の細胞塊領域を包含し得るスペースを有する空き領域を作り出せるか判定する。判定方法は、第1の細胞塊と第2の細胞塊の細胞塊領域の形状、面積、階層画像の平面領域の形状、面積等に基づき幾何学的に判定する。作り出せると判定した場合、まず第1の細胞塊を平面内で移動し、それによって確保された広い空き領域に、第2の細胞塊の細胞塊領域が入るように、第2の細胞塊を平面内で移動するようにしても良い。
201:画像データ受信部、204:表示制御部、206:フォーカスマップ作成部、207:細胞塊識別部、208:細胞配置部
Claims (25)
- 複数のオブジェクトを含む標本の深さ方向の位置が異なる複数の階層の各々にフォーカスを合わせて撮像して得られる複数の階層画像を取得する取得手段と、
前記複数の階層画像に基づき、前記各オブジェクトについて、オブジェクトが存在する階層及び深さ方向と垂直の平面内での存在領域を検出する検出手段と、
前記各オブジェクトが存在する階層及び平面内での存在領域に基づき、前記複数の階層画像から、前記標本内の前記オブジェクトの位置を移動した場合の前記標本の前記各階層の階層画像を生成する生成手段と、
を有し、
前記生成手段は、前記標本内で前記オブジェクトが存在する階層の数が少なくなるように前記オブジェクトを移動した場合の階層画像を生成する画像処理装置。 - 前記生成手段は、平面内での存在領域が互いに重ならない2つのオブジェクトが検出された場合、当該2つのオブジェクトが共に存在する階層の数が増えるように、当該2つのオブジェクトのうち少なくとも一方のオブジェクトを移動した場合の階層画像を生成する請求項1に記載の画像処理装置。
- 前記生成手段は、前記2つのオブジェクトの各々の存在する階層のうち最も高い位置にある階層が同じ階層になるように前記オブジェクトを移動した場合の階層画像を生成する請求項2に記載の画像処理装置。
- 前記生成手段は、前記2つのオブジェクトの各々の存在する階層のうち最も低い位置にある階層が同じ階層になるように前記オブジェクトを移動した場合の階層画像を生成する請求項2に記載の画像処理装置。
- 前記生成手段は、平面内での存在領域が互いに重なる2つのオブジェクトが検出された場合、当該2つのオブジェクトの間に存在する階層の数が減るように、当該2つのオブジェクトのうち少なくとも一方のオブジェクトを移動した場合の階層画像を生成する請求項1又は2に記載の画像処理装置。
- 前記生成手段は、前記2つのオブジェクトのうち一方のオブジェクトが存在する階層のうち最も低い位置にある階層の1つ下の階層と、他方のオブジェクトが存在する階層のうち最も高い階層と、が同じ階層になるように前記オブジェクトを移動した場合の階層画像を生成する請求項5に記載の画像処理装置。
- 前記生成手段は、前記2つのオブジェクトのうち一方のオブジェクトが存在する階層のうち高い低い位置にある階層の1つ上の階層と、他方のオブジェクトが存在する階層のうち最も低い階層と、が同じ階層になるように前記オブジェクトを移動した場合の階層画像を生成する請求項5に記載の画像処理装置。
- 前記生成手段は、平面内での存在領域が互いに重なる2つのオブジェクトが検出された場合、平面内の一方のオブジェクトが存在しない空き領域であって、他方のオブジェクトの存在領域を包含し得る空き領域が存在するときは、当該他方のオブジェクトの平面内での存在領域が当該空き領域に入るように、前記他方のオブジェクトを移動し、更に、前記一方のオブジェクトと前記移動した他のオブジェクトとが共に存在する階層の数が増えるように、当該2つのオブジェクトのうち少なくとも一方のオブジェクトを移動した場合の階層画像を生成する請求項5〜7のいずれか1項に記載の画像処理装置。
- 前記検出手段は、前記各階層画像においてフォーカスが合っている合焦領域を検出し、
ある階層画像に存在する合焦領域と、当該階層画像の階層に隣接する階層の階層画像に存在する合焦領域と、が共通部分を有する場合、当該合焦領域は同じオブジェクトの画像であると判定し、当該隣接する2つの階層を当該オブジェクトの存在する階層として検出する請求項1〜8のいずれか1項に記載の画像処理装置。 - 前記検出手段は、同じオブジェクトの画像であると判定された全ての合焦領域を包含する領域を、当該オブジェクトの平面内での存在領域として検出する請求項9に記載の画像処理装置。
- 複数のオブジェクトを含む標本の深さ方向の位置が異なる複数の階層の各々にフォーカスを合わせて撮像して得られる複数の階層画像を取得する取得工程と、
前記複数の階層画像に基づき、前記各オブジェクトについて、オブジェクトが存在する階層及び深さ方向と垂直の平面内での存在領域を検出する検出工程と、
前記各オブジェクトが存在する階層及び平面内での存在領域に基づき、前記複数の階層画像から、前記標本内の前記オブジェクトの位置を移動した場合の前記標本の前記各階層の階層画像を生成する生成工程と、
を有し、
前記生成工程では、前記標本内で前記オブジェクトが存在する階層の数が少なくなるように前記オブジェクトを移動した場合の階層画像を生成する画像処理装置の制御方法。 - 前記生成工程では、平面内での存在領域が互いに重ならない2つのオブジェクトが検出された場合、当該2つのオブジェクトが共に存在する階層の数が増えるように、当該2つのオブジェクトのうち少なくとも一方のオブジェクトを移動した場合の階層画像を生成する請求項11に記載の画像処理装置の制御方法。
- 前記生成工程では、前記2つのオブジェクトの各々の存在する階層のうち最も高い位置にある階層が同じ階層になるように前記オブジェクトを移動した場合の階層画像を生成する請求項12に記載の画像処理装置の制御方法。
- 前記生成工程では、前記2つのオブジェクトの各々の存在する階層のうち最も低い位置にある階層が同じ階層になるように前記オブジェクトを移動した場合の階層画像を生成する請求項12に記載の画像処理装置の制御方法。
- 前記生成工程では、平面内での存在領域が互いに重なる2つのオブジェクトが検出された場合、当該2つのオブジェクトの間に存在する階層の数が減るように、当該2つのオブジェクトのうち少なくとも一方のオブジェクトを移動した場合の階層画像を生成する請求項11又は12に記載の画像処理装置の制御方法。
- 前記生成工程では、前記2つのオブジェクトのうち一方のオブジェクトが存在する階層のうち最も低い位置にある階層の1つ下の階層と、他方のオブジェクトが存在する階層のうち最も高い階層と、が同じ階層になるように前記オブジェクトを移動した場合の階層画像を生成する請求項15に記載の画像処理装置の制御方法。
- 前記生成工程では、前記2つのオブジェクトのうち一方のオブジェクトが存在する階層のうち高い低い位置にある階層の1つ上の階層と、他方のオブジェクトが存在する階層のうち最も低い階層と、が同じ階層になるように前記オブジェクトを移動した場合の階層画像を生成する請求項15に記載の画像処理装置の制御方法。
- 前記生成工程では、平面内での存在領域が互いに重なる2つのオブジェクトが検出された場合、平面内の一方のオブジェクトが存在しない空き領域であって、他方のオブジェク
トの存在領域を包含し得る空き領域が存在するときは、当該他方のオブジェクトの平面内での存在領域が当該空き領域に入るように、前記他方のオブジェクトを移動し、更に、前記一方のオブジェクトと前記移動した他のオブジェクトとが共に存在する階層の数が増えるように、当該2つのオブジェクトのうち少なくとも一方のオブジェクトを移動した場合の階層画像を生成する請求項15〜17のいずれか1項に記載の画像処理装置の制御方法。 - 前記検出工程では、前記各階層画像においてフォーカスが合っている合焦領域を検出し、ある階層画像に存在する合焦領域と、当該階層画像の階層に隣接する階層の階層画像に存在する合焦領域と、が共通部分を有する場合、当該合焦領域は同じオブジェクトの画像であると判定し、当該隣接する2つの階層を当該オブジェクトの存在する階層として検出する請求項11〜18のいずれか1項に記載の画像処理装置の制御方法。
- 前記検出工程では、同じオブジェクトの画像であると判定された全ての合焦領域を包含する領域を、当該オブジェクトの平面内での存在領域として検出する請求項19に記載の画像処理装置の制御方法。
- 請求項1〜10のいずれか1項に記載の画像処理装置と、
前記画像処理装置から入力される画像を表示する表示手段と、
を有する画像表示装置。 - 前記取得手段が取得した階層画像を表示する第1の表示モードと、前記生成手段が生成した階層画像を表示する第2の表示モードと、を切り替える制御手段を更に有する請求項21に記載の画像表示装置。
- 前記制御手段は、オブジェクトの画像が存在しない階層画像を表示しない請求項22に記載の画像表示装置。
- 請求項1〜10のいずれか1項に記載の画像処理装置と、
前記画像処理装置から入力される画像を表示する表示手段と、
を有する画像表示装置の制御方法であって、
前記取得手段が取得した階層画像を表示する第1の表示モードと、前記生成手段が生成した階層画像を表示する第2の表示モードと、を切り替える制御工程を有する画像表示装置の制御方法。 - 前記制御工程では、オブジェクトの画像が存在しない階層画像を表示しない請求項24に記載の画像表示装置の制御方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014026687A JP2015152778A (ja) | 2014-02-14 | 2014-02-14 | 画像処理装置、画像表示装置、及びその制御方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014026687A JP2015152778A (ja) | 2014-02-14 | 2014-02-14 | 画像処理装置、画像表示装置、及びその制御方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2015152778A true JP2015152778A (ja) | 2015-08-24 |
Family
ID=53895085
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014026687A Pending JP2015152778A (ja) | 2014-02-14 | 2014-02-14 | 画像処理装置、画像表示装置、及びその制御方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2015152778A (ja) |
-
2014
- 2014-02-14 JP JP2014026687A patent/JP2015152778A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4667944B2 (ja) | 画像作成装置 | |
JP4542386B2 (ja) | 画像表示システム、画像提供装置、画像表示装置、およびコンピュータプログラム | |
JP6035716B2 (ja) | 情報処理システム及び情報処理方法 | |
JP5257958B2 (ja) | 画像表示装置、画像表示システムおよび画像表示方法 | |
WO2013099124A1 (en) | Image processing apparatus, image processing system, image processing method, and program | |
JP5679524B2 (ja) | スタックされた顕微鏡画像をナビゲートするための方法及び装置 | |
JP6270325B2 (ja) | 情報処理装置およびその制御方法 | |
JP5871705B2 (ja) | 画像表示装置、方法及びプログラム | |
JP2016511845A (ja) | 生体試料の分割画面表示及びその記録を取り込むためのシステム及び方法 | |
CN104011787A (zh) | 图像处理装置、其控制方法、图像处理***和程序 | |
US20170111581A1 (en) | Method and device for generating a microscopy panoramic representation | |
JP2012010275A (ja) | 情報処理装置、情報処理方法、及びそのプログラム | |
CN102053357A (zh) | 用于具有增强景深的成像的***和方法 | |
US20160042122A1 (en) | Image processing method and image processing apparatus | |
JP4713914B2 (ja) | 医用画像管理装置、医用画像管理方法及び医用画像管理システム | |
JP2013020475A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP2012008027A (ja) | 病理診断支援装置、病理診断支援方法、病理診断支援のための制御プログラムおよび該制御プログラムを記録した記録媒体 | |
CN103577137A (zh) | 信息处理装置、信息处理方法、程序、以及图像显示装置 | |
JP2018041434A (ja) | 診断支援装置、及び診断支援装置における画像処理方法、並びにプログラム | |
JP2013152701A (ja) | 画像処理装置、画像処理システム、画像処理方法 | |
CN104011531A (zh) | 图像处理装置、图像显示***、图像处理方法以及图像处理程序 | |
Dov et al. | Use of machine learning–based software for the screening of thyroid cytopathology whole slide images | |
JP6702360B2 (ja) | 情報処理方法、情報処理システム及び情報処理装置 | |
JP2013068706A (ja) | 情報処理装置、情報処理方法、プログラム及び記録媒体 | |
CN103678863A (zh) | 信息处理设备、信息处理方法和信息处理程序 |