JP2014137262A - 画像取得装置、画像取得方法、および情報処理プログラム - Google Patents
画像取得装置、画像取得方法、および情報処理プログラム Download PDFInfo
- Publication number
- JP2014137262A JP2014137262A JP2013005264A JP2013005264A JP2014137262A JP 2014137262 A JP2014137262 A JP 2014137262A JP 2013005264 A JP2013005264 A JP 2013005264A JP 2013005264 A JP2013005264 A JP 2013005264A JP 2014137262 A JP2014137262 A JP 2014137262A
- Authority
- JP
- Japan
- Prior art keywords
- image
- area
- specimen
- pathological
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
- G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Analytical Chemistry (AREA)
- Chemical & Material Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Optics & Photonics (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Microscoopes, Condenser (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【課題】スライドの顕微鏡画像を適切に取得できる画像取得装置、画像取得方法、および情報処理プログラムを提供する。
【解決手段】病理検体が載置される検体載置領域を有するスライドの少なくとも前記検体載置領域の画像を第1の倍率でマクロ撮影するマクロ撮影部と、指定された撮影領域を前記第1の倍率よりも高い第2の倍率で顕微鏡撮影する顕微鏡撮影部と、マクロ撮影された前記画像を区画する複数の区画領域毎に前記病理検体の像の有無を判定する第1の判定部と、前記病理検体の像が含まれると判定された1以上の前記区画領域のまとまりを検体像領域として判定する第2の判定部と、前記検体像領域を拡張して拡張領域を生成し、当該拡張領域を前記撮影領域として前記顕微鏡撮影部に撮影させる領域拡張部とを具備する。
【選択図】図13
【解決手段】病理検体が載置される検体載置領域を有するスライドの少なくとも前記検体載置領域の画像を第1の倍率でマクロ撮影するマクロ撮影部と、指定された撮影領域を前記第1の倍率よりも高い第2の倍率で顕微鏡撮影する顕微鏡撮影部と、マクロ撮影された前記画像を区画する複数の区画領域毎に前記病理検体の像の有無を判定する第1の判定部と、前記病理検体の像が含まれると判定された1以上の前記区画領域のまとまりを検体像領域として判定する第2の判定部と、前記検体像領域を拡張して拡張領域を生成し、当該拡張領域を前記撮影領域として前記顕微鏡撮影部に撮影させる領域拡張部とを具備する。
【選択図】図13
Description
本技術は、顕微鏡を用いて画像を取得する画像取得装置、画像取得方法、および情報処理プログラムに関する。
デジタル顕微鏡装置では、以前、病理検体の載置されたプレパラート(スライド)全体を顕微鏡撮影し、スライドのデジタル画像化を行っていた(例えば、特許文献1参照。なお特許文献1に記載の発明では、従来の顕微鏡を用いた病理診断の手法と同様に、病変部の探索を低倍率で開始し、段階的に倍率を上げて行っている。)。
しかし、スライド全体を顕微鏡撮影する場合、撮影に時間がかかり、また撮影した画像のデータ量が膨大になってしまっていた。
そこで、デジタル顕微鏡装置では、スライドを顕微鏡撮影するに当たり、撮影に要する時間と撮影した画像データの量を削減するために、顕微鏡撮影を行う領域を病理検体が有る領域に限定するようになった。
領域を限定するために、デジタル顕微鏡装置は、まずスライド全体をマクロ撮影する。そして、デジタル顕微鏡装置は、マクロ撮影して得られた全体画像であるサムネイル画像を基に、そのサムネイル画像を、一回の顕微鏡撮影で撮影される区画である区画領域に区画し、区画ごとに病理検体の像が写っているか否かを判定する。
そして、デジタル顕微鏡装置は、病理検体の像が写っていると判定された区画領域のみを顕微鏡撮影する。これにより、撮影に要する時間と撮影した画像データの量が削減される。
上記の手順のうち、最も重要な工程は、区画領域の中に病理検体の像が写っているか否かを判定する工程である。この判定は、区画領域内の画素の輝度値を指標として行われたり、区画領域内のエッジを検出して得られるエッジ成分指標値を指標として行われたりしている(例えば、特許文献2参照)。
しかし、病理検体の種類が脂肪組織であったり、特殊染色を行った組織であったり、微小検体であったりすると、上記判定を適切に行っても、実際には区画領域内に病理検体が有るにも拘わらず検体の像が無いと判定されてしまう状況が発生することが計算上分かっている。これはスライド全体を撮影するマクロカメラでは、数ミクロン程度の脂肪細胞を結像することができないからである。また波長の短い青色の特殊染色になるとこの状況が顕著になることが容易に想像できる。マクロ撮影の解像度を上げても、この状況は著しく改善することはない。
すなわち、病理検体の種類によっては、区画領域毎に検体の像が有る領域を検出する工程において、検出に漏れが発生してしまい、顕微鏡撮影が適切には行われない場合があるという問題があった。
以上のような事情に鑑み、本技術の目的は、スライドの顕微鏡画像を適切に取得できる画像取得装置、画像取得方法、および情報処理プログラムを提供することにある。
(1)上記目的を達成するため、本技術の一形態に係る画像取得装置は、病理検体が載置される検体載置領域を有するスライドの少なくとも前記検体載置領域の画像を第1の倍率でマクロ撮影するマクロ撮影部と、指定された撮影領域を前記第1の倍率よりも高い第2の倍率で顕微鏡撮影する顕微鏡撮影部と、マクロ撮影された前記画像を区画する複数の区画領域毎に前記病理検体の像の有無を判定する第1の判定部と、前記病理検体の像が含まれると判定された1以上の前記区画領域のまとまりを検体像領域として判定する第2の判定部と、前記検体像領域を拡張して拡張領域を生成し、当該拡張領域を前記撮影領域として前記顕微鏡撮影部に撮影させる領域拡張部とを具備する。
本技術では、第2の判定部が判定した検体像領域をそのまま撮影領域として顕微鏡撮影するのではなく、領域拡張部により検体像領域を拡張して拡張領域を生成し、その拡張領域を撮影領域として顕微鏡撮影している。そのため、第1の判定部による病理検体の像の有無判定において、像の検出漏れがあってもその検出漏れを補償する事が出来、検出漏れ率を低減させる事が出来る。その結果、スライドの顕微鏡画像を適切に取得する事が出来る。
(2)上記目的を達成するため、本技術の一形態に係る画像取得装置では、前記領域拡張部は、前記検体像領域の輝度値と、前記病理検体の像が含まれていないと判定された前記区画領域の輝度値との差が予め定められた第1の閾値より少ないとき、前記検体像領域を拡張して前記拡張領域を生成する構成でもよい。
本技術では、検体像領域の輝度値と、病理検体の像が含まれていないと判定された区画領域の輝度値との差が予め定められた第1の閾値より少ないとき、すなわち病理検体の像のコントラストが低いと判断されるときに、顕微鏡撮影する領域の拡張を行う。
病理検体の像のコントラストが低い場合に、第1の判定部による病理検体の像の有無判定において、像の検出漏れが発生しやすいからである。領域を拡張する際の条件を定め、その条件に合ったときのみ領域を拡張して顕微鏡撮影することにより、検出漏れ率を低減させつつ、顕微鏡撮影に要する時間の短縮や顕微鏡撮影により得られる画像のデータ量の削減を行うことが出来る。
(3)上記目的を達成するため、本技術の一形態に係る画像取得装置では、前記領域拡張部は、前記検体像領域に含まれる前記区画領域の数が予め定められた第2の閾値より少ないとき、前記検体像領域をその外周方向に前記区画領域の単位で拡張して拡張領域を生成し、前記検体像領域に含まれる前記区画領域の数が予め定められた第2の閾値以上のとき、前記検体像領域をこの検体像領域を含む矩形領域に拡張して拡張領域を生成し、前記矩形領域は、前記検体像領域に含まれる縦方向の前記区画領域の数の最大値を当該矩形領域の前記縦方向に並ぶ前記区画領域の数とし、前記検体像領域に含まれる横方向の前記区画領域の数の最大値を当該矩形領域の前記横方向に並ぶ前記区画領域の数とする構成でもよい。
本技術では、検体像領域に含まれる区画領域の数が予め定められた第2の閾値より少ないとき、検体は微小検体であり、検出された区画領域の周辺にも、検体の検出されなかった組織断片が存在している可能性が高いと判断する。そして検体像領域をその外周方向に区画領域の単位で拡張する。これにより、検出漏れ率の低減を図ることが出来る。
また、検体像領域に含まれる区画領域の数が予め定められた第2の閾値以上のとき、検体は微小検体ではないと判断し、検体像領域をこの検体像領域を含む矩形領域に拡張する。これにより、検出漏れ率の低減を図ることが出来る。
(4)上記目的を達成するため、本技術の一形態に係る画像取得装置では、前記領域拡張部は、前記検体像領域内に前記病理検体の像が含まれていないと判定された前記区画領域が存在するとき、この区画領域を前記検体像領域に加えて前記拡張領域を生成する構成でもよい。
本技術では、検体像領域内に前記病理検体の像が含まれていないと判定された区画領域が存在するとき、その区画領域内にも検出はされなかったが病理検体の像が存在する可能性が高いと判断し、この区画領域を撮影領域に加える拡張を行う。これにより、検出漏れ率の低減を図ることが出来る。
(5)上記目的を達成するため、本技術の一形態に係る画像取得装置は、前記病理検体の像が含まれると判定された前記区画領域が無いとき、前記検体載置領域の全体を前記撮影領域として前記顕微鏡撮影部に撮影させる全領域指定部をさらに具備する構成でもよい。
本技術では、病理検体の像が含まれると判定された区画領域が無いときでも、検体載置領域の全体を撮影領域として顕微鏡撮影部に撮影させる。これにより、第1の判定部における判定処理において病理検体の像が検出されなかった場合でも、未検出の病理検体の像を確実に顕微鏡撮影することが出来る。
(6)上記目的を達成するため、本技術の一形態に係る画像取得装置では、前記第1の判定部は、前記検体像領域の輝度値と、前記病理検体の像が含まれていないと判定された前記区画領域の輝度値との差が予め定められた第1の閾値より少なく、かつ前記検体像領域に含まれる前記区画領域の数が予め定められた第2の閾値より少ないとき、前記病理検体の像の有無を判定するためのパラメータを調整して再度前記判定を行う構成でもよい。
本技術では、病理検体の像のコントラストが低く、かつ病理検体が微小検体であるとき、病理検体の像の有無を判定するためのパラメータを調整して再度像の有無の判定を行う。これにより、検出漏れ率の低減を図ることが出来る。
(7)上記目的を達成するため、本技術の一形態に係る画像取得方法では、マクロ撮影部が、病理検体が載置される検体載置領域を有するスライドの少なくとも前記検体載置領域の画像を第1の倍率でマクロ撮影し、第1の判定部が、マクロ撮影された前記画像を区画する複数の区画領域毎に前記病理検体の像の有無を判定し、第2の判定部が、前記病理検体の像が含まれると判定された1以上の前記区画領域のまとまりを検体像領域として判定し、領域拡張部が、前記検体像領域を拡張して拡張領域を生成し、顕微鏡撮影部が、前記生成された拡張領域を前記第1の倍率よりも高い第2の倍率で顕微鏡撮影する。
(8)上記目的を達成するため、本技術の一形態に係る情報処理プログラムは、病理検体が載置される検体載置領域を有するスライドの少なくとも前記検体載置領域を第1の倍率でマクロ撮影部にマクロ撮影させた画像を区画する複数の区画領域毎に前記病理検体の像の有無を判定する第1の判定部、前記病理検体の像が含まれると判定された1以上の前記区画領域のまとまりを検体像領域として判定する第2の判定部、前記検体像領域を拡張して拡張領域を生成し、当該拡張領域を前記第1の倍率よりも高い第2の倍率で顕微鏡撮影部に顕微鏡撮影させる領域拡張部として、コンピュータを機能させる。
以上のように、本技術によれば、スライドの顕微鏡画像を適切に取得することが出来る。
以下、本技術に係る実施形態を、図面を参照しながら説明する。
[概要]
本技術は、上記のとおり、病理検体のスライドをマクロ撮影した画像であるサムネイル画像を区画した区画領域ごとに病理検体の像を検出する際の検出漏れを補償し、検出漏れ率を低減するためのものである。
本技術は、上記のとおり、病理検体のスライドをマクロ撮影した画像であるサムネイル画像を区画した区画領域ごとに病理検体の像を検出する際の検出漏れを補償し、検出漏れ率を低減するためのものである。
より具体的には、区画領域ごとの病理検体の像の有無を判定した後、所定の条件である、サムネイル画像に写った像と背景とのコントラストや病理検体の像が有ると判定された区画領域の数および配置に基づいて、以下に述べる撮影領域の各種拡張を行って顕微鏡撮影する区画領域を増やす。これにより、検出漏れ率を低減させる。
撮影領域の拡張方法には、4種類ある。なお、以下の説明では、病理検体の像が有ると判定された区画領域のまとまりを検体像領域、実際に顕微鏡撮影する領域を撮影領域と呼ぶ。
第1の拡張は、所定の条件を満たす場合、検体像領域をその外周方向に拡張するものである。(以下、外周拡張処理と呼ぶ。)第2の拡張は、所定の条件を満たす場合、検体像領域をその検体像領域を含む矩形領域に拡張するものである。(以下、矩形拡張処理と呼ぶ。)第3の拡張は、検体像領域の内部に、病理検体の像が無いと判定された区画領域がある場合に、その区画領域を撮影領域に加えるものである。(以下、閉領域処理と呼ぶ。)第4の拡張は、病理検体の像が有ると判定された区画領域が無い場合に、スライド上の、病理検体を載置できる領域全体を撮影領域とするものである。(以下、全領域指定処理と呼ぶ。)
なお、ある区画領域に病理検体の像が含まれるか否かの判定は、上記のとおり、区画領域内の画素の輝度値や、区画領域内の画像のエッジを検出して得られるエッジ成分指標値を指標として利用する。そして、これらの指標を予め定められた所定の閾値と比較して判定を行っている。
そのため、病理検体の像が有ると判定された区画領域が無い場合など、判定に用いる閾値を下げて像の有無判定の感度を上げた後、再度、像の有無判定を行って検出された検体像領域に対して上記の撮影領域の拡張を行ってもよい。
[デジタル顕微鏡装置の構成の概要]
次に、本実施形態におけるデジタル顕微鏡装置のハードウェア構成について、概要を説明する。図1は、本実施形態におけるデジタル顕微鏡装置1のハードウェア構成を示す概念図である。
次に、本実施形態におけるデジタル顕微鏡装置のハードウェア構成について、概要を説明する。図1は、本実施形態におけるデジタル顕微鏡装置1のハードウェア構成を示す概念図である。
デジタル顕微鏡装置1は、スライド10、スライドローダ20、システム制御装置30、ステージ40、マクロカメラ50、画像キャプチャ装置60、記憶装置70、計算装置80、メインカメラ90、対物レンズ100を具備している。
スライド10は、スライドガラス上に顕微鏡撮影する病理検体が載置されたプレパラートである。スライドローダ20は、複数のスライド10を保管しており、システム制御部30の指示により、目的のスライド10をステージ40へ供給する。
システム制御装置30は、スライドローダ20、ステージ40、画像キャプチャ装置60などを始め、デジタル顕微鏡装置1のシステム全体の動きを制御する。ステージ40は、スライドローダ20から供給されたスライド10をマクロカメラ50およびメインカメラ90による撮影位置に移動させる。マクロカメラ50は、画像キャプチャ装置60の指示により、ステージ40がスライドローダ20から運んできたスライド10の全体をサムネイル画像としてマクロ撮影する。
画像キャプチャ装置60は、システム制御装置30の指示により、マクロカメラ50およびメインカメラ90を用いて、スライド10の撮影を行う。撮影されたサムネイル画像および顕微鏡画像は記憶装置70に保存される。記憶装置70は、マクロカメラ50により撮影されたサムネイル画像およびメインカメラ90により撮影された顕微鏡画像を保管し、計算装置80からの要求に応じ保管している画像を計算装置80に供給する。記憶装置70は、計算装置80に内蔵されたものであってもよい。
計算装置80は、システム制御装置30に対してスライド10の撮影手順や撮影方法などに関する指示を出したり、上述のとおり、記憶装置70から取得したサムネイル画像に含まれる検体像領域の拡張などの画像処理を行ったりする。計算装置80は、一般的なパーソナルコンピュータ(PC)やそれに準ずるものであり、CPU81、メモリ82、記憶部83などを具備している。CPU81は、メモリ82や記憶部83などに格納されたプログラムを実行することにより、後述する各機能ブロックを実現する。
メインカメラ90は、ステージ40によりスライドローダ20から運ばれてきたスライド10を、病理診断に用いる光学倍率で顕微鏡撮影する。対物レンズ100は、メインカメラ90がスライド10を顕微鏡撮影する際に適切な倍率まで像を拡大する。
以上が、本実施形態におけるデジタル顕微鏡装置1のハードウェア構成についての概要である。
[デジタル顕微鏡装置における処理の流れ]
次に、同じく図1を用いて、デジタル顕微鏡装置1における病理検体の撮影について、その流れの概要を説明する。
次に、同じく図1を用いて、デジタル顕微鏡装置1における病理検体の撮影について、その流れの概要を説明する。
まず、ユーザが、スライドガラスの上に薄切した病理検体を載置し包埋材とカバーガラスを用いて作成したスライド10をスライドローダ20にセットする。
次に、システム制御装置30の指示により、スライドローダ20から目的のスライド10が取り出され、ステージ40によりマクロカメラ50による撮影位置まで移動される。
次に、システム制御装置30の指示により、画像キャプチャ装置60がマクロカメラ50を用いてスライド10のサムネイル画像をマクロ撮影する。撮影されたサムネイル画像は、画像キャプチャ装置60を経由して記憶装置70に格納される。
次に、計算装置80が、記憶装置70からサムネイル画像を取得し、そのサムネイル画像を、一回の顕微鏡撮影で撮影される範囲の基準となる区画領域に区画し、区画ごとに病理検体の像が写っているか否かを判定する。計算装置80は、判定結果に基づき、サムネイル画像に写っている病理検体の像の位置を計算したり、メインカメラ90による顕微鏡撮影のための撮影座標の計算をしたりする。
より具体的には、計算装置80は、メインカメラ90により一度に顕微鏡撮影される領域の基準となる区画領域をサムネイル画像上で定め、いずれの区画領域に病理検体の像が写っているかを判定する。
なお、システム制御装置30は、計算装置80により上記の計算が行われている間に、ステージ40を用いて、マクロ撮影したスライド10を、メインカメラ90による顕微鏡撮影の位置まで移動させる。
最後に、システム制御装置30は、計算装置80による顕微鏡のための撮影座標の計算と、ステージ40によるスライド10の顕微鏡撮影位置への移動とが終了し次第、メインカメラ90による顕微鏡撮影を行う。顕微鏡撮影は、病理検体の像があると判定された区画領域と、上記の拡張処理により撮影対象とされた区画領域とを撮影領域として行われる。
顕微鏡撮影により撮影された画像は、画像キャプチャ装置60を経由して記憶装置70に格納された後、計算装置80により加工される。
以上が、デジタル顕微鏡装置1における病理検体のスライド10を撮影する処理の概略である。
[計算装置80内の機能ブロックについて]
次に、計算装置80で行われる処理を実現するための各機能ブロックについて概要を説明する。図2は、計算装置80で行われる処理を実現するための各機能ブロックについて示した機能ブロック図である。
次に、計算装置80で行われる処理を実現するための各機能ブロックについて概要を説明する。図2は、計算装置80で行われる処理を実現するための各機能ブロックについて示した機能ブロック図である。
計算装置80は、サムネイル取得部81、像有無判定部82、検体像領域判定部83、領域拡張部84、顕微鏡撮影部85、全領域指定部86の各機能ブロックを具備している。
サムネイル取得部81は、画像キャプチャ装置60を介してマクロカメラ50に指示を出し、スライド10のマクロ撮影を行う。また、記憶装置70からのサムネイル画像の取得を行う。取得したサムネイル画像がRAWデータである場合、サムネイル取得部81は、サムネイル画像に対し現像処理を行ってもよい。
なお、像有無判定部82において特許文献2に示されるような、区画領域内の画像のエッジを検出して得られるエッジ成分指標値を指標として利用する場合、サムネイル取得部81は、アンダーシュートやオーバーシュートを抑えるようにマクロ撮影時の照明を調整し、サムネイル画像の画素の輝度値をエッジ検出が可能な範囲に収める必要がある。
像有無判定部82は、サムネイル画像を区画領域に区分し、区画領域ごとに病理検体の像がその区画領域に写っているか否かを輝度値やエッジ成分指標値を指標として用いて判定を行う。
検体像領域判定部83は、病理検体の像が写っていると判定された区画領域をまとめて検体像領域として抽出する。この処理は、顕微鏡撮影する撮影領域を病理検体の像が写っている区画領域のみに限定することにより、顕微鏡撮影全体の所要時間を短縮するためのものである。
領域拡張部84は、検体像領域に対して上記第1から第3までの拡張処理、すなわち、外周拡張処理、矩形拡張処理、および閉領域処理を行い、撮影領域を求める。処理の詳細については後述する。
顕微鏡撮影部85は、撮影領域をメインカメラ90により撮影する。
全領域指定部86は、像有無判定部82により病理検体の像が写っている区画領域が無いと判定された場合に、サムネイル画像全体を撮影領域として指定する。すなわち、上述した全領域指定処理を行う。
以上が、計算装置80内の機能ブロックの概要である。
[サムネイル画像から検体像領域を求める処理について]
次に、図3および図4を用いて、マクロカメラ50によりマクロ撮影されたサムネイル画像から、検体像領域を求めるまでの処理について概要を説明する。図3は、病理検体のスライド10全体をマクロ撮影したサムネイル画像の例を示した図であり、図4は、そのサムネイル画像上において、病理検体の像が有ると判定された区画領域のまとまりを検体像領域として抽出した例を示した図である。
次に、図3および図4を用いて、マクロカメラ50によりマクロ撮影されたサムネイル画像から、検体像領域を求めるまでの処理について概要を説明する。図3は、病理検体のスライド10全体をマクロ撮影したサムネイル画像の例を示した図であり、図4は、そのサムネイル画像上において、病理検体の像が有ると判定された区画領域のまとまりを検体像領域として抽出した例を示した図である。
サムネイル画像から検体像領域を求める理由は、サムネイル画像上で顕微鏡撮影を行う範囲を限定することにより顕微鏡撮影の撮影時間を最適化することと、撮影範囲を限定することにより、病理診断に不要な、病理検体の写っていない区画領域を顕微鏡撮影しないことにより顕微鏡撮影した画像データのデータ量を削減することである。
まず、サムネイル取得部81が、記憶装置70からサムネイル画像を取得する。図3に示したサムネイル画像の例では、動物の病理検体を染色して得られた切片SPLが、画像の左側、中央よりやや左側、右半分の3箇所に分かれて写っている。
次に、像有無判定部82が、サムネイル画像全体を、区画領域に区画する。区画領域の大きさは、メインカメラ90により一度に顕微鏡撮影される範囲の大きさを基に決定されている。ただし、実際の顕微鏡撮影では、スライド10を顕微鏡撮影した後に顕微鏡撮影により得られた複数の画像を貼り合わせ(スティッチング)処理するための糊代部分を設けるので、一度に顕微鏡撮影される範囲と区画領域により定められる範囲とは完全には一致しない。
次に、像有無判定部82が、区画した区画領域のそれぞれにおいて、病理検体の像がその中に写っているか否かの判定を行う。この判定には、上述のとおり、輝度値を用いたり、特許文献2にあるようにエッジ成分指標値を用いたりする。
最後に、検体像領域判定部83が、病理検体の像が有ると判定された区画領域のみを抽出し、まとめて検体像領域とする。図4に示す例では、病理検体の像の範囲が横長の長方形である、複数の区画領域KAにより覆われ、検体像領域SAとして抽出されていることがわかる。
なお、この例では、病理検体の像を含む矩形領域がすべて抽出されており、病理検体が有る区画領域の検出漏れは発生していない。
以上が、サムネイル画像から検体像領域を求める処理についての概要である。
[検出漏れの発生しやすいスライドの種類とその原因について]
次に、どのようなスライドにおいて、病理検体が有る区画領域の検出漏れが発生しやすいのか、そしてその原因について説明する。
次に、どのようなスライドにおいて、病理検体が有る区画領域の検出漏れが発生しやすいのか、そしてその原因について説明する。
検出漏れが発生しやすいスライドには、大きく分けて以下の3種類がある。
最初の種類のスライドは、脂肪細胞を病理検体としたスライドである。脂肪細胞は、細胞核を有していないものもあり、その場合、マクロ撮影したサムネイル画像では低コントラストの像としてしか撮影されず、像が検出されない傾向がある。
図5は、脂肪細胞のサムネイル画像の例である。画像の中央には細胞核のある細胞が固まっており画像の背景とのコントラストは高いが、その周辺に広く広がっている脂肪部分には細胞核が無く画像の背景とのコントラストは非常に低くなっている。
次の種類のスライドは、染色が薄いスライドである。特に青色に染色した場合は、短波長の光を照明として用いた時に、検出漏れが発生する傾向がある。
図6は、染色が薄いスライドのサムネイル画像の例である。染色が薄いので、像と背景とのコントラストが非常に低くなっている。
3番目の種類のスライドは、病理検体の像が非常に小さいスライドである。病理検体の像が非常に小さいので、サムネイル画像に写ったゴミやノイズとの区別が難しく検出漏れが発生する傾向がある。この種類のスライドでは、検出漏れを減らすために像の有無を判定する際の閾値を下げる(検出感度を上げる)ことも考えられるが、その場合、多くのゴミやノイズも病理検体の像と間違えて検出されてしまうので、現実的ではない。
図7は、病理検体の像が非常に小さく写っているサムネイル画像の例である。画像の中央に微小な点のように検体が写っているのが分かる。
以上、検出漏れの発生しやすいスライドの種類とその原因について説明した。
[検出漏れが発生しやすいスライドの判別方法について]
次に、検出漏れが発生しやすいスライドの判別方法について説明する。なお、この判別処理は、領域拡張部84が行う。
次に、検出漏れが発生しやすいスライドの判別方法について説明する。なお、この判別処理は、領域拡張部84が行う。
上述のとおり、検出漏れが発生しやすいスライドでは、サムネイル画像に写っている病理検体の像と背景とのコントラストが非常に低いか、または、サムネイル画像に写っている病理検体の像が非常に小さいことが分かった。そこで、これらのスライドを判別するために、例えば、以下に説明する2つの指標を用いることが出来る。
まず、サムネイル画像において病理検体の像が低コントラストか否かの判別には、病理検体の像が無いと判定された区画領域の輝度値と、病理検体の像が有ると判定された区画領域すなわち検体像領域の輝度平均値との比較を用いることができる。数式を用いて表すと、
C=Lblank−(1/N)Σl(x,y)
と表すことが出来る。
C=Lblank−(1/N)Σl(x,y)
と表すことが出来る。
Lblankは、病理検体の像が無いと判定された区画領域の輝度値であり、Nは、検体像領域に含まれる画素数であり、l(x,y)は、検体像領域内の座標(x,y)における画素の輝度値であり、(1/N)Σl(x,y)は、検体像領域の輝度平均値を表している。
値Cは、病理検体の像が無いと判定された区画領域の輝度値から、検体像領域の輝度平均値を引いた値であり、通常、正の値となり、この値が大きければ高コントラスト、小さければ低コントラストとなる。
次に、サムネイル画像に写っている病理検体の像が非常に小さいか否かの判別には、病理検体の像が有ると判定された区画領域の数を用いることが出来る。数式を用いて表すと、
n < NTh
と表すことが出来る。nは、病理検体の像が有ると判定された区画領域の数であり、NThは、サムネイル画像に写っている病理検体の像が非常に小さいと判別するための区画領域の数の閾値である。
n < NTh
と表すことが出来る。nは、病理検体の像が有ると判定された区画領域の数であり、NThは、サムネイル画像に写っている病理検体の像が非常に小さいと判別するための区画領域の数の閾値である。
以上、検出漏れが発生しやすいスライドの判別方法について説明した。
[拡張処理について]
次に、区画領域に病理検体の像が実際には有るにも拘わらず病理検体の像が無いと判定されてしまう検出漏れを補償(検出漏れ率を低減)するために行う拡張処理について説明する。なお、どのような場合に、どの拡張処理を行うかも説明する。
次に、区画領域に病理検体の像が実際には有るにも拘わらず病理検体の像が無いと判定されてしまう検出漏れを補償(検出漏れ率を低減)するために行う拡張処理について説明する。なお、どのような場合に、どの拡張処理を行うかも説明する。
上記では、拡張処理の例として、外周拡張処理、矩形拡張処理、閉領域処理、および全領域指定処理の4種類を挙げた。もちろん、この4種類は例示であり、拡張方法はこれらの方法に限られるものではない。ここでは、これらの拡張処理の詳細について説明する。
なお、これらの拡張処理は、病理検体の像の有無を判定する際の検出感度を上げても検出できない、すなわち病理検体の像が有るとは判定されない区画領域も撮影領域とすることにより、検出漏れ率を低減させるためのものである。
(外周拡張処理)
外周拡張処理は、サムネイル画像が低コントラストの画像であり、病理検体の像が非常に小さい場合に、領域拡張部84により行われる拡張処理である。この拡張処理では、検体像領域を、外周方向に向かって、区画領域の単位で、数個分拡張する。この拡張を行うのは、経験上、微小な検体の周辺には組織断片が有る可能性が高いことが分かっているからである。
外周拡張処理は、サムネイル画像が低コントラストの画像であり、病理検体の像が非常に小さい場合に、領域拡張部84により行われる拡張処理である。この拡張処理では、検体像領域を、外周方向に向かって、区画領域の単位で、数個分拡張する。この拡張を行うのは、経験上、微小な検体の周辺には組織断片が有る可能性が高いことが分かっているからである。
図8は、外周拡張処理の例を示す図であり、病理検体の像SPLを含んだ区画領域KAにより構成される検体像領域の周辺にまで撮影領域PAが拡張されている。
(矩形拡張処理)
矩形拡張処理は、サムネイル画像が低コントラストの画像であるが、病理検体の像が微小ではない場合に、領域拡張部84により行われる拡張処理である。通常、検体像領域の形状は、病理検体の形状に沿った形になるが、この拡張処理では、その検体像領域を、検体像領域を含む矩形領域へと拡張する。
矩形拡張処理は、サムネイル画像が低コントラストの画像であるが、病理検体の像が微小ではない場合に、領域拡張部84により行われる拡張処理である。通常、検体像領域の形状は、病理検体の形状に沿った形になるが、この拡張処理では、その検体像領域を、検体像領域を含む矩形領域へと拡張する。
その矩形領域の横方向の長さには、検体像領域の横方向に並ぶ区画領域の最大値を用いる。また、その矩形領域の縦方向の長さには、検体像領域の縦方向に並ぶ区画領域の最大値を用いる。
この拡張は、検出からは漏れたが病理検体の像が有る可能性が高い区画領域を撮影領域に含めるために有効であり、特殊染色を行ったスライドや脂肪細胞のスライドで有効である。
図9は、矩形拡張処理の例を示す図であり、病理検体の像SPLを含んだ検体像領域を矩形領域に拡張して撮影領域PAを生成している。
(閉領域処理)
閉領域処理は、検体像領域の内側に、病理検体の像が無いと判定された区画領域が存在する場合に、領域拡張部84により行われる拡張処理である。この拡張処理では、検体像領域の内側にある、病理検体の像が無いと判定された区画領域を検体像領域に加えて拡張する。経験上、病理検体に囲まれた領域には、脂肪細胞が広がっている可能性が高いことが分かっているからである。
閉領域処理は、検体像領域の内側に、病理検体の像が無いと判定された区画領域が存在する場合に、領域拡張部84により行われる拡張処理である。この拡張処理では、検体像領域の内側にある、病理検体の像が無いと判定された区画領域を検体像領域に加えて拡張する。経験上、病理検体に囲まれた領域には、脂肪細胞が広がっている可能性が高いことが分かっているからである。
図10は、閉領域処理の例を示す図であり、図の左側の病理検体の像SPL1では、検体像領域の中央に、病理検体の像が無いと判定された区画領域が存在するので、その区画領域が撮影領域PAに加えられている。また図の右側の病理検体の像SPL2の内側には脂肪細胞が薄く広がっているが、病理検体の像の判定では検出されなかった。しかし、検体像領域に囲まれているので、撮影領域PAに加えられている。
(全領域指定処理)
全領域指定処理は、検体像領域判定部83により病理検体の像が有ると判定された区画領域が全く無い場合に、全領域指定部86により行われる拡張処理である。この拡張処理は、病理検体の像が有ると判定された区画領域が全く無い場合でも安全のために、検体が置かれる可能性のある領域すべてを撮影領域とするものである。
全領域指定処理は、検体像領域判定部83により病理検体の像が有ると判定された区画領域が全く無い場合に、全領域指定部86により行われる拡張処理である。この拡張処理は、病理検体の像が有ると判定された区画領域が全く無い場合でも安全のために、検体が置かれる可能性のある領域すべてを撮影領域とするものである。
以上、拡張処理の詳細について説明した。
[拡張処理により顕微鏡撮影された画像を貼り合わせる際の注意点]
次に、拡張処理により顕微鏡撮影された画像を貼り合わせる際の注意点について説明する。
次に、拡張処理により顕微鏡撮影された画像を貼り合わせる際の注意点について説明する。
デジタル顕微鏡装置1では、領域拡張部84または全領域指定部86により生成された撮影領域を、顕微鏡撮影部85が、撮影マップにより決められた順序で一枚ずつ顕微鏡撮影して複数の画像を得る。得られた画像は、撮影マップによる撮影順序と同じ順序で貼り合わせ(スティッチング)処理が行われる。張り合わせ処理では、貼り合わせる2つの画像に、糊代となる同じ範囲を撮影した部分がなくてはならない。同じ糊代の範囲に含まれる画像内の像が一致するように、2枚の画像が貼り合わせられる。
本実施形態に係るデジタル顕微鏡装置1では、上述のとおり、病理検体の像が検出されなかった区画領域も拡張処理により顕微鏡撮影する事がある。そのため、この像が検出されなかった区画領域の画像同士を貼り合わせる場合には、糊代部分に、張り合わせの位置決めに用いる像が無い可能性が高いので、注意が必要である。
ここでは、最初に張り合わせの失敗例を説明し、次に適切な張り合わせの例を説明する。
図11は、張り合わせに失敗する場合の顕微鏡撮影の順序と張り合わせ部分の状態を示す図である。なお、右側の図と左側の図はサムネイル画像上の同じ箇所を示すものであり、区画領域の符号も同じである。
図11の左側は、顕微鏡撮影の順序を示す図である。この図で、病理検体の像があると判定された区画領域は、図の下側の区画領域KA2、KA3、KA6であり、拡張処理によって撮影領域となった区画領域は、図の上側の区画領域KA1、KA4、KA5である。顕微鏡撮影は、図に示した矢印に従って、区画領域KA1、KA2、KA3、KA4、KA5、KA6の順で行われる。
図11の右側は、顕微鏡撮影した画像同士を貼り合わせるための糊代の位置を示す図である。まず、顕微鏡撮影の順序に従って、区画領域KA1の画像と区画領域KA2の画像とが糊代S1において貼り合わせられる。糊代S1は、病理検体の像SPLが有る部分なので、高い精度で張り合わせを行うことができる。次に、区画領域KA2の画像と区画領域KA3の画像とが糊代S2において貼り合わせられる。この張り合わせも精度よく行うことができる。次の糊代S3に関しても同様である。
しかし、区画領域KA4の画像と区画領域KA5の画像との張り合わせが行われる糊代S4は、病理検体の像SPLが無い箇所にあり、張り合わせの精度が低くなってしまう。そのため、その張り合わせに続く区画領域KA6の張り合わせでは、糊代S5およびS6において張り合わせのズレが発生する可能性が高くなってしまう。
図12は、適切に張り合わせが行われる場合の顕微鏡撮影の順序と張り合わせ部分の状態を示す図である。なお、右側の図と左側の図はサムネイル画像上の同じ箇所を示すものであり、区画領域の符号も同じである。
図12の左側は、顕微鏡撮影の順序を示す図である。顕微鏡撮影は、図に示した矢印に従って、区画領域KA2、KA3、KA6、KA1、KA4、KA5の順で行われる。すなわち、元々検体像領域に入っている区画領域を顕微鏡撮影した後、拡張処理により顕微鏡撮影することになった区画領域を撮影する。そうすると、図12の右側に示すように、糊代S2、S6、S1、S3、S5の順で張り合わせが行われ、張り合わせに用いるのが適切ではない糊代S4が用いられることはない。それ故、張り合わせ処理は、最後まで適切に行われる。
撮影領域を顕微鏡撮影する際には、以上述べたように、適切な位置の糊代を用いるように、顕微鏡撮影の順序を決めなければならない。
以上、拡張処理により顕微鏡撮影された画像を貼り合わせる際の注意点について説明した。
[領域拡張と顕微鏡撮影の処理の流れについて]
次に、領域拡張と顕微鏡撮影の処理の流れについて説明する。図13は、領域拡張と顕微鏡撮影の処理の流れについて説明するフローチャートである。
次に、領域拡張と顕微鏡撮影の処理の流れについて説明する。図13は、領域拡張と顕微鏡撮影の処理の流れについて説明するフローチャートである。
まず、サムネイル取得部81が、画像キャプチャ装置60を介してマクロカメラ50に指示を出し、スライド10のマクロ撮影を行う。また、記憶装置70からのサムネイル画像の取得を行う(ステップST1)。
次に、像有無判定部82が、区画領域ごとに、その区画領域内に病理検体の像が写っているか否かを判定する(ステップST2)。
次に、検体像領域判定部83が、病理検体の像が写っていると判定された区画領域をまとめて検体像領域として抽出する(ステップST3)。
次に、全領域指定部86が、病理検体の像が写っていると判定された区画領域が有るか否かを判断する(ステップST4)。
病理検体の像が写っていると判定された区画領域が無い場合(ステップST4のN)、全領域指定部86が、サムネイル画像全体を撮影領域として指定し、顕微鏡撮影部85が、その撮影領域をメインカメラ90により撮影し、処理を終了する(ステップST5)。
病理検体の像が写っていると判定された区画領域が有る場合(ステップST4のY)、領域拡張部84が、閉領域処理を行う(ステップST6)。閉領域処理では、検体像領域の内部に、病理検体の像が無いと判定された区画領域が存在する場合に、その区画領域を検体像領域に加える処理を行う。
次に、領域拡張部84が、処理対象であるサムネイル画像が低コントラストであるか否かを判断する(ステップST7)。判断基準は上述したとおりである。
サムネイル画像が低コントラストではない場合(ステップST7のN)、領域拡張部84は、これ以上の領域拡張処理は行わず、現状の撮影領域をそのまま顕微鏡撮影部85に渡し、顕微鏡撮影部85が、その撮影領域をメインカメラ90により撮影し、処理を終了する(ステップST8)。
サムネイル画像が低コントラストである場合(ステップST7のY)、領域拡張部84は、次に、処理対象であるサムネイル画像に写った病理検体の像が微小検体であるか否かを判断する(ステップST9)。
サムネイル画像に写った病理検体の像が微小検体ではない場合(ステップST9のN)、領域拡張部84は、矩形拡張処理を行って拡張した撮影領域を指定し、顕微鏡撮影部85が、その撮影領域をメインカメラ90により撮影し、処理を終了する(ステップST10)。
サムネイル画像に写った病理検体の像が微小検体である場合(ステップST9のY)、領域拡張部84は、外周拡張処理を行って拡張した撮影領域を指定し、顕微鏡撮影部85が、その撮影領域をメインカメラ90により撮影し、処理を終了する(ステップST11)。
以上、領域拡張と顕微鏡撮影の処理の流れについて説明した。
[領域拡張と顕微鏡撮影の処理の流れについて(変形例)]
次に、領域拡張と顕微鏡撮影の処理の流れの変形例について説明する。図14は、領域拡張と顕微鏡撮影の処理の流れの変形例について説明するフローチャートである。
次に、領域拡張と顕微鏡撮影の処理の流れの変形例について説明する。図14は、領域拡張と顕微鏡撮影の処理の流れの変形例について説明するフローチャートである。
ここで説明する領域拡張と顕微鏡撮影の処理の流れと上述した処理の流れとの大きな違いは、変形例では、病理検体の像の有無判定に用いるパラメータを再調整してから、有無判定から拡張処理までを再度行うという点である。パラメータを再調整することにより、検出漏れ率を低減させることを目指している。
なお、ここでいうパラメータには、ソフトウェア的なものやハードウェア的なものがある。詳細は後述するが、一例として、像有無判定部82が区画領域ごとに病理検体の像の有無判定を行う際に判定に用いる閾値が挙げられる。このパラメータは像の検出感度を上げるように再調整が行われる。
まず、サムネイル取得部81が、画像キャプチャ装置60を介してマクロカメラ50に指示を出し、スライド10のマクロ撮影を行う。また、記憶装置70からのサムネイル画像の取得を行う(ステップST1)。
次に、像有無判定部82が、区画領域ごとに、その区画領域内に病理検体の像が写っているか否かを判定する(ステップST2)。
次に、検体像領域判定部83が、病理検体の像が写っていると判定された区画領域をまとめて検体像領域として抽出する(ステップST3)。
次に、全領域指定部86が、病理検体の像が写っていると判定された区画領域が有るか否かを判断する(ステップST4)。
病理検体の像が写っていると判定された区画領域が無い場合(ステップST4のN)、全領域指定部86は、次に、既にパラメータの再調整が行われているか否かを判断する(ステップST100)。
既にパラメータの再調整が行われている場合(ステップST100のY)、全領域指定部86は、サムネイル画像全体を撮影領域として指定し、顕微鏡撮影部85が、その撮影領域をメインカメラ90により撮影し、処理を終了する(ステップST5)。
まだパラメータの再調整が行われていない場合(ステップST100のN)、パラメータの再調整を行うために、ステップST300に進む。
病理検体の像が写っていると判定された区画領域が有る場合(ステップST4のY)、領域拡張部84が、閉領域処理を行う(ステップST6)。
次に、領域拡張部84が、処理対象であるサムネイル画像が低コントラストであるか否かを判断する(ステップST7)。
サムネイル画像が低コントラストではない場合(ステップST7のN)、領域拡張部84は、これ以上の領域拡張処理は行わず、現状の撮影領域をそのまま顕微鏡撮影部85に渡し、顕微鏡撮影部85が、その撮影領域をメインカメラ90により撮影し、処理を終了する(ステップST8)。
サムネイル画像が低コントラストである場合(ステップST7のY)、領域拡張部84は、次に、処理対象であるサムネイル画像に写った病理検体の像が微小検体であるか否かを判断する(ステップST9)。
サムネイル画像に写った病理検体の像が微小検体ではない場合(ステップST9のN)、領域拡張部84は、矩形拡張処理を行って拡張した撮影領域を指定し、顕微鏡撮影部85が、その撮影領域をメインカメラ90により撮影し、処理を終了する(ステップST10)。
サムネイル画像に写った病理検体の像が微小検体である場合(ステップST9のY)、領域拡張部84は、次に、パラメータの再調整を行うか否かを判断する(ステップST200)。
パラメータの再調整を行わない場合(ステップST200のN)、領域拡張部84は、外周拡張処理を行って拡張した撮影領域を指定し、顕微鏡撮影部85が、その撮影領域をメインカメラ90により撮影し、処理を終了する(ステップST11)。
パラメータの再調整を行う場合(ステップST200のY)、像有無判定部82が、像を検出するためのパラメータを再調整する(ステップST300)。パラメータを再調整した後は、ステップST1に戻り、処理を繰り返す。
なお、処理を繰り返す際、検出の感度を上げすぎないように注意する必要がある。感度を上げすぎるとノイズやゴミなどの影響が大きく出てしまい過検出傾向となるためである。過検出傾向になると、その分余計な区画領域を顕微鏡撮影することになり、撮影に要する時間が増加してしまう。そのため、パラメータの再調整は、ノイズの影響を考慮しながら行う必要がある。
以上、領域拡張と顕微鏡撮影の処理の流れの変形例について説明した。
[再調整するパラメータについて]
次に、上記の変形例の流れにおいて、再調整するパラメータの例を説明する。なお、これらのパラメータは、像有無判定部82が行う、病理検体の像が区画領域に写っているか否かの判定処理の結果に影響を与えるものである。
次に、上記の変形例の流れにおいて、再調整するパラメータの例を説明する。なお、これらのパラメータは、像有無判定部82が行う、病理検体の像が区画領域に写っているか否かの判定処理の結果に影響を与えるものである。
まず、像有無判定部82が行う、病理検体の像が区画領域に写っているか否かの判定処理では、上述のとおり、輝度値やエッジ成分指標値と比較する標準偏差などの閾値がパラメータとなる。この閾値を下げていく、すなわち判定基準を緩和していくことにより、感度を上げることが考えられる。
次に、サムネイル取得部81が行うマクロ撮影処理では、照明の強さや露光時間がパラメータとなる。露光時間(光量)を変更することで、サムネイル画像の輝度値を適切な範囲に収めることが出来る。
次に、同じくサムネイル取得部81が行う現像処理では、ダイナミックレンジがパラメータとなる。ダイナミックレンジを変更して現像を行うことが考えられる。
また、その他、現像の前処理などでは、アンシャープマスク処理のパラメータが挙げられる。
以上、再調整するパラメータの例について説明した。
[本技術による効果について]
本技術を用いることにより、スライド10から病理画像を取得する際に要する処理時間の増加を抑えながら、検出漏れ率を低減させることが出来る。また、デジタル顕微鏡装置1による撮影のロバスト性(安定性)の向上が可能となる。
本技術を用いることにより、スライド10から病理画像を取得する際に要する処理時間の増加を抑えながら、検出漏れ率を低減させることが出来る。また、デジタル顕微鏡装置1による撮影のロバスト性(安定性)の向上が可能となる。
[補足事項]
その他、本技術は、上述の実施形態にのみ限定されるものではなく、本技術の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
その他、本技術は、上述の実施形態にのみ限定されるものではなく、本技術の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
10・・・スライド
20・・・スライドローダ
30・・・システム制御装置
40・・・ステージ
50・・・マクロカメラ
60・・・画像キャプチャ装置
70・・・記憶装置
80・・・計算装置
81・・・サムネイル取得部
82・・・像有無判定部
83・・・検体像領域判定部
84・・・領域拡張部
85・・・顕微鏡撮影部
86・・・全領域指定部
90・・・メインカメラ
100・・・対物レンズ
20・・・スライドローダ
30・・・システム制御装置
40・・・ステージ
50・・・マクロカメラ
60・・・画像キャプチャ装置
70・・・記憶装置
80・・・計算装置
81・・・サムネイル取得部
82・・・像有無判定部
83・・・検体像領域判定部
84・・・領域拡張部
85・・・顕微鏡撮影部
86・・・全領域指定部
90・・・メインカメラ
100・・・対物レンズ
Claims (8)
- 病理検体が載置される検体載置領域を有するスライドの少なくとも前記検体載置領域の画像を第1の倍率でマクロ撮影するマクロ撮影部と、
指定された撮影領域を前記第1の倍率よりも高い第2の倍率で顕微鏡撮影する顕微鏡撮影部と、
マクロ撮影された前記画像を区画する複数の区画領域毎に前記病理検体の像の有無を判定する第1の判定部と、
前記病理検体の像が含まれると判定された1以上の前記区画領域のまとまりを検体像領域として判定する第2の判定部と、
前記検体像領域を拡張して拡張領域を生成し、当該拡張領域を前記撮影領域として前記顕微鏡撮影部に撮影させる領域拡張部と
を具備する画像取得装置。 - 請求項1に記載の画像取得装置であって、
前記領域拡張部は、
前記検体像領域の輝度値と、前記病理検体の像が含まれていないと判定された前記区画領域の輝度値との差が予め定められた第1の閾値より少ないとき、前記検体像領域を拡張して前記拡張領域を生成する
画像取得装置。 - 請求項2に記載の画像処理装置であって、
前記領域拡張部は、
前記検体像領域に含まれる前記区画領域の数が予め定められた第2の閾値より少ないとき、前記検体像領域をその外周方向に前記区画領域の単位で拡張して拡張領域を生成し、
前記検体像領域に含まれる前記区画領域の数が予め定められた第2の閾値以上のとき、前記検体像領域をこの検体像領域を含む矩形領域に拡張して拡張領域を生成し、
前記矩形領域は、
前記検体像領域に含まれる縦方向の前記区画領域の数の最大値を当該矩形領域の前記縦方向に並ぶ前記区画領域の数とし、前記検体像領域に含まれる横方向の前記区画領域の数の最大値を当該矩形領域の前記横方向に並ぶ前記区画領域の数とする
画像取得装置。 - 請求項1に記載の画像取得装置であって、
前記領域拡張部は、
前記検体像領域内に前記病理検体の像が含まれていないと判定された前記区画領域が存在するとき、この区画領域を前記検体像領域に加えて前記拡張領域を生成する
画像取得装置。 - 請求項1に記載の画像取得装置であって、
前記病理検体の像が含まれると判定された前記区画領域が無いとき、前記検体載置領域の全体を前記撮影領域として前記顕微鏡撮影部に撮影させる全領域指定部をさらに具備する
画像取得装置。 - 請求項3に記載の画像処理装置であって、
前記第1の判定部は、
前記検体像領域の輝度値と、前記病理検体の像が含まれていないと判定された前記区画領域の輝度値との差が予め定められた第1の閾値より少なく、かつ前記検体像領域に含まれる前記区画領域の数が予め定められた第2の閾値より少ないとき、
前記病理検体の像の有無を判定するためのパラメータを調整して再度前記判定を行う
画像取得装置。 - マクロ撮影部が、病理検体が載置される検体載置領域を有するスライドの少なくとも前記検体載置領域の画像を第1の倍率でマクロ撮影し、
第1の判定部が、マクロ撮影された前記画像を区画する複数の区画領域毎に前記病理検体の像の有無を判定し、
第2の判定部が、前記病理検体の像が含まれると判定された1以上の前記区画領域のまとまりを検体像領域として判定し、
領域拡張部が、前記検体像領域を拡張して拡張領域を生成し、
顕微鏡撮影部が、前記生成された拡張領域を前記第1の倍率よりも高い第2の倍率で顕微鏡撮影する
画像取得方法。 - 病理検体が載置される検体載置領域を有するスライドの少なくとも前記検体載置領域を第1の倍率でマクロ撮影部にマクロ撮影させた画像を区画する複数の区画領域毎に前記病理検体の像の有無を判定する第1の判定部、
前記病理検体の像が含まれると判定された1以上の前記区画領域のまとまりを検体像領域として判定する第2の判定部、
前記検体像領域を拡張して拡張領域を生成し、当該拡張領域を前記第1の倍率よりも高い第2の倍率で顕微鏡撮影部に顕微鏡撮影させる領域拡張部として、コンピュータを機能させるための情報処理プログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013005264A JP2014137262A (ja) | 2013-01-16 | 2013-01-16 | 画像取得装置、画像取得方法、および情報処理プログラム |
US14/151,262 US10274716B2 (en) | 2013-01-16 | 2014-01-09 | Image acquisition apparatus, image acquisition method, and information processing program |
CN201410010847.8A CN103926687B (zh) | 2013-01-16 | 2014-01-09 | 图像获取装置、图像获取方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013005264A JP2014137262A (ja) | 2013-01-16 | 2013-01-16 | 画像取得装置、画像取得方法、および情報処理プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2014137262A true JP2014137262A (ja) | 2014-07-28 |
Family
ID=51144966
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013005264A Pending JP2014137262A (ja) | 2013-01-16 | 2013-01-16 | 画像取得装置、画像取得方法、および情報処理プログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US10274716B2 (ja) |
JP (1) | JP2014137262A (ja) |
CN (1) | CN103926687B (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020209217A1 (ja) * | 2019-04-12 | 2020-10-15 | コニカミノルタ株式会社 | 画像処理システム、画像処理方法及びプログラム |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105578021B (zh) * | 2014-10-15 | 2019-03-26 | 上海弘视通信技术有限公司 | 双目相机的成像方法及其装置 |
CN109509541B (zh) * | 2018-10-26 | 2020-07-07 | 广州金域医学检验中心有限公司 | 基于医学图像的报告签发方法及装置 |
CN109473160A (zh) * | 2018-10-26 | 2019-03-15 | 广州金域医学检验中心有限公司 | 医学图像的标注资格确定方法及装置 |
CN109461147B (zh) * | 2018-10-26 | 2020-05-19 | 广州金域医学检验中心有限公司 | 应用于移动终端的fov图片的病理标注方法及装置 |
WO2020082638A1 (zh) | 2018-10-26 | 2020-04-30 | 广州金域医学检验中心有限公司 | 医学图像的病理标注方法及装置、基于医学图像的报告签发方法及装置、计算机可读存储介质 |
CN109446370A (zh) * | 2018-10-26 | 2019-03-08 | 广州金域医学检验中心有限公司 | 医学图像的病理标注方法及装置、计算机可读存储介质 |
CN109615651B (zh) * | 2019-01-29 | 2022-05-20 | 清华大学 | 基于光场显微***的三维显微成像方法及*** |
CN112363309B (zh) * | 2020-11-13 | 2023-02-17 | 杭州医派智能科技有限公司 | 一种用于显微镜下病理图像的自动寻焦方法和*** |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1236302C (zh) * | 2003-12-19 | 2006-01-11 | 武汉大学 | 一种多光谱细胞涂片自动分析仪及其用于宫颈细胞的分析方法 |
JP5245424B2 (ja) * | 2008-01-25 | 2013-07-24 | 日本電気株式会社 | 病理組織画像撮影システム、病理組織画像撮影方法、および病理組織画像撮影プログラム |
JP5660273B2 (ja) | 2010-01-04 | 2015-01-28 | 日本電気株式会社 | 画像診断方法、画像診断装置および画像診断プログラム |
JP5781743B2 (ja) | 2010-06-28 | 2015-09-24 | ソニー株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
JP5451552B2 (ja) * | 2010-08-09 | 2014-03-26 | オリンパス株式会社 | 顕微鏡システム、標本観察方法およびプログラム |
JP5372068B2 (ja) * | 2011-05-20 | 2013-12-18 | キヤノン株式会社 | 撮像システム、画像処理装置 |
-
2013
- 2013-01-16 JP JP2013005264A patent/JP2014137262A/ja active Pending
-
2014
- 2014-01-09 US US14/151,262 patent/US10274716B2/en active Active
- 2014-01-09 CN CN201410010847.8A patent/CN103926687B/zh active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020209217A1 (ja) * | 2019-04-12 | 2020-10-15 | コニカミノルタ株式会社 | 画像処理システム、画像処理方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
US10274716B2 (en) | 2019-04-30 |
CN103926687A (zh) | 2014-07-16 |
CN103926687B (zh) | 2017-04-12 |
US20140198199A1 (en) | 2014-07-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2014137262A (ja) | 画像取得装置、画像取得方法、および情報処理プログラム | |
KR101803712B1 (ko) | 화상처리장치, 제어 방법, 프로그램 및 기록 매체 | |
US20200043225A1 (en) | Image processing apparatus and control method thereof | |
US10621729B2 (en) | Adaptive focus sweep techniques for foreground/background separation | |
JP5589548B2 (ja) | 撮像装置、画像処理方法、及びプログラム記憶媒体 | |
US10839529B2 (en) | Image processing apparatus and image processing method, and storage medium | |
JP5139533B2 (ja) | デジタル画像の赤目欠陥の検出 | |
US7868915B2 (en) | Photographing apparatus, method and computer program product | |
CN107358593B (zh) | 成像方法和装置 | |
JP2009110137A (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
US20190293918A1 (en) | Digital microscope apparatus, method of searching for in-focus position thereof, and program | |
JP2013242617A (ja) | 画像処理装置、撮像装置、距離計測方法および距離計測プログラム | |
JP6600356B2 (ja) | 画像処理装置、内視鏡装置及びプログラム | |
JP2009282979A (ja) | 画像処理装置及び画像処理方法 | |
JP2010055194A (ja) | 画像処理装置および方法、学習装置および方法、並びにプログラム | |
JP6472183B2 (ja) | 画像処理装置、その制御方法、プログラム | |
JP2010117593A (ja) | 距離情報取得装置、撮像装置、及びプログラム | |
JP2016125913A (ja) | 画像取得装置及び画像取得装置の制御方法 | |
WO2017190415A1 (zh) | 一种图像优化方法、装置及终端 | |
CN109003228B (zh) | 一种暗场显微大视场自动拼接成像方法 | |
WO2016113805A1 (en) | Image processing method, image processing apparatus, image pickup apparatus, program, and storage medium | |
JP6235168B2 (ja) | 区分に基づく画像変換 | |
JP7280107B2 (ja) | 画像処理方法、プログラム、画像処理装置、画像処理システム、及び、顕微鏡システム | |
TWI416433B (zh) | 紅眼影像偵測方法及其相關裝置 | |
Shajkofci et al. | DeepFocus: a few-shot microscope slide auto-focus using a sample invariant CNN-based sharpness function |