JP2014137262A - 画像取得装置、画像取得方法、および情報処理プログラム - Google Patents

Abstract

【課題】スライドの顕微鏡画像を適切に取得できる画像取得装置、画像取得方法、および情報処理プログラムを提供する。
【解決手段】病理検体が載置される検体載置領域を有するスライドの少なくとも前記検体載置領域の画像を第１の倍率でマクロ撮影するマクロ撮影部と、指定された撮影領域を前記第１の倍率よりも高い第２の倍率で顕微鏡撮影する顕微鏡撮影部と、マクロ撮影された前記画像を区画する複数の区画領域毎に前記病理検体の像の有無を判定する第１の判定部と、前記病理検体の像が含まれると判定された１以上の前記区画領域のまとまりを検体像領域として判定する第２の判定部と、前記検体像領域を拡張して拡張領域を生成し、当該拡張領域を前記撮影領域として前記顕微鏡撮影部に撮影させる領域拡張部とを具備する。
【選択図】図１３

Description

本技術は、顕微鏡を用いて画像を取得する画像取得装置、画像取得方法、および情報処理プログラムに関する。

デジタル顕微鏡装置では、以前、病理検体の載置されたプレパラート（スライド）全体を顕微鏡撮影し、スライドのデジタル画像化を行っていた（例えば、特許文献１参照。なお特許文献１に記載の発明では、従来の顕微鏡を用いた病理診断の手法と同様に、病変部の探索を低倍率で開始し、段階的に倍率を上げて行っている。）。

しかし、スライド全体を顕微鏡撮影する場合、撮影に時間がかかり、また撮影した画像のデータ量が膨大になってしまっていた。

そこで、デジタル顕微鏡装置では、スライドを顕微鏡撮影するに当たり、撮影に要する時間と撮影した画像データの量を削減するために、顕微鏡撮影を行う領域を病理検体が有る領域に限定するようになった。

領域を限定するために、デジタル顕微鏡装置は、まずスライド全体をマクロ撮影する。そして、デジタル顕微鏡装置は、マクロ撮影して得られた全体画像であるサムネイル画像を基に、そのサムネイル画像を、一回の顕微鏡撮影で撮影される区画である区画領域に区画し、区画ごとに病理検体の像が写っているか否かを判定する。

そして、デジタル顕微鏡装置は、病理検体の像が写っていると判定された区画領域のみを顕微鏡撮影する。これにより、撮影に要する時間と撮影した画像データの量が削減される。

上記の手順のうち、最も重要な工程は、区画領域の中に病理検体の像が写っているか否かを判定する工程である。この判定は、区画領域内の画素の輝度値を指標として行われたり、区画領域内のエッジを検出して得られるエッジ成分指標値を指標として行われたりしている（例えば、特許文献２参照）。

特開２０１１−１３７７８０号公報 特開２０１２−８１００号公報

しかし、病理検体の種類が脂肪組織であったり、特殊染色を行った組織であったり、微小検体であったりすると、上記判定を適切に行っても、実際には区画領域内に病理検体が有るにも拘わらず検体の像が無いと判定されてしまう状況が発生することが計算上分かっている。これはスライド全体を撮影するマクロカメラでは、数ミクロン程度の脂肪細胞を結像することができないからである。また波長の短い青色の特殊染色になるとこの状況が顕著になることが容易に想像できる。マクロ撮影の解像度を上げても、この状況は著しく改善することはない。

すなわち、病理検体の種類によっては、区画領域毎に検体の像が有る領域を検出する工程において、検出に漏れが発生してしまい、顕微鏡撮影が適切には行われない場合があるという問題があった。

以上のような事情に鑑み、本技術の目的は、スライドの顕微鏡画像を適切に取得できる画像取得装置、画像取得方法、および情報処理プログラムを提供することにある。

（１）上記目的を達成するため、本技術の一形態に係る画像取得装置は、病理検体が載置される検体載置領域を有するスライドの少なくとも前記検体載置領域の画像を第１の倍率でマクロ撮影するマクロ撮影部と、指定された撮影領域を前記第１の倍率よりも高い第２の倍率で顕微鏡撮影する顕微鏡撮影部と、マクロ撮影された前記画像を区画する複数の区画領域毎に前記病理検体の像の有無を判定する第１の判定部と、前記病理検体の像が含まれると判定された１以上の前記区画領域のまとまりを検体像領域として判定する第２の判定部と、前記検体像領域を拡張して拡張領域を生成し、当該拡張領域を前記撮影領域として前記顕微鏡撮影部に撮影させる領域拡張部とを具備する。

本技術では、第２の判定部が判定した検体像領域をそのまま撮影領域として顕微鏡撮影するのではなく、領域拡張部により検体像領域を拡張して拡張領域を生成し、その拡張領域を撮影領域として顕微鏡撮影している。そのため、第１の判定部による病理検体の像の有無判定において、像の検出漏れがあってもその検出漏れを補償する事が出来、検出漏れ率を低減させる事が出来る。その結果、スライドの顕微鏡画像を適切に取得する事が出来る。

（２）上記目的を達成するため、本技術の一形態に係る画像取得装置では、前記領域拡張部は、前記検体像領域の輝度値と、前記病理検体の像が含まれていないと判定された前記区画領域の輝度値との差が予め定められた第１の閾値より少ないとき、前記検体像領域を拡張して前記拡張領域を生成する構成でもよい。

本技術では、検体像領域の輝度値と、病理検体の像が含まれていないと判定された区画領域の輝度値との差が予め定められた第１の閾値より少ないとき、すなわち病理検体の像のコントラストが低いと判断されるときに、顕微鏡撮影する領域の拡張を行う。

病理検体の像のコントラストが低い場合に、第１の判定部による病理検体の像の有無判定において、像の検出漏れが発生しやすいからである。領域を拡張する際の条件を定め、その条件に合ったときのみ領域を拡張して顕微鏡撮影することにより、検出漏れ率を低減させつつ、顕微鏡撮影に要する時間の短縮や顕微鏡撮影により得られる画像のデータ量の削減を行うことが出来る。

（３）上記目的を達成するため、本技術の一形態に係る画像取得装置では、前記領域拡張部は、前記検体像領域に含まれる前記区画領域の数が予め定められた第２の閾値より少ないとき、前記検体像領域をその外周方向に前記区画領域の単位で拡張して拡張領域を生成し、前記検体像領域に含まれる前記区画領域の数が予め定められた第２の閾値以上のとき、前記検体像領域をこの検体像領域を含む矩形領域に拡張して拡張領域を生成し、前記矩形領域は、前記検体像領域に含まれる縦方向の前記区画領域の数の最大値を当該矩形領域の前記縦方向に並ぶ前記区画領域の数とし、前記検体像領域に含まれる横方向の前記区画領域の数の最大値を当該矩形領域の前記横方向に並ぶ前記区画領域の数とする構成でもよい。

本技術では、検体像領域に含まれる区画領域の数が予め定められた第２の閾値より少ないとき、検体は微小検体であり、検出された区画領域の周辺にも、検体の検出されなかった組織断片が存在している可能性が高いと判断する。そして検体像領域をその外周方向に区画領域の単位で拡張する。これにより、検出漏れ率の低減を図ることが出来る。

また、検体像領域に含まれる区画領域の数が予め定められた第２の閾値以上のとき、検体は微小検体ではないと判断し、検体像領域をこの検体像領域を含む矩形領域に拡張する。これにより、検出漏れ率の低減を図ることが出来る。

（４）上記目的を達成するため、本技術の一形態に係る画像取得装置では、前記領域拡張部は、前記検体像領域内に前記病理検体の像が含まれていないと判定された前記区画領域が存在するとき、この区画領域を前記検体像領域に加えて前記拡張領域を生成する構成でもよい。

本技術では、検体像領域内に前記病理検体の像が含まれていないと判定された区画領域が存在するとき、その区画領域内にも検出はされなかったが病理検体の像が存在する可能性が高いと判断し、この区画領域を撮影領域に加える拡張を行う。これにより、検出漏れ率の低減を図ることが出来る。

（５）上記目的を達成するため、本技術の一形態に係る画像取得装置は、前記病理検体の像が含まれると判定された前記区画領域が無いとき、前記検体載置領域の全体を前記撮影領域として前記顕微鏡撮影部に撮影させる全領域指定部をさらに具備する構成でもよい。

本技術では、病理検体の像が含まれると判定された区画領域が無いときでも、検体載置領域の全体を撮影領域として顕微鏡撮影部に撮影させる。これにより、第１の判定部における判定処理において病理検体の像が検出されなかった場合でも、未検出の病理検体の像を確実に顕微鏡撮影することが出来る。

（６）上記目的を達成するため、本技術の一形態に係る画像取得装置では、前記第１の判定部は、前記検体像領域の輝度値と、前記病理検体の像が含まれていないと判定された前記区画領域の輝度値との差が予め定められた第１の閾値より少なく、かつ前記検体像領域に含まれる前記区画領域の数が予め定められた第２の閾値より少ないとき、前記病理検体の像の有無を判定するためのパラメータを調整して再度前記判定を行う構成でもよい。

本技術では、病理検体の像のコントラストが低く、かつ病理検体が微小検体であるとき、病理検体の像の有無を判定するためのパラメータを調整して再度像の有無の判定を行う。これにより、検出漏れ率の低減を図ることが出来る。

（７）上記目的を達成するため、本技術の一形態に係る画像取得方法では、マクロ撮影部が、病理検体が載置される検体載置領域を有するスライドの少なくとも前記検体載置領域の画像を第１の倍率でマクロ撮影し、第１の判定部が、マクロ撮影された前記画像を区画する複数の区画領域毎に前記病理検体の像の有無を判定し、第２の判定部が、前記病理検体の像が含まれると判定された１以上の前記区画領域のまとまりを検体像領域として判定し、領域拡張部が、前記検体像領域を拡張して拡張領域を生成し、顕微鏡撮影部が、前記生成された拡張領域を前記第１の倍率よりも高い第２の倍率で顕微鏡撮影する。

（８）上記目的を達成するため、本技術の一形態に係る情報処理プログラムは、病理検体が載置される検体載置領域を有するスライドの少なくとも前記検体載置領域を第１の倍率でマクロ撮影部にマクロ撮影させた画像を区画する複数の区画領域毎に前記病理検体の像の有無を判定する第１の判定部、前記病理検体の像が含まれると判定された１以上の前記区画領域のまとまりを検体像領域として判定する第２の判定部、前記検体像領域を拡張して拡張領域を生成し、当該拡張領域を前記第１の倍率よりも高い第２の倍率で顕微鏡撮影部に顕微鏡撮影させる領域拡張部として、コンピュータを機能させる。

以上のように、本技術によれば、スライドの顕微鏡画像を適切に取得することが出来る。

本実施形態におけるデジタル顕微鏡装置１のハードウェア構成を示す概念図である。 計算装置８０で行われる処理を実現するための各機能ブロックについて示した機能ブロック図である。 病理検体のスライド１０全体をマクロ撮影したサムネイル画像の例を示した図である。 サムネイル画像上において、病理検体の像が有ると判定された区画領域のまとまりを検体像領域として抽出した例を示した図である。 脂肪細胞のサムネイル画像の例である。 染色が薄いスライドのサムネイル画像の例である。 病理検体の像が非常に小さく写っているサムネイル画像の例である。 外周拡張処理の例を示す図である。 矩形拡張処理の例を示す図である。 閉領域処理の例を示す図である。 張り合わせに失敗する場合の顕微鏡撮影の順序と張り合わせ部分の状態を示す図である。 適切に張り合わせが行われる場合の顕微鏡撮影の順序と張り合わせ部分の状態を示す図である。 領域拡張と顕微鏡撮影の処理の流れについて説明するフローチャートである。 領域拡張と顕微鏡撮影の処理の流れの変形例について説明するフローチャートである。

以下、本技術に係る実施形態を、図面を参照しながら説明する。

［概要］
本技術は、上記のとおり、病理検体のスライドをマクロ撮影した画像であるサムネイル画像を区画した区画領域ごとに病理検体の像を検出する際の検出漏れを補償し、検出漏れ率を低減するためのものである。

より具体的には、区画領域ごとの病理検体の像の有無を判定した後、所定の条件である、サムネイル画像に写った像と背景とのコントラストや病理検体の像が有ると判定された区画領域の数および配置に基づいて、以下に述べる撮影領域の各種拡張を行って顕微鏡撮影する区画領域を増やす。これにより、検出漏れ率を低減させる。

撮影領域の拡張方法には、４種類ある。なお、以下の説明では、病理検体の像が有ると判定された区画領域のまとまりを検体像領域、実際に顕微鏡撮影する領域を撮影領域と呼ぶ。

第１の拡張は、所定の条件を満たす場合、検体像領域をその外周方向に拡張するものである。（以下、外周拡張処理と呼ぶ。）第２の拡張は、所定の条件を満たす場合、検体像領域をその検体像領域を含む矩形領域に拡張するものである。（以下、矩形拡張処理と呼ぶ。）第３の拡張は、検体像領域の内部に、病理検体の像が無いと判定された区画領域がある場合に、その区画領域を撮影領域に加えるものである。（以下、閉領域処理と呼ぶ。）第４の拡張は、病理検体の像が有ると判定された区画領域が無い場合に、スライド上の、病理検体を載置できる領域全体を撮影領域とするものである。（以下、全領域指定処理と呼ぶ。）

なお、ある区画領域に病理検体の像が含まれるか否かの判定は、上記のとおり、区画領域内の画素の輝度値や、区画領域内の画像のエッジを検出して得られるエッジ成分指標値を指標として利用する。そして、これらの指標を予め定められた所定の閾値と比較して判定を行っている。

そのため、病理検体の像が有ると判定された区画領域が無い場合など、判定に用いる閾値を下げて像の有無判定の感度を上げた後、再度、像の有無判定を行って検出された検体像領域に対して上記の撮影領域の拡張を行ってもよい。

［デジタル顕微鏡装置の構成の概要］
次に、本実施形態におけるデジタル顕微鏡装置のハードウェア構成について、概要を説明する。図１は、本実施形態におけるデジタル顕微鏡装置１のハードウェア構成を示す概念図である。

デジタル顕微鏡装置１は、スライド１０、スライドローダ２０、システム制御装置３０、ステージ４０、マクロカメラ５０、画像キャプチャ装置６０、記憶装置７０、計算装置８０、メインカメラ９０、対物レンズ１００を具備している。

スライド１０は、スライドガラス上に顕微鏡撮影する病理検体が載置されたプレパラートである。スライドローダ２０は、複数のスライド１０を保管しており、システム制御部３０の指示により、目的のスライド１０をステージ４０へ供給する。

システム制御装置３０は、スライドローダ２０、ステージ４０、画像キャプチャ装置６０などを始め、デジタル顕微鏡装置１のシステム全体の動きを制御する。ステージ４０は、スライドローダ２０から供給されたスライド１０をマクロカメラ５０およびメインカメラ９０による撮影位置に移動させる。マクロカメラ５０は、画像キャプチャ装置６０の指示により、ステージ４０がスライドローダ２０から運んできたスライド１０の全体をサムネイル画像としてマクロ撮影する。

画像キャプチャ装置６０は、システム制御装置３０の指示により、マクロカメラ５０およびメインカメラ９０を用いて、スライド１０の撮影を行う。撮影されたサムネイル画像および顕微鏡画像は記憶装置７０に保存される。記憶装置７０は、マクロカメラ５０により撮影されたサムネイル画像およびメインカメラ９０により撮影された顕微鏡画像を保管し、計算装置８０からの要求に応じ保管している画像を計算装置８０に供給する。記憶装置７０は、計算装置８０に内蔵されたものであってもよい。

計算装置８０は、システム制御装置３０に対してスライド１０の撮影手順や撮影方法などに関する指示を出したり、上述のとおり、記憶装置７０から取得したサムネイル画像に含まれる検体像領域の拡張などの画像処理を行ったりする。計算装置８０は、一般的なパーソナルコンピュータ（ＰＣ）やそれに準ずるものであり、ＣＰＵ８１、メモリ８２、記憶部８３などを具備している。ＣＰＵ８１は、メモリ８２や記憶部８３などに格納されたプログラムを実行することにより、後述する各機能ブロックを実現する。

メインカメラ９０は、ステージ４０によりスライドローダ２０から運ばれてきたスライド１０を、病理診断に用いる光学倍率で顕微鏡撮影する。対物レンズ１００は、メインカメラ９０がスライド１０を顕微鏡撮影する際に適切な倍率まで像を拡大する。

以上が、本実施形態におけるデジタル顕微鏡装置１のハードウェア構成についての概要である。

［デジタル顕微鏡装置における処理の流れ］
次に、同じく図１を用いて、デジタル顕微鏡装置１における病理検体の撮影について、その流れの概要を説明する。

まず、ユーザが、スライドガラスの上に薄切した病理検体を載置し包埋材とカバーガラスを用いて作成したスライド１０をスライドローダ２０にセットする。

次に、システム制御装置３０の指示により、スライドローダ２０から目的のスライド１０が取り出され、ステージ４０によりマクロカメラ５０による撮影位置まで移動される。

次に、システム制御装置３０の指示により、画像キャプチャ装置６０がマクロカメラ５０を用いてスライド１０のサムネイル画像をマクロ撮影する。撮影されたサムネイル画像は、画像キャプチャ装置６０を経由して記憶装置７０に格納される。

次に、計算装置８０が、記憶装置７０からサムネイル画像を取得し、そのサムネイル画像を、一回の顕微鏡撮影で撮影される範囲の基準となる区画領域に区画し、区画ごとに病理検体の像が写っているか否かを判定する。計算装置８０は、判定結果に基づき、サムネイル画像に写っている病理検体の像の位置を計算したり、メインカメラ９０による顕微鏡撮影のための撮影座標の計算をしたりする。

より具体的には、計算装置８０は、メインカメラ９０により一度に顕微鏡撮影される領域の基準となる区画領域をサムネイル画像上で定め、いずれの区画領域に病理検体の像が写っているかを判定する。

なお、システム制御装置３０は、計算装置８０により上記の計算が行われている間に、ステージ４０を用いて、マクロ撮影したスライド１０を、メインカメラ９０による顕微鏡撮影の位置まで移動させる。

最後に、システム制御装置３０は、計算装置８０による顕微鏡のための撮影座標の計算と、ステージ４０によるスライド１０の顕微鏡撮影位置への移動とが終了し次第、メインカメラ９０による顕微鏡撮影を行う。顕微鏡撮影は、病理検体の像があると判定された区画領域と、上記の拡張処理により撮影対象とされた区画領域とを撮影領域として行われる。

顕微鏡撮影により撮影された画像は、画像キャプチャ装置６０を経由して記憶装置７０に格納された後、計算装置８０により加工される。

以上が、デジタル顕微鏡装置１における病理検体のスライド１０を撮影する処理の概略である。

［計算装置８０内の機能ブロックについて］
次に、計算装置８０で行われる処理を実現するための各機能ブロックについて概要を説明する。図２は、計算装置８０で行われる処理を実現するための各機能ブロックについて示した機能ブロック図である。

計算装置８０は、サムネイル取得部８１、像有無判定部８２、検体像領域判定部８３、領域拡張部８４、顕微鏡撮影部８５、全領域指定部８６の各機能ブロックを具備している。

サムネイル取得部８１は、画像キャプチャ装置６０を介してマクロカメラ５０に指示を出し、スライド１０のマクロ撮影を行う。また、記憶装置７０からのサムネイル画像の取得を行う。取得したサムネイル画像がＲＡＷデータである場合、サムネイル取得部８１は、サムネイル画像に対し現像処理を行ってもよい。

なお、像有無判定部８２において特許文献２に示されるような、区画領域内の画像のエッジを検出して得られるエッジ成分指標値を指標として利用する場合、サムネイル取得部８１は、アンダーシュートやオーバーシュートを抑えるようにマクロ撮影時の照明を調整し、サムネイル画像の画素の輝度値をエッジ検出が可能な範囲に収める必要がある。

像有無判定部８２は、サムネイル画像を区画領域に区分し、区画領域ごとに病理検体の像がその区画領域に写っているか否かを輝度値やエッジ成分指標値を指標として用いて判定を行う。

検体像領域判定部８３は、病理検体の像が写っていると判定された区画領域をまとめて検体像領域として抽出する。この処理は、顕微鏡撮影する撮影領域を病理検体の像が写っている区画領域のみに限定することにより、顕微鏡撮影全体の所要時間を短縮するためのものである。

領域拡張部８４は、検体像領域に対して上記第１から第３までの拡張処理、すなわち、外周拡張処理、矩形拡張処理、および閉領域処理を行い、撮影領域を求める。処理の詳細については後述する。

顕微鏡撮影部８５は、撮影領域をメインカメラ９０により撮影する。

全領域指定部８６は、像有無判定部８２により病理検体の像が写っている区画領域が無いと判定された場合に、サムネイル画像全体を撮影領域として指定する。すなわち、上述した全領域指定処理を行う。

以上が、計算装置８０内の機能ブロックの概要である。

［サムネイル画像から検体像領域を求める処理について］
次に、図３および図４を用いて、マクロカメラ５０によりマクロ撮影されたサムネイル画像から、検体像領域を求めるまでの処理について概要を説明する。図３は、病理検体のスライド１０全体をマクロ撮影したサムネイル画像の例を示した図であり、図４は、そのサムネイル画像上において、病理検体の像が有ると判定された区画領域のまとまりを検体像領域として抽出した例を示した図である。

サムネイル画像から検体像領域を求める理由は、サムネイル画像上で顕微鏡撮影を行う範囲を限定することにより顕微鏡撮影の撮影時間を最適化することと、撮影範囲を限定することにより、病理診断に不要な、病理検体の写っていない区画領域を顕微鏡撮影しないことにより顕微鏡撮影した画像データのデータ量を削減することである。

まず、サムネイル取得部８１が、記憶装置７０からサムネイル画像を取得する。図３に示したサムネイル画像の例では、動物の病理検体を染色して得られた切片ＳＰＬが、画像の左側、中央よりやや左側、右半分の３箇所に分かれて写っている。

次に、像有無判定部８２が、サムネイル画像全体を、区画領域に区画する。区画領域の大きさは、メインカメラ９０により一度に顕微鏡撮影される範囲の大きさを基に決定されている。ただし、実際の顕微鏡撮影では、スライド１０を顕微鏡撮影した後に顕微鏡撮影により得られた複数の画像を貼り合わせ（スティッチング）処理するための糊代部分を設けるので、一度に顕微鏡撮影される範囲と区画領域により定められる範囲とは完全には一致しない。

次に、像有無判定部８２が、区画した区画領域のそれぞれにおいて、病理検体の像がその中に写っているか否かの判定を行う。この判定には、上述のとおり、輝度値を用いたり、特許文献２にあるようにエッジ成分指標値を用いたりする。

最後に、検体像領域判定部８３が、病理検体の像が有ると判定された区画領域のみを抽出し、まとめて検体像領域とする。図４に示す例では、病理検体の像の範囲が横長の長方形である、複数の区画領域ＫＡにより覆われ、検体像領域ＳＡとして抽出されていることがわかる。

なお、この例では、病理検体の像を含む矩形領域がすべて抽出されており、病理検体が有る区画領域の検出漏れは発生していない。

以上が、サムネイル画像から検体像領域を求める処理についての概要である。

［検出漏れの発生しやすいスライドの種類とその原因について］
次に、どのようなスライドにおいて、病理検体が有る区画領域の検出漏れが発生しやすいのか、そしてその原因について説明する。

検出漏れが発生しやすいスライドには、大きく分けて以下の３種類がある。

最初の種類のスライドは、脂肪細胞を病理検体としたスライドである。脂肪細胞は、細胞核を有していないものもあり、その場合、マクロ撮影したサムネイル画像では低コントラストの像としてしか撮影されず、像が検出されない傾向がある。

図５は、脂肪細胞のサムネイル画像の例である。画像の中央には細胞核のある細胞が固まっており画像の背景とのコントラストは高いが、その周辺に広く広がっている脂肪部分には細胞核が無く画像の背景とのコントラストは非常に低くなっている。

次の種類のスライドは、染色が薄いスライドである。特に青色に染色した場合は、短波長の光を照明として用いた時に、検出漏れが発生する傾向がある。

図６は、染色が薄いスライドのサムネイル画像の例である。染色が薄いので、像と背景とのコントラストが非常に低くなっている。

３番目の種類のスライドは、病理検体の像が非常に小さいスライドである。病理検体の像が非常に小さいので、サムネイル画像に写ったゴミやノイズとの区別が難しく検出漏れが発生する傾向がある。この種類のスライドでは、検出漏れを減らすために像の有無を判定する際の閾値を下げる（検出感度を上げる）ことも考えられるが、その場合、多くのゴミやノイズも病理検体の像と間違えて検出されてしまうので、現実的ではない。

図７は、病理検体の像が非常に小さく写っているサムネイル画像の例である。画像の中央に微小な点のように検体が写っているのが分かる。

以上、検出漏れの発生しやすいスライドの種類とその原因について説明した。

［検出漏れが発生しやすいスライドの判別方法について］
次に、検出漏れが発生しやすいスライドの判別方法について説明する。なお、この判別処理は、領域拡張部８４が行う。

上述のとおり、検出漏れが発生しやすいスライドでは、サムネイル画像に写っている病理検体の像と背景とのコントラストが非常に低いか、または、サムネイル画像に写っている病理検体の像が非常に小さいことが分かった。そこで、これらのスライドを判別するために、例えば、以下に説明する２つの指標を用いることが出来る。

まず、サムネイル画像において病理検体の像が低コントラストか否かの判別には、病理検体の像が無いと判定された区画領域の輝度値と、病理検体の像が有ると判定された区画領域すなわち検体像領域の輝度平均値との比較を用いることができる。数式を用いて表すと、
Ｃ＝Ｌ_blank−（１／Ｎ）Σｌ（ｘ，ｙ）
と表すことが出来る。

Ｌ_blankは、病理検体の像が無いと判定された区画領域の輝度値であり、Ｎは、検体像領域に含まれる画素数であり、ｌ（ｘ，ｙ）は、検体像領域内の座標（ｘ，ｙ）における画素の輝度値であり、（１／Ｎ）Σｌ（ｘ，ｙ）は、検体像領域の輝度平均値を表している。

値Ｃは、病理検体の像が無いと判定された区画領域の輝度値から、検体像領域の輝度平均値を引いた値であり、通常、正の値となり、この値が大きければ高コントラスト、小さければ低コントラストとなる。

次に、サムネイル画像に写っている病理検体の像が非常に小さいか否かの判別には、病理検体の像が有ると判定された区画領域の数を用いることが出来る。数式を用いて表すと、
ｎ ＜ Ｎ_Th
と表すことが出来る。ｎは、病理検体の像が有ると判定された区画領域の数であり、Ｎ_Thは、サムネイル画像に写っている病理検体の像が非常に小さいと判別するための区画領域の数の閾値である。

以上、検出漏れが発生しやすいスライドの判別方法について説明した。

［拡張処理について］
次に、区画領域に病理検体の像が実際には有るにも拘わらず病理検体の像が無いと判定されてしまう検出漏れを補償（検出漏れ率を低減）するために行う拡張処理について説明する。なお、どのような場合に、どの拡張処理を行うかも説明する。

上記では、拡張処理の例として、外周拡張処理、矩形拡張処理、閉領域処理、および全領域指定処理の４種類を挙げた。もちろん、この４種類は例示であり、拡張方法はこれらの方法に限られるものではない。ここでは、これらの拡張処理の詳細について説明する。

なお、これらの拡張処理は、病理検体の像の有無を判定する際の検出感度を上げても検出できない、すなわち病理検体の像が有るとは判定されない区画領域も撮影領域とすることにより、検出漏れ率を低減させるためのものである。

（外周拡張処理）
外周拡張処理は、サムネイル画像が低コントラストの画像であり、病理検体の像が非常に小さい場合に、領域拡張部８４により行われる拡張処理である。この拡張処理では、検体像領域を、外周方向に向かって、区画領域の単位で、数個分拡張する。この拡張を行うのは、経験上、微小な検体の周辺には組織断片が有る可能性が高いことが分かっているからである。

図８は、外周拡張処理の例を示す図であり、病理検体の像ＳＰＬを含んだ区画領域ＫＡにより構成される検体像領域の周辺にまで撮影領域ＰＡが拡張されている。

（矩形拡張処理）
矩形拡張処理は、サムネイル画像が低コントラストの画像であるが、病理検体の像が微小ではない場合に、領域拡張部８４により行われる拡張処理である。通常、検体像領域の形状は、病理検体の形状に沿った形になるが、この拡張処理では、その検体像領域を、検体像領域を含む矩形領域へと拡張する。

その矩形領域の横方向の長さには、検体像領域の横方向に並ぶ区画領域の最大値を用いる。また、その矩形領域の縦方向の長さには、検体像領域の縦方向に並ぶ区画領域の最大値を用いる。

この拡張は、検出からは漏れたが病理検体の像が有る可能性が高い区画領域を撮影領域に含めるために有効であり、特殊染色を行ったスライドや脂肪細胞のスライドで有効である。

図９は、矩形拡張処理の例を示す図であり、病理検体の像ＳＰＬを含んだ検体像領域を矩形領域に拡張して撮影領域ＰＡを生成している。

（閉領域処理）
閉領域処理は、検体像領域の内側に、病理検体の像が無いと判定された区画領域が存在する場合に、領域拡張部８４により行われる拡張処理である。この拡張処理では、検体像領域の内側にある、病理検体の像が無いと判定された区画領域を検体像領域に加えて拡張する。経験上、病理検体に囲まれた領域には、脂肪細胞が広がっている可能性が高いことが分かっているからである。

図１０は、閉領域処理の例を示す図であり、図の左側の病理検体の像ＳＰＬ１では、検体像領域の中央に、病理検体の像が無いと判定された区画領域が存在するので、その区画領域が撮影領域ＰＡに加えられている。また図の右側の病理検体の像ＳＰＬ２の内側には脂肪細胞が薄く広がっているが、病理検体の像の判定では検出されなかった。しかし、検体像領域に囲まれているので、撮影領域ＰＡに加えられている。

（全領域指定処理）
全領域指定処理は、検体像領域判定部８３により病理検体の像が有ると判定された区画領域が全く無い場合に、全領域指定部８６により行われる拡張処理である。この拡張処理は、病理検体の像が有ると判定された区画領域が全く無い場合でも安全のために、検体が置かれる可能性のある領域すべてを撮影領域とするものである。

以上、拡張処理の詳細について説明した。

［拡張処理により顕微鏡撮影された画像を貼り合わせる際の注意点］
次に、拡張処理により顕微鏡撮影された画像を貼り合わせる際の注意点について説明する。

デジタル顕微鏡装置１では、領域拡張部８４または全領域指定部８６により生成された撮影領域を、顕微鏡撮影部８５が、撮影マップにより決められた順序で一枚ずつ顕微鏡撮影して複数の画像を得る。得られた画像は、撮影マップによる撮影順序と同じ順序で貼り合わせ（スティッチング）処理が行われる。張り合わせ処理では、貼り合わせる２つの画像に、糊代となる同じ範囲を撮影した部分がなくてはならない。同じ糊代の範囲に含まれる画像内の像が一致するように、２枚の画像が貼り合わせられる。

本実施形態に係るデジタル顕微鏡装置１では、上述のとおり、病理検体の像が検出されなかった区画領域も拡張処理により顕微鏡撮影する事がある。そのため、この像が検出されなかった区画領域の画像同士を貼り合わせる場合には、糊代部分に、張り合わせの位置決めに用いる像が無い可能性が高いので、注意が必要である。

ここでは、最初に張り合わせの失敗例を説明し、次に適切な張り合わせの例を説明する。

図１１は、張り合わせに失敗する場合の顕微鏡撮影の順序と張り合わせ部分の状態を示す図である。なお、右側の図と左側の図はサムネイル画像上の同じ箇所を示すものであり、区画領域の符号も同じである。

図１１の左側は、顕微鏡撮影の順序を示す図である。この図で、病理検体の像があると判定された区画領域は、図の下側の区画領域ＫＡ２、ＫＡ３、ＫＡ６であり、拡張処理によって撮影領域となった区画領域は、図の上側の区画領域ＫＡ１、ＫＡ４、ＫＡ５である。顕微鏡撮影は、図に示した矢印に従って、区画領域ＫＡ１、ＫＡ２、ＫＡ３、ＫＡ４、ＫＡ５、ＫＡ６の順で行われる。

図１１の右側は、顕微鏡撮影した画像同士を貼り合わせるための糊代の位置を示す図である。まず、顕微鏡撮影の順序に従って、区画領域ＫＡ１の画像と区画領域ＫＡ２の画像とが糊代Ｓ１において貼り合わせられる。糊代Ｓ１は、病理検体の像ＳＰＬが有る部分なので、高い精度で張り合わせを行うことができる。次に、区画領域ＫＡ２の画像と区画領域ＫＡ３の画像とが糊代Ｓ２において貼り合わせられる。この張り合わせも精度よく行うことができる。次の糊代Ｓ３に関しても同様である。

しかし、区画領域ＫＡ４の画像と区画領域ＫＡ５の画像との張り合わせが行われる糊代Ｓ４は、病理検体の像ＳＰＬが無い箇所にあり、張り合わせの精度が低くなってしまう。そのため、その張り合わせに続く区画領域ＫＡ６の張り合わせでは、糊代Ｓ５およびＳ６において張り合わせのズレが発生する可能性が高くなってしまう。

図１２は、適切に張り合わせが行われる場合の顕微鏡撮影の順序と張り合わせ部分の状態を示す図である。なお、右側の図と左側の図はサムネイル画像上の同じ箇所を示すものであり、区画領域の符号も同じである。

図１２の左側は、顕微鏡撮影の順序を示す図である。顕微鏡撮影は、図に示した矢印に従って、区画領域ＫＡ２、ＫＡ３、ＫＡ６、ＫＡ１、ＫＡ４、ＫＡ５の順で行われる。すなわち、元々検体像領域に入っている区画領域を顕微鏡撮影した後、拡張処理により顕微鏡撮影することになった区画領域を撮影する。そうすると、図１２の右側に示すように、糊代Ｓ２、Ｓ６、Ｓ１、Ｓ３、Ｓ５の順で張り合わせが行われ、張り合わせに用いるのが適切ではない糊代Ｓ４が用いられることはない。それ故、張り合わせ処理は、最後まで適切に行われる。

撮影領域を顕微鏡撮影する際には、以上述べたように、適切な位置の糊代を用いるように、顕微鏡撮影の順序を決めなければならない。

以上、拡張処理により顕微鏡撮影された画像を貼り合わせる際の注意点について説明した。

［領域拡張と顕微鏡撮影の処理の流れについて］
次に、領域拡張と顕微鏡撮影の処理の流れについて説明する。図１３は、領域拡張と顕微鏡撮影の処理の流れについて説明するフローチャートである。

まず、サムネイル取得部８１が、画像キャプチャ装置６０を介してマクロカメラ５０に指示を出し、スライド１０のマクロ撮影を行う。また、記憶装置７０からのサムネイル画像の取得を行う（ステップＳＴ１）。

次に、像有無判定部８２が、区画領域ごとに、その区画領域内に病理検体の像が写っているか否かを判定する（ステップＳＴ２）。

次に、検体像領域判定部８３が、病理検体の像が写っていると判定された区画領域をまとめて検体像領域として抽出する（ステップＳＴ３）。

次に、全領域指定部８６が、病理検体の像が写っていると判定された区画領域が有るか否かを判断する（ステップＳＴ４）。

病理検体の像が写っていると判定された区画領域が無い場合（ステップＳＴ４のＮ）、全領域指定部８６が、サムネイル画像全体を撮影領域として指定し、顕微鏡撮影部８５が、その撮影領域をメインカメラ９０により撮影し、処理を終了する（ステップＳＴ５）。

病理検体の像が写っていると判定された区画領域が有る場合（ステップＳＴ４のＹ）、領域拡張部８４が、閉領域処理を行う（ステップＳＴ６）。閉領域処理では、検体像領域の内部に、病理検体の像が無いと判定された区画領域が存在する場合に、その区画領域を検体像領域に加える処理を行う。

次に、領域拡張部８４が、処理対象であるサムネイル画像が低コントラストであるか否かを判断する（ステップＳＴ７）。判断基準は上述したとおりである。

サムネイル画像が低コントラストではない場合（ステップＳＴ７のＮ）、領域拡張部８４は、これ以上の領域拡張処理は行わず、現状の撮影領域をそのまま顕微鏡撮影部８５に渡し、顕微鏡撮影部８５が、その撮影領域をメインカメラ９０により撮影し、処理を終了する（ステップＳＴ８）。

サムネイル画像が低コントラストである場合（ステップＳＴ７のＹ）、領域拡張部８４は、次に、処理対象であるサムネイル画像に写った病理検体の像が微小検体であるか否かを判断する（ステップＳＴ９）。

サムネイル画像に写った病理検体の像が微小検体ではない場合（ステップＳＴ９のＮ）、領域拡張部８４は、矩形拡張処理を行って拡張した撮影領域を指定し、顕微鏡撮影部８５が、その撮影領域をメインカメラ９０により撮影し、処理を終了する（ステップＳＴ１０）。

サムネイル画像に写った病理検体の像が微小検体である場合（ステップＳＴ９のＹ）、領域拡張部８４は、外周拡張処理を行って拡張した撮影領域を指定し、顕微鏡撮影部８５が、その撮影領域をメインカメラ９０により撮影し、処理を終了する（ステップＳＴ１１）。

以上、領域拡張と顕微鏡撮影の処理の流れについて説明した。

［領域拡張と顕微鏡撮影の処理の流れについて（変形例）］
次に、領域拡張と顕微鏡撮影の処理の流れの変形例について説明する。図１４は、領域拡張と顕微鏡撮影の処理の流れの変形例について説明するフローチャートである。

ここで説明する領域拡張と顕微鏡撮影の処理の流れと上述した処理の流れとの大きな違いは、変形例では、病理検体の像の有無判定に用いるパラメータを再調整してから、有無判定から拡張処理までを再度行うという点である。パラメータを再調整することにより、検出漏れ率を低減させることを目指している。

なお、ここでいうパラメータには、ソフトウェア的なものやハードウェア的なものがある。詳細は後述するが、一例として、像有無判定部８２が区画領域ごとに病理検体の像の有無判定を行う際に判定に用いる閾値が挙げられる。このパラメータは像の検出感度を上げるように再調整が行われる。

まず、サムネイル取得部８１が、画像キャプチャ装置６０を介してマクロカメラ５０に指示を出し、スライド１０のマクロ撮影を行う。また、記憶装置７０からのサムネイル画像の取得を行う（ステップＳＴ１）。

次に、像有無判定部８２が、区画領域ごとに、その区画領域内に病理検体の像が写っているか否かを判定する（ステップＳＴ２）。

次に、検体像領域判定部８３が、病理検体の像が写っていると判定された区画領域をまとめて検体像領域として抽出する（ステップＳＴ３）。

次に、全領域指定部８６が、病理検体の像が写っていると判定された区画領域が有るか否かを判断する（ステップＳＴ４）。

病理検体の像が写っていると判定された区画領域が無い場合（ステップＳＴ４のＮ）、全領域指定部８６は、次に、既にパラメータの再調整が行われているか否かを判断する（ステップＳＴ１００）。

既にパラメータの再調整が行われている場合（ステップＳＴ１００のＹ）、全領域指定部８６は、サムネイル画像全体を撮影領域として指定し、顕微鏡撮影部８５が、その撮影領域をメインカメラ９０により撮影し、処理を終了する（ステップＳＴ５）。

まだパラメータの再調整が行われていない場合（ステップＳＴ１００のＮ）、パラメータの再調整を行うために、ステップＳＴ３００に進む。

病理検体の像が写っていると判定された区画領域が有る場合（ステップＳＴ４のＹ）、領域拡張部８４が、閉領域処理を行う（ステップＳＴ６）。

次に、領域拡張部８４が、処理対象であるサムネイル画像が低コントラストであるか否かを判断する（ステップＳＴ７）。

サムネイル画像が低コントラストではない場合（ステップＳＴ７のＮ）、領域拡張部８４は、これ以上の領域拡張処理は行わず、現状の撮影領域をそのまま顕微鏡撮影部８５に渡し、顕微鏡撮影部８５が、その撮影領域をメインカメラ９０により撮影し、処理を終了する（ステップＳＴ８）。

サムネイル画像が低コントラストである場合（ステップＳＴ７のＹ）、領域拡張部８４は、次に、処理対象であるサムネイル画像に写った病理検体の像が微小検体であるか否かを判断する（ステップＳＴ９）。

サムネイル画像に写った病理検体の像が微小検体ではない場合（ステップＳＴ９のＮ）、領域拡張部８４は、矩形拡張処理を行って拡張した撮影領域を指定し、顕微鏡撮影部８５が、その撮影領域をメインカメラ９０により撮影し、処理を終了する（ステップＳＴ１０）。

サムネイル画像に写った病理検体の像が微小検体である場合（ステップＳＴ９のＹ）、領域拡張部８４は、次に、パラメータの再調整を行うか否かを判断する（ステップＳＴ２００）。

パラメータの再調整を行わない場合（ステップＳＴ２００のＮ）、領域拡張部８４は、外周拡張処理を行って拡張した撮影領域を指定し、顕微鏡撮影部８５が、その撮影領域をメインカメラ９０により撮影し、処理を終了する（ステップＳＴ１１）。

パラメータの再調整を行う場合（ステップＳＴ２００のＹ）、像有無判定部８２が、像を検出するためのパラメータを再調整する（ステップＳＴ３００）。パラメータを再調整した後は、ステップＳＴ１に戻り、処理を繰り返す。

なお、処理を繰り返す際、検出の感度を上げすぎないように注意する必要がある。感度を上げすぎるとノイズやゴミなどの影響が大きく出てしまい過検出傾向となるためである。過検出傾向になると、その分余計な区画領域を顕微鏡撮影することになり、撮影に要する時間が増加してしまう。そのため、パラメータの再調整は、ノイズの影響を考慮しながら行う必要がある。

以上、領域拡張と顕微鏡撮影の処理の流れの変形例について説明した。

［再調整するパラメータについて］
次に、上記の変形例の流れにおいて、再調整するパラメータの例を説明する。なお、これらのパラメータは、像有無判定部８２が行う、病理検体の像が区画領域に写っているか否かの判定処理の結果に影響を与えるものである。

まず、像有無判定部８２が行う、病理検体の像が区画領域に写っているか否かの判定処理では、上述のとおり、輝度値やエッジ成分指標値と比較する標準偏差などの閾値がパラメータとなる。この閾値を下げていく、すなわち判定基準を緩和していくことにより、感度を上げることが考えられる。

次に、サムネイル取得部８１が行うマクロ撮影処理では、照明の強さや露光時間がパラメータとなる。露光時間（光量）を変更することで、サムネイル画像の輝度値を適切な範囲に収めることが出来る。

次に、同じくサムネイル取得部８１が行う現像処理では、ダイナミックレンジがパラメータとなる。ダイナミックレンジを変更して現像を行うことが考えられる。

また、その他、現像の前処理などでは、アンシャープマスク処理のパラメータが挙げられる。

以上、再調整するパラメータの例について説明した。

［本技術による効果について］
本技術を用いることにより、スライド１０から病理画像を取得する際に要する処理時間の増加を抑えながら、検出漏れ率を低減させることが出来る。また、デジタル顕微鏡装置１による撮影のロバスト性（安定性）の向上が可能となる。

［補足事項］
その他、本技術は、上述の実施形態にのみ限定されるものではなく、本技術の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。

１０・・・スライド
２０・・・スライドローダ
３０・・・システム制御装置
４０・・・ステージ
５０・・・マクロカメラ
６０・・・画像キャプチャ装置
７０・・・記憶装置
８０・・・計算装置
８１・・・サムネイル取得部
８２・・・像有無判定部
８３・・・検体像領域判定部
８４・・・領域拡張部
８５・・・顕微鏡撮影部
８６・・・全領域指定部
９０・・・メインカメラ
１００・・・対物レンズ

Claims (8)

1. 病理検体が載置される検体載置領域を有するスライドの少なくとも前記検体載置領域の画像を第１の倍率でマクロ撮影するマクロ撮影部と、
   指定された撮影領域を前記第１の倍率よりも高い第２の倍率で顕微鏡撮影する顕微鏡撮影部と、
   マクロ撮影された前記画像を区画する複数の区画領域毎に前記病理検体の像の有無を判定する第１の判定部と、
   前記病理検体の像が含まれると判定された１以上の前記区画領域のまとまりを検体像領域として判定する第２の判定部と、
   前記検体像領域を拡張して拡張領域を生成し、当該拡張領域を前記撮影領域として前記顕微鏡撮影部に撮影させる領域拡張部と
   を具備する画像取得装置。
2. 請求項１に記載の画像取得装置であって、
   前記領域拡張部は、
   前記検体像領域の輝度値と、前記病理検体の像が含まれていないと判定された前記区画領域の輝度値との差が予め定められた第１の閾値より少ないとき、前記検体像領域を拡張して前記拡張領域を生成する
   画像取得装置。
3. 請求項２に記載の画像処理装置であって、
   前記領域拡張部は、
   前記検体像領域に含まれる前記区画領域の数が予め定められた第２の閾値より少ないとき、前記検体像領域をその外周方向に前記区画領域の単位で拡張して拡張領域を生成し、
   前記検体像領域に含まれる前記区画領域の数が予め定められた第２の閾値以上のとき、前記検体像領域をこの検体像領域を含む矩形領域に拡張して拡張領域を生成し、
   前記矩形領域は、
   前記検体像領域に含まれる縦方向の前記区画領域の数の最大値を当該矩形領域の前記縦方向に並ぶ前記区画領域の数とし、前記検体像領域に含まれる横方向の前記区画領域の数の最大値を当該矩形領域の前記横方向に並ぶ前記区画領域の数とする
   画像取得装置。
4. 請求項１に記載の画像取得装置であって、
   前記領域拡張部は、
   前記検体像領域内に前記病理検体の像が含まれていないと判定された前記区画領域が存在するとき、この区画領域を前記検体像領域に加えて前記拡張領域を生成する
   画像取得装置。
5. 請求項１に記載の画像取得装置であって、
   前記病理検体の像が含まれると判定された前記区画領域が無いとき、前記検体載置領域の全体を前記撮影領域として前記顕微鏡撮影部に撮影させる全領域指定部をさらに具備する
   画像取得装置。
6. 請求項３に記載の画像処理装置であって、
   前記第１の判定部は、
   前記検体像領域の輝度値と、前記病理検体の像が含まれていないと判定された前記区画領域の輝度値との差が予め定められた第１の閾値より少なく、かつ前記検体像領域に含まれる前記区画領域の数が予め定められた第２の閾値より少ないとき、
   前記病理検体の像の有無を判定するためのパラメータを調整して再度前記判定を行う
   画像取得装置。
7. マクロ撮影部が、病理検体が載置される検体載置領域を有するスライドの少なくとも前記検体載置領域の画像を第１の倍率でマクロ撮影し、
   第１の判定部が、マクロ撮影された前記画像を区画する複数の区画領域毎に前記病理検体の像の有無を判定し、
   第２の判定部が、前記病理検体の像が含まれると判定された１以上の前記区画領域のまとまりを検体像領域として判定し、
   領域拡張部が、前記検体像領域を拡張して拡張領域を生成し、
   顕微鏡撮影部が、前記生成された拡張領域を前記第１の倍率よりも高い第２の倍率で顕微鏡撮影する
   画像取得方法。
8. 病理検体が載置される検体載置領域を有するスライドの少なくとも前記検体載置領域を第１の倍率でマクロ撮影部にマクロ撮影させた画像を区画する複数の区画領域毎に前記病理検体の像の有無を判定する第１の判定部、
   前記病理検体の像が含まれると判定された１以上の前記区画領域のまとまりを検体像領域として判定する第２の判定部、
   前記検体像領域を拡張して拡張領域を生成し、当該拡張領域を前記第１の倍率よりも高い第２の倍率で顕微鏡撮影部に顕微鏡撮影させる領域拡張部として、コンピュータを機能させるための情報処理プログラム。