JP2013229706A - 画像取得装置、画像取得方法、および画像取得プログラム - Google Patents

Abstract

【課題】スライドガラス上のゴミの影響を自動的に排除してシェーディング補正に用いる基準画像を生成でき、ユーザの負担を軽減できる画像取得装置、画像取得方法、および画像取得プログラムを提供する。
【解決手段】測定スライドガラスの異なる複数の領域を撮像素子に撮像させて複数の画像を取得する画像取得部と、前記撮像素子の画素ごとに、前記取得された複数の画像において当該画素に対応する複数の輝度値のなかの、最大値を含む上位寄りの輝度値および最小値を含む下位寄りの輝度値を除く中間の輝度値を代表する輝度値を基準輝度値としてそれぞれ判定し、当該撮像素子の画素ごとの基準輝度値から、シェーディング補正用の基準画像を生成する基準画像生成部とを具備する。
【選択図】図９

Description

本技術は、顕微鏡においてシェーディング補正をする際に用いる基準画像を取得する画像取得装置、画像取得方法、および画像取得プログラムに関する。

従来から、撮像機器として、例えばＣＣＤ（Charge Coupled Device）等の撮像素子を備えたデジタルスチルカメラ等が広く用いられている。このような撮像機器により対象物を撮影するときには、得られる画像の明度又は輝度の分布を補正するためのシェーディング補正技術が用いられることが多い。

例えば、特許文献１には、撮像素子により得られた画像信号を処理することで、出力される画像の明度分布を補正する技術が開示されている。

特開２０１１−１２４９４８号公報

特許文献１に開示されている技術では、光学顕微鏡の観察領域に試料を配置しない、すなわちスライドガラスを置かない状態での、シェーディング補正用の基準画像の撮影を行っている。

しかし、特に蛍光顕微鏡では、スライドガラスの自家蛍光を考慮してシェーディング補正をおこなったほうがよい。その場合、基準画像の撮影時に生体サンプルを載せていないスライドガラスを観察領域に置く必要がある。

そして、スライドガラスを置く際に考慮しなければならないのが、スライドガラス上のゴミである。顕微鏡の工場出荷時にゴミの付着していないスライドガラスを用いて基準画像を撮影することは比較的容易であるが、工場出荷後にユーザがスライドガラスのゴミを完全にふき取って基準画像を撮影することは困難である。

以上のような事情に鑑み、本技術の目的は、スライドガラス上のゴミの影響を自動的に排除してシェーディング補正に用いる基準画像を生成でき、ユーザの負担を軽減できる画像取得装置、画像取得方法、および画像取得プログラムを提供することにある。

（１）本技術に係る情報処理装置は、上記の課題を解決するために、測定スライドガラスの異なる複数の領域を撮像素子に撮像させて複数の画像を取得する画像取得部と、前記撮像素子の画素ごとに、前記取得された複数の画像において当該画素に対応する複数の輝度値のなかの、最大値を含む上位寄りの輝度値および最小値を含む下位寄りの輝度値を除く中間の輝度値を代表する輝度値を基準輝度値としてそれぞれ判定し、当該撮像素子の画素ごとの基準輝度値から、シェーディング補正用の基準画像を生成する基準画像生成部とを具備する。

当該構成において、画像取得部が、撮像素子を用いて測定スライドガラスの異なる領域を撮影する。異なる領域を撮影するので、測定スライドガラスの上にゴミが載っていても同一のゴミが複数枚の画像の同じ場所に撮影されることはない。撮像素子のある位置の画素に着目すると、その画素の位置では、ゴミが無い場所が撮像されたりゴミがある場所が撮像されたりする。次に画像取得部により取得された複数枚の画像に亘り、撮像素子の画素ごとに、該画素の位置に対応した前記複数枚分の輝度値群の中から、基準輝度値を判定する。判定は、複数の輝度値のなかの、最大値を含む上位寄りの輝度値および最小値を含む下位寄りの輝度値を除く中間の輝度値を代表する輝度値を基準輝度値としてそれぞれ判定することにより行う。撮像素子のある位置の画素に注目して、その位置における輝度値の変化を、取得された複数枚の画像に亘って検討する。ゴミの影響を受けた輝度値は、影響を受けていない輝度値に比べてより暗くなったり、より明るくなったりしているので、取得された複数枚の画像に亘って輝度値の変化を検討することにより、どの輝度値がゴミの影響を受けているのかを判別することが可能である。全ての撮像素子の画素について、基準輝度値を求めることにより、基準画像が作成される。それ故、スライドガラス上のゴミの影響を自動的に排除してシェーディング補正に用いる基準画像を生成でき、ユーザの負担を軽減できるという効果がある。

（２）また、本技術に係る情報処理装置では、前記基準画像生成部は、前記撮像素子の画素ごとに、前記取得された複数の画像において当該画素に対応する複数の輝度値のなかの強度順の中央値を前記基準輝度値として判定する構成でもよい。この構成では、強度順に輝度値を並べるので、最大値を含む上位の所定数の輝度値および最小値を含む下位の所定数の輝度値は、配列の端に位置する。そこで端の値ではない中央値を判定の対象とすることにより、基準輝度値として判定することができる。

（３）また、本技術に係る情報処理装置では、前記測定スライドガラスは、生体サンプルが配置されていないスライドガラスおよび基準輝度値測定用のスライドガラスのいずれか一方である構成でもよい。生体サンプルが配置されていないスライドガラスの構成では、特別な測定用スライドガラスを用意する手間を省くことができ、基準輝度値測定用のスライドガラスの構成では、基準輝度値測定用に、よく拭いてゴミを少なくしたスライドガラスを用意できるので、より正確な基準画像を得ることができる。

（４）また、本技術に係る情報処理装置では、前記基準画像生成部は、前記撮像素子の画素ごとに、前記取得された複数の画像において当該画素に対応する複数の輝度値のなかの最頻出の輝度値を前記基準輝度値として判定する構成でもよい。この構成では、測定スライドガラスは基準画像の作成用によく拭いてあり、測定スライドガラス上では、ゴミのある場所のほうが、ゴミの無い場所よりも少ないことを仮定している。この場合、当該複数の輝度値において、ゴミの影響が無い輝度値が最も多くなるので、最頻出の輝度値を基準輝度値として判定することができる。

（５）また、本技術に係る情報処理方法では、画像取得部が、測定スライドガラスの異なる複数の領域を撮像素子に撮像させて複数の画像を取得し、基準画像生成部が、前記撮像素子の画素ごとに、前記取得された複数の画像において当該画素に対応する前記複数の輝度値のなかの、最大値を含む上位寄りの輝度値および最小値を含む下位寄りの輝度値を除く中間の輝度値を代表する輝度値を基準輝度値としてそれぞれ判定し、当該撮像素子の画素ごとの基準輝度値から、シェーディング補正用の基準画像を生成する。

（６）また、本技術に係る情報処理プログラムは、測定スライドガラスの異なる複数の領域を撮像素子に撮像させて複数の画像を取得する画像取得部、および前記撮像素子の画素ごとに、前記取得された複数の画像において当該画素に対応する複数の輝度値のなかの、最大値を含む上位寄りの輝度値および最小値を含む下位寄りの輝度値を除く中間の輝度値を代表する輝度値を基準輝度値としてそれぞれ判定し、当該撮像素子の画素ごとの基準輝度値から、シェーディング補正用の基準画像を生成する基準画像生成部としてコンピュータを機能させる。

（７）また、本技術に係る画像取得装置は、撮像素子を有する光学顕微鏡と、測定スライドガラスの異なる複数の領域を撮像素子に撮像させて複数の画像を取得する画像取得部と、前記撮像素子の画素ごとに、前記取得された複数の画像において当該画素に対応する複数の輝度値のなかの、最大値を含む上位寄りの輝度値および最小値を含む下位寄りの輝度値を除く中間の輝度値を代表する輝度値を基準輝度値としてそれぞれ判定し、当該撮像素子の画素ごとの基準輝度値から、シェーディング補正用の基準画像を生成する基準画像生成部とを具備する。

以上のように、本技術によれば、スライドガラス上のゴミの影響を自動的に排除してシェーディング補正に用いる基準画像を生成でき、ユーザの負担を軽減できる。

本実施形態に係る画像取得装置のうち、明視野画像を取得する画像取得装置１００の構成を示す図である。 データ処理部２０のハードウェアの構成を示すブロック図である。 本実施形態に係る画像取得装置のうち、蛍光画像を取得する画像取得装置２００の構成を示す図である。 画像取得装置１００および画像取得装置２００をバーチャルスライドスキャナとして用いる場合の、画像処理の流れを示すフローチャートである。 撮像素子１４および光学系にゴミが付着した様子を示す図である。 スライドガラスＳＧまたはカバーガラスＣＧにゴミが付着した様子を示す図である。 ステージ１１を水平方向に移動させて複数回の露光により撮影した画像を示す図である。 シェーディング補正処理の一般的な流れを示すフローチャートである。 本実施形態の画像取得装置１００または画像取得装置２００のデータ処理部２０の機能ブロック図である。 シェーディング補正用基準画像の作成方法の流れを示すフローチャートである。 画像取得部４３が取得した１０枚の画像の例を示す図である。 ある画素の輝度値を並べた配列の例である。 ある画素位置における輝度値の配列を輝度値の強度順にソートした例を示す図である。 画像Ａ１からＡ１０の全ての画素について、強さの順番に輝度値を並べ替えた画像である。 図１３に例示したソート結果から、中間の値の平均となる輝度値を抽出した例を示す図である。 全ての画素について、図１５と同様の処理を行い、画像Ｂ４からＢ７の輝度値を用いて基準画像を生成した例である。 輝度値のヒストグラムである。

以下、本技術に係る実施形態を、図面を参照しながら説明する。
＜第１の実施形態＞
最初に、本技術を開発した背景を説明し、次に本技術に係る画像取得装置の構成例を、明視野顕微鏡の場合と蛍光（暗視野）顕微鏡とについて説明する。その後、バーチャルスライドスキャナにおける画像処理手順を簡単に説明し、最後に本技術に係るシェーディング補正処理用の基準画像の取得方法を述べる。

［背景］
本実施の形態に係る画像取得装置は、バーチャルスライドスキャナとして用いることが想定されている。バーチャルスライドスキャナでは、小さな領域に分割して撮影した複数の画像を基に、スティッチングにより隣り合う画像を貼り合わせていく。その際には、背景の明るさを一様にする処理（シェーディング処理）を行わなければならない。

そもそも背景の明るさを合わせなければならない理由は、顕微鏡ではレンズを用いて照明をしているので、照明系に明るさの分布が出てきてしまうことにある。この明るさ分布を一様にするために、シェーディング処理をする必要がある。これは、明視野画像においても蛍光画像においても同様である。

シェーディング処理において補正をするためには、スライドガラスに生体サンプルＳＰＬを載せていない状態における基準画像を撮る必要がある。本技術は、この基準画像の撮り方に関するものである。

シェーディング補正では、イメージャーの上にゴミが乗っている場合、部分的に暗くなるので、補正しなければならない。レンズの上にゴミが乗っている場合、一様に暗くなる場合と一部のみがぼけて広がって暗くなる場合があり、光学系の場所により、ゴミの影響が違ってくる。ゴミには、ほぼ固定ではっきり映るゴミと、徐々にぼけるゴミがある。いずれのゴミに対しても補正を行わなければならない。

問題は、スライドガラスを置かないと照明の影響を正しく補正できないので、基準画像を撮る際には、必ずスライドガラスをステージ上に置かなければならないということである。特に蛍光画像では、自家蛍光と言ってスライドガラスが一様に光ることがあるので、それの補正をしなければならない。

しかし、スライドガラス上のゴミに対しては補正を行う必要が無い。それは、上記のとおり、イメージャー上のゴミや光学系のゴミは、撮影する全ての画像に影響を与えるのに対し、スライドガラス上のゴミは、そのスライドガラス上の一部の領域の撮影にしか影響を与えないからである。逆にスライドガラス上のゴミに対して補正を行ってしまうと、次にゴミが無いスライドガラスを用いて試料を撮るとゴミのあった個所に相当する画素が明るくなってしまい、画像が悪くなるという問題がある。

なお、シェーディング補正は、比較的多い頻度で行うことが望ましい。それは使用環境において、光学系やイメージャーにゴミがつく可能性が高いからである。ゴミがついた画像を処理すると、撮った画像にゴミがのってしまい暗くなったりして明るさが変わってしまうからである。

現在、よくおこなわれている基準画像を撮影する方法は、撮影時にスライドガラスをよく拭いてから、基準画像を撮影することである。しかし、クリーンルーム環境以外では、スライドガラス上のゴミを完全に無くすことは容易ではない。

工場出荷時には、スライドガラスをよく拭いて作業ができ、シェーディング補正用の適切な補正係数を得ることができる。しかし、工場出荷後に光学系に付着したゴミによる画質劣化に対応するためにユーザがこのような作業を行う事は難しい。

本技術の目的は、ユーザに負担をかけずに、シェーディング補正に用いる基準画像を撮ることである。容易に適切な基準画像を撮ることができれば、ユーザは頻繁に基準画像を撮れるので、シェーディング補正の補正係数を適切な状態に保てる。それ故、試料を撮影して得た画像の画質劣化を防止することができる。

［画像取得装置の構成（明視野顕微鏡）］
図１は本実施形態に係る画像取得装置のうち、明視野画像を取得する画像取得装置１００の構成を示す図である。

画像取得装置１００は明視野顕微鏡１０と、データ処理部２０とを有する。
明視野顕微鏡１０は、ステージ１１、光学系１２、光源ユニット１３、撮像素子１４、光源駆動部１５、ステージ駆動部１６、およびカメラ制御部１７を有する。

ステージ１１は、撮像対象である例えば組織切片、細胞又は染色体等の生体サンプルＳＰＬを配置可能な面を有する。ステージ１１は、その面に対して平行方向（ｘｙ軸）及び直交方向（ｚ軸方向）に移動自在に構成される。

ステージ１１の一方の面側には光学系１２が配され、ステージ１１の他方の面側には光源ユニット１３が配される。

光源ユニット１３は、光源駆動部１５による制御の下で光を出射し、該光をステージ１１に穿設される開口から、該ステージ１１の一方の面に配される生体サンプルＳＰＬに対して照射する。光源ユニット１３は、白色光を出力する白色ＬＥＤ（Light Emitting Diode）などを光源１３Ａとして有する。光源ユニット１３は、光源１３Ａから出射された光を略平行光に変換して生体サンプルＳＰＬに対する照明光とする集光レンズ１３Ｂを有する。

光学系１２は、照明光により得られる生体サンプルＳＰＬにおける一部の像を、対物レンズ１２Ａ及び結像レンズ１２Ｂによって所定の倍率に拡大する。対物レンズ１２Ａ及び結像レンズ１２Ｂにより拡大された像は撮像素子１４の撮像面に結像される。撮像素子１４としては、全画素に対応する全受光部での同時露光が可能な撮像素子、例えば、ＣＣＤ（Charge Coupled Device）イメージセンサ、およびＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサなどが用いられる。

光源駆動部１５は、データ処理部２０からの発光命令Ｓ１をもとに光源ユニット１３内の光源１３Ａに一定の駆動電流を供給して光源１３Ａを発光させるドライブ回路を少なくとも有する。

ステージ駆動部１６は、データ処理部２０からのステージ制御信号Ｓ２をもとにステージ１１を駆動するためのｘｙｚの３軸方向それぞれのステージ駆動電流を供給してステージ１１を３軸方向に移動させる。

カメラ制御部１７は、データ処理部２０からの露光制御信号Ｓ３をもとに撮像素子１４の制御を行う。カメラ制御部１７は、撮像素子１４から読み出された各画素に対応する信号（ＲＡＷデータ）をＡ／Ｄ（Analog to Digital）変換してデータ処理部２０に供給する。

データ処理部２０は、顕微鏡１０のカメラ制御部１７より供給されるＲＡＷデータに画像処理（後述）を行い、保存する。また、データ処理部２０は、所定のプログラムに基づいて光源駆動部１５、ステージ駆動部１６及び露光制御部１７をそれぞれ制御するための演算処理を実行する。

［データ処理部の構成］
次に、データ処理部２０の構成について説明する。
図２はデータ処理部２０のハードウェアの構成を示すブロック図である。

データ処理部２０は、演算制御を行うＣＰＵ(Central Processing Unit)２１、ＲＯＭ(Read Only Memory)２２、ＣＰＵ２１のワークメモリとなるＲＡＭ(Random Access Memory)２３、ユーザの操作に応じた命令を入力する操作入力部２４、インターフェイス部２５、表示部２６、記憶部２７及びこれらを互いに接続するバス２８を備える。

ＲＯＭ２２には、各種の処理を実行するためのプログラムが格納される。インターフェイス部２５には、明視野顕微鏡１０が接続される。

表示部２６には、液晶ディスプレイ、ＥＬ（Electro Luminescence）ディスプレイ又はプラズマディスプレイ等が適用される。記憶部２７には、ＨＤＤ（Hard Disk Drive）に代表される磁気ディスクもしくは半導体メモリ又は光ディスク等が適用される。

ＣＰＵ２１は、ＲＯＭ２２に格納される複数のプログラムのうち、操作入力部２４から与えられる命令に対応するプログラムをＲＡＭ２３に展開し、該展開したプログラムにしたがって、表示部２６及び記憶部２７を適宜制御する。またＣＰＵ２１は、ＲＡＭ２３に展開されたプログラムに従って、インターフェイス部２５を介して明視野顕微鏡１０の各部を適宜制御する。

［画像取得装置の構成（蛍光顕微鏡）］
図３は本実施形態に係る画像取得装置のうち、蛍光画像を取得する画像取得装置２００の構成を示す図である。なお、明視野顕微鏡１０と同じ部材についての説明は省略する。

画像取得装置２００は蛍光顕微鏡３０と、データ処理部２０とを有する。
蛍光顕微鏡３０は、ステージ１１、光学系１２、光源１３及び撮像素子１４を有する。

ステージ１１の上方には光学系１２が配置される。光学系１２は、対物レンズ１２Ａ、結像レンズ１２Ｂ、ダイクロイックミラー１２Ｃ、エミッションフィルタ１２Ｄ及び励起フィルタ１２Ｅを有する。光源１３は、例えば水銀ランプ等の電球やＬＥＤ（Light Emitting Diode）などであり、生体サンプルに付された蛍光標識に対する励起光を照射するものである。

励起フィルタ１２Ｅは、生体サンプルＳＰＬの蛍光像を得る場合に、光源１３から出射された光のうち蛍光色素を励起する励起波長の光のみを透過させることで励起光を生成する。ダイクロイックミラー１２Ｃは、当該励起フィルタで透過されて入射する励起光を反射させて対物レンズ１２Ａへ導く。対物レンズ１２Ａは、当該励起光を生体サンプルＳＰＬへ集光する。そして対物レンズ１２Ａ及び結像レンズ１２Ｂは、生体サンプルＳＰＬの像を所定の倍率に拡大し、当該拡大像を撮像素子１４の撮像面に結像させる。

生体サンプルＳＰＬに励起光が照射されると、生体サンプルＳＰＬの各組織に結合している染色剤が蛍光を発する。この蛍光は、対物レンズ１２Ａを介してダイクロイックミラー１２Ｃを透過し、エミッションフィルタ１２Ｄを介して結像レンズ１２Ｂへ到達する。エミッションフィルタ１２Ｄは、上記対物レンズ１２Ａによって拡大された、励起フィルタ１２Ｅを透過した光を吸収し発色光の一部のみを透過する。当該外光が喪失された発色光の像は、上述のとおり、結像レンズ１２Ｂにより拡大され、撮像素子１４上に結像される。

［バーチャルスライドスキャナにおける画像処理の流れ］
図４は、画像取得装置１００および画像取得装置２００をバーチャルスライドスキャナとして用いる場合の、画像処理の流れを示すフローチャートである。

最初に、データ処理部２０は、カメラ制御部１７を介して、撮像素子１４からＲＡＷ画像データを取得する。（ステップ１、以下Ｓ１と略す）

次に、データ処理部２０は、取得したＲＡＷ画像データの現像（デモザイク）処理を行い、ＲＡＷ画像データをカラー化する。（Ｓ２）

次に、データ処理部２０は、シェーディング処理を行い、複数枚撮影された画像の背景の明るさを均一にする。（Ｓ３）

次に、データ処理部２０は、カラーバランス（ホワイトバランス）補正を行い、本来無彩色の部分を無彩色に修正する。（Ｓ４）

次に、データ処理部２０は、ガンマ補正を行い、色のデータと、それが実際に出力される際の信号の相対関係を調節する。（Ｓ５）

次に、データ処理部２０は、８ビット化を行い、例えば１６ビットにより表されていた画像を８ビット画像に変換する。（Ｓ６）

次に、データ処理部２０は、ディストーション補正を行い、レンズの歪曲収差（ディストーション）を補正する。（Ｓ７）

次に、データ処理部２０は、スティッチングを行い、近接位置画像との相対位置情報の取得を行うことにより、隣り合う画像同士を貼り合わせる。（Ｓ８）

次に、データ処理部２０は、タイル化を行う。（Ｓ９）タイル化された画像にはそれぞれ各タイルの位置データが紐づけされる。なお、タイル化は画像データを高速に表示するために行うものであり、必須の処理ではない。

次に、データ処理部２０は、画像のＪＰＥＧ（Joint Photographic Experts Group）化などにより画像の圧縮を行う。（Ｓ１０）

最後に、データ処理部２０は、圧縮した画像を記憶部２７に保存する。（Ｓ１１）
このように、シェーディング処理は、バーチャルスライドスキャナの画像処理の一連の流れの中において行われる。

［付着するゴミの種類について］
ここでは、明視野顕微鏡１０および蛍光顕微鏡３０の、撮像素子１４を含んだ光学系およびスライドガラスに付着するゴミについて、明視野顕微鏡１０を用いた画像取得装置１００を例に説明を行う。

図５は、撮像素子１４および光学系にゴミが付着した様子を示す図である。ゴミＧ１は撮像素子１４の撮像面に付着したゴミであり、撮影画像の一部を局所的に暗くするゴミである。ゴミＧ２は結像レンズ１２Ｂ上にあり、ゴミＧ３は対物レンズ１２Ａ上にあり、ゴミＧ４は集光レンズ１３Ｂ上にある、ゴミＧ２からＧ４は、いずれも画像全体を暗くするゴミである。ゴミＧ５は、絞りＤＰ上のゴミであり、画像の一部を局所的に暗くするゴミである。

図６は、スライドガラスＳＧまたはカバーガラスＣＧにゴミが付着した様子を示す図である。ゴミＧ６は画像の一部を局所的に暗くするゴミであり、Ｇ７は画像の一部を局所的に明るくするゴミである。このように、ゴミには、画像を暗くするゴミに加えて、金属片などの画像を明るくするゴミもある。

スライドガラスＳＧ上のゴミＧ６およびＧ７、撮像素子１４上のゴミＧ１は共に画像において局所的に影響を与えるゴミであるが、画像の撮影を、撮影位置を変えながら複数回行うことにより、これらのゴミの影響を区別することができる。

以上の説明では、明視野顕微鏡１０を例に説明したが、蛍光顕微鏡３０においても同様であり、ほとんどのゴミは明るく光るが、黒色インクのように、画像を暗くするゴミもある。

図７は、ステージ１１をステージ面方向に移動させて複数回の露光により撮影した画像を示す図である。この図では、スライドガラスＳＧを載せたステージ１１を左右方向に動かし、４回露光させている。ゴミＭＧは、ステージ１１の移動に伴って撮影される位置が動いている。それに対し、ゴミＦＧは、ステージ１１が移動しても同じ位置に撮影されている。

この画像から分かることは、移動するゴミＭＧはスライドガラスＳＧまたはカバーガラスＣＧ上のゴミでありシェーディング補正を行う必要はなく、移動しないゴミＦＧは、撮像素子１４または光学系上のゴミであり、シェーディング補正を行う必要があるということである。なお、移動しないゴミＦＧのみに対してシェーディング補正を行う理由は、「背景」の項において述べたとおりである。

なお、上記の説明では、ステージ１１を移動させつつ４回の露光を行ったが、その代わりにステージを移動させるごとに１枚の画像を撮影した後、撮影された４枚の画像を合成することによっても同じ画像を取得できる。

［シェーディング補正処理の一般的な流れ］
シェーディング補正処理（明るさの補正）は、撮像素子１４の撮像面の場所、すなわち撮影した画像の番地ごとに所定の補正値を乗じる処理である。

具体的には、明視野画像の場合、何もないところが白色となり、ＲＧＢの画素値を０から２５５までの８ビットのデータにして保存する画像のうち、それぞれの画素値が２１０から２１５程度の値で一様になるようにシェーディング補正をしている。蛍光画像の場合は逆に、基準画像の何もない暗いところは、画素値が０ではなく一様に２０から７０の黒になるように補正をしている。

図８は、シェーディング補正処理の一般的な流れを示すフローチャートである。
最初に、ユーザが、基準画像を作成する。（Ｓ１００）

基準画像は、ユーザがスライドガラスＳＧをよく拭いてからスライドガラスＳＧに生体サンプルＳＰＬを載せずに画像撮影を行い、ゴミの写っていない画像を選択することにより作成する。なお、本実施形態では、ユーザが作成する代わりに、画像取得装置１００または画像取得装置２００が、自動的に基準画像を作成する。

次に、データ処理部２０は、作成された基準画像を基に、シェーディング補正用データの作成を行う。（Ｓ１０１）

シェーディング補正用データとは、目標とする輝度値（例えば54000）にシェーディング補正用の基準画像がなるように定められた数値の配列である。撮像素子１４の画素ごとに、（目標とする輝度値）÷（基準画像のデータ）を計算して求める。計算されたシェーディング補正用データは、記憶部２７に保存される。

具体的なデータは、例えば、ある画素について、目標とする輝度値が54000であり、基準画像の輝度値が50000の場合、シェーディング補正用データは、1.08となる。
以上のＳ１００およびＳ１０１の処理は、画像撮影の度に行うのではなく、使用環境におけるゴミの付着度合にもよるが、例えば、月１回程度行えばよい。

次に、データ処理部２０は、上記の「バーチャルスライドスキャナにおける画像処理の流れ」の項において説明したとおり、生体サンプルＳＰＬの画像が撮影されるたびに、シェーディング補正処理を行う。（Ｓ１０２）

シェーディング補正処理では、撮影された画像の画素ごとに、その輝度値に記憶部２７から取得したシェーディング補正用データをかける演算を行う。

［データ処理部２０の機能ブロック図］
図９は、本実施形態の画像取得装置１００または画像取得装置２００のデータ処理部２０の機能ブロック図である。

データ処理部２０（情報処理装置）は、スライドガラスＳＧ（測定スライドガラス）の異なる複数の領域を撮像素子１４に撮像させて複数の画像を取得する画像取得部４３（画像取得部）と、撮像素子１４の画素ごとに、取得された複数の画像において当該画素に対応する複数の輝度値のなかの、最大値を含む上位寄りの輝度値および最小値を含む下位寄りの輝度値を除く中間の輝度値を代表する輝度値を基準輝度値としてそれぞれ判定し、当該撮像素子１４の画素ごとの基準輝度値から、シェーディング補正用の基準画像を生成する基準画像生成部４５（基準画像生成部）とを具備している。

ＣＰＵ２１は、シェーディング補正用基準画像の作成命令を操作入力部２４から受けた場合、該作成命令に対応するプログラムをＲＡＭ２３に展開する。

ＣＰＵ２１は、シェーディング補正用基準画像の作成命令に対応するプログラムに従って、図９に示すように、ステージ制御部４１、光源制御部４２、画像取得部４３、ソート部４４、基準画像生成部４５として機能する。

すなわち、上記のプログラムは、スライドガラスＳＧ（測定スライドガラス）の異なる複数の領域を撮像素子１４に撮像させて複数の画像を取得する画像取得部４３（画像取得部）、および撮像素子１４の画素ごとに、取得された複数の画像において当該画素に対応する複数の輝度値のなかの、最大値を含む上位寄りの輝度値および最小値を含む下位寄りの輝度値を除く中間の輝度値を代表する輝度値を基準輝度値としてそれぞれ判定し、当該撮像素子１４の画素ごとの基準輝度値から、シェーディング補正用の基準画像を生成する基準画像生成部４５（基準画像生成部）としてコンピュータを機能させるためのプログラムである。

ステージ制御部４１は、ステージ駆動部１６を制御信号Ｓ２により制御することにより、ステージ１１の移動を行う。

光源制御部４２は、光源駆動部１５を制御信号Ｓ１により制御することにより、光源１３Ａの制御を行う。

画像取得部４３は、カメラ制御部を信号Ｓ３により制御することにより、画像の撮影を行い、撮影された画像を撮像素子１４からカメラ制御部１７を介して取得する。

ソート部４４は、画像取得部４３により取得された複数枚の画像について、画素ごとにソートを行う。

基準画像生成部４５は、ソートされた画素毎の輝度値から、基準画像に用いることができる値を抽出し、基準画像を生成し、記憶部２７に保存する。

なお、本実施形態の画像取得装置１００または画像取得装置２００（画像取得装置）は、撮像素子１４（撮像素子）を有する明視野顕微鏡１０または蛍光顕微鏡３０（光学顕微鏡）と、スライドガラスＳＧ（測定スライドガラス）の異なる複数の領域を撮像素子１４に撮像させて複数の画像を取得する画像取得部４３（画像取得部）と、撮像素子１４の画素ごとに、取得された複数の画像において当該画素に対応する複数の輝度値のなかの、最大値を含む上位寄りの輝度値および最小値を含む下位寄りの輝度値を除く中間の輝度値を代表する輝度値を基準輝度値としてそれぞれ判定し、当該撮像素子１４の画素ごとの基準輝度値から、シェーディング補正用の基準画像を生成する基準画像生成部４５（基準画像生成部）とを具備している。

［シェーディング補正用基準画像の作成方法］
作成方法の概略は、画像取得部４３（画像取得部）が、スライドガラスＳＧ（測定スライドガラス）の異なる複数の領域を撮像素子１４に撮像させて複数の画像を取得し、
基準画像生成部４５（基準画像生成部）が、撮像素子１４の画素ごとに、取得された複数の画像において当該画素に対応する複数の輝度値のなかの、最大値を含む上位寄りの輝度値および最小値を含む下位寄りの輝度値を除く中間の輝度値を代表する輝度値を基準輝度値としてそれぞれ判定し、当該撮像素子１４の画素ごとの基準輝度値から、シェーディング補正用の基準画像を生成するということである。

図１０は、シェーディング補正用基準画像の作成方法の流れを示すフローチャートである。図１０から図１５を用いて、本実施形態に係るシェーディング補正用基準画像の作成方法を説明する。

最初に、画像取得部４３が、ステージ制御部４１を介してステージ面方向にステージ１１の移動を行いながら、撮像素子１４により複数枚の画像の撮影を行う。（Ｓ２００）

撮影時には、ステージ１１上に生体サンプルＳＰＬを配置しない空のスライドガラスＳＧおよびカバーガラスＣＧを置いておく。なお、スライドガラスＳＧおよびカバーガラスＣＧをある程度きれいにして用意しておき、基準輝度値測定用スライドガラスとしてもよい。

Ｓ２００のステップにおいては、スライドガラスＳＧおよびカバーガラスＣＧがある程度きれいにされた状態にあること、すなわち、「ゴミの影響がある領域は、ゴミの影響がある領域よりも少ない」ということを仮定している。

ステージ１１の移動方向は、スライドガラスＳＧ上のゴミの像がなるべく重ならないように、ＸＹ方向、すなわちステージ１１の面方向に行うのがよい。また、ステージ１１の移動量は、スライドガラスＳＧ上のゴミの像が、複数枚の画像においてなるべく重ならない量がよい。

図１１は、画像取得部４３が取得した１０枚の画像の例を示す図である。１枚目の画像Ａ１には、ゴミＦＧ１およびゴミＭＧ１が写っている。同様に、二枚目の画像Ａ２には、ゴミＦＧ１およびゴミＭＧ２が写っており、ゴミＦＧ１は、画像Ａ１における位置と同じ位置に写っている。画像Ａ１からＡ１０に写っているゴミのうち、ゴミＭＧ１、ＭＧ５、およびＭＧ６は、背景より暗く写っているゴミであり、ゴミＭＧ２、ＭＧ３、ＭＧ４、ＭＧ７、ＭＧ８、ＭＧ９、およびＭＧ１０は、背景より明るく写っているゴミである。

図１２は、上記１０枚の画像において、ある画素の輝度値を並べた配列の例である。この例では、座標（１００，１００，１）の画素の位置では、画像Ａ１では輝度値が１００になり、同様に、画像Ａ３では１５０、画像Ａ５では３０になっていることを表している。

この例から言えることは、撮像素子１４の座標（１００，１００，１）に相当する画素では、通常の背景色では輝度値が１００であり、画像Ａ３を撮影した際には、画像を明るくするゴミが写りこみ、輝度値が１５０に増え、逆に画像Ａ５を撮影した際には、画像を暗くするゴミが写りこみ、輝度値が３０に減っているということである。

次に、ソート部４４が、撮影した複数枚の画像に亘って、撮像素子１４の画素の位置ごとに、輝度値を強さ順にソートする。（Ｓ２０１）

図１３は、図１２において例示した、ある画素位置における輝度値の配列を輝度値の強度順にソートした例を示す図である。輝度値が、最も低い２０から最も高い１５０の順に並べ替えられている。

図１４は、画像Ａ１からＡ１０の全ての画素について、強さの順番に輝度値を並べ替えた画像である。最も暗い輝度値の画素から構成される画像Ｂ１には、全ての画像Ａ１からＡ１０までに写っていたゴミＦＧ１、背景色よりも暗いゴミＭＧ１、ＭＧ５、およびＭＧ６が現れる。画像Ｂ２からＢ８までには、ゴミＦＧ１のみが現れる。画像Ｂ１０には、背景色よりも明るいゴミＭＧ３、ＭＧ４、ＭＧ７、ＭＧ８、ＭＧ１０が現れる。ゴミＭＧ２およびＭＧ９が、画像Ｂ１０ではなく、Ｂ９に現れている理由は、ゴミＭＧ３などよりやや暗いゴミであり、ソートした際により明るい輝度値があったからである。

次に、基準画像生成部４５が、スライドガラスＳＧ上のゴミ（ステージ１１の移動に合わせて動くゴミ）が現れている確率が低いと予想される中間の輝度値の平均を基準輝度値として用いて、シェーディング用の基準画像を生成する。（Ｓ２０２）

このステップにおいて行っている作業は、すなわち、基準画像生成部４５が、撮像素子１４の画素ごとに、取得された複数の画像において当該画素に対応する複数の輝度値のなかの、最大値を含む上位寄りの輝度値および最小値を含む下位寄りの輝度値を除く中間の輝度値を代表する輝度値を基準輝度値としてそれぞれ判定し、撮像素子１４の画素ごとの基準輝度値から、シェーディング補正用の基準画像を生成するということである。

Ｓ２００において、「ゴミの影響がある領域は、ゴミの影響がある領域よりも少ない」ということを仮定しているので、ゴミの影響がある撮影画像は少なく、ゴミの影響が無い撮影画像のほうが多いことになる。それ故、１０回撮影した画像の画素毎の輝度値を強度順に並べて配列とした場合、その中間付近の輝度値はゴミの影響が無い数値であると考えられる。

図１５は、図１３に例示したソート結果から、中間の値となる輝度値の平均を基準輝度値として抽出した例を示す図である。この例では、画像Ｂ４から画像Ｂ７の輝度値の平均を採用しており、この画素の、基準画像における基準輝度値は１００とされる。このように、極めてゴミの影響の無い安定したデータを取得することができる。

図１６は、全ての画素について、図１５と同様の処理を行い、画像Ｂ４からＢ７の輝度値の平均を用いて基準画像を生成した例である。この図では、シェーディング補正処理を行う必要が無い、ステージ１１の移動に伴い動くゴミは全て排除され、シェーディング補正処理を行う必要がある、ステージ１１が移動しても動かないゴミＦＧ１のみが現れた画像となっている。

以上の手順により、基準画像が生成される。基準画像を生成した後、シェーディング補正処理を行うまでの手順は上述した通りである。

なお、上記の手順では、輝度順にソートした結果として、画像Ｂ１からＢ１０まで、１０枚の画像を作成しているが、必ずしも１０枚作成する必要はない。用いる輝度値は、中間の値の平均であるため、上記の例では、画像Ｂ４からＢ７までを作成すれば、基準画像を生成するには十分である。

［基準画像作成用に撮影する枚数について］
上記の例では１０枚の画像を撮影したが、撮影枚数はより少なくてもよい。明視野画像の場合または画像を明るくするゴミの混入が無いと想定される場合においては、２回の撮影を行えばよい。そして撮影した２枚の画像において各画素の輝度値のうち輝度の高いほうの数値を基準輝度値として採用する。蛍光顕微鏡の場合は、輝度を明るくするゴミは容易に想定できるので、３回の撮影を行い、中間の値（中央値とも言える）となる２番目の輝度値を基準輝度値として採用する。

すなわち、本技術に係る最少撮影回数は、明視野顕微鏡の場合または画像を明るくするゴミの混入が無いと想定される場合においては２回であり、蛍光顕微鏡の場合においては３回である。

＜実施形態の変形例１＞
上記第１の実施形態では、シェーディング補正用の基準画像を取得する際、画素の基準輝度値を得るに当たり、輝度値を大きさ順に並べ替えて、その中間の値の平均を取った。しかし、ソートして中間の値の平均を取る代わりに、ソートして数学的な中央値を求め、その中央値の輝度値を、基準画像における、その画素の基準輝度値とする構成でもよい。

具体的には、図１４の例では、画像が偶数枚あるので画像Ｂ５およびＢ６の輝度値の算術平均を計算し基準輝度値とする。この方法によっても、図１６と同様に、シェーディング補正処理を行う必要が無い、ステージ１１の移動に伴い動くゴミは全て排除され、シェーディング補正処理を行う必要がある、ステージ１１が移動しても動かないゴミＦＧ１のみが現れた画像を得られる。

＜実施形態の変形例２＞
上記第１の実施形態では、シェーディング補正用の基準画像を取得する際、画素の基準輝度値を得るに当たり、輝度値を大きさ順に並べ替えて、その中間の値の平均を取った。しかし、ソートして中間の値の平均を取る代わりに、図１７に示すように、輝度値のヒストグラムを作成し、最も出現頻度が高い輝度値を、基準画像における、その画素の基準輝度値とする構成でもよい。この方法によっても、図１６に示す画像と同様の結果が得られる。

なお、本技術は以下のような構成も採ることができる。
（１）測定スライドガラスの異なる複数の領域を撮像素子に撮像させて複数の画像を取得する画像取得部と、前記撮像素子の画素ごとに、前記取得された複数の画像において当該画素に対応する複数の輝度値のなかの、最大値を含む上位寄りの輝度値および最小値を含む下位寄りの輝度値を除く中間の輝度値を代表する輝度値を基準輝度値としてそれぞれ判定し、当該撮像素子の画素ごとの基準輝度値から、シェーディング補正用の基準画像を生成する基準画像生成部とを具備する情報処理装置。
（２）前記（１）に記載の情報処理装置であって、前記基準画像生成部は、前記撮像素子の画素ごとに、前記取得された複数の画像において当該画素に対応する複数の輝度値のなかの強度順の中央値を前記基準輝度値として判定する情報処理装置。
（３）前記（１）または（２）に記載の情報処理装置であって、前記測定スライドガラスは、生体サンプルが配置されていないスライドガラスおよび基準輝度値測定用のスライドガラスのいずれか一方である情報処理装置。
（４）前記（１）から（３）のうちいずれか１つに記載の情報処理装置であって、前記基準画像生成部は、前記撮像素子の画素ごとに、前記取得された複数の画像において当該画素に対応する複数の輝度値のなかの最頻出の輝度値を前記基準輝度値として判定する情報処理装置。
（５）画像取得部が、測定スライドガラスの異なる複数の領域を撮像素子に撮像させて複数の画像を取得し、基準画像生成部が、前記撮像素子の画素ごとに、前記取得された複数の画像において当該画素に対応する前記複数の輝度値のなかの、最大値を含む上位寄りの輝度値および最小値を含む下位寄りの輝度値を除く中間の輝度値を代表する輝度値を基準輝度値としてそれぞれ判定し、当該撮像素子の画素ごとの基準輝度値から、シェーディング補正用の基準画像を生成する情報処理方法。
（６）測定スライドガラスの異なる複数の領域を撮像素子に撮像させて複数の画像を取得する画像取得部、および前記撮像素子の画素ごとに、前記取得された複数の画像において当該画素に対応する複数の輝度値のなかの、最大値を含む上位寄りの輝度値および最小値を含む下位寄りの輝度値を除く中間の輝度値を代表する輝度値を基準輝度値としてそれぞれ判定し、当該撮像素子の画素ごとの基準輝度値から、シェーディング補正用の基準画像を生成する基準画像生成部としてコンピュータを機能させるための情報処理プログラム。
（７）撮像素子を有する光学顕微鏡と、測定スライドガラスの異なる複数の領域を撮像素子に撮像させて複数の画像を取得する画像取得部と、前記撮像素子の画素ごとに、前記取得された複数の画像において当該画素に対応する複数の輝度値のなかの、最大値を含む上位寄りの輝度値および最小値を含む下位寄りの輝度値を除く中間の輝度値を代表する輝度値を基準輝度値としてそれぞれ判定し、当該撮像素子の画素ごとの基準輝度値から、シェーディング補正用の基準画像を生成する基準画像生成部とを具備する画像取得装置。

１０ 明視野顕微鏡
１１ ステージ
１２ 光学系
１２Ａ 対物レンズ
１２Ｂ 結像レンズ
１２Ｃ ダイクロイックミラー
１２Ｄ エミッションフィルタ
１２Ｅ 励起フィルタ
１３ 光源ユニット
１３Ａ 光源
１３Ｂ 集光レンズ
１４ 撮像素子
１５ 光源駆動部
１６ ステージ駆動部
１７ カメラ制御部
２０ データ処理部
２１ ＣＰＵ
２３ ＲＡＭ
２４ 入力操作部
２７ 記憶部
３０ 蛍光顕微鏡
４１ ステージ制御部
４２ 光源制御部
４３ 画像取得部
４４ ソート部
４５ 基準画像生成部
１００ 画像取得装置（明視野顕微鏡の）
２００ 画像取得装置（蛍光顕微鏡の）

Claims (7)

1. 測定スライドガラスの異なる複数の領域を撮像素子に撮像させて複数の画像を取得する画像取得部と、
   前記撮像素子の画素ごとに、前記取得された複数の画像において当該画素に対応する複数の輝度値のなかの、最大値を含む上位寄りの輝度値および最小値を含む下位寄りの輝度値を除く中間の輝度値を代表する輝度値を基準輝度値としてそれぞれ判定し、当該撮像素子の画素ごとの基準輝度値から、シェーディング補正用の基準画像を生成する基準画像生成部と
   を具備する情報処理装置。
2. 請求項１に記載の情報処理装置であって、
   前記基準画像生成部は、前記撮像素子の画素ごとに、前記取得された複数の画像において当該画素に対応する複数の輝度値のなかの強度順の中央値を前記基準輝度値として判定する
   情報処理装置。
3. 請求項２に記載の情報処理装置であって
   前記測定スライドガラスは、生体サンプルが配置されていないスライドガラスおよび基準輝度値測定用のスライドガラスのいずれか一方である
   情報処理装置。
4. 請求項１に記載の情報処理装置であって、
   前記基準画像生成部は、前記撮像素子の画素ごとに、前記取得された複数の画像において当該画素に対応する複数の輝度値のなかの最頻出の輝度値を前記基準輝度値として判定する
   情報処理装置。
5. 画像取得部が、測定スライドガラスの異なる複数の領域を撮像素子に撮像させて複数の画像を取得し、
   基準画像生成部が、前記撮像素子の画素ごとに、前記取得された複数の画像において当該画素に対応する前記複数の輝度値のなかの、最大値を含む上位寄りの輝度値および最小値を含む下位寄りの輝度値を除く中間の輝度値を代表する輝度値を基準輝度値としてそれぞれ判定し、当該撮像素子の画素ごとの基準輝度値から、シェーディング補正用の基準画像を生成する
   情報処理方法。
6. 測定スライドガラスの異なる複数の領域を撮像素子に撮像させて複数の画像を取得する画像取得部、および
   前記撮像素子の画素ごとに、前記取得された複数の画像において当該画素に対応する複数の輝度値のなかの、最大値を含む上位寄りの輝度値および最小値を含む下位寄りの輝度値を除く中間の輝度値を代表する輝度値を基準輝度値としてそれぞれ判定し、当該撮像素子の画素ごとの基準輝度値から、シェーディング補正用の基準画像を生成する基準画像生成部として
   コンピュータを機能させるための情報処理プログラム。
7. 撮像素子を有する光学顕微鏡と、
   測定スライドガラスの異なる複数の領域を撮像素子に撮像させて複数の画像を取得する画像取得部と、
   前記撮像素子の画素ごとに、前記取得された複数の画像において当該画素に対応する複数の輝度値のなかの、最大値を含む上位寄りの輝度値および最小値を含む下位寄りの輝度値を除く中間の輝度値を代表する輝度値を基準輝度値としてそれぞれ判定し、当該撮像素子の画素ごとの基準輝度値から、シェーディング補正用の基準画像を生成する基準画像生成部と
   を具備する画像取得装置。

Images