JP6196607B2 - 画像処理方法、制御プログラムおよび画像処理装置 - Google Patents

Description

この発明は、画像処理方法、制御プログラムおよび画像処理装置に関するものであり、特に画像処理によって全焦点画像を作成する技術に関する。

撮像対象物を撮像して画像処理を施す技術が、医療や生化学の分野、より具体的には例えば培地内で培養された細胞などの生物試料の観察・分析等の目的に適用されることがある。ここで、撮像対象物である試料において細胞あるいは複数の細胞が集合してなる細胞集塊（以下、これらを総称して「細胞等」と称する）が培地内で三次元的に分布している場合、その全体に焦点が合った画像が得られないことがあり得る。このような問題に対応するために、撮像方向に沿って焦点位置を多段階に異ならせて複数の画像を撮像し、各画像から焦点の合った部分のみを抽出して合成することで、いわゆる全焦点画像を作成する技術が提案されている。

例えば特許文献１に記載の技術では、合焦画像では標本（撮像対象物）のエッジ部分の輝度変化が特に大きいことに着目し、撮像方向における焦点位置の変化に伴うエッジ部分の画素の輝度変化に基づいて、当該画素における合焦位置が特定される。合焦位置にあると判定された画素（以下、「合焦画素」と称する）を配列して画像を構成することにより、全焦点画像を自動的に作成することが可能となる。

特開２０１０−１６６２４７号公報（例えば、段落００３０）

上記従来技術では、比較的明瞭なエッジおよびテクスチャを有する標本を対象物として、焦点深さの異なる複数の画像から抽出された合焦画素がつなぎ合わされて全焦点画像が作成される。しかしながら、培地中で三次元培養された細胞等では、そもそもその輪郭や表面のテクスチャが必ずしも鮮明なものとは限らない。そのため、上記従来技術のように画素単位でのつなぎ合わせを行った場合、細胞等の内部の像が却って不自然になってしまうことがあった。

この発明は上記課題に鑑みなされたものであり、三次元培養された細胞等を対象とした場合に好適な全焦点画像の作成技術を提供することを目的とする。

培地中で三次元培養される細胞またはその集塊（細胞等）を含む試料では、サイズや形状が一定でない細胞等が、三次元的に分布、つまり撮像方向およびこれに直交する方向のそれぞれにおける様々な位置に点在している。また、各細胞等自体も、撮像方向およびこれに直交する方向への広がりを有している。以下に説明する各発明は、このような特徴に鑑みて考案されたものである。

この発明の一の態様は、培地中で三次元培養された細胞を含む試料の画像を作成する画像処理方法であって、上記目的を達成するため、撮像方向に沿った方向に焦点位置を互いに異ならせて前記試料を撮像した複数の原画像を取得する画像取得工程と、前記複数の原画像の各々において、当該原画像を構成する画素のエッジ強度を算出し、前記複数の原画像間で同一位置に対応する画素を比較して最もエッジ強度が高い画素を選出する画素選出工程と、前記複数の原画像を合成して合成画像を作成する画像合成工程とを備え、前記画像合成工程では、前記画素選出工程において前記複数の原画像から選出された画素のうち比較的高いエッジ強度を有するものを輪郭画素として、該輪郭画素の位置を輪郭の位置とする前記合成画像内のオブジェクト領域を特定し、一の前記オブジェクト領域内に、前記画素選出工程において選出された画素を当該オブジェクト領域内に最も多く含む一の前記原画像から抽出された画素を配する。

また、この発明の他の態様は、培地中で三次元培養された細胞を含む試料の画像を作成する画像処理装置であって、上記目的を達成するため、撮像方向に沿った方向に焦点位置を互いに異ならせて前記試料を撮像した複数の原画像を取得する画像取得手段と、前記複数の原画像を合成して合成画像を作成する画像処理手段とを備え、前記画像処理手段は、前記複数の原画像の各々において、当該原画像を構成する画素のエッジ強度を算出し、前記複数の原画像間で同一位置に対応する画素を比較して最もエッジ強度が高い画素を選出し、選出された画素のうち比較的高いエッジ強度を有するものを輪郭画素として、該輪郭画素の位置を輪郭の位置とする前記合成画像内のオブジェクト領域を特定し、一の前記オブジェクト領域内に、前記選出された画素を当該オブジェクト領域内に最も多く含む一の前記原画像から抽出された画素を配することで前記合成画像を作成する。

上記のように構成された発明では、複数の原画像間で同一位置に対応する画素のエッジ強度が比較され、最もエッジ強度が高い画素が選出される。こうして選出される画素は当該位置において細胞等を最も鮮明に撮像した原画像に属していたものと考えられる。つまり、当該位置では、選出された画素を含む原画像が最も合焦状態に近い状態で撮像されたと考えることができる。こうして選出された画素のうち、比較的高いエッジ強度を有するものが細胞等の輪郭を表す輪郭画素と見なされる。

焦点位置の異なる複数の原画像から選出された画素により表される輪郭は、三次元空間に広がりを有する細胞等を撮像方向に直交する画像平面に投影した、つまり十分に大きな被写界深度を有する撮像装置により細胞等の全体を合焦状態で撮像したときの輪郭に相当するものである。したがって、細胞等の輪郭については、合焦状態で撮像された画像と同程度の精度で合成画像に表すことができる。

こうして特定される輪郭に囲まれる領域が合成画像中のオブジェクト領域とされ、その画像内容については、各原画像のうち、エッジ強度が最も高いとして選出された画素を当該オブジェクト領域内に最も多く含む一の原画像から採られたものとされる。これにより、輪郭内部は単一の原画像に表れたテクスチャを維持したものとなり、しかも元となる原画像は、当該領域について合焦状態に最も近いものが選ばれることになる。

このように、本発明によれば、培地中で三次元培養される細胞等の特徴に鑑みて、複数の原画像間で同一位置に対応する画素のうち最もエッジ強度の高い画素が選出され、さらにそのうちエッジ強度が比較的高い画素によって、合成画像における細胞等の輪郭が特定される。そして、当該輪郭の内部に、原画像のうち当該領域を最も合焦状態に近い状態で撮像された原画像の内容が適用される。このため、原画像に含まれるテクスチャがそのまま合成画像に表れる。このようにして得られる合成画像は、種々の位置に点在する細胞等を良好な画像品質で撮像した全焦点画像となる。すなわち、上記発明によれば、細胞が三次元培養された試料の全焦点画像を良好な画像品質で作成することができる。

また、この発明の他の態様は、培地中で三次元培養された細胞を含む試料の画像を作成する画像処理方法であって、上記目的を達成するため、撮像方向に沿った方向に焦点位置を互いに異ならせて前記試料を撮像した複数の原画像を取得する画像取得工程と、前記複数の原画像の各々において、当該原画像を構成する画素のうち比較的高いエッジ強度を有する輪郭画素を特定し、該輪郭画素を輪郭とするオブジェクト領域を抽出する領域抽出工程と、前記複数の原画像の各々から抽出された前記オブジェクト領域内の画素を一の画像に、かつ前記原画像内での当該画素の位置に対応する位置に配した合成画像を作成する画像合成工程とを備え、前記画像合成工程では、異なる前記原画像からそれぞれ抽出された複数の前記オブジェクト領域が少なくとも一部において前記合成画像内で重複するか否かを判断し、重複があるとき、当該重複する領域内の画素については、重複する複数の前記オブジェクト領域のうち輪郭が最も鮮明な前記オブジェクト領域の画素を配する。

また、この発明の他の態様は、培地中で三次元培養された細胞を含む試料の画像を作成する画像処理装置であって、上記目的を達成するため、撮像方向に沿った方向に焦点位置を互いに異ならせて前記試料を撮像した複数の原画像を取得する画像取得手段と、前記複数の原画像を合成して合成画像を作成する画像処理手段とを備え、前記画像処理手段は、前記複数の原画像の各々において、当該原画像を構成する画素のうち比較的高いエッジ強度を有する輪郭画素を特定し、該輪郭画素を輪郭とするオブジェクト領域を抽出し、前記複数の原画像の各々から抽出された前記オブジェクト領域内の画素を一の画像に、かつ前記原画像内での当該画素の位置に対応する位置に配した合成画像を作成し、しかも、異なる前記原画像からそれぞれ抽出された複数の前記オブジェクト領域が少なくとも一部において前記合成画像内で重複するか否かを判断し、重複があるとき、当該重複する領域内の画素については、重複する複数の前記オブジェクト領域のうち輪郭が最も鮮明な前記オブジェクト領域の画素を配することで前記合成画像を作成する。

上記のように構成された発明では、撮像方向に沿った方向に焦点位置が互いに異なる複数の原画像が用いられる。このため、種々の位置に分布する細胞等の各々を、いずれかの原画像に合焦状態に近い状態で含ませることが可能である。そして、各原画像内で比較的高いエッジ強度を有する画素に囲まれた領域がオブジェクト領域として抽出される。培地中で培養された細胞等を撮像した画像においては、比較的均一な背景中に細胞等の像が点在している。したがって、比較的高いエッジ強度を有する画素に囲まれたオブジェクト領域の各々は、細胞等の像に対応するものと考えられる。

一の原画像でオブジェクト領域が見出され、他の原画像の同一位置に対応するオブジェクト領域がないとき、当該一の原画像で検出されたオブジェクト領域が、細胞等を最も合焦状態に近い状態で撮像した像を含む蓋然性が高いということができる。このため、当該オブジェクト領域内の画素全体が、合成画像を構成する画素に適用される。一方、複数の原画像間で同一位置にオブジェクト領域が存在するとき、互いに重複する領域については、輪郭が最も鮮明なオブジェクト領域の画素が適用される。これにより、最も合焦状態に近い像を合成画像に反映させることができる。

このように、本発明によれば、培地中で三次元培養される細胞等の特徴に鑑みて、１つの原画像からエッジ強度に基づき抽出されたオブジェクト領域が、他の原画像から抽出されたオブジェクト領域と重複しないとき、当該オブジェクト領域内の画素が合成画像における画素とされる。このため、原画像に含まれるテクスチャがそのまま合成画像に表れる。一方、オブジェクト領域の重複があるときには、そのうち輪郭が最も鮮明なオブジェクト領域の画素が適用される。これにより、当該オブジェクト領域に対応する細胞等については、最も合焦状態に近い状態で撮像された原画像のテクスチャを合成画像に含ませることができる。

また、複数の原画像間でオブジェクト領域の一部が重複する場合、重複する領域についてのみ、上記した鮮明さに基づく選択がなされることにより、例えば撮像方向に位置の異なる複数の細胞等が撮像方向から見て重なっている場合でも、手前側の細胞等と奥の細胞等とを個別に取り扱うことが可能となる。

このようにして得られる合成画像は、種々の位置に点在する細胞等を良好な画像品質で撮像した全焦点画像となる。すなわち、上記発明によれば、細胞が三次元培養された試料の全焦点画像を良好な画像品質で作成することができる。

また、この発明のさらに他の態様は、上記した画像処理方法のいずれかをコンピューターに実行させるための制御プログラムである。上記の画像処理方法は、一般的な計算処理機能を有するコンピューターにより実行可能な処理の組み合わせにより構成されている。したがって、本発明の制御プログラムをコンピューターに実行させることで、当該コンピューターを上記の画像処理方法を実行する画像処理装置として機能させることが可能となる。

上記において、「輪郭画素を輪郭とする領域」、「輪郭画素の位置を輪郭の位置とする領域」は、画像内で輪郭画素とされる画素により実質的に囲まれた領域を意味し、画像において連続する輪郭画素で囲まれる領域のほか、不連続な輪郭画素間を適宜の補間方法により保管して得られた輪郭により囲まれる領域、および輪郭と画像端とで囲まれる領域などを含む概念である。

上記のように、本発明によれば、培地中で細胞が三次元培養された試料の全焦点画像を作成するのに好適な画像処理技術を提供することができる。

この発明にかかる画像処理方法および画像処理装置を適用可能な撮像装置の一実施形態を示す図である。 撮像対象となる生物試料の例を示す図である。 試料を撮像する際に生じうる問題点を模式的に示す図である。 フォーカスブラケット撮像により得られる画像の例を説明する図である。 全焦点画像を作成する第１の方法を示すフローチャートである。 処理の過程で作成される画像を示す図である。 全焦点画像を作成する第２の方法を示すフローチャートである。 この処理の原理を説明する図である。 第２の方法により作成される合成画像の例を示す図である。

図１はこの発明にかかる画像処理方法および画像処理装置を適用可能な撮像装置の一実施形態を示す図である。この撮像装置１は、試料容器Ｄに担持された生物試料を撮像対象物として撮像する撮像ユニット１０と、撮像ユニット１０を制御するとともに撮像された画像に適宜の画像処理を施す制御ユニット２０とを備えている。

この撮像装置１が撮像対象物として取り扱う試料は、例えば浅皿型のディッシュのような試料容器Ｄに担持された培地中で、細胞やその集まりである細胞コロニー（細胞等）が培養されたものである。特に細胞コロニーが球状の集塊をなすとき、このような細胞集塊はスフェロイドとも呼ばれる。培地は例えば軟寒天と培養液とを含み、試料容器Ｄに所定量注入される。したがって、試料容器Ｄの内底面には一定の厚みの培地の層が担持される。この培地に細胞が播種され所定の培養条件で培養されることにより、撮像対象物となる生物試料が作成される。

撮像ユニット１０は、試料容器Ｄを略水平姿勢に支持するホルダ１１と、ホルダ１１に支持される試料容器Ｄの上方に配置され試料容器Ｄに向けて照明光を照射する照明部１３と、ホルダ１１に支持される試料容器Ｄに対して照明部１３と反対側、つまり試料容器Ｄの下方に配置されて試料容器Ｄを下方から撮像する撮像部１５とを備える。撮像部１５は、照明部１３から照射されて試料容器Ｄの底面を透過してくる光を受光して、試料容器Ｄ内部の試料を撮像する。なお、撮像ユニット１０における方向を明示するために、図のようにＸＹＺ直交座標系を設定する。ここで、ＸＹ平面は水平面を表し、Ｚ軸は鉛直軸を表す。

撮像部１５は、図１紙面に垂直なＸ方向を長手方向として該方向に多数の微小な撮像素子が配列されたリニアイメージセンサ１５１と、試料容器Ｄ底面から出射されてくる透過光をリニアイメージセンサ１５１の受光面に収束させる結像光学系１５２と、これらを一体的にＹ方向に水平移動させる機能とＺ方向に昇降移動させる機能とを備えたセンサ駆動部１７とを有する。撮像部１５は、結像光学系１５２により集光される試料容器Ｄからの透過光をリニアイメージセンサで受光しながら試料容器Ｄ底面に沿ってＹ方向に移動する。これにより、試料の二次元画像が取得される。試料の上部から入射し下方に透過する光が撮像部１５に受光されて撮像が行われるので、撮像部１５による撮像方向は鉛直方向である。なお、図１では撮像光学系１５２を単一のレンズで代表的に表現しているが、複数のレンズや光学素子の組み合わせにより構成されたものであってもよい。

制御ユニット２０は、照明部１３の動作を制御する照明制御部２３、センサ駆動部１７を制御して撮像部１５を所定の方向に移動させる移動制御部２６、撮像部１５から出力される画像信号に基づき各種の画像処理を実行する画像処理部２５および処理前後の画像データやその他の各種データを記憶保存する記憶部２４を備えている。この他に、制御ユニット２０は、この撮像装置１を操作するオペレータからの操作指示入力を受け付ける入力受付部２１と、システムの動作状況や処理結果等を視覚情報としてオペレータに報知する表示部２２とを備えている。

次に、上記のように構成された撮像装置１を用いて、試料容器Ｄ内の生物試料の全焦点画像を作成する方法について説明する。まず、撮像対象となる生物試料についてその概要を説明する。

図２は撮像対象となる生物試料の例を示す図である。より具体的には、図２（ａ）および図２（ｂ）はそれぞれ生物試料を担持する試料容器Ｄの側面透視図および上面図である。撮像装置１による撮像の対象となる生物試料は、例えばディッシュと称される試料容器Ｄに注入された培地Ｍ中で細胞が三次元培養されたものである。培地Ｍは試料容器Ｄに所定の深さまで注入された半固体状であり、例えば軟寒天が用いられる。培地Ｍには必要に応じ試薬が添加され、細胞が播種されて所定の培養条件で一定期間培養されたものが、生物試料となる。

図では、生物試料の一例として、培地Ｍ中で増殖した細胞が固まってスフェロイド（細胞集塊）Ｓ１〜Ｓ５を形成している例を示している。図に示すように、スフェロイドＳ１〜Ｓ５は培地Ｍ内で三次元的な広がりを有し、そのサイズや形状にはばらつきがある。特に細胞が非染色であれば無色透明に近いため、輪郭も必ずしも鮮明なものではない。また培地Ｍ中において水平方向（ＸＹ方向）および鉛直方向（Ｚ方向）の種々の位置に三次元的に分布している。このようにスフェロイドが三次元的に分布するため、見る方向によってはスフェロイド同士が重なる場合もある。このような特徴を有する生物試料を撮像する場合の問題点について、次に説明する。

図３は試料を撮像する際に生じうる問題点を模式的に示す図である。図３（ａ）に示すように、この撮像装置１では試料容器Ｄの下方に配置された撮像部１５により、試料容器Ｄの底面Ｄｂを介して試料が撮像される。培地Ｍの深さに対し撮像光学系１５２の被写界深度が十分に大きくなければ、深さ方向、つまり鉛直方向（Ｚ方向）に分布するスフェロイドの全てを合焦範囲に収めることができない場合がある。

図３（ｂ）は、例えば撮像光学系１５２の焦点位置を符号Ｆ０で示す深さに設定したときの画像ＩＭ０を模式的に示す図である。撮像部１５により試料を撮像したとき、撮像光学系１５２の焦点位置に近い深さに表面が位置するスフェロイドＳ２は比較的鮮明に撮像される。一方、焦点位置よりも大きく奥側に外れたスフェロイドＳ１，Ｓ４は薄くぼやけた像となり、また焦点位置より手前側に突出するスフェロイドＳ３も、輪郭が不鮮明となる。撮像光学系１５２の焦点位置をＺ方向に変更することが可能な構成であっても、全てのスフェロイドＳ１〜Ｓ５を合焦範囲に収めることが難しい。

撮像光学系１５２の被写界深度を十分大きくすれば、全てのスフェロイドを合焦範囲に収めることは可能となる。しかしながら、被写界深度が培地Ｍの深さよりも大きい場合、例えば容器壁面などの周囲や背景、培地表面のメニスカスの影響等が画像に映り込むことがあり、画像品質の点では必ずしも好ましくない場合がある。そこで、この撮像装置１では、試料に対する撮像光学系１５２の焦点位置をＺ方向（深さ方向）に多段階に変更設定してその都度撮像する、いわゆるフォーカスブラケット撮像を行う。そして、得られた複数の原画像を画像処理により合成して、種々の深さのスフェロイドに擬似的に焦点の合った全焦点画像を作成する。

図４はフォーカスブラケット撮像により得られる画像の例を説明する図である。一例として、図４（ａ）に示すように、撮像光学系１５２の焦点位置をＦ１〜Ｆ５の５段階に変更して撮像した場合を考える。焦点位置Ｆ１，Ｆ２，Ｆ３，Ｆ４，Ｆ５に対応して、図４（ｂ）に示すように、５枚の原画像ＩＭ１，ＩＭ２、ＩＭ３，ＩＭ４，ＩＭ５が得られる。ここで、符号Ｘｉ，Ｙｉは、実空間における座標と区別して各画像平面における平面座標を表したものである。

各原画像ＩＭ１〜ＩＭ５においては、表面が焦点深さに近い位置にあるスフェロイドの像が鮮明に表れる一方、焦点位置から遠いスフェロイドはより不鮮明となる。例えば焦点位置Ｆ１に対応する原画像ＩＭ１では、表面が焦点位置に近いスフェロイドＳ１，Ｓ４が鮮明に映る一方、焦点位置から遠いスフェロイドＳ２，Ｓ３，Ｓ５はぼやけている。また、撮像部１５側（容器底面Ｄｂ側）から見たときスフェロイドＳ４の手前にスフェロイドＳ３があるため、スフェロイドＳ４の像の一部がスフェロイドＳ３の像により遮蔽されている。

また、焦点位置Ｆ３に対応する原画像ＩＭ３では、焦点面を横切るスフェロイドＳ５の輪郭が鮮明に映る一方、焦点位置から外れたスフェロイドＳ１〜Ｓ４の像はより不鮮明であり、また平面視において重なり合うスフェロイドＳ３，Ｓ４の境界が不明確となっている。このように、焦点位置に応じて、原画像ＩＭ１〜ＩＭ５への各スフェロイドＳ１〜Ｓ５の像の表れ方が異なる。以下、このような特徴を有する原画像ＩＭ１〜ＩＭ５から全焦点画像を作成する２つの具体的な方法について説明する。これらの方法は、制御ユニット２０が予め記憶された制御プログラムを実行して装置各部に所定の動作を行わせることにより実現される。

図５は全焦点画像を作成する第１の方法を示すフローチャートである。また、図６は処理の過程で作成される画像を示す図である。最初に、焦点位置が互いに異なる複数の（この例では５枚の）原画像ＩＭ１〜ＩＭ５が取得される（ステップＳ１０１）。より具体的には、撮像部１５が焦点位置を変えながら撮像を行うことにより、これらの原画像を取得することができる。

こうして得られた原画像ＩＭ１〜ＩＭ５のそれぞれについて、当該原画像を構成する画素各々のエッジ強度が算出される（ステップＳ１０２）。エッジ強度を算出する方法としては公知のあるいはそれと同等の種々の方法を用いることができ、例えば４連結画素のエッジフィルタ、差分フィルタ、ラプラシアンフィルタなどを用いることができる。こうしてエッジ強度が求められた画素のうち、比較的大きな値を有するものを「輪郭画素」と称することとする。例えばエッジ強度が予め定められた閾値以上である画素を、輪郭画素とみなすことができる。あるいは、周囲の画素に対するエッジ強度の差が所定値以上である画素を輪郭画素としてもよい。

輪郭画素により囲まれる画像内の閉領域が、オブジェクト領域として抽出される。すなわち、輪郭画素が当該オブジェクト領域の輪郭を表すものとされる。スフェロイドが焦点位置から大きく外れていることに起因して輪郭が不鮮明な像は、オブジェクト領域として扱われない。なお、オブジェクト領域は、その輪郭の全てが連続する輪郭画素で構成されるものに限定されず、複数の輪郭画素により実質的に囲まれた領域を含んでよい。例えば、不連続な輪郭画素の間を適宜の補間方法で補間する閉曲線を輪郭とする閉領域、輪郭画素から特定される輪郭と画像の端部とで囲まれる閉領域についても、オブジェクト領域と見なすことができる。

また、スフェロイド自体が有する輪郭の不鮮明さに起因して、上記のようにして求められた輪郭画素により特定されるオブジェクト領域が、本来のスフェロイドの広がりよりも小さい領域となる場合があることがわかっている。この問題を解消するために、例えば輪郭画素により囲まれる領域を１画素分拡張させた領域を、オブジェクト領域とするようにしてもよい。

こうして抽出されたオブジェクト領域に基づき、各原画像からマスク画像が作成される（ステップＳ１０３）。具体的には、各原画像に対して、当該原画像において抽出されたオブジェクト領域を透過パターンとするようなマスク画像が作成される。図４（ｂ）に示す原画像ＩＭ１〜ＩＭ５からは、例えば図６（ａ）に示すマスク画像Ｍ１〜Ｍ５が作成される。各マスク画像は、原画像において比較的鮮明な輪郭によって囲まれたオブジェクトの領域の範囲および位置を示す画像である。一の原画像に対し、対応するマスク画像を作用させることで、当該原画像から輪郭の明瞭なオブジェクト領域の画像を切り出すことができる。

全焦点画像を作成する第１の方法では、原則的に、これらのマスク画像を対応する原画像に適用して切り出された画像を合成した合成画像が作成される。しかしながら、図４（ｂ）に示したように、１つのスフェロイドの像が複数の原画像に亘って現れることがある。このため、１つのスフェロイドに対応するオブジェクト領域が複数の原画像において抽出され、図６（ａ）に示すように、マスク画像に現れる透過パターンが画像平面上で重複することがある。その結果、オブジェクト領域が重複する部分では、合成画像に配置すべき画像の候補が複数生じてしまう。このようなマスクの競合を回避するために、抽出された各オブジェクト領域の輪郭の鮮明さを示す指標として輪郭の鮮明度が導入される。

鮮明度Ｓｈについては、例えば以下のように各オブジェクト領域の輪郭のエッジ強度を用いて定義することができる。オブジェクト領域が鮮明な輪郭を有していれば、その画像においてオブジェクト領域の内部と外部との境界である輪郭のエッジ強度が高くなると考えられる。このことから、輪郭のエッジ強度を適宜に正規化した値をもって鮮明度を表すことが可能である。例えば次のように、輪郭におけるエッジ強度に対応する画素値を有する画素を仮想的に設定し、当該仮想画素の画素値が表す光学濃度の値を鮮明度の値として用いることができる。

続いて、こうして求められる仮想画素についてエッジ強度を算出する。エッジ強度を求める処理としては種々のエッジ検出フィルタ処理を適用することができる。例えばＳｏｂｅｌフィルタ、差分フィルタ、Ｐｒｅｗｉｔｔフィルタ、Ｒｏｂｅｒｔｓフィルタ、ラプラシアンフィルタ等の各種フィルタ処理を好適に適用することが可能である。ここではエッジ検出フィルタの例としてＳｏｂｅｌフィルタ演算を適用した場合について説明する。

各仮想画素の輝度値に対して、（３×３）のＳｏｂｅｌフィルタ演算を行う。画像の水平方向（ｘ方向）および垂直方向（ｙ方向）におけるＳｏｂｅｌフィルタ演算の係数行列については、それぞれ次式により表すことができる。

また、仮想画素ごとに求めたｘ方向での演算結果をＳｘ、ｙ方向での演算結果をＳｙにより表すとき、当該仮想画素のエッジ強度Ｓｅについては次式により表すことができる。

このようにして求められた値Ｓｅは、他の画素に対する当該画素のエッジ強度を相対的に表す数値であり、計算の原理上、輝度値のスケールが４倍に強調されたものとなっている。したがって、エッジ強度Ｓｅの値を４で除することにより、画素の輝度値と同じスケールの数値範囲に正規化されたエッジ強度を得ることができる。１つのオブジェクト領域に対応する仮想画素各々のエッジ強度Ｓｅの平均値をＳａとすると、値（Ｓａ／４）は、１つのオブジェクト領域の輪郭が有する平均的な正規化エッジ強度を表し、これが当該オブジェクト領域の輪郭の鮮明さを指標する値となる。

ただし、オブジェクト領域を取り巻く背景領域の濃度や照明条件のばらつき（シェーディング）の影響を排除する必要がある。そこで、仮想画素を上記のようにして求められる正規化エッジ強度（Ｓａ／４）を輝度値として有する画素に置き換えたさらに仮想的な画像を考え、当該画像における仮想画素の光学濃度を、当該オブジェクト領域の鮮明度Ｓｈとして定義する。すなわち次式：
Ｓｈ＝ｌｏｇ₁₀｛Ｉｓ／（Ｉｓ−Ｓａ／４）｝
により鮮明度Ｓｈを定義する。ここで、値Ｉｓはオブジェクト領域の背景領域の輝度平均値であり、例えば当該オブジェクト領域を取り囲む所定幅の周囲領域の輝度の平均値や、当該原画像においてオブジェクト領域とされなかった領域全体の輝度の平均値などで表すことができる。背景領域の輝度を加味した光学濃度の次元で示すことにより、オブジェクト領域の背景領域や照明ばらつきの影響を排して各オブジェクト領域の鮮明度Ｓｈを客観的に表し、異なるオブジェクト領域間でも比較可能な数値として表すことが可能となる。

本願発明者の知見によれば、このようにオブジェクト領域の輪郭の鮮明度Ｓｈを定義した場合、原画像において輪郭が明瞭に視認されるスフェロイドに対応するオブジェクト領域に対して鮮明度Ｓｈが１に近い値となる一方、見た目の輪郭の不鮮明さが増すほど鮮明度Ｓｈが０に近づく値となることが確認された。すなわち、上記定義により、オブジェクト領域の輪郭の鮮明さを定量的に表現することができる。

なお、エッジ強度に基づき抽出されたオブジェクト領域であっても、この段階で算出される鮮明度が相当に低い値となる場合があり得る。エッジ強度による評価のみでは、例えば高濃度であるが輪郭の不鮮明な（つまり非合焦状態の）像をオブジェクト領域と判断してしまうことがある。したがって、オブジェクト領域とされた領域であっても、輪郭の鮮明度が不足するものについては、以後の処理においてオブジェクト領域としての扱いから除外するようにしてもよい。

各原画像の間で重複するオブジェクト領域については、それらの鮮明度に基づいてマスクの競合が解決される。すなわち、複数のマスク画像において透過パターンが（部分的に）重複するとき、言い換えれば、複数の原画像のそれぞれで抽出されたオブジェクト領域のうち少なくとも一部が画像平面上で同一座標位置を占めるとき、重複部分については、輪郭の鮮明度Ｓｈが最も高いオブジェクト領域が優先される。

上記したように、オブジェクト領域の輪郭の鮮明度は、当該オブジェクト領域に対応するスフェロイドの輪郭の明瞭さを表している。したがって、同一スフェロイドが複数の原画像に映り込むことによってオブジェクト領域が重複する場合、そのうち輪郭の鮮明度が最も高い原画像が切り出されるようにすることで、より輪郭が明瞭な、つまりより合焦状態に近い像が合成画像に配置されることが可能となる。

図６（ｂ）は各マスク画像Ｍ１〜Ｍ５を重ね合わせた状態を示しており、図において斜線を付した領域においてマスクの競合が生じている。これらの領域のそれぞれでは、重複するオブジェクト領域の輪郭の鮮明度Ｓｈが相互に比較され、鮮明度が最も大きいオブジェクト領域が有効とされる。言い換えれば、鮮明度が最も大きいオブジェクト領域が属するマスク画像の透過パターンが維持され、それ以外のマスク画像の透過パターンは塗りつぶされる。したがって、重複部分では、オブジェクト領域の輪郭の鮮明度Ｓｈが高い方の原画像の内容が合成画像に反映されることになる。

なお、複数の原画像間でオブジェクト領域が互いに重複する部分がある場合、当該重複する部分についてのみマスク競合の解決が図られる。つまり、他のオブジェクト領域と部分的に重複するオブジェクト領域では、重複部分については他のオブジェクト領域との比較によって有効とするか否かが判断される一方、重複部分以外は有効なものとされ、当該部分から切り出された原画像の内容が合成画像に配置される。

図６（ｃ）は、上記のようにして各原画像から切り出されたオブジェクト領域を一の画像平面上の対応する位置に配置することにより作成される合成画像Ｉｓ１の例を示している。各原画像から抽出されるオブジェクト領域の画像のうち、他のオブジェクト領域との重複がない部分についてはその部分の原画像が切り出されて合成画像Ｉｓ１に配置される。また、原画像間でオブジェクト領域が重複する部分がある場合には、当該部分については、重複オブジェクト領域のうち最も輪郭の鮮明度Ｓｈが高いオブジェクト領域が属する原画像から画像が切り出されて合成画像Ｉｓ１に配置される。

これにより、各スフェロイドＳ１〜Ｓ５のそれぞれを最も鮮明に撮像した領域が複数の原画像ＩＭ１〜ＩＭ５の中から個別に切り出されて合成画像Ｉｓ１が作成されることになる。そのため、この方法によれば、試料中で三次元的に分布するスフェロイドＳ１〜Ｓ５のそれぞれに焦点の合った全焦点画像を疑似的に作成することが可能である。この場合、画像平面においてある程度の広がりを有する領域が切り出されて合成されるので、原画像におけるスフェロイド表面のテクスチャが合成画像においても保存されている。

また、オブジェクト領域の重複がある場合、重複する部分とそれ以外の部分とが個別に処理される。このため、深さ方向に異なる位置にあるスフェロイドが画像上で重なっていても、これらのそれぞれについて個別に鮮明な画像を選出することが可能である。図６（ｃ）の合成画像Ｉｓ１においては、スフェロイドＳ３，Ｓ４の像がこのケースに相当している。

なお、試料中で比較的大きな体積を有し、水平方向（ＸＹ方向）および深さ方向（Ｚ方向）に大きな広がりを有するスフェロイドでは、当該スフェロイドの一部領域が一の原画像において合焦し、他の一部領域が他の原画像において合焦するというケースもあり得る。このような場合にも、複数の原画像から切り出された鮮明な部分画像の組み合わせで１つのスフェロイドが表現されるため、スフェロイド全体に焦点が合った画像を得ることができる。図６（ｃ）の合成画像Ｉｓ１においては、スフェロイドＳ３，Ｓ５の像がこのケースに相当している。

具体的な処理内容について、図５を参照して説明する。上記したように、各原画像から抽出されたオブジェクト領域について、輪郭の鮮明度が求められる（ステップＳ１０４）。なお、ステップＳ１０２からＳ１０４までの処理は、複数の原画像ＩＭ１〜ＩＭ５のそれぞれで独立して実行される。これに対し、ステップＳ１０５以降の処理は、複数の原画像の同一座標位置にある画素間での演算となる。

続いて、画像平面における１つの画素位置が選出され（ステップＳ１０５）、当該位置がいずれかのマスクに該当するか否かが判断される（ステップＳ１０６）。当該位置が少なくとも１つの原画像のオブジェクト領域に含まれるときマスクに該当すると判断され（ステップＳ１０６においてＹＥＳ）、続いてその重複が判断される（ステップＳ１０７）。当該位置が２以上の原画像のオブジェクト領域に含まれるとき、当該位置においてオブジェクト領域が重複しているということができる。

オブジェクト領域の重複があるとき（ステップＳ１０７においてＹＥＳ）、重複するオブジェクト領域間で輪郭の鮮明度Ｓｈが評価され、最も鮮明度が高いオブジェクト領域の属する原画像から、当該画素位置に配置すべき画素が選択される（ステップＳ１０８）。つまり、ここで選択された画素の画素値が、合成画像における当該位置の画素が有するべき画素値とされる。オブジェクト領域の重複がない（ステップＳ１０７においてＮＯ）、つまり当該画素位置に対応するオブジェクト領域が１つの原画像のみにあるとき、当該原画像の画素が、該画素位置に配置すべき画素として選択される（ステップＳ１０９）。

当該画素位置がいずれのマスクにも該当しないとき（ステップＳ１０６においてＮＯ）、当該画素位置はスフェロイドが存在しない背景領域に含まれるということができる。そこで、いずれかの原画像から、背景を表すものとして適当な画素が選択される（ステップＳ１１０）。

スフェロイドの背景を表す画素としては、例えば、当該画素位置に対応する各原画像のうち最も輝度の高いものを用いることができる。一般的に背景領域はスフェロイドの領域よりも高輝度であるが、非合焦画像ではスフェロイド周縁部のボケにより本来の背景よりも輝度が低下することがあり得る。同一位置で最も輝度の高い画素を採用することで、本来の背景の輝度を合成画像に反映させることができる。同様の考え方から、例えば、オブジェクト領域内の画素を除外した画素の輝度平均値が最も高い原画像の画素を採用するようにしてもよい。

また、原画像のうち１つを予め基準画像として設定しておき、該基準画像の画素を背景としてもよい。例えば、深さ方向において焦点位置が中庸である一の原画像（この例では原画像ＩＭ３）を基準画像とすることができる。スフェロイドの背景の状態がさほど重視されない用途では、このような方法が簡単である。

以上のようにして、現在の画素位置の画素がいずれかの原画像から選出される。こうして選出された画素の画素値を画像平面上の当該画素位置に割り付けることで（ステップＳ１１１）、合成画像Ｉｓ１における当該位置の画素値が決定される。全ての画素位置について上記処理が実行されることにより（ステップＳ１１２）、合成画像Ｉｓ１を構成する全ての画素の画素値が決定される。こうして作成された合成画像Ｉｓ１は、上記した通り、焦点位置の異なる複数の原画像から合成された全焦点画像となる。

なお、上記では各原画像からどのようにして有効な領域が切り出されるかを説明するためにマスク画像の概念を用いているが、各原画像でのオブジェクト領域の特定および原画像間での重複の判断が適切になされて画像領域の切り出しを行うことができれば足り、処理の過程で実際にマスク画像を作成することを必須とするものではない。

ここまで説明した全焦点画像作成の第１の方法では、各原画像内でオブジェクト領域を抽出し、原画像間でオブジェクト領域の重複がある場合に原画像間での鮮明度の比較が行われる。一方、次に説明する第２の方法では、焦点位置を異ならせて撮像された複数の原画像から三次元空間における各スフェロイドの輪郭を特定し、特定された輪郭内にいずれかの原画像の画像内容を配置することにより、全焦点画像が作成される。

図７は全焦点画像を作成する第２の方法を示すフローチャートである。また、図８はこの処理の原理を説明する図である。最初に、焦点位置が互いに異なる複数の（この例では５枚の）原画像ＩＭ１〜ＩＭ５が取得される（ステップＳ２０１）。より具体的には、撮像部１５が焦点位置を変えながら撮像を行うことにより、これらの原画像を取得することができる。また、こうして得られた原画像ＩＭ１〜ＩＭ５のそれぞれについて、当該原画像を構成する画素各々のエッジ強度が適宜の算出方法により算出される（ステップＳ２０２）。

続いて、画像平面における１つの画素位置が選出され（ステップＳ２０３）、当該位置に対応する画素のエッジ強度が原画像間で比較され、エッジ強度が最大の画素が選出される（ステップＳ２０４）。このとき、選出された画素がどの原画像に属するかが併せて記憶される。この処理が、全ての画素位置について行われる（ステップＳ２０５）。

スフェロイドの輪郭の位置に対応する画素位置では、三次元的に広がるスフェロイドの輪郭を当該画素位置で最も鮮明に捉えた画素が上記処理により選出されることが期待される。したがって、このようにして選出された画素を一の画像平面に投影したとき、エッジ強度が比較的大きい画素を結んでなる輪郭は、図８（ａ）に示すように、十分に大きい被写界深度を有する撮像系により各スフェロイドを撮像したときのスフェロイドの輪郭に相当するものとなる。選出された画素を一の画像平面に投影した画像において、エッジ強度が比較的大きい、例えば所定の閾値以上である画素のみが抽出されて輪郭画像Ｉｒが作成される（ステップＳ２０６）。

１つのスフェロイドが複数の原画像で合焦する場合については次のように考えることができる。図８（ｂ）に示すように、深さ方向に広がりを有するスフェロイドＳの一部が一の原画像ＩＭａにおいて合焦し、他の一部が他の原画像ＩＭｂにおいて合焦している場合を考える。原画像ＩＭａにおいて合焦するスフェロイドＳの輪郭上の一点を符号Ｐ１ａにより表す。点Ｐ１ａに位置する画素は、比較的高いエッジ強度を有すると考えられる。

一方、画像平面において点Ｐ１ａと同一位置に対応する原画像ＩＭｂ上の点Ｐ１ｂでは、スフェロイド表面に合焦していないため、当該位置の画素のエッジ強度は低い。このため、輪郭画像Ｉｒ上の対応する点Ｐ１ｒでは、点Ｐ１ａにおけるエッジ強度が採用される。

また、原画像ＩＭｂにおいて合焦するスフェロイドＳの輪郭上の点Ｐ２ｂの画素は、対応する原画像ＩＭａ上の点Ｐ２ａの画素よりも高いエッジ強度を有する。したがって、輪郭画像Ｉｒ上の対応する点Ｐ２ｒでは、点Ｐ２ｂにおけるエッジ強度が採用される。

輪郭画像Ｉｒでは、比較的大きいエッジ強度を有する画素が輪郭画素とされ、これが各スフェロイドの輪郭の位置を表すものとされる。すなわち、輪郭画像Ｉｒにおいて輪郭画素により実質的に囲まれた閉領域に対応する合成画像上の領域が、合成画像におけるスフェロイドの領域とされる。なお、スフェロイド自体の輪郭の不鮮明さに起因して本来のスフェロイドよりも小さい領域が特定される問題に対応するため、例えば輪郭画素により囲まれる閉領域を１画素分拡張させた領域をスフェロイドの領域とするようにしてもよい。

図７に戻って、輪郭画像により特定される閉領域の１つが選出され（ステップＳ２０７）、当該閉領域の評価スコアが原画像ごとにカウントされる（ステップＳ２０８）。評価スコアは、各々の原画像において当該閉領域内に含まれる画素のうち、ステップＳ２０４においてエッジ強度が最大とされた画素の数をカウントしたものである。ステップＳ２０４では、同一位置に対応する各原画像の画素のうちエッジ強度が最大、つまり最も鮮明と見なせる画素が選出される。こうして選出される画素を閉領域内に多く含む原画像ほど、当該閉領域のより鮮明な像を含むものと考えることができる。

そこで、当該閉領域については、当該閉領域の評価スコアが最大の原画像から切り出した画像が合成画像に割り付けられるようにする（ステップＳ２０９）。輪郭画像において閉領域が複数存在する場合、それらの全てについて同様に処理することで（ステップＳ２１０）、輪郭画素により特定される閉領域への画像の割り付けが完了する。そして、閉領域以外の領域については適宜の背景画素を割り付けることで（ステップＳ２１１）、合成画像が作成される。背景画素の選出方法については、上記した第１の方法と同様にすることができる。

図９は第２の方法により作成される合成画像の例を示す図である。全焦点画像の作成の第２の方法で作成される合成画像Ｉｓ２では、まずスフェロイドの輪郭が深さ方向も含めて特定される。そして、特定された輪郭の内部にいずれかの原画像から切り出された画像を割り付けられる。輪郭の内部に割り付けるべき画像は各原画像から切り出すことができるが、それらの画像のうち、評価スコアが最も高い、つまりエッジ強度の高い画素を最も多く含む画像が選択されて合成画像に割り付けられる。これにより、当該輪郭に囲まれる領域において最も鮮明な原画像の画像内容が合成画像に反映される。したがって、合成画像Ｉｓ２は、深さ方向に位置の異なるスフェロイドＳ１〜Ｓ５に対応する全焦点画像となっている。

なお、この方法では、スフェロイドの輪郭検出が水平方向成分に加え深さ方向成分にも亘って行われるため、複数のスフェロイドが深さ方向に重なっている場合にこれらを分離することができない場合がある。図９の例では、スフェロイドＳ３とスフェロイドＳ４とが一体のものとして扱われている。その一方、スフェロイドの輪郭をより明瞭に特定するという点では本方法が有効である。特に、深さ方向への広がりを有するスフェロイドの輪郭を、被写界深度の大きい撮像系で撮像した場合と同様の明瞭さで特定するという用途に対し、本方法が好適であるといえる。

以上説明したように、上記実施形態においては、図５および図７に示す全焦点画像作成方法が、本発明の「画像処理方法」に相当している。図５の処理では、ステップＳ１０１、Ｓ１０２〜Ｓ１０３およびＳ１０５〜Ｓ１１２が、それぞれ本発明の「画像取得工程」、「領域抽出工程」および「画像合成工程」に相当する。図７の処理では、ステップＳ２０１、Ｓ２０２〜Ｓ２０５、Ｓ２０６〜Ｓ２１１が、それぞれ本発明の「画像取得工程」、「画素選出工程」および「画像合成工程」に相当する。

また、上記実施形態では、撮像装置１が本発明の「画像処理装置」に相当している。撮像装置１においては、撮像ユニット１０が本発明の「画像取得手段」として機能し、撮像部１５は本発明の「撮像部」として、センサ駆動部１７が本発明の「焦点設定部」として機能している。また制御ユニット２０、特に画像処理部２５が本発明の「画像処理手段」として機能している。

なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能である。例えば、上記した実施形態の撮像装置１は、全焦点画像の作成に用いられる原画像を撮像するための撮像ユニット１０を有するものである。

しかしながら、本発明にかかる画像処理装置および画像処理方法においては、撮像対象物を撮像するという動作は必須の構成ではない。すなわち、原画像を撮像するための撮像装置と、画像処理を実行して全焦点画像を作成する画像処理装置とが別体として構成されてもよい。例えば本発明にかかる画像処理装置は、外部の撮像装置で撮像された原画像を例えば通信回線を介して受信し、当該原画像を用いて画像処理を行う構成であってもよい。

例えば、上記実施形態の入力受付部２１を外部装置から画像データを受信する機能を有するものとして、外部の撮像装置やデータストレージ等から与えられる画像データを用いて制御ユニット２０が上記処理を実行するようにしてもよい。この場合、入力受付部２１が本発明の「画像取得手段」として機能することになる。

すなわち、制御ユニット２０単体でも、本発明の「画像処理装置」としての機能を実現することが可能である。そして、制御ユニット２０の構成は、一般的なパーソナルコンピューターやワークステーション等の情報処理機器と変わらず、また処理内容も、適宜のソフトウェアが実装されることにより、これらの機器によって実現可能なものである。したがって、上記した画像処理をこれらの情報処理機器に実行させるための制御プログラムとして、本発明が提供されてもよい。このような制御プログラムを例えば既存の顕微鏡装置の制御コンピューターに実装することで、当該顕微鏡装置を本発明の画像処理装置として機能させることも可能となる。

また、上記実施形態では撮像部１５を昇降させることで焦点位置を変更設定しているが、これに代えて、例えば試料容器Ｄを昇降させたり、撮像光学系の焦点調整機能を用いて焦点位置の変更を行うようにしてもよい。また、上記実施形態ではリニアイメージセンサ１５１を有する撮像部１５を撮像対象物に対し走査移動させることで撮像対象物の二次元画像を得ているが、走査移動を伴わずに二次元画像を撮像する機能を有するエリアイメージセンサを用いて撮像が行われてもよい。また、顕微光学系と組み合わせた撮像が行われてもよい。

以上、具体的な実施形態を例示して説明してきたように、この発明の画像処理方法の第１の態様では、輪郭の鮮明さは、例えば当該輪郭におけるエッジ強度に対応する画素値を有する画素の光学濃度により表すことができる。さらにこの場合、輪郭の鮮明さは、輪郭に対応する各画素について画素の輝度値に基づきエッジ検出フィルタ演算によりそれぞれ求めたエッジ強度の平均値をＳａ、当該輪郭により特定されるオブジェクト領域に隣接する周囲領域の画素の輝度の平均値をＩｓとしたとき、次式：
Ｓｈ＝ｌｏｇ₁₀｛Ｉｓ／（Ｉｓ−Ｓａ／４）｝
の左辺Ｓｈにより表すことができる。このような手法により、定性的な輪郭の鮮明さを定量的に表現することができ、複数の原画像から抽出されるオブジェクト領域の比較を客観的かつ一義的に行うことが可能となる。

また例えば、複数の原画像の各々において、輪郭画素を輪郭とする領域のうち輪郭の鮮明さが所定値以上であるものをオブジェクト領域とするようにしてもよい。単にエッジ強度による評価のみでは、輪郭が不鮮明であっても周囲領域との濃度差の大きい領域をオブジェクト領域としてしまうことがあるが、輪郭の鮮明さを評価に加えることによって、より合焦状態に近い画像のみをオブジェクト領域として抽出することができる。

また、本発明にかかる画像処理方法では、例えばエッジ強度が所定値以上である画素が輪郭画素とされてもよい。エッジ強度が所定値以上である画素をオブジェクトの輪郭と見なす手法が種々提案されており、本発明においてもこのような手法を用いて輪郭抽出を行うことが可能である。

また例えば、合成画像のうち輪郭で囲まれる領域以外には、例えば複数の原画像から選出された一の原画像から抽出された画素を配することで、背景を表すことができる。この場合において、例えば複数の原画像間で同一位置に対応する画素のうち最も高輝度の画素が背景として配されるようにしてもよい。こうすることで、非合焦画像において不鮮明となるスフェロイドの周縁部が背景として合成画像に取り込まれることが防止される。

また、この発明にかかる画像処理装置において、画像取得手段は、試料を撮像する撮像部と、撮像部の焦点位置を多段階に変更設定する焦点設定部とを有するものであってもよく、また複数の原画像に対応する画像データを外部装置から受け入れるものであってもよい。これらのいずれによっても、複数の原画像を取得してこれらから合成画像を作成することが可能である。

本発明は、例えば培地中で培養された細胞を含む試料を撮像した画像の処理に適用可能なものであり、特に、培地中で三次元培養された細胞集塊（スフェロイド）の全焦点画像を作成する用途に好適である。

１ 撮像装置（画像処理装置）
１０ 撮像ユニット（画像取得手段）
１５ 撮像部
１７ センサ駆動部（焦点設定部）
２０ 制御ユニット
２５ 画像処理部（画像処理手段）
Ｄ 試料容器
ＩＭ１〜ＩＭ５ 原画像
Ｍ 培地
Ｓ１〜Ｓ５ スフェロイド

Claims (13)

1. 培地中で三次元培養された細胞を含む試料の画像を作成する画像処理方法において、
   撮像方向に沿った方向に焦点位置を互いに異ならせて前記試料を撮像した複数の原画像を取得する画像取得工程と、
   前記複数の原画像の各々において、当該原画像を構成する画素のエッジ強度を算出し、前記複数の原画像間で同一位置に対応する画素を比較して最もエッジ強度が高い画素を選出する画素選出工程と、
   前記複数の原画像を合成して合成画像を作成する画像合成工程と
   を備え、
   前記画像合成工程では、前記画素選出工程において前記複数の原画像から選出された画素のうち比較的高いエッジ強度を有するものを輪郭画素として、該輪郭画素の位置を輪郭の位置とする前記合成画像内のオブジェクト領域を特定し、一の前記オブジェクト領域内に、前記画素選出工程において選出された画素を当該オブジェクト領域内に最も多く含む一の前記原画像から抽出された画素を配する画像処理方法。
2. 培地中で三次元培養された細胞を含む試料の画像を作成する画像処理方法において、
   撮像方向に沿った方向に焦点位置を互いに異ならせて前記試料を撮像した複数の原画像を取得する画像取得工程と、
   前記複数の原画像の各々において、当該原画像を構成する画素のうち比較的高いエッジ強度を有する輪郭画素を特定し、該輪郭画素を輪郭とするオブジェクト領域を抽出する領域抽出工程と、
   前記複数の原画像の各々から抽出された前記オブジェクト領域内の画素を一の画像に、かつ前記原画像内での当該画素の位置に対応する位置に配した合成画像を作成する画像合成工程と
   を備え、
   前記画像合成工程では、異なる前記原画像からそれぞれ抽出された複数の前記オブジェクト領域が少なくとも一部において前記合成画像内で重複するか否かを判断し、重複があるとき、当該領域内の画素については、重複する複数の前記オブジェクト領域のうち輪郭が最も鮮明な前記オブジェクト領域の画素を配する画像処理方法。
3. 前記輪郭の鮮明さは、当該輪郭におけるエッジ強度に対応する画素値を有する画素の光学濃度により表される請求項２に記載の画像処理方法。
4. 前記輪郭の鮮明さは、前記輪郭に対応する各画素について画素の輝度値に基づきエッジ検出フィルタ演算によりそれぞれ求めたエッジ強度の平均値をＳａ、当該輪郭により特定される前記オブジェクト領域に隣接する周囲領域の画素の輝度の平均値をＩｓとしたとき、次式：
   Ｓｈ＝ｌｏｇ₁₀｛Ｉｓ／（Ｉｓ−Ｓａ／４）｝
   の左辺Ｓｈにより表される請求項３に記載の画像処理方法。
5. 前記複数の原画像の各々において、前記輪郭画素を輪郭とする領域のうち前記輪郭の鮮明さが所定値以上であるものを、前記オブジェクト領域とする請求項２ないし４のいずれかに記載の画像処理方法。
6. エッジ強度が所定値以上である画素が前記輪郭画素とされる請求項１ないし５のいずれかに記載の画像処理方法。
7. 前記合成画像のうち前記輪郭で囲まれる領域以外には、前記複数の原画像から選出された一の原画像から抽出された画素が配される請求項１ないし６のいずれかに記載の画像処理方法。
8. 前記合成画像のうち前記輪郭で囲まれる領域以外には、前記複数の原画像間で同一位置に対応する画素のうち最も高輝度の画素が配される請求項１ないし６のいずれかに記載の画像処理方法。
9. 請求項１ないし８のいずれかに記載の画像処理方法をコンピューターに実行させることを特徴とする制御プログラム。
10. 培地中で三次元培養された細胞を含む試料の画像を作成する画像処理装置において、
    撮像方向に沿った方向に焦点位置を互いに異ならせて前記試料を撮像した複数の原画像を取得する画像取得手段と、
    前記複数の原画像を合成して合成画像を作成する画像処理手段と
    を備え、
    前記画像処理手段は、
    前記複数の原画像の各々において、当該原画像を構成する画素のエッジ強度を算出し、前記複数の原画像間で同一位置に対応する画素を比較して最もエッジ強度が高い画素を選出し、選出された画素のうち比較的高いエッジ強度を有するものを輪郭画素として、該輪郭画素の位置を輪郭の位置とする前記合成画像内のオブジェクト領域を特定し、一の前記オブジェクト領域内に、前記選出された画素を当該オブジェクト領域内に最も多く含む一の前記原画像から抽出された画素を配することで前記合成画像を作成する画像処理装置。
11. 培地中で三次元培養された細胞を含む試料の画像を作成する画像処理装置において、
    撮像方向に沿った方向に焦点位置を互いに異ならせて前記試料を撮像した複数の原画像を取得する画像取得手段と、
    前記複数の原画像を合成して合成画像を作成する画像処理手段と
    を備え、
    前記画像処理手段は、
    前記複数の原画像の各々において、当該原画像を構成する画素のうち比較的高いエッジ強度を有する輪郭画素を特定し、該輪郭画素を輪郭とするオブジェクト領域を抽出し、前記複数の原画像の各々から抽出された前記オブジェクト領域内の画素を一の画像に、かつ前記原画像内での当該画素の位置に対応する位置に配した合成画像を作成し、しかも、
    異なる前記原画像からそれぞれ抽出された複数の前記オブジェクト領域が少なくとも一部において前記合成画像内で重複するか否かを判断し、重複があるとき、当該重複する領域内の画素については、重複する複数の前記オブジェクト領域のうち輪郭が最も鮮明である前記オブジェクト領域の画素を配することで前記合成画像を作成する画像処理装置。
12. 前記画像取得手段は、前記試料を撮像する撮像部と、前記撮像部の焦点位置を多段階に変更設定する焦点設定部とを有する請求項１０または１１に記載の画像処理装置。
13. 前記画像取得手段は、前記複数の原画像に対応する画像データを外部装置から受け入れる請求項１０または１１に記載の画像処理装置。

Images