JP7026333B2 - 画像生成装置及び画像生成方法 - Google Patents

Description

本開示は、例えば、レンズレス顕微鏡などの画像を生成する画像生成装置および画像生成方法に関する。

培養細胞を染色することなく連続的に観察したいという要求は、例えば、治療用の細胞の産生または薬効の試験、もしくは培養細胞を医療または産業に用いる多くの分野にある。しかしながら、細胞の多くは、ほとんど無色透明であるため、透過光による光学顕微鏡での撮影ではコントラストが小さいため観察は困難である。コントラストの小ささの一要因として、被写体周辺の媒質および被写体自身による光の散乱または屈折が上げられる。

特許文献１では、光ビームの照射および照射停止の明暗二つの状態の輝度から、反射光のノイズ成分を除去する方法を示している。

また、特許文献２では、透明な対象物を観察するために、明暗パタンのある照明による撮影により、広視野の暗視野鏡を実現する方法を示している。

ところで、培養細胞の連続的観察は、細胞を培養するための多湿な環境を維持するためのインキュベータという限られた空間内で行われる。このような限られた空間内での観察のために、特許文献３および４は、レンズを用いずに微小な細胞を観察することのできるレンズレス顕微鏡を開示している。これらの文献では、複数の異なる位置から照射する照明によって撮影された複数の画像を用いて解像度の高い画像が生成される。

また、非特許文献１は、明暗パタンのある照明による撮影結果を、直接光の成分と直接光以外の光の成分とを想定した式で表現する方法について示している。

特許第５４０３４５８号公報 特許第５７８９７６６号公報 特許第５７８９７６６号公報 米国特許出願公開第２０１４／０１３３７０２号明細書

June 2006 ACM Transactions on Graphics (TOG) -Proceedings of ACM SIGGRAPH 2006: Volume 25 Issue 3, July 2006

しかしながら、特許文献１の方法では、装置が大型化するという問題がある。つまり、この方法では、照明の反射光の輝度を記録して、対象物表面の凹凸を計測する装置において、平行光とデジタルマイクロミラーデバイスを用いる。そして、第１の明暗パタンを照射して記録した輝度と、第２の明暗パタンを照射して記録した輝度との差分により、相対輝度を求めることで、対物レンズの位置ごとの輝度を比較しやすくしている。しかし、明暗のパタンをイメージセンサ全体に広げようとすると、レンズが必要となり、装置が大型化する。また、特許文献２の方法では、明暗パタンのある照明による撮影結果から、対象物の境界面による屈折光を取り出す。焦点はレンズによって設定されており、特許文献２でも、装置が大型化する。

一方、特許文献３および４のように多光源で撮影を行う場合には、照明の位置を変更する必要がある。光源およびデジタルマイクロミラーデバイスの位置を変更しながら撮影を行うには、装置が大型化するため、レンズレス顕微鏡にデジタルマイクロミラーデバイスによる明暗の反転を組み合わせるのは困難である。

非特許文献１では、直接光の成分と直接光以外の光の成分とを想定した式が提案されているが、明暗パタンの移動が必要であり、そのための構成をレンズレス顕微鏡に組み込むと、システムが大型化してしまう。

本開示の非限定的で例示的な一態様は、大型化を抑えて物質の任意断面の状態が分かりやすい画像を生成することが可能な画像生成装置である。

本開示の一態様に係る画像生成装置は、画像生成装置であって、第１の光源と、前記第１の光源と所定の距離離れて位置する第２の光源と、透光性を有する物質が配置されるイメージセンサと、前記第１の光源及び前記第２の光源からの光が透過する透光部分と、前記光を遮蔽する遮光部分とを有し、かつ、前記イメージセンサと前記第１の光源及び前記第２の光源との間に位置するマスクと、処理回路とを備え、前記イメージセンサは、前記第１の光源が照明されたときに、前記物質の第１の画像を取得し、前記第２の光源が照明されたときに、前記物質の第２の画像を取得し、前記第１の画像は、複数の第１の画素領域を有し、前記第２の画像は、複数の第２の画素領域を有し、前記処理回路は、（ａ）前記イメージセンサと前記マスクとの間に位置し、かつ複数の焦点を有する焦点面の情報を取得し、（ｂ）前記複数の第１の画素領域毎に、前記第１の光源から前記イメージセンサに屈折及び／または散乱することなく直進して入射する直接光を含む第１の光の割合と、前記第１の光源から前記イメージセンサに入射する直接光以外の光を含む第２の光の割合とを取得し、かつ、前記複数の第２の画素領域毎に、前記第２の光源から前記イメージセンサに屈折及び／または散乱することなく直進して入射する直接光を含む第３の光の割合と、前記第２の光源から前記イメージセンサに入射する直接光以外の光を含む第４の光の割合とを取得し、（ｃ）前記第１の画像における複数の第１の画素領域の画素値と、前記第２の画像における複数の第２の画素領域の画素値と、前記第１の光の割合と、前記第２の光の割合と、前記第３の光の割合と、前記第４の光の割合とを用いて、前記複数の焦点のそれぞれに対応する前記第１の光及び前記第３の光による画素値、又は前記複数の焦点のそれぞれに対応する前記第２の光及び前記第４の光による画素値を取得し、（ｄ）前記複数の焦点のそれぞれに対応する前記第１の光及び前記第３の光による画素値、又は前記複数の焦点のそれぞれに対応する前記第２の光及び前記第４の光による画素値を用いて、前記焦点面における前記物質の断面画像を生成する。

なお、この包括的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能な記録媒体で実現されてもよく、装置、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。コンピュータ読み取り可能な記録媒体は、例えばＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ－Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの不揮発性の記録媒体を含む。

本開示によれば、大型化を抑えて物質の任意断面の状態が分かりやすい画像を生成することができる。本開示の一態様の付加的な恩恵及び有利な点は本明細書及び図面から明らかとなる。この恩恵及び／又は有利な点は、本明細書及び図面に開示した様々な態様及び特徴により個別に提供され得るものであり、その１以上を得るために全てが必要ではない。

図１は、実施の形態１に係る画像生成装置の機能ブロック図である。 図２は、実施の形態１に係る処理回路の詳細な機能構成を示す画像生成装置の機能ブロック図である。 図３は、実施の形態１に係る照明器の構造の一例を模式的に示す図である。 図４は、実施の形態１に係る複数の点光源の配置の一例を示す模式図である。 図５は、実施の形態１に係るマスクの例を示す図である。 図６は、実施の形態１に係るイメージセンサの上に設置した対象物の一例を示す図である。 図７は、実施の形態１に係る複数の点光源の間隔を説明するための模式図である。 図８は、実施の形態１に係る複数の点光源が配置される範囲を説明するための模式図である。 図９は、実施の形態１に係る記憶部が記憶する情報の例を示す図である。 図１０は、実施の形態１に係る係数マップ保持部に保持されている係数マップの一例を示す図である。 図１１は、実施の形態１に係る、ｘ軸、ｙ軸およびｚ軸によって構成される座標系における焦点面の例を模式的に示す図である。 図１２は、スリット状のマスクを通して撮影した場合の輝度分布の例を示す図である。 図１３は、実施の形態１に係る画像生成装置の動作の一例を示すフローチャートである。 図１４は、実施の形態１に係る画像出力部による合焦画像の表示の一例を示す図である。 図１５は、実施の形態１に係る撮影部の動作の一例を示すフローチャートである。 図１６は、実施の形態１に係る対応点決定部の動作の詳細を示すフローチャートである。 図１７は、実施の形態１に係る、複数の点光源と選択画素と対応点の関係を示す図である。 図１８は、実施の形態１に係る式生成部の動作の詳細を示すフローチャートである。 図１９は、実施の形態１に係る、対応点の輝度値の計算を説明するための模式図である。 図２０は、実施の形態２に係る画像生成装置の機能ブロック図である。 図２１は、実施の形態２に係る記憶部に記憶された情報の内容の一例を示す図である。 図２２は、実施の形態２に係る画像生成部の構成の一例を示す図である。 図２３は、実施の形態２に係る画像生成装置の動作の一例を示すフローチャートである。 図２４Ａは、実施の形態２に係る画像出力部の表示例を示す図である。 図２４Ｂは、実施の形態２に係る画像出力部の表示例を示す図である。 図２５Ａは、実施の形態２に係る画像出力部の他の表示例を示す図である。 図２５Ｂは、実施の形態２に係る画像出力部の他の表示例を示す図である。 図２６は、実施の形態２に係る統合計算部の詳細な動作を示すフローチャートである。

本開示における実施形態の詳細を説明する前に、用語の説明及び本開示の種々の態様について説明する。

＜用語の説明＞
直接光とは「光源からイメージセンサに屈折及び／または散乱することなく入射する光」である。

なお、直接光は、光が媒質中を直進し、さらに、媒質と対象物との境界面と、対象物の内部とを直進してイメージセンサに入射する光である。直進する光が半透明物質の境界面に当たった場合、光の一部はそのまま直進し、光の他の一部は境界面で屈折する。さらに、直進した光の一部は対象物内の散乱物質に当たって散乱する。
直接光以外の光には、媒質と対象物の境界面と対象物内とを直進する光以外の光、すなわち、散乱光及び/または屈折光も含まれていてもよい。

なお、上述した対象物は、イメージセンサ撮影の対象物であって、例えば細胞であるが、透光性を有する物質であればよく、細胞以外の物質であってもよい。

＜本開示の種々の態様＞
本開示の一態様に係る画像生成装置は、画像生成装置であって、第１の光源と、前記第１の光源と所定の距離離れて位置する第２の光源と、透光性を有する物質が配置されるイメージセンサと、前記第１の光源及び前記第２の光源からの光が透過する透光部分と、前記光を遮蔽する遮光部分とを有し、かつ、前記イメージセンサと前記第１の光源及び前記第２の光源との間に位置するマスクと、処理回路とを備え、前記イメージセンサは、前記第１の光源が照明されたときに、前記物質の第１の画像を取得し、前記第２の光源が照明されたときに、前記物質の第２の画像を取得し、前記第１の画像は、複数の第１の画素領域を有し、前記第２の画像は、複数の第２の画素領域を有し、前記処理回路は、（ａ）前記イメージセンサと前記マスクとの間に位置し、かつ複数の焦点を有する焦点面の情報を取得し、（ｂ）前記複数の第１の画素領域毎に、前記第１の光源から前記イメージセンサに屈折及び／または散乱することなく直進して入射する直接光を含む第１の光の割合と、前記第１の光源から前記イメージセンサに入射する直接光以外の光を含む第２の光の割合とを取得し、かつ、前記複数の第２の画素領域毎に、前記第２の光源から前記イメージセンサに屈折及び／または散乱することなく直進して入射する直接光を含む第３の光の割合と、前記第２の光源から前記イメージセンサに入射する直接光以外の光を含む第４の光の割合とを取得し、（ｃ）前記第１の画像における複数の第１の画素領域の画素値と、前記第２の画像における複数の第２の画素領域の画素値と、前記第１の光の割合と、前記第２の光の割合と、前記第３の光の割合と、前記第４の光の割合とを用いて、前記複数の焦点のそれぞれに対応する前記第１の光及び前記第３の光による画素値、又は前記複数の焦点のそれぞれに対応する前記第２の光及び前記第４の光による画素値を取得し、（ｄ）前記複数の焦点のそれぞれに対応する前記第１の光及び前記第３の光による画素値、又は前記複数の焦点のそれぞれに対応する前記第２の光及び前記第４の光による画素値を用いて、前記焦点面における前記物質の断面画像を生成する。

具体的には、前記（ｃ）では、前記複数の焦点のうちの１つの焦点に対応する、前記第１の光の割合、前記第２の光の割合、前記第３の光の割合、前記第４の光の割合、前記第１の画素領域の画素値、および前記第２の画素領域の画素値をそれぞれ、α１、β１、α２、β２、Ｌ１およびＬ２とする場合、

を、最小二乗法によって解くことによって、前記１つの焦点に対応する前記第１の光および前記第３の光による画素値であるＤと、前記１つの焦点に対応する前記第２の光および前記第４の光による画素値であるＧとを取得してもよい。

これにより、複数の焦点のそれぞれに対応する第１の光及び第３の光による画素値、すなわち直接光成分の画素値（具体的には輝度値）を用いて、焦点面における物質の断面画像が生成される。または、複数の焦点のそれぞれに対応する第２の光及び第４の光による画素値、すなわち直接光以外の光成分の画素値（具体的には輝度値）を用いて、焦点面における物質の断面画像が生成される。直接光成分の画素値を用いて生成される物質の断面画像では、その物質の輪郭を明確にすることができ、直接光以外の光成分の画素値を用いて生成される物質の断面画像では、その物質内の散乱物質を含む領域を明確にすることができる。その結果、焦点面を調整することによって、物質の任意断面の状態が分かりやすい画像を生成することができる。

また、第１の画像における複数の第１の画素領域の画素値と、第２の画像における複数の第２の画素領域の画素値と、第１の光の割合と、第２の光の割合と、第３の光の割合と、第４の光の割合とを用いて、複数の焦点のそれぞれに対応する直接光成分の画素値、又は複数の焦点のそれぞれに対応する直接光以外の光成分の画素値が取得される。すなわち、直接光成分と直接光以外の光成分の分離と、リフォーカシングの計算とが同時に行われる。したがって、処理速度を向上することができるとともに、処理負担を軽減することができる。

また、物質を照明する光源を切り替えれば、明暗パタンの異なる第１の画像および第２の画像を取得することができる。すなわち、明暗パタンの異なる第１の画像および第２の画像を取得するために光源またはデジタルマイクロミラーデバイスなどの構造物の位置を変更する必要がなく、装置全体を小型化することができる。

したがって、大型化を抑えて物質の任意断面の状態が分かりやすい画像を生成することができる。

なお、これらの全般的又は具体的な態様は、装置、方法、集積回路、コンピュータプログラム又はコンピュータ読取可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、装置、方法、集積回路、コンピュータプログラム又は記録媒体の任意な組み合わせで実現されてもよい。

以下、本開示の一態様に係る画像生成装置および画像生成方法について、図面を参照しながら具体的に説明する。

なお、以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。以下の実施の形態で示される数値、形状、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、請求の範囲を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

（実施の形態１）
実施の形態１に係る画像生成装置は、複数の点光源と、スリットまたはチェッカーパタンのように、光を透過する透光部分と光を遮断する遮光部分とが作られたマスクを含む照明器と、イメージセンサと、処理回路とを備える。その照明器における互いに位置の異なる複数の点光源は、イメージセンサ上に位置する対象物（すなわち物質）を順次照明する。このとき、イメージセンサは、そのイメージセンサおよび対象物に到達する光の明暗のパタンが切り替えられながら対象物の撮影を行う。これにより、明暗パタンの異なる複数の画像が取得される。処理回路は、合焦画像を生成する焦点面を定め、焦点面上の画素に対応するイメージセンサ上の点（以下、対応点という）を求める。

次に、処理回路は、求められた点の観測輝度を直接光成分と直接光以外の光成分との和によって表し、全対応点に共通する直接光成分と直接光以外の光成分を、最小二乗法を用いた最適化によって求める。全対応点に共通する直接光成分と直接光以外の光成分は、焦点面上の画素の位置（すなわち焦点位置）の直接光成分と直接光以外の光成分である。得られた直接光成分と直接光以外の光成分により、画像を生成することで、対象物の境界面を示す、直接光成分による合焦画像と、対象物に含まれる散乱物質の分布を示す、直接光以外の光成分による合焦画像とを生成する。なお、直接光成分は、Ｄｉｒｅｃｔ成分ともいい、直接光以外の光成分は、Ｇｌｏｂａｌ成分ともいう。また、本実施の形態では、直接光以外の光は、点光源からの直接光の散乱によって生じる光だけでなく、その直接光の屈折によって生じる光も含む。

なお、本実施の形態における撮影の対象物は、例えば細胞であるが、透光性を有する物質であればよく、細胞以外の物質であってもよい。

［１．画像生成装置の構成］
図１は、実施の形態１に係る画像生成装置１０の機能ブロック図である。図１に示される画像生成装置１０は、細胞などの透光性を有する物質の画像を生成する装置であって、撮影部１００と、記憶部１１０と、処理回路３００と、焦点面入力部１２０と、係数マップ保持部１７２と、画像出力部２００とを備える。撮影部１００は、照明器１４０と、イメージセンサ１５０と、制御部１６０とを備える。なお、実施の形態１に係る画像生成装置１０は、制御部１６０、記憶部１１０、焦点面入力部１２０、係数マップ保持部１７２、および画像出力部２００を備えているが、これらの構成要素は必須ではなく、画像生成装置１０はこれらの構成要素を備えていなくてもよい。

図２は、実施の形態１に係る処理回路３００の詳細な機能構成を示す画像生成装置１０の機能ブロック図である。

処理回路３００は、焦点面決定部１３０と、対応点決定部１７１と、式生成部１７３と、計算部１７４と、画像生成部１９０とを備える。統合計算部１７０は、対応点決定部１７１と、式生成部１７３と、計算部１７４と、係数マップ保持部１７２とを含む。

［１－１．撮影部］
まず、撮影部１００の構成について説明する。撮影部１００は、上述のように、照明器１４０と、イメージセンサ１５０と、制御部１６０とを備える。撮影部１００は、対象物である物質の撮影画像（ｐｈｏｔｏｇｒａｐｈｉｃ ｉｍａｇｅ）を取得する。ここでは、撮影部１００は、フォーカスレンズを有さない。

実施の形態１における照明器１４０は、第１の光源１４１Ａと、第２の光源１４１Ｂと、マスク１４２とを備える。第１の光源１４１Ａは、物質を照明する点光源である。第２の光源１４１Ｂは、第１の光源１４１Ａから所定の距離だけ離れた位置からその物質を照明する点光源である。マスク１４２は、第１の光源１４１Ａおよび第２の光源１４１Ｂからの光が透過する透光部分、ならびにそれらの光を遮蔽する遮光部分を有する。マスク１４２は、イメージセンサ１５０と第１の光源１４１Ａおよび第２の光源１４１Ｂとの間に位置する。なお、上述の所定の距離は、後述の周期の１／３または２／３に相当する距離である。

以下、この照明器１４０の詳細について説明する。

図３は、実施の形態１における照明器１４０の構造の一例を模式的に示す図である。具体的には、照明器１４０は、上述の第１の光源１４１Ａおよび第２の光源１４１Ｂを含む複数の点光源１４１と、マスク１４２とを備える。マスク１４２は、スリットまたはチェッカーパタンを有する。つまり、マスク１４２は、光を透過する透光部分と光を遮断する遮光部分とを有する。

図４は、複数の点光源１４１の配置の一例を示す模式図である。図４の例では、複数の点光源１４１は、等間隔に配列されている。複数の点光源１４１のそれぞれは、例えば、発光する直径１０μｍの発光面を有する。直径１０μｍの発光面は、例えば、直径が１０μｍ以上ある光源にピンホールを設けた遮光板を取り付けることで実現する。ピンホールは直径１０μｍであり、ピンホール付きの遮光板と光源は、遮光板のピンホールから光源の発光面が露出するように構成される。光は点光源１４１から全方向へ均等に広がるものとする。

図５は、マスク１４２の例を示す。具体的には、図５の（ａ）は、スリットを有するマスク１４２の一例を示し、図５の（ｂ）は、チェッカーパタンを有するマスク１４２の一例を示す。なお、図５中の黒色の部分は、上述の遮光部分であり、白色の部分は、上述の透光部分である。図５の例では、（ａ）のスリットにおいて、黒色ラインの遮光部分と白色ラインの透光部分との幅は同一である。また、（ｂ）のチェッカーパタンにおいて、黒色正方形の遮光部分と、白色正方形の透光部分との大きさは同一である。また、複数の透光部分と複数の遮光部分はマスク１４２上では等間隔に設定されている。つまり、マスク１４２の複数の透光部分および複数の遮光部分は、周期的に規則正しく配置されている。また、スリットにおけるラインの幅あるいはチェッカーパタンにおける正方形の一辺の長さは、何れかの点光源１４１からマスク１４２を通った光束によって対象物の一部が明るく、残りの部分が暗くなるように設定されている。つまり、その光束による対象物およびイメージセンサ１５０上での光の明暗パタンが対象物を少なくとも２つの領域（明るい領域と暗い領域）に分割するように、上述の幅あるいは正方形の一辺の長さが設定されている。例えば、対象物が１００μｍの場合、スリットにおけるラインの幅あるいはチェッカーパタンの正方形の一辺の長さは、例えば３０μｍである。マスク１４２は、例えばガラス上に金属を蒸着することで実現される。

図６は、イメージセンサ１５０の上に設置した対象物の一例である。なお、図６では、透明保護膜などを省略している。イメージセンサ１５０の上に直接、撮影の対象物が設置されている。対象物は、例えば複数の半透明の物質である。複数の物質は３次元的に重なって位置する。物質の具体例は、細胞または培養細胞である。図６の例では、対象物は初期胚である。

イメージセンサ１５０は、複数の画素を有し、上述の物質がイメージセンサ１５０に配置される。イメージセンサ１５０の各画素は、受光面に配置され、複数の点光源１４１から照射された光の強度（すなわち輝度値）を取得する。イメージセンサ１５０は、各画素により取得された光の強度に基づいて、撮影画像を取得する。つまり、イメージセンサ１５０は、複数の点光源１４１のうちの第１の光源１４１Ａにより照明されたときに、物質の第１の画像を取得し、複数の点光源１４１のうちの第２の光源１４１Ｂにより照明されたときに、物質の第２の画像を取得する。また、取得される第１の画像は、複数の第１の画素領域を有し、第２の画像は、複数の第２の画素領域を有する。この第１の画素領域および第２の画素領域のそれぞれは、１つの画素であっても、複数の画素からなるブロックであってもよい。あるいは、この第１の画素領域および第２の画素領域のそれぞれは、複数の画素間の領域または点（いわゆるサブピクセル）であってもよい。

イメージセンサ１５０の例は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ－Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ又はＣＣＤ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ－Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサである。

照明器１４０の複数の点光源１４１は、順に光を照射する。複数の点光源１４１は互いに異なる位置に配置され、互いに異なる方向からマスク１４２を通して対象物に光を照射する。

制御部１６０は、複数の点光源１４１による光の照射、及びイメージセンサ１５０による撮影を制御する。具体的には、制御部１６０は、複数の点光源１４１が光を照射する順番、複数の点光源１４１が光を照射する時間間隔を制御する。制御部１６０は、ＣＰＵ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ－Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）などからなるコンピュータシステム（図示せず）により構成される。制御部１６０の構成要素の一部又は全部の機能は、ＣＰＵがＲＡＭを作業用のメモリとして用いてＲＯＭに記録されたプログラムを実行することによって達成されてもよい。また、制御部１６０の構成要素の一部又は全部の機能は、専用のハードウェア回路によって達成されてもよい。

図７は、複数の点光源１４１の間隔を説明するための模式図である。図７において、マスク１４２の遮光部分の長さはａであり、マスク１４２の透光部分の長さはａである。なお、ａは図５の（ａ）の透光部分の幅、図５（ａ）の遮断部分の幅、または、図５の（ｂ）のチェッカーパタンの黒色正方形の遮光部分の一辺の長さ、白色正方形の透光部分の一辺の長さである。なお、複数の点光源１４１が１つずつ順に点灯することによって、イメージセンサ１５０上の明るい部分（「明」部分ともいう）および暗い部分（「暗」部分ともいう）は規則的に移動する。言い換えれば、イメージセンサ１５０上の画素における輝度は、明るくなったり暗くなったりするように周期的に変化する。このときの輝度の変化の周期は、上述のマスク１４２の遮光部分の長さおよび透光部分の長さと、複数の点光源１４１の間隔とに基づく。

距離ｄは、光源間（すなわち２つの点光源１４１間）の距離である。図７に示す例では、距離ｄは、複数の点光源１４１に含まれる点光源１４１ａと点光源１４１ｂとの間の距離である。距離ｈｌは、イメージセンサ１５０の表面から点光源１４１ａ、１４１ｂまでの距離である。距離ｈｍは、イメージセンサ１５０の表面からマスク１４２までの距離である。図７では、点光源１４１ａと点光源１４１ｂとは、ちょうどイメージセンサ１５０での明暗パタンが反転することを実現可能な位置に配置されている。

具体的には、図７において、点線は、点光源１４１ａから射出された光が、マスク１４２の遮光部分と透光部分との境界を通過してイメージセンサ１５０へ到達する経路を示す。図７において、実線は、点光源１４１ｂから射出された光が、マスク１４２の遮光部分と透光部分との境界を通過してイメージセンサ１５０へ到達する経路を示す。イメージセンサ１５０の表面において、点光源１４１ａの点灯時にマスク１４２の遮光部分によって光がさえぎられた「暗」部分になる範囲は、点光源１４１ｂの点灯時にはマスク１４２の透光部分を通過した光を受けて「明」部分になる範囲である。

点光源１４１ａと点光源１４１ｂが、図７に示すような位置にある場合、光源間の距離ｄは、以下の（式１）によって示される。

ここで、光源間の距離ｄが、以下の（式２）を満たす場合には、複数の点光源１４１が１つずつ順に点灯しても、イメージセンサ１５０の各画素は常に同じ輝度の光を受けることになる。例えば、イメージセンサ１５０の1つの画素は、常に「暗」部分にあり、他の画素は、常に「明」部分にある。言い換えれば、複数の点光源１４１が１つずつ順に点灯しても、イメージセンサ１５０上の明暗パタンの「明」部分および「暗」部分は移動しない。このような状態は、イメージセンサ１５０の受光面から観察した時、複数の点光源１４１の配置パタンと、マスク１４２の透過部と遮断部の配置パタンが一致している状態とも言える。したがって、イメージセンサ１５０の受光面から観察した時、複数の点光源１４１の配置パタンとマスク１４２の透過部と遮断部の配置パタンが一致している状態を避ける必要がある。つまり、光源間の距離ｄは、以下の（式２）を満たしてはならない。光源間の距離ｄが以下の（式２）を満たさなければ、複数の点光源１４１が１つずつ順に点灯することによって、イメージセンサ１５０上の各画素は、「明」から「暗」のさまざまな輝度の光を周期的に受けることができる。

図８は、複数の点光源１４１が配置される範囲を説明するための模式図である。具体的には、この図８は、レンズの焦点距離及び被写界深度の関係と、リフォーカシングする際の点光源の配置及び被写界深度の関係とを対応付けて示した模式図である。図８の（ａ）は、レンズの焦点距離及び被写界深度の関係を示し、図８の（ｂ）は、リフォーカシングする際の点光源の配置及び被写界深度の関係を示す。なお、リフォーカシングについては、後述する。

図８において、ｆは、レンズの焦点距離を示す。ｓは、被写体距離を示す。ｔは、レンズから結像面までの距離を示す。Ｆは、Ｆ値を示す。εは、焦点深度の１／２を示す。δは、許容錯乱円直径を示す。Ｓｎは、近点距離を示す。Ｓｆは、遠点距離を示す。Ｄｎは、前方被写界深度を示す。Ｄｆは、後方被写界深度を示す。

リフォーカシングによる被写界深度は照明位置の分布範囲の広さによって決定される。図８の（ｂ）において、点線で示す照明位置の分布範囲は、図８の（ａ）のレンズ径に対応する。図８の（ａ）に示したレンズの場合には、被写体（Ｓｕｂｊｅｃｔ）表面で反射された光はレンズを通過して焦点面（Ｆｏｃａｌ Ｐｌａｎｅ）で結像する。被写界深度（Ｄｅｐｔｈ ｏｆ Ｆｉｅｌｄ）は、前方被写界深度Ｄｎと後方被写界深度Ｄｆの和である。本開示では、透過光の撮影でのリフォーカシングであるため、図８の（ａ）の被写体の位置に相当するのが焦点面である。図８の（ｂ）において、イメージセンサは焦点面よりも左側に位置する。本実施の形態では、点光源の配列より図中右側には実際には何も無いが、許容錯乱円として、イメージセンサの画素ピッチを設定することで、被写界深度を計算しうる。

焦点面の合焦画像を生成するために必要な照明位置の範囲は、図８に示すように、焦点面に平行に設置されたレンズの大きさに対応する。焦点位置に置かれた被写体を観測するために、例えば被写体から５ｍｍの距離に置かれた直径１０ｍｍのレンズ径が必要な場合の照明位置の範囲は、次のような円で表される。つまり、照明位置の範囲は、焦点面に平行で、焦点面からの距離が５ｍｍであって、焦点面の中心を通る焦点面の法線と焦点面に平行な平面との交点を中心とした直径１０ｍｍの円で表される。

［１－２．記憶部］
記憶部１１０は、イメージセンサ１５０で取得された画像を、制御部１６０で設定された撮影時に照明または点灯していた点光源１４１の位置（すなわち照明位置）と対応させて記憶する。

図９は、記憶部１１０が記憶する情報の例である。記憶部１１０は、イメージセンサ１５０で取得した画像を識別するＩＤと、撮影時に点灯していた点光源１４１の照明位置とを対応させて、記憶する。照明位置は、例えば、イメージセンサ１５０の複数の有効画素からなる平面の左上角を原点とし、イメージセンサ１５０の横方向をｘ軸、縦方向をｙ軸とする座標系上の点として示される。本実施の形態の照明器１４０の例では、複数の点光源１４１は、イメージセンサ１５０の表面（すなわち受光面）と平行な平面上に、そのイメージセンサ１５０の表面に対向するように配置されている。つまり、イメージセンサ１５０の表面から、すべての点光源１４１のそれぞれまでの距離は同一である。そのため、照明位置は２次元で表現されている。照明位置は、３次元で表現されてもよい。また、全ての点光源１４１が直線状に配置されている場合には、照明位置は１次元で表現されてもよい。

［１－３．焦点面入力部］
焦点面入力部１２０は、ユーザによって指定される焦点面を示す指定情報を受け付ける。あるいは、焦点面入力部１２０は、図示しない記憶部に記憶された、あらかじめ定められた焦点面を示す指定情報を取得する。

［１－４．焦点面決定部］
焦点面決定部１３０は、例えば制御回路、処理回路又はプロセッサによって実現され、照明器１４０及びイメージセンサ１５０の間に位置する仮想的な焦点面を決定する。具体的には、焦点面決定部１３０は、焦点面入力部１２０に受け付けられた指定情報に従って焦点面を決定する。あるいは焦点面決定部１３０は、図示しない記憶部に記憶された指定情報に基づいて焦点面を決定しても良い。言い換えれば、焦点面決定部１３０は、イメージセンサ１５０とマスク１４２との間に位置し、かつ複数の焦点を有する焦点面の情報を取得する。

［１－５．統合計算部の構成］
統合計算部１７０は、少なくとも１つの制御回路または処理回路によって実現される。統合計算部１７０は、対応点決定部１７１と、係数マップ保持部１７２と、式生成部１７３と、計算部１７４とを含む。

対応点決定部１７１は、焦点面の情報を焦点面決定部１３０から取得する。そして、対応点決定部１７１は、焦点面決定部１３０によって決定された焦点面での合焦画像上の画素に対して、照明位置ごとに、当該合焦画像上の画素と照明位置を結ぶ直線が、イメージセンサ１５０表面と交差する点を対応点として決定する。

係数マップ保持部１７２は、係数マップを保持している。

図１０は、係数マップ保持部１７２に保持されている係数マップの一例を示す。

係数マップは、イメージセンサ１５０上の画素の位置（すなわち画素位置）と照明位置とに対してあらかじめ定められた直接光成分の係数αと直接光以外の光成分の係数βとを、そのイメージセンサ１５０上の画素位置と照明位置とあわせて示す。図１０の例では、イメージセンサ１５０上の画素位置と照明位置とは、座標で示されている。

図１１は、ｘ軸、ｙ軸およびｚ軸によって構成される座標系における焦点面の例を模式的に示す図である。ｘ軸およびｙ軸は、イメージセンサ１５０の表面（すなわち受光面）に配置される互いに直交する軸であり、ｚ軸は、ｘｙ平面に直交する軸である。また、この座標系における原点は、イメージセンサ１５０の左上の画素の位置である。

係数マップに示される座標は、例えば図１１に示す座標系、すなわち座標空間における座標位置である。ここで、複数の点光源１４１は、イメージセンサ１５０の表面に平行な平面に設置されているので、全ての点光源１４１のｚ座標の値は同じである。したがって、図１０に示す係数マップの例では、照明位置におけるｚ座標の値は省略されている。なお、図１０の例では、照明位置のx座標値およびｙ座標値の数値の単位は例えばμｍである。

係数マップに示される各係数は、例えば以下のように決定される。直接光成分の係数αは、対象物およびマスク１４２がない状態での撮影結果と、対象物はないがマスク１４２はある状態での撮影結果との比較によって求められる。以下、対象物およびマスク１４２がない状態を、マスクなし状態といい、対象物はないがマスク１４２はある状態を、マスクあり状態という。マスクなし状態においては、測定系からマスク１４２が除去されていると考えてもよい。

マスクなし状態は、複数の点光源１４１に含まれる任意の点光源１４１ｉから照射される光がさえぎられることなくイメージセンサ１５０へ到達する状態である。この状態におけるイメージセンサ１５０上の各画素位置における輝度を最大値とする。すなわち、点光源１４１ｉから照射された光がイメージセンサ１５０上の任意の画素ｋに到達する場合において画素ｋが検出する輝度の最大値は、マスクなし状態で撮影した際の輝度である。

マスクあり状態で、点光源１４１ｉからの直接光が、マスク１４２の透光部分を透過し、イメージセンサ１５０上の画素ｋに到達する場合、画素ｋが検出する輝度は、上述した輝度の最大値と同じ値になる。

一方、マスクあり状態で、画素ｍにおいて、点光源１４１ｎからの直接光がマスク１４２の遮光部分によって遮断される場合は、画素ｍの検出する輝度はゼロになると考えられる。しかし、実際には、イメージセンサ１５０上の空間は、回折等により、さまざまな透過率の値を持ちうる。つまり、マスクあり状態で、画素ｍにおいて、点光源１４１ｎからの光がマスク１４２の遮光部分によって遮断される場合でも、画素ｍが検出する輝度はゼロにはならない。

図１２は、スリット状のマスク１４２を通して撮影した場合の輝度分布の例である。撮影は１つの点光源を点灯し、他の点光源を消灯した状態で行われた。この輝度分布は、イメージセンサ１５０における画素の列の輝度分布である。より具体的には、輝度分布は、特定のｙ座標（縦位置）にあってｘ軸（横方向）方向に沿って配列された各画素において記録された輝度の分布である。輝度は、最大値と最小値を取るのみでなく、多くの画素で中間の値をとっている。例えば、図１２の最大値は、直接光成分が１００％透過している状態である。図１２の例は、イメージセンサ１５０上であって、撮影時点灯していた点光源の直下を通る直線上の画素の位置と、各画素位置の画素で記録された輝度との関係を示している。イメージセンサ１５０上であって、点光源の直下から大きく離れた場合、イメージセンサへの入射角が大きくなり、輝度のピークは小さくなるが、図１２の例では、点光源とイメージセンサ１５０表面との距離が、画素間の距離に対して十分大きく、点光源の直下の周辺のみを示しているため、画素位置による輝度のピークの差はみられない。

各画素に対して、照明位置ごとに、マスクあり状態で得られた輝度の、マスクなし状態で得られた輝度に対する比を、直接光成分の係数αとする。例えば、（画素ｉの点光源ｊについての直接光成分の係数α）＝（マスクあり状態で、点光源ｊを点灯し、他の点光源を消灯した場合、画素ｉが検出する輝度）／（マスクなし状態で、点光源ｊを点灯し、他の点光源を消灯した場合、画素ｉが検出する輝度）である。

なお、マスクなし状態における撮影を行うことなく、直接光成分の係数αを求めてもよい。その例を２つ以下に示す。

＜第１の例＞
複数の点光源は第１点光源、…、第ｊ点光源、…、第ｎ点光源を含み、前記ｋは自然数、前記ｎは自然数、１＜ｊ≦ｎとし、透光性を有する物質が配置され、物質の画像を複数取得するイメージセンサと、前記イメージセンサは第１画素、…、第ｉ画素、…、第ｍ画素を含み、前記ｉは自然数、前記ｍは自然数、１＜ｉ≦ｍとし、複数の点光源とイメージセンサと間にマスクが位置するとする。

イメージセンサは、前記第ｊ光源が点灯され、前記第１点光源～前記第ｎ点光源のうち前記第ｊ光源以外が消灯された時、イメージセンサが前記第１画素の画素値であるＬ（１ｊ）、…、前記第ｉ画素の画素値であるＬ（ｉｊ）、…、前記第ｍ画素の画素値であるＬ（ｍｊ）を取得する処理を、ｊ＝１～ｎで繰り返す。

前記処理回路は、Ｌ（ｉ１）、…、Ｌ（ｉｊ）、…、Ｌ（ｉｎ）から最大値を検出して、Ｌ（ｉ）maxと決定し、（画素ｉの点光源ｊについての直接光成分の係数α_ｉｊ）＝Ｌ（ｉｊ）／Ｌ（ｉ）maxと決定する処理をｉ＝１～ｍ、ｊ＝１～ｎで繰り返す。

＜第２の例＞
第１の例で、Ｌ（ｉ１）、…、Ｌ（ｉｊ）、…、Ｌ（ｉｎ）の取得後、第ｉ画素の画素値Ｌ（ｉｊ）の値を第１点光源～第ｎ点光源の配置に従って配置した際の画素値Ｌ（ｉｊ）のピークすなわち極大値を特定し、極大値に対応する点光源を特定する。特定された点光源のうち、第ｉ画素の位置の直上の位置に最も近い点光源ｋによって照明された際の第ｉ画素の画素値Ｌ（ｉｋ）を用いて、（画素ｉの点光源ｊについての直接光成分の係数α_ｉｊ）＝Ｌ（ｉｊ）／Ｌ（ｉｋ） と決定する処理をｉ＝１～ｍ、ｊ＝１～ｎで繰り返すものとしてもよい。

以上で２つの例の説明を終える。

一方、直接光以外の光成分の係数βは、例えば、本実施の形態では、照明位置ごとに、イメージセンサ１５０上の全ての画素に共通の値となる。直接光以外の光成分は、直接光成分が対象物あるいは媒質等により屈折および／または散乱した結果生ずる。したがって、直接光以外の光成分の量は、直接光成分の量に依存する。直接光以外の光成分は、マスク１４２の遮光部分と透光部分のパタンを超えて広がる成分であるため、光の量は、マスク１４２を通してイメージセンサ１５０に到達する光の量として考えることができる。したがって、各画素の直接光以外の光成分は、イメージセンサ１５０に到達する直接光成分のうちの１画素分であり、特定の照明位置において、イメージセンサ１５０の全画素の直接光成分の平均となる。簡易的には、マスク１４２の遮光部分と透光部分との面積が等しいことから、直接光成分の半分がイメージセンサ１５０に到達するものとして、直接光以外の光成分の係数βを０．５とおくこともできる。

式生成部１７３は、係数マップに示される係数αおよびβを取得する。つまり、本実施の形態における式生成部１７３は、上述の第１の画像が有する複数の第１の画素領域毎に、第１の光源１４１Ａからイメージセンサ１５０に直接入射する直接光を含む第１の光の割合α１と、第１の光源１４１Ａからイメージセンサ１５０に散乱して入射する直接光以外の光を含む第２の光の割合β１とを取得する。さらに、式生成部１７３は、上述の第２の画像が有する複数の第２の画素領域毎に、第２の光源１４１Ｂからイメージセンサ１５０に直接入射する直接光を含む第３の光の割合α２と、第２の光源１４１Ｂからイメージセンサ１５０に散乱して入射する直接光以外の光を含む第４の光の割合β２とを取得する。

そして、式生成部１７３は、係数マップに示される係数αおよびβと、記憶部１１０に記憶された撮影画像上の対応点の輝度とから、焦点面上の指定画素の直接光成分の輝度と直接光以外の光成分の輝度とを計算するための式を設定する。

式は、イメージセンサ１５０上に到達した光が直接光成分と直接光以外の光成分とからなるものとして生成される。

つまり、イメージセンサ１５０上の任意の点で観測された輝度は、直接光成分と直接光以外の光成分との和によって次の（式３）のように表される。ここで、直接光成分は、マスク１４２を透過し、対象物およびその他を透過して上記任意の点に到達した光の成分である。また、直接光以外の光成分は、マスク１４２を透過し、対象物およびその他によって屈折および／または散乱して上記任意の点に到達した光の成分である。

ここで、ｉは、焦点面上の画素位置またはその画素位置にある画素を示し、ｊは、照明している点光源１４１の照明位置を示す。Ｌｉｊは、照明位置ｊの点光源１４１の照明時に対象物が撮影された際の、画素ｉの対応点での観測輝度を示す。αｉｊは、照明位置ｊと画素ｉの対応点とに対応する直接光成分の係数であり、係数マップ保持部１７２に記憶されている既知の値である。βｊは、照明位置ｊに対応する直接光以外の光成分の係数であって、イメージセンサ１５０上の全ての画素（すなわち対応点）に共通の値である。また、このβｊは、αｉｊと同様、係数マップ保持部１７２に記憶されている既知の値である。

Ｄｉｒｅｃｔ_ｉｊは、照明位置ｊの点光源１４１の照明時に、画素ｉの対応点が受ける直接光成分であり、直接光が透過してきた範囲の全ての情報を含む。すなわち、Ｄｉｒｅｃｔ_ｉｊは、全焦点での直接光成分である。Ｇｌｏｂａｌ_ｉｊは、照明位置ｊの点光源１４１の照明時に、画素ｉの対応点が受ける直接光以外の光成分であり、画素ｉの対応点に到達するすべての直接光以外の光を示す。

画素ｉの対応点で観測される輝度は、照明位置１からｎのそれぞれについて、以下の（式４）のように表すことができる。

ここで、求めたいものは焦点面上における画素位置ｉでの光または輝度である。この光は、Ｄｉｒｅｃｔ_ｉ１からＤｉｒｅｃｔ_ｉｎの共通成分すなわち、焦点面上の合焦画像の画素位置ｉでの直接光成分Ｄｉｒｅｃｔ_ｉと、Ｇｌｏｂａｌ_ｉ１からＧｌｏｂａｌ_ｉｎの共通成分すなわち、焦点面上の合焦画像の画素位置ｉでの直接光以外の光成分Ｇｌｏｂａｌ_ｉとからなる。その直接光成分Ｄｉｒｅｃｔ_ｉと直接光以外の光成分Ｇｌｏｂａｌ_ｉとは、それぞれ以下の（式５）および（式６）に示すように表される。

しかし、Ｄｉｒｅｃｔ_ｉ１からＤｉｒｅｃｔ_ｉｎおよび、Ｇｌｏｂａｌ_ｉ１からＧｌｏｂａｌ_ｉｎは未知であるため、（式５）および（式６）から、Ｄｉｒｅｃｔ_ｉおよびＧｌｏｂａｌ_ｉを直接計算することができない。そこで、計算部１７４は、以下の（式７）を解く。

式生成部１７３は、上記（式７）の行列式を生成する。

計算部１７４は、式生成部１７３によって設定された上記（式７）の行列式を、最小二乗法を用いて解く。これによって、計算部１７４は、焦点面上の画素での直接光成分の輝度と直接光以外の光成分の輝度とを求める。

上記（式７）の行列式を満たすＤｉｒｅｃｔ_ｉおよびＧｌｏｂａｌ_ｉはないため、計算部１７４は、擬似逆行列を用いて最小二乗法によってその行列式を解く。最小二乗法によって解くということは、以下の（式８）に示す残差Ｅを最小とするＤｉｒｅｃｔ_ｉおよびＧｌｏｂａｌ_ｉを見つけることである。

以下、簡便のため、直接光以外の光成分Ｇｌｏｂａｌを省略し、直接光成分Ｄｉｒｅｃｔのみを表記する。

上記（式８）の残差Ｅが最小となるときには、以下の（式９）が満たされる。

すなわち、以下の（式１０）が満たされる。

（式１０）は、（式５）と同一である。計算部１７４は、最小二乗法により、式生成部１７３によって生成された（式７）に示す行列式を解く。これによって、各照明位置に対する対応点の直接光成分の加算平均および直接光以外の光成分の加算平均を解く計算と等価な計算を行うことができる。その結果、計算部１７４は、画素ｉに対して、直接光成分によるリフォーカシング結果と、直接光以外の光成分によるリフォーカシング結果を得ることができる。

このように、本実施の形態では、計算部１７４は、上述の第１の画像における複数の第１の画素領域の画素値と、第２の画像における複数の第２の画素領域の画素値と、第１の光の割合α１と、第２の光の割合β１と、第３の光の割合α２と、第４の光の割合β２とを用いて、複数の焦点のそれぞれに対応する第１の光及び第３の光による画素値、又は複数の焦点のそれぞれに対応する第２の光及び第４の光による画素値を取得する。なお、第１の光及び第３の光による画素値は、直接光成分の画素値または輝度値であり、第２の光及び第４の光による画素値は、直接光以外の光成分の画素値または輝度値である。

具体的には、計算部１７４は、複数の焦点のうちの１つの焦点に対応する、第１の光の割合、第２の光の割合、第３の光の割合、第４の光の割合、第１の画素領域の画素値、および第２の画素領域の画素値をそれぞれ、α１、β１、α２、β２、Ｌ１およびＬ２とする場合、以下の（式１１）を、最小二乗法によって解く。

これによって、計算部１７４は、上述の１つの焦点に対応する第１の光および第３の光による画素値であるＤと、その１つの焦点に対応する第２の光および第４の光による画素値であるＧとを取得する。

画像生成部１９０は、少なくとも１つの制御回路、処理回路またはプロセッサによって実現される。画像生成部１９０は、画像生成部１９０で生成された、直接光成分によるリフォーカシング結果で合焦画像を生成し、直接光以外の光成分によるリフォーカシング結果で合焦画像を生成する。以下、直接光成分によるリフォーカシング結果で生成される合焦画像を、直接光成分の画像、直接光成分の合焦画像、または直接光成分による合焦画像ともいう。直接光以外の光成分によるリフォーカシング結果で生成される合焦画像を、直接光以外の光成分の画像、直接光以外の光成分の合焦画像、または直接光以外の光成分による合焦画像ともいう。

このように、本実施の形態における画像生成部１９０は、複数の焦点のそれぞれに対応する上述の第１の光及び第３の光による画素値、又は複数の焦点のそれぞれに対応する上述の第２の光及び第４の光による画素値を用いて、焦点面における物質の断面画像を生成する。第１の光及び第３の光による画素値を用いて生成される断面画像は、直接光成分の画像であり、第２の光及び第４の光による画素値を用いて生成される断面画像は、直接光以外の光成分の画像である。

［１－６．画像出力部］
画像出力部２００は、生成された直接光成分の画像および直接光以外の光成分の画像を表示する、または外部へ出力する。画像出力部２００は、上述の各画像を表示する場合、例えばディスプレイを含む。画像出力部２００は、上述の各画像を外部へ出力する場合、例えばＵＳＢコネクタを含む。

［１－７．画像生成装置の動作］
次に、以上のように構成された画像生成装置１０の動作について説明する。

図１３は、実施の形態１に係る画像生成装置１０の動作の一例を示すフローチャートである。

（ステップＳ１１００）
撮影部１００は、照明器１４０の複数の点光源１４１のそれぞれを順に用いて、対象物を、マスク１４２を通過した光により照明し、当該対象物の複数の画像を撮影する。具体的には、撮影部１００は、照明器１４０の複数の点光源１４１のそれぞれが対象物を照明するたびに、イメージセンサ１５０の受光面に到達した光の強度を記録することにより、対象物の画像を取得する。取得された画像は、撮影時に対象物を照明していた点光源１４１の位置情報（すなわち照明位置）とともに記憶部１１０で記憶される。ここでは、複数の点光源１４１の位置は、イメージセンサ１５０に対して固定されており、複数の点光源１４１の各々の位置情報は予め定められている。このステップＳ１１００における撮影処理の詳細は後述する。

（ステップＳ１２００）
焦点面決定部１３０は、焦点面入力部１２０から焦点面の指定情報を取得する。焦点面の指定情報は、例えば、焦点面の中心の座標値と、焦点面の傾きを示す値とを含む。図１１に示すように、例えば、焦点面の傾きは、例えば、焦点面及びｘｚ平面の交線とｘ軸とが成す角度によって表される。また、例えば、焦点面の傾きは、焦点面及びｙｚ平面の交線とｙ軸とが成す角度によって表される。焦点面の中心の座標値は、合焦画像の中心の画素に対応する焦点面上の点の座標値である。

（ステップＳ１３００）
対応点決定部１７１は、焦点面上のあらかじめ定められた合焦画像の画素のリスト（以下、生成画素リストという）を参照して、合焦画像に含まれる各画素の全てに対して、対応点の決定が終了したか否かを判定する。

ここで、生成画素リストに含まれる全ての画素の対応点の決定が終了している場合（ステップＳ１３００においてｙｅｓ）、ステップＳ２４００へ進む。一方、生成画素リスト内のいずれかの画素に対する対応点の決定が終了していない場合（ステップＳ１３００においてｎｏ）、ステップＳ１４００へ進む。

（ステップＳ１４００）
対応点決定部１７１は、生成画素リストに含まれる複数の画素の中から、まだ対応点の決定が行われていない画素を選択する。これにより、画素（すなわち焦点面画素）が決定される。なお、この画素は、選択画素ともいう。生成画素リストにおいて各画素は、例えば、画素ごとに割り当てられた番号によって示される。あるいは、例えば、各画素は、生成される合焦画像の左上の画素を原点としたｘｙ平面上の座標値によって示される。画素の選択は、例えば生成画素リストの昇順に行われる。

（ステップＳ１５００）
対応点決定部１７１は、あらかじめ定められた照明位置のリスト（以下、照明リストという）を参照して、全ての照明位置に対して対応点の決定が終了したか否かを判定する。

ここで、照明リストに含まれる、全ての照明位置に対する対応点の決定が終了している場合（ステップＳ１５００においてｙｅｓ）、ステップＳ２３００へ進む。一方、照明リスト内のいずれかの照明位置に対する対応点の決定が終了していない場合（ステップＳ１５００においてｎｏ）、ステップＳ１６００へ進む。

（ステップＳ１６００）
対応点決定部１７１は、照明リストに含まれる複数の照明位置の中から、まだ対応点の決定が行われていない照明位置を選択する。これにより、照明位置が決定される。照明リストにおいて各照明位置は、例えば、照明位置ごとに割り当てられた番号によって示される。あるいは、例えば、各照明位置は、イメージセンサ１５０の表面であるｘｙ平面と、そのｘｙ平面に直交するｚ軸とによって構成される座標系の座標値によって示される。照明位置の選択は、例えば照明リストの昇順に行われる。

（ステップＳ１７００）
対応点決定部１７１は、ステップＳ１６００で決定された照明位置と、ステップＳ１４００で決定された、生成する合焦画像上の画素の位置とを結ぶ直線と、イメージセンサ１５０の表面との交点を対応点として求める。これにより、上述の照明位置と画素とに対する対応点が決定される。対応点の位置の計算の詳細は後述する。

（ステップＳ１８００）
式生成部１７３は、ステップＳ１６００で決定された照明位置に応じた撮影画像、つまり、当該照明位置の点光源１４１の照明時に撮影された撮影画像を、記憶部１１０から取得する。そして、式生成部１７３は、取得した撮影画像から、ステップＳ１７００で決定された対応点の位置の輝度を取得する。輝度の取得方法の詳細は後述する。

（ステップＳ１９００）
式生成部１７３は、ステップＳ１６００で決定された照明位置と、ステップＳ１７００で決定された対応点とに応じた係数を取得する。つまり、式生成部１７３は、係数マップ保持部１７２の係数マップを参照して、その照明位置および対応点（すなわちイメージセンサ１５０上の画素位置）に対応付けられた係数αおよびβを取得する。係数の取得方法の詳細は後述する。

（ステップＳ２０００）
式生成部１７３は、ステップＳ１８００で取得された対応点の輝度と、ステップＳ１９００で取得された係数αおよびβを式パラメータとして記憶する。そして、ステップＳ１５００～Ｓ２０００の処理が繰り返される。これによって、式生成部１７３は、ステップＳ１４００で選択された焦点面上の画素に対する直接光成分Ｄｉｒｅｃｔ_ｉおよび直接光以外の光成分Ｇｌｏｂａｌ_ｉのそれぞれを解くための行列式に必要なパラメータを収集する。その結果、その行列式が生成される。

（ステップＳ２１００）
計算部１７４は、式生成部１７３によって生成された行列式を最小二乗法によって解く。そして、ステップＳ１３００～Ｓ２１００の処理が繰り返される。これによって、焦点面上の全ての画素のそれぞれに対して、その画素の位置での直接光成分Ｄｉｒｅｃｔ_ｉおよび直接光以外の光成分Ｇｌｏｂａｌ_ｉのそれぞれの輝度（または輝度値）が求められる。

（ステップＳ２２００）
画像生成部１９０は、焦点面上の全ての画素に対して計算された直接光成分の輝度と直接光以外の光成分の輝度とに基づいて、焦点面の直接光成分の合焦画像と、直接光以外の光成分の合焦画像とを生成する。

（ステップＳ２３００）
画像出力部２００は、ステップＳ２２００で生成された画像を出力する。画像出力部２００がディスプレイである場合、ステップＳ２２００で生成された直接光成分の合焦画像と、直接光以外の光成分の合焦画像とが表示される。

図１４は、画像出力部２００による合焦画像の表示の一例である。例えば、直接光成分の合焦画像Ｐ１は、「輪郭図」として左側に表示され、直接光以外の光成分の合焦画像Ｐ２は「細胞内状態」として右側に表示される。さらに合焦画像Ｐ１およびＰ２の例えば右上には、選択された焦点面Ｐ３を現す模式図が表示されている。焦点面入力部１２０は、例えばマウス等のポインティングデバイスからなり、ユーザによる操作に応じて、その模式図に現れている対象物および焦点面Ｐ３を回転または移動する。これにより、焦点面Ｐ３を調整することができる。

［１－８．撮影処理］
ここで、ステップＳ１１００の撮影部１００の動作（すなわち撮影処理）の詳細を説明する。

図１５は、撮影部１００の動作の一例を示すフローチャートである。

（ステップＳ１１１０）
制御部１６０は、予め定められた複数の照明位置、または図示しない外部入力によって指定された複数の照明位置のリスト（以下、照明位置リストという）を参照する。そして、制御部１６０は、照明位置リストに含まれる全ての照明位置のそれぞれについて、その照明位置の点光源１４１から照明された対象物の撮影が終了したか否かを判定する。

ここで、照明位置リストに含まれるすべての照明位置のそれぞれの点光源１４１からの照明による撮影が終了している場合（ステップＳ１１１０においてｙｅｓ）、ステップＳ１２００へ進む。一方、照明位置リスト内のいずれかの照明位置の点光源１４１からの照明による撮影が終了していない場合（ステップＳ１１１０においてｎｏ）、ステップＳ１１２０へ進む。

（ステップＳ１１２０）
制御部１６０は、照明位置リストに含まれる複数の照明位置の中から、まだ照明が行われていない照明位置を選択し、照明器１４０へ制御信号を出力する。照明位置リストにおいて、各照明位置は、例えば、照明位置ごとに割り当てられた番号によって示される。あるいは、各照明位置は、例えば、図１１に示す座標系（すなわちｘｙｚ空間）における座標値によって示される。照明位置の選択は、例えば、照明位置リストの昇順に行われる。

（ステップＳ１１３０）
照明器１４０は、ステップＳ１１２０で制御部１６０より出力された制御信号に従って、対象物への照明を開始する。つまり、ステップＳ１１２０で選択された照明位置にある点光源１４１が光の照射を開始する。

（ステップＳ１１４０）
点光源１４１によって対象物が照明されている間に、イメージセンサ１５０は、当該点光源１４１からマスク１４２を経て、対象物を透過した光と、対象物によって屈折及び/または散乱した光とによって形成される画像（すなわち撮影画像）を取得する。

（ステップＳ１１５０）
その後、制御部１６０は、照明器１４０へ制御信号を出力して、対象物への照明を停止する。なお、照明の停止は、制御部１６０からの制御信号に従って行われなくてもよい。例えば、照明器１４０は、照明を開始してからの時間長を計時して、計時した時間長が予め定められた時間長を超えたら照明を能動的に停止してもよい。あるいはステップＳ１１４０でイメージセンサ１５０が画像の取得を終了した後に、イメージセンサ１５０は、照明を停止するための制御信号を照明器１４０に出力してもよい。

（ステップＳ１１６０）
次に、制御部１６０は、ステップＳ１１４０で取得された画像と、ステップＳ１１３０で照明に用いられた点光源１４１の位置情報（すなわち照明位置）を記憶部１１０へ出力する。そして、記憶部１１０は、図９に示すように、画像と照明位置とを対応付けて記憶する。ステップＳ１１６０の後、ステップＳ１１１０へ戻る。

ステップＳ１１１０からステップＳ１１６０までの処理が繰り返されることで、照明位置リストに含まれるすべての照明位置の点光源１４１のそれぞれから順次、対象物に光が照射され、対象物に光が照射されるたびに、画像が撮影画像として取得される。

［１－９．対応点決定処理］
図１６は、ステップＳ１７００での対応点決定部１７１の動作の詳細を示すフローチャートである。以下、ステップＳ１７００における対応点決定部１７１の動作の詳細を説明する。

（ステップＳ１７１０）
対応点決定部１７１は、選択された照明位置と、焦点面における選択画素（すなわち焦点面画素）の位置とを通る直線を求める。

図１７は、複数の点光源１４１と選択画素と対応点の関係を示す。対応点決定部１７１は、図３および図４に示す複数の点光源１４１のうちの１つである点光源１４１ａの照明位置と、焦点面１１００における選択画素（すなわち焦点面画素）１１０２ａとを通る直線１２００を求める。

（ステップＳ１７２０）
対応点決定部１７１は、ステップＳ１７１０で求めた直線がイメージセンサ１５０の表面すなわち受光面と交差する点、すなわち対応点を求める。図１７に示す例では、対応点決定部１７１は、点光源１４１ａの照明位置と焦点面画素１１０２ａとを通る直線１２００がイメージセンサ１５０の表面と交差する点１１０３ａを、対応点として求める。これにより、点光源１４１ａの照明位置と焦点面画素（または選択画素）１１０２ａとに対して対応点１１０３ａが決定される。なお、ステップＳ１７１０において、点光源１４１ｂの照明位置と焦点面画素１１０２ａとを通る直線１２００が求められた場合には、対応点決定部１７１は対応点１１０３ｂを求める。つまり、対応点決定部１７１は、点光源１４１ｂの照明位置と焦点面画素１１０２ａとを通る直線がイメージセンサ１５０の表面と交差する点１１０３ｂを、対応点として求める。これにより、点光源１４１ｂの照明位置と焦点面画素（または選択画素）１１０２ａとに対して対応点１１０３ｂが決定される。イメージセンサ１５０の受光面上の対応点は、例えば、図１１に示すｘｙ平面上の座標値で表される。

［１－１０．対応点の輝度の取得］
図１８は、ステップＳ１８００およびＳ１９００での式生成部１７３の動作の詳細を示すフローチャートである。

（ステップＳ１８１０）
式生成部１７３は、ステップＳ１６００で決定された照明位置の点光源１４１を用いて撮影された撮影画像を、記憶部１１０から取得する。

（ステップＳ１８２０）
式生成部１７３は、ステップＳ１７００で計算されたイメージセンサ１５０上の対応点の、撮影画像における位置を決定する。具体的には、式生成部１７３は、撮影画像に含まれる画素の配列を基準に、撮影画像における対応点の位置を決定する。

（ステップＳ１８３０）
式生成部１７３は、ステップＳ１８２０で決定された、撮影画像における対応点の位置が、ステップＳ１８１０で取得された撮影画像上の画素位置に一致するか否かを判定する。

ここで、対応点の位置が撮影画像上の画素位置に一致する場合（ステップＳ１８３０においてｙｅｓ）、ステップＳ１８５０へ進む。一方、対応点の位置が撮影画像上の画素位置に一致しない場合（ステップＳ１８３０においてｎｏ）、ステップＳ１８４０へ進む。

（ステップＳ１８４０）
式生成部１７３は、対応点に最も近い複数の画素（これらの画素を隣接画素ともいう）を特定または抽出する。

（ステップＳ１８５０）
式生成部１７３は、撮影画像における対応点の位置が、ステップＳ１８１０で取得した撮影画像中のいずれかの画素位置と一致する場合は、対応点の輝度としてその画素位置の輝度を採用する。一方、撮影画像における対応点の位置が、複数の画素の中間位置である場合、式生成部１７３は、対応点の周辺にある複数の画素（例えば４画素）の輝度値を用いた補間処理を行うことにより、撮影画像における対応点の輝度値を計算する。具体的には、式生成部１７３は、例えば、対応点に最も近い複数の画素（例えば４つの隣接画素）のそれぞれと対応点との距離を求め、対応点と各画素との間の距離の比を各画素の輝度値に乗じて加算することで、撮影画像における対応点の輝度値を求める。

図１９は、ステップＳ１８５０における対応点の輝度値の計算を説明するための模式図である。図１９において、対応点の周囲にある４つの画素Ａ～画素Ｄのそれぞれと対応点との間の距離は、ａ、ｂ、ｃ、及びｄと表されている。この場合、対応点の輝度値Ｌｔは、以下の（式１２）で求められる。

ここで、Ｌａ、Ｌｂ、Ｌｃ及びＬｄは、それぞれ、画素Ａ、画素Ｂ、画素Ｃ及び画素Ｄの輝度値を表す。

［１－１１．対応点の係数の取得］
式生成部１７３は、ステップＳ１８００で対応点の輝度を求める一方、ステップＳ１９００で、対応点での直接光成分の係数αと直接光以外の光成分の係数βとを取得する。

（ステップＳ１９０５）
式生成部１７３は、ステップＳ１９０５で、決定された撮影画像における対応点の位置が、ステップＳ１８１０で取得された撮影画像上の画素位置に一致するか否かを判定する。

（ステップＳ１９１０）
式生成部１７３は、ステップＳ１９０５で、対応点の撮影画像上での位置が、当該撮影画像のいずれかの画素の位置と一致する場合には、その画素の位置に対応する係数αおよびβを係数マップから取得する。つまり、式生成部１７３は、その画素の位置と、直前のステップＳ１６００で決定された照明位置とに対応する、直接光成分の係数αと直接光以外の光成分の係数βとを係数マップから取得し、ステップＳ２０００へ進む。

（ステップＳ１９２０）
式生成部１７３は、ステップＳ１９０５で、対応点の撮影画像上での位置が、当該撮影画像の複数の画素の間に位置する場合に（ステップＳ１９０５におけるｎｏ）、対応点に対する上述の複数の隣接画素の位置（これらの位置を隣接点ともいう）のそれぞれに対応する係数αおよびβを係数マップから取得する。つまり、式生成部１７３は、ステップＳ１８４０で抽出された、対応点に対する複数の隣接画素のそれぞれについて、その隣接画素の画素位置と照明位置とに対応する直接光成分の係数αと直接光以外の光成分の係数βとを、係数マップから取得する。

（ステップＳ１９３０）
式生成部１７３は、ステップＳ１９２０で取得した、対応点に対応する複数の隣接画素のそれぞれの直接光成分の係数αと直接光以外の光成分の係数βに対して、補間処理を行う。これによって、式生成部１７３は、対応点の直接光成分の係数αと直接光以外の光成分の係数βとを決定する。補間処理の方法は、ステップＳ１８５０の輝度の場合と同様である。つまり、式生成部１７３は、それぞれの隣接画素と対応点との距離を求め、対応点と各隣接画素との間の距離の比を各画素の係数に乗じて加算することで、撮影画像における対応点の係数αおよびβを求める。

［効果］
以上のように実施の形態１に係る画像生成装置１０によれば、位置の異なる複数の点光源１４１からの光を、スリットあるいは市松模様などの遮光部分と透過部分との繰り返しパタンを持つマスク１４２を通して対象物およびイメージセンサ１５０に投射する。そして、画像生成装置１０は、そのマスク１４２を透過した光である透過光によって照らし出された対象物の撮影を行う。さらに、画像生成装置１０は、その撮影によって取得された画像の各画素について、以下の１）から４）の操作を行うことで自由な焦点面における２種類の合焦画像を生成することができる。２種類の合焦画像は、直接光成分による合焦画像と、直接光以外の光成分による合焦画像とである。

１）焦点面を決定する。

２）焦点面画素の位置に対して照明位置ごとに対応点を求める。

３）対応点での観測輝度と、直接光成分の係数と、直接光以外の光成分の係数とを決定し、焦点面画素の位置での光の直接光成分と直接光以外の光成分とを項とする行列式を生成する。

４）最小二乗法により、焦点面画素の位置での直接光成分と直接光以外の光成分を求める。

以上の手順で得られた、直接光成分による合焦画像では、焦点面での対象物の境界面すなわち輪郭線を明瞭にすることができる。また、直接光以外の光成分による合焦画像では、焦点面での対象物の散乱物質を含む領域を明瞭にすることができる。対象物が例えば初期胚の場合、直接光成分による合焦画像では、胚膜および細胞膜による境界面が明瞭になり、直接光以外の光成分による合焦画像では、細胞の存在位置および存在領域が明瞭になる。

また、直接光成分と直接光以外の光成分の分離と、リフォーカシングの計算とを同時に行うことができ、取得された画像の情報の全てを利用して直接光成分と直接光以外の光成分とを取得することができる。したがって、照明配置によって設定された被写界深度を劣化させることなく、直接光成分による画像と直接光以外の光成分による画像とを取得することができる。

（実施の形態２）
（直接光以外の光成分から３ＤＣＧ生成）
［２．画像生成装置の構成］
図２０は、実施の形態２に係る画像生成装置２０の機能ブロック図である。

図２０に示される画像生成装置２０は、撮影部１００と、記憶部１１０と、リスト保持部３１０と、焦点面入力部１２０と、焦点面決定部１３０と、統合計算部１７０と、記憶部３２０と、画像生成部３９０と、画像出力部２００とを備える。

すなわち、画像生成装置２０は、図２に示す実施の形態１の画像生成装置１０に対して、さらに、リスト保持部３１０と記憶部３２０とを備え、画像生成部１９０の代わりに画像生成部３９０を備えている。画像生成装置２０におけるそれら以外の構成要素は、実施の形態１の画像生成装置１０の構成要素と同一であり、適宜詳細な説明を省略する。

撮影部１００の構成は、図１または図２と同様であるので説明を省略する。

［２－１．リスト保持部］
リスト保持部３１０は、水平焦点面リストを保持している。水平焦点面リストは、図１１に示すような座標系において、イメージセンサ１５０の表面に平行であって、ｚ軸の値が互いに異なる複数の平面を水平焦点面として示す。具体的には、水平焦点面リストは、例えばｚ軸の値を、水平焦点面を特定するためのパラメータとして示す。水平焦点面は、３ＤＣＧ（３-Dimensional Computer Graphics）生成の基礎データである３次元の輝度分布を生成するために用いられる。従って、水平焦点面リストに示されるｚ軸の値の範囲は、３ＤＣＧを生成する範囲に対応する。例えば、対象物が直径約１００μｍの物質であれば、水平焦点面リストに示されるｚ軸の値の範囲は、１μｍから１００μｍであり、水平焦点面リストに示される各平面の間隔は、例えば１μｍである。

実施の形態２では、水平焦点面リストは、イメージセンサ１５０表面に水平な面を焦点面として示す。しかし、水平焦点面リストは、３次元座標空間中の各点における輝度を計算するために十分な数と配置の焦点面を示していれば、イメージセンサ１５０に平行な面以外の面を焦点面として示していても良い。

統合計算部１７０の構成は、図１または図２と同様であるので説明を省略する。

［２－２．記憶部］
記憶部３２０は、直接光以外の光成分の合焦画像から得られた、３次元座標空間中の輝度を記憶する。すなわち、記憶部３２０は、３次元座標空間中の複数の座標位置のそれぞれについて、その座標位置における直接光以外の光成分の輝度を記憶する。

図２１は、記憶部３２０に記憶された情報の内容の一例を示す。記憶部３２０には、３次元の複数の座標位置のそれぞれについて、その座標位置と、その座標位置での輝度とが対応付けられて記憶されている。

［２－３．画像生成部］
画像生成部３９０は、少なくとも１つの制御回路、処理回路またはプロセッサによって実現される。

図２２は、画像生成部３９０の構成の一例を示す。画像生成部３９０は、画素選択部３９１と、細胞数取得部３９２と、クラスタリング部３９３と、パラメータ決定部３９４と、３ＤＣＧ生成部３９５と、合焦画像生成部３９６とからなる。

画素選択部３９１は、記憶部３２０に記憶されている複数の画素（すなわち３次元の座標位置）から、あらかじめ定められた値以上の輝度に対応付けられている画素を選択する。なお、ここではあらかじめ定められた値以上の輝度を持つ画素を選択したが、全体の輝度分布に基づいて決定した閾値以上の輝度を持つ画素を選択しても良い。また、輝度分布に基づいて、またはあらかじめ定められた値に基づいて、輝度の範囲を分割し、分割された輝度の範囲に従って、記憶部３２０に記憶されている各画素を、複数のグループのうちの何れかに分類しても良い。

細胞数取得部３９２は、指定された細胞数を取得する。例えば、細胞数取得部３９２は、図示しない入力手段から、ユーザが入力する細胞数を取得する。あるいは、細胞数取得部３９２は、例えば、経過時間と細胞数との関係を示すテーブルから、計時手段によって計測された経過時間に対応付けられた細胞数を取得する。経過時間は、細胞あるいは胚等の組織の培養開始からの経過時間である。テーブルは、実験的にあらかじめ定められた、培養開始からの各経過時間と、その各経過時間での細胞数の情報とを保持している。

クラスタリング部３９３は、画素選択部３９１で選択された画素を、細胞数取得部３９２が取得した細胞数に、３次元座標空間でクラスタリングする。クラスタリングの手法は例えばｋ－ｍｅａｎｓ法である。

パラメータ決定部３９４は、クラスタリング部３９３が行ったクラスタリングの結果に基づき、各クラスタの画素の分布より、細胞モデルの球の中心と半径を求める。つまり、パラメータ決定部３９４は、１つのクラスタに付き、１つの球の中心と半径を求める。

３ＤＣＧ生成部３９５は、パラメータ決定部３９４で決定された中心と半径を持つ球の３ＤＣＧを生成する。

合焦画像生成部３９６は、統合計算部１７０が生成した、直接光成分による焦点面の輝度と、直接光以外の光成分による焦点面の輝度とから、直接光成分の合焦画像と、直接光以外の光成分の合焦画像とを生成する。

なお、本実施の形態では、焦点面入力部１２０に受け付けられた指定情報にしたがって焦点面決定部１３０が焦点面を決定し、統合計算部１７０がその焦点面上の各画素の輝度を計算し、その計算結果に基づいて合焦画像生成部３９６が合焦画像を生成する。しかし、合焦画像生成部３９６は、記憶部３２０に記憶されている、３次元空間中の各座標位置における輝度から、焦点面上の各画素が存在する座標位置の輝度を生成し、焦点面の合焦画像を生成しても良い。

画像出力部２００は、画像生成部３９０によって生成された合焦画像および球の３ＤＣＧを表示する、または外部へ出力する。

［２－４．画像生成装置の動作］
次に、以上のように構成された画像生成装置２０の動作について説明する。

図２３は、実施の形態２に係る画像生成装置２０の動作の一例を示すフローチャートである。

（ステップＳ１１００）
撮影部１００は、照明器１４０の複数の点光源１４１のそれぞれを順に用いて、マスク１４２を通過した光により対象物を照明し、当該対象物の複数の画像を撮影する。ステップＳ１１００の撮影は、実施の形態１のステップＳ１１００と同様であるので、詳細な説明を省略する。

（ステップＳ３１００）
統合計算部１７０は、リスト保持部３１０の水平焦点面リストに示される複数の焦点面の情報に従って、複数の焦点面上の各画素の輝度を計算し、計算された輝度を当該画素の座標値とあわせて、記憶部３２０に格納する。

統合計算部１７０の動作の詳細については後述する。

（ステップＳ３２００）
画素選択部３９１は、ステップＳ３１００で計算されて記憶部３２０に記憶されている３次元座標空間内の各座標位置にある画素のうち、あらかじめ定められた値より輝度が大きい画素（すなわち点）を全て選択する。

（ステップＳ３３００）
細胞数取得部３９２は、図示しない入力手段により、ユーザによって入力された細胞数を取得する。

（ステップＳ３４００）
クラスタリング部３９３は、ステップＳ３２００で選択された３次元座標空間中の複数の点を、ステップＳ３３００で取得した細胞数のクラスタにクラスタリングする。クラスタリングには、例えばｋ－ｍｅａｎｓ法を用いる。なお、ここではｋ－ｍｅａｎｓ法によりクラスタリングを行うが、群平均法等の他の方法によりクラスタリングを行っても良い。

（ステップＳ３５００）
パラメータ決定部３９４は、ステップＳ３４００で決定された各クラスタについて、クラスタ内の各点の３次元座標空間内の分布より、そのクラスタに対応する球の中心（すなわち中心座標位置）と半径とを決定する。クラスタに対応する球の中心は、当該クラスタ内の各点の重心である。クラスタに対応する球の半径は、例えば、当該クラスタ内の全ての点のうちの８０％以上の点を含む球であって、最も小さい球の半径である。

（ステップＳ３６００）
３ＤＣＧ生成部３９５は、３次元座標空間中に、ステップＳ３５００で決定したパラメータ（すなわち球の中心と半径）に基づいて、細胞数だけのクラスタのそれぞれに対応する球を、３ＤＣＧとして生成する。そして、画像出力部２００は、その３ＤＣＧとして生成された球を表示する。

（ステップＳ３７００）
焦点面入力部１２０は、ユーザによって焦点面が指定されたか否かを判定する。

ここで、ユーザによる焦点面の指定がある場合（ステップＳ３７００においてｙｅｓ）、ステップＳ３８００へ進む。一方、ユーザによる焦点面の指定がない場合（ステップＳ３７００においてｎｏ）、ステップＳ３９００へ進む。

図２４Ａおよび図２４Ｂは、画像出力部２００の表示例である。画像出力部２００は、図２４Ａに示すように、それぞれクラスタに対応する１つまたは複数の球を表示する。さらに、画像出力部２００は、焦点面指定のボタンＢｔ１を表示する。ユーザは、この球が表示されている画面上のボタンＢｔ１を、クリック等の操作により選択する。この選択によって、上述の画面は、例えば図２４Ｂに示す、焦点面の指定が可能な画面へ移行する。この画面には、焦点面に相当する平面ＰＬが表示される。ユーザは、表示された平面ＰＬを、マウス等のポインティングデバイスを用いて移動および回転させることができる。また、画面には、焦点面決定のボタンＢｔ２が表示されている。ユーザは、表示された平面ＰＬを移動および回転させて、所望の位置および角度に平面ＰＬを配置させた後、焦点面決定のボタンＢｔ２を選択する。これにより、焦点面が指定される。なお、本実施の形態における焦点面入力部１２０は、上述のポインティングデバイスと、ボタンＢｔ１、Ｂｔ２および平面ＰＬの制御を行う処理回路とを含んでいる。

（ステップＳ３８００）
焦点面決定部１３０は、焦点面入力部１２０を用いてユーザにより入力された、焦点面の位置と角度の情報を取得する。統合計算部１７０は、焦点面決定部１３０によって取得された焦点面の情報に従って、当該焦点面の画素ごとに直接光成分の輝度と直接光以外の光成分の輝度とを計算する。合焦画像生成部３９６は、統合計算部１７０によって計算された、焦点面上の画素の直接光成分の輝度と直接光以外の光成分の輝度とを元に、直接光成分による合焦画像と、直接光以外の光成分による合焦画像とを生成する。

（ステップＳ３９００）
画像出力部２００は、ステップＳ３６００で生成された球の３ＤＣＧとともに、ステップＳ３８００で生成された直接光成分による合焦画像と、直接光以外の光成分による合焦画像とを表示する。なお、ステップＳ３８００の処理が実施されず、ステップＳ３７００の後にステップＳ３９００の処理が実施される場合には、画像出力部２００は、図２４Ａまたは図２４Ｂに示すように、ステップＳ３６００で生成された球の３ＤＣＧを表示する。

図２５Ａおよび図２５Ｂは、画像出力部２００の他の表示例である。ステップＳ３９００では、図２５Ａに示すように、球の３ＤＣＧが表示されるとともに、ステップＳ３８００で生成された直接光成分による合焦画像Ａ１と直接光以外の光成分による合焦画像Ａ２とが表示される。直接光成分による合焦画像Ａ１は輪郭図として表示され、直接光以外の光成分による合焦画像Ａ２は細胞内状態として表示される。なお、輪郭図および細胞内状態などの合焦画像に対する説明は、これら以外であっても良い。

なお、図２５Ａに示す例では、３ＤＣＧと合焦画像とが、画面上に並べて表示されるが、図２５Ｂに示すように、３ＤＣＧとは別のウィンドウに合焦画像を表示して、その合焦画像を３ＤＣＧに重畳しても良い。また、画像生成装置２０は、３ＤＣＧと合焦画像とが並べて表示されている際、どちらか一方を拡大あるいは縮小して表示する等の機能を伴っても良い。

（ステップＳ３９５０）
画像生成装置２０は、ステップＳ３９００の表示が行われた後、合焦画像の生成および表示の処理を終了するための終了条件が満たされたか否かを判定する。終了条件は、例えば、画像生成装置２０がユーザから終了の指示を受け付けたこと、または、ステップＳ３６００の処理が開始されてから予め定められた時間が経過したことなどである。終了条件が満たされていないと判定すると、画像生成装置２０は、ステップＳ３７００からの処理を繰り返し実行する。ステップＳ３７００からステップＳ３９００の処理が繰り返されることで、ユーザが順次入力する複数の任意の焦点面における画像、すなわち合焦画像と、細胞配置を示す３ＤＣＧとを表示することができる。

一方、終了条件が満たされたと判定すると、画像生成装置２０は、合焦画像の生成および表示の処理を終了する。

［２－５．統合計算部の動作］
ステップＳ３１００における統合計算部１７０の動作の詳細を説明する。

図２６は、ステップＳ３１００における統合計算部１７０の詳細な動作を示すフローチャートである。統合計算部１７０は、焦点面決定部１３０による以下のステップＳ３１１０およびＳ３１２０の処理に基づいて、直接光成分の輝度と直接光以外の光成分の輝度とを計算する。

（ステップＳ３１１０）
焦点面決定部１３０は、リスト保持部３１０の水平焦点面リストに示される全ての水平焦点面の各画素の輝度を計算する処理が終了したか否かを判断する。

ここで、水平焦点面リストに示される全ての水平焦点面の画素の輝度の計算が終了している場合（ステップＳ３１１０においてｙｅｓ）、ステップＳ３２００へ進む。水平焦点面リストに示される全ての水平焦点面の画素の輝度の計算が終了していない場合（ステップＳ３１１０においてｎｏ）、ステップＳ３１２０へ進む。

（ステップＳ３１２０）
焦点面決定部１３０は、水平焦点面リストに示される全ての水平焦点面のうち、輝度計算の処理がされていない水平焦点面を１つ選択し、その水平焦点面の情報を取得する。水平焦点面の情報は、例えば、水平焦点面のｚ軸の座標値である。

（ステップＳ１３００）
対応点決定部１７１は、水平焦点面上のあらかじめ定められた合焦画像の画素のリスト（すなわち生成画素リスト）を参照して、水平焦点面上のそのリストに示される全ての画素のそれぞれに対して、対応点の決定が終了したか否かを判定する。

ここで、生成画素リストに示される全ての画素の対応点の決定が終了している場合（ステップＳ１３００においてｙｅｓ）、ステップＳ３１１０へ進む。一方、生成画素リスト内のいずれかの画素に対する対応点の決定が終了していない場合（ステップＳ１３００においてｎｏ）、ステップＳ１４００へ進む。

（ステップＳ１４００）
対応点決定部１７１は、生成画素リストに含まれる複数の画素の中から、まだ対応点の決定が行われていない画素を選択する。

（ステップＳ１５００）
対応点決定部１７１は、あらかじめ定められた照明位置のリスト（すなわち照明リスト）を参照して、全ての照明位置に対して対応点の決定が終了したか否かを判定する。

ここで、照明リストに含まれる、全ての照明位置に対する対応点の決定が終了している場合（ステップＳ１５００においてｙｅｓ）、ステップＳ２１００へ進む。一方、照明リスト内のいずれかの照明位置に対する対応点の決定が終了していない場合（ステップＳ１５００においてｎｏ）、ステップＳ１６００へ進む。

（ステップＳ１６００）
対応点決定部１７１は、照明リストに含まれる複数の照明位置の中から、まだ対応点の決定が行われていない照明位置を選択する。

（ステップＳ１７００）
対応点決定部１７１は、ステップＳ１６００で決定された照明位置と、ステップＳ１４００で決定された、生成する合焦画像上の画素の位置とを結ぶ直線と、イメージセンサ１５０の表面との交点を対応点として求める。

（ステップＳ１８００）
式生成部１７３は、ステップＳ１６００で決定された照明位置に応じた撮影画像、つまり、当該照明位置の点光源１４１の照明時に撮影された撮影画像を、記憶部１１０から取得する。そして、式生成部１７３は、取得した撮影画像から、ステップＳ１７００で決定された対応点の位置の輝度を取得する。

（ステップＳ１９００）
式生成部１７３は、ステップＳ１６００で決定された照明位置と、ステップＳ１７００で決定された対応点とに応じた係数を、係数マップを参照して取得する。

（ステップＳ２０００）
式生成部１７３は、ステップＳ１８００で取得された対応点の輝度と、ステップＳ１９００で取得された係数を式パラメータとして記憶する。そして、ステップＳ１５００～ステップＳ２０００の処理が繰り返される。これによって、式生成部１７３は、ステップＳ１４００で選択された焦点面上の画素に対する直接光成分Ｄｉｒｅｃｔ_ｉおよび直接光以外の光成分Ｇｌｏｂａｌ_ｉのそれぞれを解くための行列式に必要なパラメータを収集する。その結果、その行列式が生成される。

（ステップＳ２１００）
計算部１７４は、式生成部１７３によって生成された行列式を最小二乗法によって解く。これによって、計算部１７４は、ステップＳ１４００で選択された焦点面上の画素に対する直接光成分の輝度および直接光以外の光成分の輝度を求める。

（ステップＳ３１３０）
記憶部３２０は、ステップＳ２１００で計算された直接光以外の光成分の輝度を、ステップＳ１４００で決定された焦点面上の画素の座標と合わせて記憶する。ステップＳ３１３０の後、再びステップＳ１３００の処理が行われる。その結果、ステップＳ１３００～ステップＳ３１３０の処理が繰り返される。これによって、焦点面上の全ての画素のそれぞれに対して、その画素の位置での直接光以外の光成分の輝度が記憶部３２０に格納される。

［効果］
以上のように実施の形態２に係る画像生成装置２０によれば、位置の異なる複数の点光源１４１からの光を、スリットあるいは市松模様などの遮光部分と透過部分との繰り返しパタンを持つマスク１４２を通して対象物およびイメージセンサ１５０に投射する。そして、画像生成装置２０は、そのマスク１４２を透過した光である透過光によって照らし出された対象物の撮影を行う。さらに、画像生成装置２０は、その撮影によって取得された画像の各画素について、直接光成分と直接光以外の光成分の分離と、リフォーカシングの計算とを同時に行うことができる。また、画像生成装置２０は、自由な焦点面で、直接光成分による合焦画像と直接光以外の光成分による合焦画像とを生成することができる。また、イメージセンサ１５０表面と平行な複数の焦点面の直接光以外の光成分の輝度を３次元座標位置とともに記憶することで、３次元空間で、対象物中の散乱物質の多い場所を特定することができる。具体的には、３次元空間で細胞の位置を特定することができる。これにより、ユーザに対象物の立体的な情報を提供することができ、ユーザは、立体的な構造に対して、より有効な焦点面を選択することができる。

なお、実施の形態２では、記憶部３２０は直接光以外の光成分の輝度値を保持し、細胞位置を示す球の３ＤＣＧを生成する際に、記憶部３２０の記憶内容を利用する。しかし、記憶部３２０は、焦点面の画素に対して統合計算部１７０が計算した直接光成分の輝度値を、直接光以外の光成分の輝度値とその画素の座標位置とあわせて記憶してもよい。この場合、ステップＳ３８００で画像生成部３９０が直接光成分の合焦画像と、直接光以外の光成分の合焦画像とを生成する際に、記憶部３２０に記憶された３次元座標空間中の画素の座標位置に対して補間を行ってもよい。これにより、合焦画像の座標位置の直接光成分の輝度値と直接光以外の光成分の輝度値とが求められ、２つの合焦画像が生成される。

なお、実施の形態２では、細胞の位置を決定するために、直接光以外の光成分の輝度値を利用したが、直接光成分の輝度値を利用してもよい。直接光以外の光成分の輝度値のうち、相対的に高い輝度値は、対象物中の散乱物質の存在位置を示すのに対して、直接光成分の輝度値は、対象物の境界面を示す。具体的には、境界面の法線が焦点面上にある場合に、その境界面における直接光成分の輝度は低下する。したがって、直接光成分の輝度値のうち、相対的に低い輝度値は、境界面あるいは輪郭線を示す。

また、実施の形態２では、複数の点（すなわち画素）のうち、閾値以上の直接光以外の光成分の輝度値を持つ複数の点をクラスタリングし、各クラスタについて、クラスタの重心を中心として、そのクラスタに属する全ての点のうちの８０％の点を含む球を設定する。しかし、例えば、同一クラスタに属する点を最も多く含む境界面を、直接光成分の輝度分布に基づいて抽出しても良い。具体的には、対象物が初期胚である場合、胚の内部の細胞位置を、直接光以外の光成分の輝度値に基づいて抽出し、胚の境界面である胚膜と、内部の細胞の境界面である細胞膜とを直接光成分の輝度値に基づいて抽出する。また、胚の境界面によって細胞の位置に制限を加える、細胞の境界面によって細胞数を特定する、あるいは、細胞の大きさの差を判定して、直接光以外の光成分の輝度値を用いたクラスタリングに制限を加えることなどを行ってもよい。これにより、より精度良く３ＤＣＧのパラメータを生成し、精度の高い３ＤＣＧを生成することができる。

（その他の実施の形態）
以上、一つまたは複数の態様に係る画像生成装置について、各実施の形態およびその変形例に基づいて説明したが、本開示は、これらの各実施の形態およびその変形例に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を上記各実施の形態またはその変形例に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示の範囲内に含まれてもよい。

例えば、上記実施の形態１～３では、直接光成分による合焦画像と、直接光以外の光成分による合焦画像とを生成したが、これらの合焦画像のうちの少なくとも一方を生成してもよい。

なお、上記各実施の形態および各変形例において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態または各変形例の画像生成装置などを実現するソフトウェアプログラムは、図１３、図１５、図１６、図１８、図２３、および図２６に示すフローチャートに含まれる各ステップをコンピュータに実行させるプログラムである。

また、本開示において、ユニット、デバイスの全部又は一部、又は図１～図３、図２０、および図２２に示されるブロック図の機能ブロックの全部又は一部は、半導体装置、半導体集積回路（ＩＣ）、又はＬＳＩ（ｌａｒｇｅ ｓｃａｌｅ ｉｎｔｅｇｒａｔｉｏｎ）を含む一つ又は一つ以上の電子回路によって実行されてもよい。ＬＳＩ又はＩＣは、一つのチップに集積されてもよいし、複数のチップを組み合わせて構成されてもよい。例えば、記憶素子以外の機能ブロックは、一つのチップに集積されてもよい。ここでは、ＬＳＩやＩＣと呼んでいるが、集積の度合いによって呼び方が変わり、システムＬＳＩ、ＶＬＳＩ（ｖｅｒｙ ｌａｒｇｅ ｓｃａｌｅ ｉｎｔｅｇｒａｔｉｏｎ）、若しくはＵＬＳＩ（ｕｌｔｒａ ｌａｒｇｅ ｓｃａｌｅ ｉｎｔｅｇｒａｔｉｏｎ） と呼ばれるかもしれない。ＬＳＩの製造後にプログラムされる、Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ （ＦＰＧＡ）、又はＬＳＩ内部の接合関係の再構成又はＬＳＩ内部の回路区画のセットアップができるｒｅｃｏｎｆｉｇｕｒａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅも同じ目的で使うことができる。

さらに、ユニット、装置、又は装置の一部の、全部又は一部の機能又は操作は、ソフトウエア処理によって実行することが可能である。この場合、ソフトウエアは一つ又は一つ以上のＲＯＭ、光学ディスク、ハードディスクドライブ、などの非一時的記録媒体に記録され、ソフトウエアが、処理装置（ｐｒｏｃｅｓｓｏｒ）によって実行された場合に、ソフトウエアは、ソフトウエア内の特定の機能を、処理装置（ｐｒｏｃｅｓｓｏｒ）と周辺のデバイスに実行させる。システム又は装置は、ソフトウエアが記録されている一つ又は一つ以上の非一時的記録媒体、処理装置（ｐｒｏｃｅｓｓｏｒ）、及び必要とされるハードウエアデバイス、例えばインターフェース、を備えていても良い。

本開示は、例えば培養中の細胞あるいは胚等の細胞塊の画像を生成する装置などに広く利用可能であり、インキュベータ内で対象物を撮影する際に有用である。

１０、２０ 画像生成装置
１００ 撮影部
１１０、３２０ 記憶部
１２０ 焦点面入力部
１３０ 焦点面決定部
１４０ 照明器
１４１ 点光源
１４１Ａ 点光源
１４１Ｂ 点光源
１４２ マスク
１５０ イメージセンサ
１６０ 制御部
１７０ 統合計算部
１７１ 対応点決定部
１７２ 係数マップ保持部
１７３ 式生成部
１７４ 計算部
１９０、３９０ 画像生成部
２００ 画像出力部
３００ 処理回路
３１０ リスト保持部
３９１ 画素選択部
３９２ 細胞数取得部
３９３ クラスタリング部
３９４ パラメータ決定部
３９５ ３ＤＣＧ生成部
３９６ 合焦画像生成部

Claims (3)

1. 画像生成装置であって、
   第１の光源と、
   前記第１の光源と所定の距離離れて位置する第２の光源と、
   透光性を有する物質が配置されるイメージセンサと、
   前記第１の光源及び前記第２の光源からの光が透過する透光部分と、前記光を遮蔽する遮光部分とを有し、かつ、前記イメージセンサと前記第１の光源及び前記第２の光源との間に位置するマスクと、
   処理回路とを備え、
   前記イメージセンサは、
   前記第１の光源が照明されたときに、前記物質の第１の画像を取得し、
   前記第２の光源が照明されたときに、前記物質の第２の画像を取得し、
   前記第１の画像は、複数の第１の画素領域を有し、
   前記第２の画像は、複数の第２の画素領域を有し、
   前記処理回路は、
   （ａ）前記イメージセンサと前記マスクとの間に位置し、かつ複数の焦点を有する焦点面の情報を取得し、
   （ｂ）前記複数の第１の画素領域毎に、
   前記第１の光源から前記イメージセンサに屈折及び／または散乱することなく直進して入射する直接光を含む第１の光の割合と、
   前記第１の光源から前記イメージセンサに入射する直接光以外の光を含む第２の光の割合とを取得し、かつ、
   前記複数の第２の画素領域毎に、
   前記第２の光源から前記イメージセンサに屈折及び／または散乱することなく直進して入射する直接光を含む第３の光の割合と、
   前記第２の光源から前記イメージセンサに入射する直接光以外の光を含む第４の光の割合とを取得し、
   （ｃ）前記第１の画像における複数の第１の画素領域の画素値と、前記第２の画像における複数の第２の画素領域の画素値と、前記第１の光の割合と、前記第２の光の割合と、前記第３の光の割合と、前記第４の光の割合とを用いて、
   前記複数の焦点のそれぞれに対応する前記第１の光及び前記第３の光による画素値、又は前記複数の焦点のそれぞれに対応する前記第２の光及び前記第４の光による画素値を取得し、
   （ｄ）前記複数の焦点のそれぞれに対応する前記第１の光及び前記第３の光による画素値、又は前記複数の焦点のそれぞれに対応する前記第２の光及び前記第４の光による画素値を用いて、前記焦点面における前記物質の断面画像を生成する、
   画像生成装置。
2. 前記（ｃ）では、
   前記複数の焦点のうちの１つの焦点に対応する、前記第１の光の割合、前記第２の光の割合、前記第３の光の割合、前記第４の光の割合、前記第１の画素領域の画素値、および前記第２の画素領域の画素値をそれぞれ、α１、β１、α２、β２、Ｌ１およびＬ２とする場合、
   

   

   を、最小二乗法によって解くことによって、
   前記１つの焦点に対応する前記第１の光および前記第３の光による画素値であるＤと、前記１つの焦点に対応する前記第２の光および前記第４の光による画素値であるＧとを取得する
   請求項１に記載の画像生成装置。
3. 画像生成方法であって、
   第１の光源と、
   前記第１の光源と所定の距離離れて位置する第２の光源と、
   透光性を有する物質が配置されるイメージセンサと、
   前記第１の光源及び前記第２の光源からの光が透過する透光部分と、前記光を遮蔽する遮光部分とを有し、かつ、前記イメージセンサと前記第１の光源及び前記第２の光源との間に位置するマスクとを用い、
   （ａ）前記第１の光源が照明されたときに、前記イメージセンサによって、複数の第１の画素領域を有する、前記物質の第１の画像を取得し、
   （ｂ）前記第２の光源が照明されたときに、前記イメージセンサによって、複数の第２の画素領域を有する、前記物質の第２の画像を取得し、
   （ｃ）前記イメージセンサと前記マスクとの間に位置し、かつ複数の焦点を有する焦点面の情報を取得し、
   （ｄ）前記複数の第１の画素領域毎に、
   前記第１の光源から前記イメージセンサに屈折及び／または散乱することなく直進して入射する直接光を含む第１の光の割合と、
   前記第１の光源から前記イメージセンサに入射する直接光以外の光を含む第２の光の割合とを取得し、かつ、
   （ｅ）前記複数の第２の画素領域毎に、
   前記第２の光源から前記イメージセンサに屈折及び／または散乱することなく直進して入射する直接光を含む第３の光の割合と、
   前記第２の光源から前記イメージセンサに入射する直接光以外の光を含む第４の光の割合とを取得し、
   （ｆ）前記第１の画像における複数の第１の画素領域の画素値と、前記第２の画像における複数の第２の画素領域の画素値と、前記第１の光の割合と、前記第２の光の割合と、前記第３の光の割合と、前記第４の光の割合とを用いて、
   前記複数の焦点のそれぞれに対応する前記第１の光及び前記第３の光による画素値、又は前記複数の焦点のそれぞれに対応する前記第２の光及び前記第４の光による画素値を取得し、
   （ｇ）前記複数の焦点のそれぞれに対応する前記第１の光及び前記第３の光による画素値、又は前記複数の焦点のそれぞれに対応する前記第２の光及び前記第４の光による画素値を用いて、前記焦点面における前記物質の断面画像を生成する、
   画像生成方法。

Images