JP2004015297A

JP2004015297A - Stereoscopic observation apparatus and method for generating stereoscopic image reproducing color of object surface

Info

Publication number: JP2004015297A
Application number: JP2002164224A
Authority: JP
Inventors: Kenji Kobiyama; 小檜山　賢二; Tatsuya Saito; 齋藤　達也
Original assignee: Keio University
Current assignee: Keio University
Priority date: 2002-06-05
Filing date: 2002-06-05
Publication date: 2004-01-15
Anticipated expiration: 2022-06-05
Also published as: JP3639869B2

Abstract

<P>PROBLEM TO BE SOLVED: To provide a stereoscopic observation apparatus capable of observing an observation object as a three-dimensional image with ultra-high resolution for accurately reproducing the surface color of the object. <P>SOLUTION: The stereoscopic observation apparatus comprising: a digital camera; a slit light fixture and a dome light fixture, which are fitted to the same ring; an operation arm for moving the observation object; and an image processing computer, displays a stereoscopic image wherein the substantial color information of the surface of the object is accurately reproduced on the basis of depth information acquired by an image photographed under the slit lighting and color information acquired by an image photographed under the dome type lighting. <P>COPYRIGHT: (C)2004,JPO

Description

【０００１】
【発明の属する技術分野】
本発明は、市販のデジタルカメラやデジタル顕微鏡などの画像取得機器を通じて取得された観察対象物のデジタル画像イメージにより立体構造を表示する立体観察装置および方法に関する。
【０００２】
【従来の技術】
デジタルカメラやデジタル顕微鏡においては、立体的な構造を観察する場合、被写界深度により観察対象物のほとんどの部分がぼやけてしまうことがある。この場合には、観察対象物そのものを回転・移動させ、再度焦点を合わせることにより、観察したい立体構造を明らかにする作業を行わなければならない。
【０００３】
ところが、従来の技術において、顕微鏡などでは、被写界深度が極めて浅いため、観察対象物の像がボケた部分がほとんどとなってしまい、観察対象物に存在する３次元構造や表面の色構造を観察対象物の全体に渡って観察することができない。そのため、従来においては、まず、観察対象物全体について焦点のあった画像を得る技術への要求が存在した。
【０００４】
さらに、小型の昆虫や機械部品等の細かく入り組んだ観察対象物を、顕微鏡などを用いて観察する場合、得られる２次元画像からその立体構造を観察することは困難であった。
このような観察対象物の２次元画像から立体的な画像を得る技術については、たとえば、論文、Ｓｈｒｅｅ　Ｋ．Ｎａｙａｒ「Ｓｈａｐｅ　ｆｒｏｍ　ｆｏｃｕｓ　ｓｙｓｔｅｍ」（Ｐｒｏｃ．ｏｆ　　ＣＶＰＲ，ｐｐ．３０２−３０８，１９９２）に開示されているように、観察対象物の合焦点部分を抽出することによって、顕微鏡等のレンズからの相対的位置を得るといった方法が存在する。この方法では観察対象物の合焦点部分を抽出手段として、その２次元デジタル画像に複雑なアルゴリズムを用いたコンピュータ処理をほどこして合焦点のピクセルを求めようとしていた。
【０００５】
【発明が解決しようとする課題】
しかしながら、この方法では合焦点の周囲の明るい部分から光が干渉等によって合焦点部分に入り込み、その領域がボケるため、合焦点部分へノイズとして影響してしまう。そのため、取得された２次元画像より合焦点部分を鮮明な形で抽出することは極めて難しかったのである。さらに、３次元化のプロセス自体、合焦点部分抽出の精度に依存するため、正確な３次元画像を生成することは困難であった。そこで、上述の従来の技術の問題を鑑みてなされた特願２０００−３７１８８７号では、デジタルカメラやデジタル顕微鏡によって取得される観察対象物の２次元デジタル画像より、３次元情報を抽出し、観察対象物の観察したい領域を、高精細な立体画像として観察することを可能とする立体観察装置を提供した。
【０００６】
しかし、この特願２０００−３７１８８７号では、スリット照明の下で取得される色情報を合成したものを最終的な色情報として出力し、表示していたが、スリット照明の特性上、観察対象物本来の正確な色情報を取得することが困難であった。そこで、上記の課題を解決するために、本発明を提供することとした。
【０００７】
【課題を解決するための手段】
請求項１記載の発明は、
観察対象物のデジタル画像を取得する画像取得手段と、
観察対象物の合焦点を含む限定された領域を照射するスリット照明手段と、
観察対象物の観察側表面の全領域を照射する外部照明手段と、
観察対象物を前記画像取得手段に対して相対的に移動する移動手段と、
前記画像取得手段と前記スリット照明手段とを用いて、前記観察対象物の移動に伴って得られた複数枚のデジタル画像から３次元情報を抽出する３次元情報抽出手段と、
前記画像取得手段と前記外部照明手段とを用いて、前記観察対象物の移動に伴って得られた複数枚のデジタル画像から、前記３次元情報抽出手段で抽出された３次元空間座標位置と同一の３次元空間座標位置に存在するピクセルの色情報を抽出する色情報抽出手段と、
前記３次元情報抽出手段から得られた３次元情報と前記色情報抽出手段から得られた色情報とより、観察対象物表面の色情報を有する立体情報を生成する立体情報生成手段と、
前記立体情報生成手段により得られた情報を表示する立体画像表示手段と
を有する立体観察装置である。これにより、観察対象物の表面の色情報を含んだ高精細な立体画像を取得することができる。
【０００８】
請求項２記載の発明は、
前記スリット照明手段は、観察対象物より小さな幅の光を照射する複数の光源から構成され、
かつ前記複数の光源は同一の輪状具に等間隔に配置され、
かつ複数の前記光源から照射されたすべての光線は同一平面に存在し、前記光線のすべてが一点で交差する
ことを特徴とする請求項１記載の立体観察装置である。これにより、最終的に出力される画像及び距離データの品質の向上を図ることができる。
【０００９】
請求項３記載の発明は、
前記スリット照明手段は、観察対象物より小さな幅の光を照射する複数の線状光源から構成され、
前記複数の線状光源は相互に向き合い、
前記それぞれの光源から照射されたすべての光線は同一平面に存在する
ことを特徴とする請求項１記載の立体観察装置である。これにより、最終的に出力される画像及び距離データの品質の向上を図ることができる。
【００１０】
請求項４記載の発明は、
前記外部照明手段は、観察対象物の観察側表面の全領域に対して光を照射することを特徴とする請求項１記載の立体観察装置である。この光源の下で撮影された観察対象物の表面の色情報を、３次元画像データの表面の色情報として利用することができる。
【００１１】
請求項５記載の発明は、
前記外部照明手段は、観察対象物の観察側表面の全領域を均一に照射する複数の光源群からなる
ことを特徴とする請求項１記載の立体観察装置である。これにより、観察対象物に対して均等に全方向から均等の光線を当てることが可能となり、光沢質の観察対象物に対しても高品質の色画像データを取得することが可能となる。
【００１２】
請求項６記載の発明は、
前記外部照明手段は、観察対象物の全領域を均一に照射する複数の光源からなり、
前記観察対象物が回転した場合、前記複数の光源も前記回転ベクトルに従って移動する
ことを特徴とする請求項１記載の立体観察装置である。これにより、観察対象物が回転した場合でも、外部照明手段はその回転ベクトルに従って移動するので、観察対象物に対する外部照明光源群の相対的な照射環境に変化がなくなり、観察対象物の回転前と同一の環境で観察することができる。
【００１３】
請求項７記載の発明は、
観察対象物のデジタル画像を取得する画像取得ステップと、
観察対象物の合焦点を含む限定された領域を照射するスリット照明ステップと、
観察対象物の観察側表面の全領域を照射する外部照明ステップと、
観察対象物を前記画像取得ステップに対して相対的に移動する移動ステップと、
前記画像取得ステップと前記スリット照明ステップとを用いて、前記観察対象物の移動に伴って得られた複数枚のデジタル画像から３次元情報を抽出する３次元情報抽出ステップと、
前記画像取得ステップと前記外部照明ステップとを用いて、前記観察対象物の移動に伴って得られた複数枚のデジタル画像から、前記３次元情報抽出ステップで抽出された３次元空間座標位置と同一の３次元空間座標位置に存在するピクセルの色情報を抽出する色情報抽出ステップと、
前記３次元情報抽出ステップから得られた３次元情報と前記色情報抽出ステップから得られた色情報とより、観察対象物表面の色情報を有する立体情報を生成する立体情報生成ステップと、
前記立体情報生成ステップにより得られた情報を表示する立体画像表示ステップと
を有する立体観察方法である。これにより、観察対象物の表面の色情報を含んだ高精細な立体画像を取得することができる。
【００１４】
請求項８記載の発明は、
前記スリット照明ステップは、観察対象物より小さな幅の光を照射する複数の光源より光を照射し、
かつ前記複数の光源を同一の輪状具に等間隔に配置し、
かつ前記複数の光源から照射されたすべての光線は同一平面に存在し、前記光線のすべてが一点で交差する
ことを特徴とする請求項７記載の立体観察方法である。これにより、最終的に出力される画像及び距離データの品質の向上を図ることができる。
【００１５】
請求項９記載の発明は、
前記スリット照明ステップは、観察対象物より小さな幅の光を照射する複数の線状光源より光を照射し、
前記複数の線状光源は相互に向き合い、
前記それぞれの光源から照射されたすべての光線は同一平面に存在する
ことを特徴とする請求項７記載の立体観察方法である。これにより、最終的に出力される画像及び距離データの品質の向上を図ることができる。
【００１６】
請求項１０記載の発明は、
前記外部照明ステップは、観察対象物の観察側表面の全領域に対して光を照射する
ことを特徴とする請求項７記載の立体観察方法である。この光源の下で撮影された観察対象物の表面の色情報を、３次元画像データの表面の色情報として利用することができる。
【００１７】
請求項１１記載の発明は、
前記外部照明ステップは、観察対象物の観察側表面の全領域を均一に照射する複数の光源より光を照射する
ことを特徴とする請求項７記載の立体観察方法である。これにより、観察対象物に対して均等に全方向から均等の光線を当てることが可能となり、光沢質の観察対象物に対しても高品質の色画像データを取得することが可能となる。
【００１８】
請求項１２記載の発明は、
前記外部照明ステップは、観察対象物の全領域を均一に照射する複数の光源より光を照射し、
前記観察対象物が回転した場合、前記複数の光源も前記回転ベクトルに従って移動する
ことを特徴とする請求項７記載の立体観察方法である。これにより、観察対象物が回転した場合でも、外部照明手段はその回転ベクトルに従って移動するので、観察対象物に対する外部照明光源群の相対的な照射環境に変化がなくなり、観察対象物の回転前と同一の環境で観察することができる。
【００１９】
【発明の実施の形態】
特願２０００−３７１８８７号に基づいて、スリット光源を図３のように改良した。従来観察対象物に対して４個各々９０度ずつずらして設置していたスリット光源を同一の輪状の固定具に８個４５度ずつずらして設置することで、各照明と観察対象物の水平性の精度が向上され、最終的に出力される画像・距離データの品質向上を実現した。
【００２０】
また、この特願２０００−３７１８８７号では、スリット照明の下で取得される色情報を合成したものを最終的な色情報として出力していた。しかし、スリット照明の特性上、観察対象物の表面の本来の正確な色情報を取得することが困難であった。そこで、図４に示されるドーム型照明を設計、追加した。このドーム型照明内部には、高輝度白色ＬＥＤが多数取り付けられており、ドーム内部に対して均等に拡散光が発せられるようになっている。このドーム型照明下で撮影された画像は通常微小物体をカメラで撮影した場合と同様に大部分がフォーカス外であり、ピントの合っている部分は僅かしかない。そこで、スリット光源下で取得された画像を合成することで得られる深さ情報を利用することで、ドーム型照明下で取得された画像群から必要とされる合焦部分を抽出する。通常、焦点の合っている部分は、カメラからの距離に依存するが、予め観察対象物の形状・奥行きがスリット照明下で取得された深さ情報より明らかであるので、この深さ情報とドーム型照明下で取得された画像群とを比較することで容易に合焦部分を抽出し、合成することが可能である。画像群の合成後に得られる全焦点画像は、全ての部分に均等に光線が照射された観察対象物の表面の本来の色情報を正確に捉えた画像として出力される。それでは、以下の実施例にて、より詳しく説明する。
【００２１】
【実施例】
（実施例１）図１に示すように、本発明の立体観察装置の１実施例は、例えば数ｍｍ〜数ｃｍの小形の観察対象物１を撮影する、例えばデジタルカメラからなる撮像手段２と、この観察対象物１にこれより小さい、例えば５ｍｍの所定幅に対するスリット光（光源に光ファイバーを用い、この光源の出力側に５ｍｍ幅のスリットを設けて、平面光源としている）を観察対象物１に照射する複数のスリット光源群が同一輪状具に固定されているスリット照明手段３と、観察対象物１のスリット光が照射している領域を撮像手段２の合焦点領域に保持するとともに、例えば下方から上方へ所定距離、例えば０．１ｍｍずつ移動する、例えばステップモーター（製品名ＳＰＦ６０ｂ１０−３ＳＭ、オリエンタルモータ社製）が取り付けてある対象物操作アームからなる移動手段４と、水平に備え付けられたドーム型の蓋の内部に満遍なく高輝度白色ＬＥＤを複数取り付けたドーム型照明からなる外部照明手段５（以下、このようにスリット光源群とは異なり、観察対象物１の撮影面全体に照射する光源を外部照明手段という）とを有する。さらに、スリット照明手段３を用いて撮像手段２で得られた観察対象物１のデジタル画像を構成する各ピクセルについて合焦点を見つけ、合焦したピクセルの撮像手段２からの距離を求めて深さ情報を得る。また、外部照明手段５を用いて撮像手段２で得られた観察対象物１の表面の色情報を有する画像群から、前記の深さ情報に対応する合焦部分を抽出する。これらの深さ情報と色情報より、対象物本来の色情報を正確に有する３次元情報を合成し、この３次元情報に基づいて立体画像を表示する画像処理コンピュータ６とを設ける。
【００２２】
それでは、図１の本発明の立体観察装置の動作を、図２の処理手順を参照しながら説明しよう。
まず、初期設定ステップＳ１において、撮像手段２とスリット照明手段３と移動手段４、及び外部照明手段５を設定する。図３の上部の図はスリット照明手段３の構成を示す図であり、その下部の図はスリット照明手段３の断面を示す図である。スリット照明手段３は、従来観察対象物に対して４個各々９０度ずつずらして設置していた各々独立したスリット光源を水平な同一輪状具に８個４５度ずつずらして設置することで、各スリット光源と観察対象物１との水平性の精度が向上した。従来は、それぞれのスリットが同一の固定具に固定されておらず独立していたので、図３の下部に示すスリット光源３ａ−観察対象物１−スリット光源３ｂの３点を結ぶ線を水平に調整することが困難であった。さらに、複数のスリット光源を使用する場合には、よりいっそう上記の調整をするのは困難であった。このように水平性を欠いた状態では、スリット光源３ａ−観察対象物１−スリット光源３ｂを結ぶ線と撮像手段２−観察対象物１を結ぶ線との交差角度が垂直とならず、観察対象物の正確な深さ情報を求めることが困難であった。本発明では、従来それぞれ独立して設置していたスリット光源を同一の輪状の固定具に設置することにした。このように、スリット光源を同一の輪状の固定具に設置することで、スリット光源３ａ−観察対象物１−スリット光源３ｂの３点を結ぶ線を水平に調整することが容易となり、さらに複数のスリット光源を当該同一輪状の固定具に設置する場合も調整することが容易となる。
【００２３】
また、複数のスリット光源を用いて、これらの複数の前記光源から照射されたすべての光線は同一平面に存在し、前記光線のすべてが一点で交差するように調整し、前記光線群の存在する水平面に対して観察対象物１が垂直に前記交点で交わるように移動手段４を調整する。そして、この交点は輪状具の輪の中心に存在するのがよい。なぜなら、各スリット光源から交点までの距離をすべて等しくし、照射環境をすべて均一にするためである。このとき、複数のスリット光源は、同一輪状具に等間隔で設置する。これにより、各スリット光源より照射された光の観察対象物１に対する照射環境がすべて同一となり、観察対象物１に対する光照射の偏りが解消される。さらに、スリット光源を増やすと、観察対象物１に対する光が照射されていない部分が減少する。従って、スリット光源を等間隔で増やすほど、観察対象物１に対する光照射の偏りが解消され、最終的に出力される３次元情報の精度を向上させることができ、好ましくは同一輪状具に隙間なくスリット光源を敷き詰め、観察対象物１に対して３６０度全ての方向から光を照射するのがよいが、実用的には４５度の等間隔で設置した８個のスリット光源で十分である。
【００２４】
次に、撮像手段２の設定について説明する。上述の通り、観察対象物１を同一平面に含むスリット照明手段３の水平面と撮像手段２−観察対象物１を結ぶ線との交差角度が垂直となる位置に撮像手段２を設置し、かつ、観察対象物１にスリット光源より照射される光線が当たる部分にピントが合うように合焦点位置を調整する。
【００２５】
また、移動手段４の設定について説明する。上述の通り、観察対象物１を同一平面に含むスリット照明手段３の水平面に対して、垂直方向に観察対象物１を移動させるように設定する。そして、スリット照明手段３の水平面内での観察対象物１の位置が、スリット照明手段３の円の中心、すなわち各スリット光源から照射された光線が一点で交わる点と一致するようにする。これは、観察対象物１に対する各スリット光源から照射された光線の照射環境を均一にするためである。
【００２６】
それでは、この外部照明手段５の設定について説明する。この外部照明手段５の構造は、図４の上部に示すように水平に備え付けられたドーム型の蓋の内部に満遍なく高輝度白色ＬＥＤが複数取り付けられており、取り付けたＬＥＤをすべて点灯させると、ドーム内部に対して拡散光を照射する。後述するストロボ光源を外部照明手段として用いて昆虫などの光沢質の物体を撮影した場合、サチュレーションや映り込みが入ってしまい、その後取得される画像データの質の低下を引き起こしていたが、この照明装置によりドーム内に存在する観察対象物１に対して、均等に全方向から均等に光線を当てることが可能となり、光沢質のものに対しても高品質の色画像データ（後ほど説明する）を生成することが可能となる。
【００２７】
また、ドームの上方部分は、撮像手段２による撮影の妨げとならないように、穴を空けてあるが、これに限らず、撮像の妨げとならないものであれば、例えばこの部分を透明な素材で構成されていてもよい。
また、ドームの形状は、ドーム内の観察対象物１の観察側表面の全領域に対して均等に全方向から均等に光線を当てることができれば、特にこだわらないが、実用的には半球状に近い形状となる。
【００２８】
次にスリット照明点灯ステップＳ２において、上記で設定した同一輪状具に設置している全てのスリット光源（以下、スリット照明手段３）を点灯させる。このとき、各スリット光源から観察対象物１への光線を妨げないように、外部照明手段５をこのときだけ取り除いても良いし、または、外部照明手段５を、例えば、スリット光源から観察対象物１への光線を妨げる側面部分のみ穴を空けたり、その部分を透明の素材で構成しても良い。もし、このようにドーム型照明５の側面部分を変更した場合、その部分にのみＬＥＤが取り付けられていない。
【００２９】
次にスリット照明撮影ステップＳ３において、撮像手段２を用いて、スリット照明手段３照射下での第１枚目のデジタル画像イメージ（以下、スライス画像という）を取得し、この取得したスライス画像イメージを、例えば画像処理コンピュータ６のデータ記憶手段を用いて保存する。スライス画像イメージのデータ保存後、スリット照明手段３を消灯する。
【００３０】
次に外部照明点灯ステップＳ４において、ドーム内に取り付けてある全てのＬＥＤ光源（以下、外部照明手段５）を点灯させる。これらのＬＥＤ光源群は、図４下部に示すように、外部照明制御手段７によって一斉に点灯・消灯を行うことができる。外部照明手段５の制御は、外部照明制御コンピュータから外部照明制御手段７にＯＮ／ＯＦＦ信号を送ることで可能であるが、この装置の制御手段はこれに限らず、例えば、外部照明制御コンピュータとして画像処理コンピュータ６を用いても良いし、それ以外の図示されていない他のコンピュータを用いても良いし、または、コンピュータを用いずに直接この外部照明制御手段７を操作して制御しても良い。
【００３１】
次に外部照明撮影ステップＳ５において、撮像手段２を用いて、外部照明手段５照射下での第１枚目のデジタル画像イメージ（以下、ＲＧＢ画像という）を取得し、この取得したＲＧＢ画像イメージを、例えば画像処理コンピュータ６のデータ記憶手段を用いて保存する。ＲＧＢ画像イメージのデータ保存後、外部照明手段５を消灯する。
【００３２】
次に対象物移動ステップＳ６において、移動手段４を用いて、観察対象物１を立体化する際に必要とする深度最小単位分に相当する量たとえば０．１ｍｍだけ観察対象物１を上方へ移動させる。次に再びスリット照明点灯ステップＳ２において、スリット照明手段３を点灯させる。そして観察対象物１の全ての部位を撮像するまでステップＳ２，Ｓ３，Ｓ４，Ｓ５，Ｓ６を繰り返す。
【００３３】
上記の繰り返しの処理により、それぞれ順番に観察対象物１の上部から下部までの全ての部分がスリット照明手段３からのスリット光により部分的に照明された複数のスライス画像と、外部照明手段５により均一に照明された複数のＲＧＢ画像とが、例えばそれぞれ１００枚取得される。
【００３４】
次に輝度計算ステップＳ７において、ステップＳ３で取得した複数のスライス画像イメージより３次元情報を抽出する。撮影された例えば１００枚のスライス画像のうちの一つのピクセルに関する輝度の変化を図５の実線で示す。この図５には従来方式による輝度の変化の一例も同時に点線で示してある。横軸は撮影の順番であり、これが深さ方向の長さに対応する（例えば０．１ミリずつ移動するとすると、１０枚目は１ミリの深さになる）。本発明では、合焦点を含む限定された合焦領域のみを照射する照明装置を備えているため、合焦点位置検索に有用なデータは、上記限定された領域に対応する枚数のデータ（例えば１０枚）のみである。これに対して、従来の方法では図５の点線で示すように撮影した全ての領域で高い輝度の情報が存在するので、例えば１００枚すべてが合焦点位置検索のためのデータとなる。このため、本発明では従来方式に比べ、合焦点位置検索に要する計算時間の大幅な削減と周囲ピクセルからの干渉の除去が可能となったのである。
【００３５】
本発明の合焦点位置検索は、上記照明装置に照射された限定された領域（例えば１０枚）について、例えばもっとも輝度の高いものを抽出するアルゴリズムにより実施する。この検索をデジタルカメラのすべてのピクセルにおいて実施する。その結果、デジタルカメラのすべてのピクセルにおいて、最適合焦点位置における輝度情報・色情報及び合焦点位置より導き出される深さ情報を得ることが出来る。従来は図４の点線に示すようにある１つのピクセルにおいて輝度が高いところ（すなわち山部分）が合焦点となるとは限らないので、１００枚の画像の中から合焦点をみつけるアルゴリズムも複雑であった。さらに、合焦点以外の観察対象物の全領域からの外乱光が合焦部分に入射するので合焦点を正確に見つけることもできなかった。
【００３６】
次にデプス・形状情報ステップＳ８において、ステップＳ７の合焦点位置検索で検索された観察対象物の全領域の３次元情報（深さ情報）を取得する。
次にコンパレート合成ステップＳ９において、ステップＳ８で取得した合焦点位置のピクセル情報を基に、ステップＳ５で撮影したＲＧＢ画像から前記の合焦点位置を示す３次元空間座標位置と同一の位置に存在するピクセルの色情報を取り出す。例えば、ステップＳ８で取得した合焦点位置がスライス画像群の１０枚目の座標位置（５，８）であった場合、ＲＧＢ画像群の１０枚目の座標位置（５，８）のピクセルの色情報を取得することである（この時、スライス画像群、ＲＧＢ画像群は、それぞれ撮影順に整列しているものとする）。
【００３７】
次に全焦点ＲＧＢ画像作成ステップＳ１０において、ステップＳ８，９で得られた観察対象物の全領域の深さ情報と色情報とにより、観察対象物本来の色情報を有した３次元情報を作成する。その様子を図６により説明する。ステップＳ７で得られた最適合焦点位置における輝度情報・色情報及び合焦点位置より導き出される深さなどのデータを、深さ情報をパラメータに並べ替えてみよう。ピクセルグループＬ１は、深さＬ１のピクセルの集合であり、ピクセルグループＬ２は、深さＬ２のピクセルの集合である。図６に示すようにピクセルグループＬ１により、立体ボクセルＶ１が生成される。さらに、ピクセルグループＬ２により立体ボクセルＶ２が生成される。このようにして、取得された全ての画像イメージより、立体ボクセルを作り出す。立体ボクセルＶ２は立体ボクセルＶ１よりも観察対象物１の１回の移動距離たとえば０．１ｍｍだけ、離れたデジタル画像から深度が０．１ｍｍだけ大きくなる値を有する。したがって、ボクセルＶ１，Ｖ２・・・を合成することにより、立体情報として合成済立体データＶ０を得ることが出来る。
【００３８】
図６では観察対象物１が円錐台形のものを用いているが観察対象物１が複雑な形状のときは、取得画像イメージＬ１において全てのピクセルの輝度が最大となるわけではないので、立体ボクセルＶ１のうち、ピクセルの輝度が最大となっていないピクセルに対応したボクセルは欠けることになる。これによって、撮像手段２からの焦点深さに対応した３次元情報を生成できる。
【００３９】
図７は観察対象物１のデジタル画像のうち対象ピクセルＰ１とこれに対応したボクセルとの関係を拡大して示したものである。観察対象物１が０．１ｍｍづつ移動するときには、対象ボクセルの高さは０．１ｍｍとなる。
そして、各ボクセルの位置に対応するＳ９で取得した色情報を合成していく。
【００４０】
最後に立体画像出力ステップＳ１１において、Ｓ１０ステップで作成した立体画像を画面などの出力装置に出力して、表示する。
ところで、上記で説明した当該実施例１の処理手順は、単なる１例であってこれに限定するものではない。例えば、先に外部照明手段５を用いてＲＧＢ画像を取得し、その後スリット照明手段３を用いてスライス画像を取得しても良い。
【００４１】
（実施例２）図８は本発明の他の実施例を示す。実施例１に対して、対象物回転ステップＳ７ａにおいて、観察対象物１を１８０度回転させ、その裏面についても撮像することを追加したものである。表裏両面の対応する部分を対応付けするために３次元画像合成ステップＳ１１ａで３次元画像処理をすることにより観察対象物１の全体的な画像を生成することができる。これにより観察対象物１を裏返して観察することもできる。この観察対象物１を回転させる手段を図９に示す。この回転手段８は、移動手段４の先端にモータを設け回転軸を回転させて観察対象物１を回転させる。また、この回転角度は自由に調整することができる。当該実施例２では、回転角度を１８０度に設定してあるが、観察状況によっては、例えば、４５度、９０度など設定することができる。
【００４２】
（実施例３）図１０は本発明の他の実施例を示し、実施例１のスリット照明手段３と外部照明手段５であるドーム型照明とを、それぞれ面状ライトとストロボなどの通常の照明装置に置き換えたものである。面状ライトからなるスリット照明手段３は、細長い支柱に観察対象物１より小さな幅の光を照射する線状光源が取り付けてあり、この線状光源を２本用意してそれぞれの支柱に取り付けてある線状光源が互いに向き合い、それぞれの線状光源から照射された光線は同一平面に存在し、その結果図１０に示すように光の面を形成するようにしたものである。線状光源は、「それぞれの線状光源から照射された光線は同一平面に存在する」という条件を満たすならば、複数でも構わない。また、ストロボ光源からなる外部照明手段５は、観察対象物１に対して満遍なく光が照射され、かつ、撮像手段２の撮影を妨げない場所、例えば、観察対象物１の撮影面の斜め前などに配置する。当該実施例３は、実施例１と同様に動作する。当該実施例３では、ストロボ光源を使用しているため、昆虫などの光沢質の対象物体を撮影した場合、サチュレーションや映り込みが入ってしまい正確な色情報を取得することはできない。しかし、光沢質ではない対象物体を撮影する場合、簡易的な外部照明手段として当該実施例３を利用することができる。
【００４３】
（実施例４）図１１は本発明の他の実施例を示し、面状ライトからなるスリット照明手段３、可動台からなる移動手段４、デジタルカメラからなる撮像手段２、画像処理コンピュータ６より構成される装置に、点光源などで構成した全空間を被う照明装置からなる外部照明手段５と各点光源の点灯を制御する外部照明制御手段７と実施例２で説明した観察対象物の回転手段８とを付加する。これは、実施例２のスリット照明手段３とドーム型照明５とを、それぞれ面状ライトと曲面に取り付けられている複数の点光源からなる照明装置とに置き換えたものである。当該実施例４は、実施例２とほとんど同様に動作するが、異なる点がある。その相違点とは、観察対象物１を回転させるステップにおいて、観察対象物に対する点光源群から照射される光線の照明環境が変化しないように、回転手段８の回転ベクトルに対応して、点光源群の位置を変化させることである。また、もう１つの相違点は観察対象物の表面の全領域に対して外部照明手段から光が照射されていることである。これは、上記の回転手段８に起因するものである。なぜなら、回転手段８により観察対象物を回転させると、それに伴って外部照明手段５も移動するが、回転後の観察対象物の観察側表面に対しても光が照射されていなければならないからである。そのために、撮影開始時に撮影対象外である観察対象物表面に対しても、予め外部照明手段５により光を照射するのである。
【００４４】
（実施例５）図１２は本発明の他の実施例を示し、スリット照明３の様々な形状を提案した。実施例１の輪状具の形状は、必ずしも円である必要はなく、例えば図１２に描写したような形状をしていてもよい。図１２には３つの形状を図示している。これらの形状に共通しているのは、観察対象物をスリット照明の中心に置いたとき、観察対象物に対する各スリット光源の照射環境が全て均一で、かつ各スリット光源の相対的位置が常に同一であるということである。
【００４５】
【発明の効果】
本発明によれば、スリット光源を複数設けることで、スリット光源から照射される光線と観察対象物との接点を増やし、かつ観察対象物に対するそれぞれの光線の照射環境を等しくし、さらにそれぞれを光源を同一の固定具に設置することで、各照明と撮影対象物との水平性の精度が向上した。また、スリット照明下で撮影した画像より取得した深さ情報と、外部照明手段下で撮影した画像より取得した色情報とより、対象物表面の本来の色情報を正確に再現した立体画像を表示することが可能となった。
【００４６】
以上より，超高解像度３次元画像の精度・品質を高度に向上させることが可能となった。
【図面の簡単な説明】
【図１】本発明の立体観察装置の一実施例の構成図である。
【図２】図１に示した立体観察装置の処理手順を示す図である。
【図３】スリット照明の構成図である。
【図４】ドーム型照明の構成図である。
【図５】１つのピクセルについての画像枚数と輝度との関係を示す図である。
【図６】図２のステップＳ１０における３次元データ抽出プロセスの説明図である。
【図７】
図２のステップＳ１０で用いられる３次元データ構造の拡大図である。
【図８】
実施例２の処理手順を示す図である。
【図９】
実施例２で用いる移動手段における、観察対象物を回転させる部分を示す図である。
【図１０】
実施例３の装置構成を示す図である。
【図１１】
実施例４の装置構成を示す図である。
【図１２】
実施例５の様々なスリット照明の形状の１例を示す図である。
【符号の説明】１　　　観察対象物２　　　撮像手段３　　　スリット照明手段３ａ　　スリット光源３ｂ　　スリット光源４　　　移動手段５　　　外部照明手段６　　　画像処理コンピュータ７　　　外部照明制御手段８　　　回転手段[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a stereoscopic observation apparatus and method for displaying a three-dimensional structure using a digital image image of an observation target acquired through an image acquisition device such as a commercially available digital camera or digital microscope.
[0002]
[Prior art]
In a digital camera or a digital microscope, when observing a three-dimensional structure, most of the observation target object may be blurred due to the depth of field. In this case, it is necessary to rotate and move the observation object itself and focus again, thereby performing an operation of clarifying a three-dimensional structure to be observed.
[0003]
However, in the prior art, in a microscope or the like, since the depth of field is extremely shallow, an image of the observation target is mostly blurred, and the three-dimensional structure and the color structure of the surface existing in the observation target are present. Cannot be observed over the entire observation object. Therefore, conventionally, first, there has been a demand for a technique for obtaining a focused image of the entire observation target.
[0004]
Furthermore, when observing an intricate observation object such as a small insect or a mechanical part using a microscope or the like, it has been difficult to observe the three-dimensional structure from the obtained two-dimensional image.
A technique for obtaining a three-dimensional image from such a two-dimensional image of the observation target is described in, for example, a paper, Shree K. et al. As disclosed in Nayar, "Shape from focus system" (Proc. Of CVPR, pp. 302-308, 1992), by extracting a focused portion of an object to be observed, a relative position from a lens such as a microscope can be obtained. There are ways to get the position. In this method, a focused point portion of the observation object is used as extraction means, and a two-dimensional digital image is subjected to computer processing using a complicated algorithm to obtain a focused pixel.
[0005]
[Problems to be solved by the invention]
However, in this method, light enters a focused portion from a bright portion around the focused point due to interference or the like, and that region is blurred, so that the focused portion is affected as noise. Therefore, it has been extremely difficult to extract the focused portion in a sharp form from the acquired two-dimensional image. Furthermore, it is difficult to generate an accurate three-dimensional image because the three-dimensional process itself depends on the accuracy of extraction of a focused portion. Therefore, Japanese Patent Application No. 2000-371887, which has been made in view of the above-described problem of the conventional technique, extracts three-dimensional information from a two-dimensional digital image of an observation target acquired by a digital camera or a digital microscope, and extracts the observation target. Provided is a stereoscopic observation apparatus which enables a region to be observed of an object to be observed as a high-definition stereoscopic image.
[0006]
However, in this Japanese Patent Application No. 2000-371887, a composition of color information obtained under slit illumination is output and displayed as final color information. It has been difficult to obtain original accurate color information. Then, in order to solve the above-mentioned subject, it decided to provide the present invention.
[0007]
[Means for Solving the Problems]
The invention according to claim 1 is
Image acquisition means for acquiring a digital image of the observation target,
Slit illumination means for irradiating a limited area including the focal point of the observation object,
External illumination means for irradiating the entire area of the observation side surface of the observation object,
Moving means for moving the observation target relative to the image acquisition means,
A three-dimensional information extracting unit that extracts three-dimensional information from a plurality of digital images obtained along with the movement of the observation target using the image acquiring unit and the slit lighting unit;
The same as the three-dimensional spatial coordinate position extracted by the three-dimensional information extracting means from a plurality of digital images obtained along with the movement of the observation object using the image acquiring means and the external lighting means. Color information extracting means for extracting color information of a pixel existing at the three-dimensional spatial coordinate position of
Three-dimensional information generating means for generating three-dimensional information having color information on the surface of the observation target from the three-dimensional information obtained from the three-dimensional information extracting means and the color information obtained from the color information extracting means;
Stereoscopic image display means for displaying information obtained by the stereoscopic information generation means;
Is a stereoscopic observation device having This makes it possible to acquire a high-definition three-dimensional image including color information on the surface of the observation target.
[0008]
The invention according to claim 2 is
The slit illuminating means includes a plurality of light sources that emit light having a smaller width than the observation target,
And the plurality of light sources are arranged at equal intervals on the same ring-shaped device,
And all the rays emitted from the plurality of light sources are on the same plane, and all of the rays intersect at one point
The stereoscopic observation apparatus according to claim 1, wherein: Thereby, the quality of the finally output image and distance data can be improved.
[0009]
The invention according to claim 3 is
The slit illuminating means is constituted by a plurality of linear light sources that emit light having a smaller width than the observation target,
The plurality of linear light sources face each other,
All rays emitted from the respective light sources are on the same plane
The stereoscopic observation apparatus according to claim 1, wherein: Thereby, the quality of the finally output image and distance data can be improved.
[0010]
The invention according to claim 4 is
2. The stereoscopic observation apparatus according to claim 1, wherein the external illumination unit irradiates light to an entire region of the observation side surface of the observation target. The color information on the surface of the observation target imaged under the light source can be used as the color information on the surface of the three-dimensional image data.
[0011]
The invention according to claim 5 is
The external illumination unit includes a plurality of light source groups that uniformly illuminate the entire area of the observation side surface of the observation target.
The stereoscopic observation apparatus according to claim 1, wherein: As a result, it is possible to uniformly irradiate the observation target with a uniform light beam from all directions, and it is possible to acquire high-quality color image data even with a glossy observation target.
[0012]
The invention according to claim 6 is
The external illumination means is composed of a plurality of light sources that uniformly illuminate the entire area of the observation target,
When the observation object rotates, the plurality of light sources also move according to the rotation vector.
The stereoscopic observation apparatus according to claim 1, wherein: Thereby, even when the observation object rotates, the external illumination means moves according to the rotation vector, so that the relative illumination environment of the external illumination light source group with respect to the observation object does not change, and the rotation before the rotation of the observation object is not changed. It can be observed in the same environment.
[0013]
The invention according to claim 7 is
An image acquisition step of acquiring a digital image of the observation target;
A slit illumination step of irradiating a limited area including the focal point of the observation target,
An external illumination step of irradiating the entire area of the observation side surface of the observation object,
A moving step of moving the observation target relative to the image obtaining step,
A three-dimensional information extraction step of extracting three-dimensional information from a plurality of digital images obtained with the movement of the observation target, using the image acquisition step and the slit illumination step;
Using the image acquisition step and the external illumination step, the same as the three-dimensional spatial coordinate position extracted in the three-dimensional information extraction step from a plurality of digital images obtained with the movement of the observation target object A color information extraction step of extracting color information of a pixel existing at the three-dimensional space coordinate position of
A three-dimensional information generating step of generating three-dimensional information having color information of the surface of the observation target from the three-dimensional information obtained from the three-dimensional information extracting step and the color information obtained from the color information extracting step;
A stereoscopic image displaying step of displaying information obtained by the stereoscopic information generating step;
Is a stereoscopic observation method having the following. As a result, high-resolution images containing color information on the surface of the observation object Fine A stereoscopic image can be obtained.
[0014]
The invention according to claim 8 is
The slit illuminating step is to irradiate light from a plurality of light sources that irradiate light of a smaller width than the observation target,
And the plurality of light sources are arranged at equal intervals on the same ring-shaped device,
And all the rays emitted from the plurality of light sources are on the same plane, and all of the rays intersect at one point
The stereoscopic observation method according to claim 7, wherein: Thereby, the quality of the finally output image and distance data can be improved.
[0015]
The invention according to claim 9 is
The slit illuminating step irradiates light from a plurality of linear light sources that irradiate light having a smaller width than the observation target,
The plurality of linear light sources face each other,
All rays emitted from the respective light sources are on the same plane
The stereoscopic observation method according to claim 7, wherein: Thereby, the quality of the finally output image and distance data can be improved.
[0016]
The invention according to claim 10 is
The external illumination step irradiates light to the entire region of the observation side surface of the observation target.
The stereoscopic observation method according to claim 7, wherein: The color information of the surface of the observation target imaged under the light source can be used as the color information of the surface of the three-dimensional image data.
[0017]
The invention according to claim 11 is
The external illumination step irradiates light from a plurality of light sources that uniformly illuminate the entire area of the observation side surface of the observation target.
The stereoscopic observation method according to claim 7, wherein: As a result, it is possible to irradiate the observation target evenly with light rays from all directions, and it is possible to obtain high-quality color image data even for a glossy observation target.
[0018]
The invention according to claim 12 is
The external lighting step irradiates light from a plurality of light sources that uniformly illuminate the entire region of the observation target,
When the observation object rotates, the plurality of light sources also move according to the rotation vector.
The stereoscopic observation method according to claim 7, wherein: Thereby, even when the observation target is rotated, the external illumination means moves according to the rotation vector, so that the relative illumination environment of the external illumination light source group with respect to the observation target does not change, and the rotation before the rotation of the observation target is not changed. It can be observed in the same environment.
[0019]
BEST MODE FOR CARRYING OUT THE INVENTION
Based on Japanese Patent Application No. 2000-371887, the slit light source was improved as shown in FIG. By installing eight slit light sources, each of which has been shifted by 90 degrees with respect to the observation object in the past, eight by 45 degrees in the same ring-shaped fixture, the horizontality of each illumination and the observation object can be improved. The accuracy of image and distance data finally output has been improved.
[0020]
In Japanese Patent Application No. 2000-371887, a composite of color information obtained under slit illumination is output as final color information. However, due to the characteristics of the slit illumination, it has been difficult to obtain the original accurate color information of the surface of the observation target. Therefore, a dome-shaped illumination shown in FIG. 4 was designed and added. A large number of high-brightness white LEDs are mounted inside the dome-shaped illumination so that diffused light is uniformly emitted to the inside of the dome. Most of the images photographed under the dome-shaped illumination are out of focus, as in the case of photographing a minute object with a camera, and there are only a few in-focus portions. Therefore, by using depth information obtained by synthesizing images acquired under the slit light source, a necessary focused portion is extracted from a group of images acquired under dome-shaped illumination. Usually, the focused part depends on the distance from the camera, but since the shape and depth of the observation target are clear from the depth information acquired under slit illumination in advance, this depth information and the dome The in-focus portion can be easily extracted and synthesized by comparing the image group acquired under the pattern illumination with the image group. The omnifocal image obtained after the synthesis of the image group is output as an image that accurately captures the original color information on the surface of the observation target in which light is uniformly applied to all portions. Then, a more detailed description will be given in the following examples.
[0021]
【Example】
(Embodiment 1) As shown in FIG. 1, an embodiment of a stereoscopic observation apparatus according to the present invention includes an imaging unit 2 composed of, for example, a digital camera for photographing a small observation object 1 of, for example, several mm to several cm. A slit light having a smaller width, for example, a predetermined width of 5 mm (an optical fiber is used as a light source and a slit having a width of 5 mm is provided on the output side of the light source to form a planar light source) is used as the observation target 1. A plurality of slit light source groups for irradiating the object are fixed to the same ring-shaped device, and a region where the slit light of the observation target object 1 is illuminated is held in a focal point region of the imaging unit 2. An object to which a step motor (product name: SPF60b10-3SM, manufactured by Oriental Motor Co., Ltd.) is attached, which moves from a lower position to an upper position by a predetermined distance, for example, 0.1 mm. A moving means 4 composed of a work arm and an external lighting means 5 composed of a dome-shaped illumination in which a plurality of high-intensity white LEDs are uniformly mounted inside a horizontally installed dome-shaped lid (hereinafter, the slit light source group is referred to as In contrast, a light source that irradiates the entire imaging surface of the observation target 1 is referred to as an external illumination unit). Further, using the slit illuminating means 3, a focal point is found for each pixel constituting the digital image of the observation object 1 obtained by the image capturing means 2, and the distance of the focused pixel from the image capturing means 2 is determined. get information. In addition, a focused portion corresponding to the depth information is extracted from an image group having color information of the surface of the observation target 1 obtained by the imaging unit 2 using the external illumination unit 5. An image processing computer 6 is provided for synthesizing three-dimensional information having accurate color information of the object based on the depth information and the color information, and displaying a three-dimensional image based on the three-dimensional information.
[0022]
Now, the operation of the stereoscopic observation apparatus of the present invention in FIG. 1 will be described with reference to the processing procedure in FIG.
First, in the initial setting step S1, the imaging means 2, the slit lighting means 3, the moving means 4, and the external lighting means 5 are set. The upper part of FIG. 3 is a diagram showing the configuration of the slit illuminating means 3, and the lower part is a view showing a cross section of the slit illuminating means 3. The slit illuminating means 3 is configured such that four independent slit light sources, each of which has been separately shifted by 90 degrees with respect to the observation object in the past, are respectively shifted by eight and 45 degrees on the same horizontal ring-shaped tool, so that The accuracy of the horizontality between the slit light source and the observation target 1 is improved. Conventionally, since each slit is not fixed to the same fixture and is independent, a line connecting three points of the slit light source 3a, the observation object 1, and the slit light source 3b shown in the lower part of FIG. It was difficult to adjust. Further, when a plurality of slit light sources are used, it is difficult to make the above adjustment even more. In such a state lacking horizontality, the intersection angle between the line connecting the slit light source 3a-the observation object 1-slit light source 3b and the line connecting the imaging means 2-the observation object 1 is not vertical, and the observation object It has been difficult to obtain accurate depth information of an object. In the present invention, the slit light sources, which have been conventionally independently installed, are installed on the same annular fixture. In this way, by installing the slit light sources on the same annular fixture, it becomes easy to horizontally adjust the line connecting the three points of the slit light source 3a, the observation object 1, and the slit light source 3b, and furthermore, a plurality of slit light sources. Adjustment is also easy when the slit light source is installed on the same ring-shaped fixture.
[0023]
In addition, using a plurality of slit light sources, all the light beams emitted from the plurality of light sources are present on the same plane, and adjusted so that all of the light beams intersect at one point, and the light beam group exists. The moving means 4 is adjusted so that the observation target 1 intersects the horizontal plane perpendicularly at the intersection. The intersection is preferably located at the center of the ring of the ring-shaped device. This is because the distances from each slit light source to the intersection are all equal, and the irradiation environment is all uniform. At this time, the plurality of slit light sources are installed at equal intervals on the same ring-shaped tool. Accordingly, the irradiation environment of the light irradiated from each slit light source on the observation target 1 is all the same, and the bias of the light irradiation on the observation target 1 is eliminated. Furthermore, when the number of slit light sources is increased, the portion of the observation target 1 where light is not irradiated decreases. Therefore, as the number of slit light sources is increased at equal intervals, the bias of light irradiation on the observation target 1 is eliminated, and the accuracy of the finally output three-dimensional information can be improved. It is preferable to spread the slit light sources and irradiate the observation object 1 with light from all directions of 360 degrees. However, in practice, eight slit light sources installed at equal intervals of 45 degrees are sufficient.
[0024]
Next, the setting of the imaging means 2 will be described. As described above, the imaging unit 2 is installed at a position where the intersection angle between the horizontal plane of the slit illumination unit 3 including the observation target 1 on the same plane and the line connecting the imaging unit 2 and the observation target 1 is vertical, and The in-focus position is adjusted so that a portion of the observation target object 1 irradiated with a light beam emitted from the slit light source is focused.
[0025]
The setting of the moving means 4 will be described. As described above, the observation target 1 is set to move in the vertical direction with respect to the horizontal plane of the slit illuminating means 3 including the observation target 1 on the same plane. Then, the position of the observation target 1 in the horizontal plane of the slit illuminating means 3 is made to coincide with the center of the circle of the slit illuminating means 3, that is, the point where the light beams emitted from the respective slit light sources intersect at one point. This is to make the irradiation environment of the light beam emitted from each slit light source to the observation object 1 uniform.
[0026]
Now, the setting of the external lighting means 5 will be described. As shown in the upper part of FIG. 4, the structure of the external lighting means 5 is such that a plurality of high-brightness white LEDs are evenly mounted inside a horizontally provided dome-shaped lid, and when all the mounted LEDs are turned on, The inside of the dome is irradiated with diffused light. When a glossy object such as an insect is photographed by using a strobe light source described later as an external lighting means, saturation or reflection occurs, and the quality of image data acquired thereafter is deteriorated. The apparatus makes it possible to irradiate the light beam evenly from all directions to the observation object 1 existing in the dome, and to provide high-quality color image data (to be described later) even for glossy objects. Can be generated.
[0027]
The upper part of the dome is provided with a hole so as not to hinder the imaging by the imaging means 2, but the invention is not limited to this. For example, this part may be made of a transparent material if it does not hinder the imaging. It may be configured.
The shape of the dome is not particularly limited as long as light can be uniformly applied from all directions to the entire area of the observation side surface of the observation object 1 in the dome. It has a close shape.
[0028]
Next, in the slit lighting lighting step S2, all the slit light sources (hereinafter, slit lighting means 3) installed on the same ring-shaped tool set above are turned on. At this time, the external illuminating means 5 may be removed only at this time so as not to obstruct light rays from each slit light source to the observation target 1, or the external illuminating means 5 may be removed from the slit light source, for example, from the slit light source. A hole may be formed only in a side surface portion that blocks the light beam to 1, or that portion may be made of a transparent material. If the side portion of the dome-shaped illumination 5 is changed in this way, the LED is not attached to only that portion.
[0029]
Next, in a slit illumination photographing step S3, a first digital image image (hereinafter, referred to as a slice image) under irradiation of the slit illumination unit 3 is acquired using the imaging unit 2, and the acquired slice image image is acquired. For example, the data is stored using the data storage means of the image processing computer 6. After storing the data of the slice image, the slit illuminating means 3 is turned off.
[0030]
Next, in an external illumination lighting step S4, all the LED light sources (hereinafter, external illumination means 5) mounted in the dome are turned on. As shown in the lower part of FIG. 4, these LED light source groups can be simultaneously turned on and off by the external illumination control means 7. The external lighting means 5 can be controlled by sending an ON / OFF signal from the external lighting control computer to the external lighting control means 7. However, the control means of this device is not limited to this. The image processing computer 6 may be used, another computer (not shown) may be used, or the external illumination control means 7 may be directly operated and controlled without using a computer. good.
[0031]
Next, in an external illumination photographing step S5, a first digital image image (hereinafter, referred to as an RGB image) under illumination of the external illumination unit 5 is acquired using the imaging unit 2, and the acquired RGB image image is acquired. For example, the data is stored using the data storage means of the image processing computer 6. After storing the RGB image data, the external lighting unit 5 is turned off.
[0032]
Next, in the object moving step S6, the moving object 4 is used to move the observation object 1 upward by an amount corresponding to the minimum unit of the depth required when the observation object 1 is made three-dimensional, for example, 0.1 mm. Let it. Next, in the slit lighting lighting step S2, the slit lighting means 3 is turned on again. Steps S2, S3, S4, S5, and S6 are repeated until all parts of the observation target 1 are imaged.
[0033]
By the above-described repetitive processing, a plurality of slice images in which all the parts from the upper part to the lower part of the observation target object 1 are partially illuminated by the slit light from the slit illuminating means 3 in sequence, and the external illuminating means 5 A plurality of uniformly illuminated RGB images are acquired, for example, 100 each.
[0034]
Next, in a luminance calculation step S7, three-dimensional information is extracted from the plurality of slice image images acquired in step S3. The solid line in FIG. 5 shows a change in luminance for one pixel of the captured 100 slice images, for example. In FIG. 5, an example of a change in luminance according to the conventional method is also indicated by a dotted line. The horizontal axis indicates the order of photographing, which corresponds to the length in the depth direction (for example, if it is moved by 0.1 mm, the tenth image has a depth of 1 mm). In the present invention, since the illumination device that irradiates only the limited in-focus area including the in-focus point is provided, the data useful for the in-focus position search includes the number of data (for example, 10) corresponding to the above-described limited area. Only). On the other hand, in the conventional method, as shown by the dotted line in FIG. 5, since there is high-brightness information in all of the areas photographed, for example, all 100 images become data for focus position search. Therefore, in the present invention, it is possible to greatly reduce the calculation time required for searching for the focal point position and remove interference from surrounding pixels, as compared with the conventional method.
[0035]
The in-focus position search according to the present invention is performed by an algorithm for extracting, for example, the one with the highest luminance from a limited area (for example, 10 sheets) irradiated on the illumination device. This search is performed on every pixel of the digital camera. As a result, in all the pixels of the digital camera, it is possible to obtain the luminance information / color information at the optimum focus position and the depth information derived from the focus position. Conventionally, as shown by a dotted line in FIG. 4, a point where the brightness is high (that is, a mountain portion) in one pixel is not always focused, and the algorithm for finding the focused point from among 100 images is also complicated. Was. Furthermore, since the disturbance light from the entire region of the observation object other than the focal point enters the focused portion, the focal point cannot be found accurately.
[0036]
Next, in the depth / shape information step S8, three-dimensional information (depth information) of the entire region of the observation target object searched by the focus position search in step S7 is acquired.
Next, in the comparison combining step S9, based on the pixel information of the in-focus position acquired in step S8, the RGB image captured in step S5 exists at the same position as the three-dimensional spatial coordinate position indicating the in-focus position. The color information of the pixel to be extracted is extracted. For example, if the in-focus position acquired in step S8 is the coordinate position (5, 8) of the tenth image of the slice image group, the color of the pixel at the coordinate position (5, 8) of the tenth image of the RGB image group That is, information is acquired (at this time, the slice image group and the RGB image group are assumed to be arranged in the imaging order, respectively).
[0037]
Next, in an all-focus RGB image creation step S10, three-dimensional information having the original color information of the observation target is created based on the depth information and color information of the entire region of the observation target obtained in steps S8 and S9. I do. This will be described with reference to FIG. Let us rearrange the brightness information and color information at the optimum focus position obtained in step S7 and data such as the depth derived from the focus position into depth information as parameters. The pixel group L1 is a set of pixels having a depth L1, and the pixel group L2 is a set of pixels having a depth L2. As shown in FIG. 6, a three-dimensional voxel V1 is generated by the pixel group L1. Further, a three-dimensional voxel V2 is generated by the pixel group L2. In this way, a stereoscopic voxel is created from all the acquired images. The three-dimensional voxel V2 has a value such that the depth of the observation object 1 by one movement distance, for example, 0.1 mm, and the depth from a distant digital image by 0.1 mm are larger than the three-dimensional voxel V1. Therefore, by synthesizing the voxels V1, V2,..., Synthesized stereoscopic data V0 can be obtained as stereoscopic information.
[0038]
In FIG. 6, the observation object 1 has a truncated cone shape. However, when the observation object 1 has a complicated shape, the brightness of all the pixels in the acquired image image L1 is not maximized. Voxels corresponding to pixels in which the luminance of the pixel is not the maximum among V1 are missing. Thus, three-dimensional information corresponding to the depth of focus from the imaging unit 2 can be generated.
[0039]
FIG. 7 is an enlarged view showing the relationship between the target pixel P1 and the corresponding voxel in the digital image of the observation target 1. When the observation target 1 moves by 0.1 mm, the height of the target voxel becomes 0.1 mm.
Then, the color information acquired in S9 corresponding to the position of each voxel is synthesized.
[0040]
Finally, in a stereoscopic image output step S11, the stereoscopic image created in step S10 is output to an output device such as a screen and displayed.
Incidentally, the processing procedure of the first embodiment described above is merely an example, and the present invention is not limited to this. For example, an RGB image may be acquired first using the external illumination unit 5, and then a slice image may be acquired using the slit illumination unit 3.
[0041]
(Embodiment 2) FIG. 8 shows another embodiment of the present invention. In addition to the first embodiment, in the object rotation step S7a, the observation object 1 is rotated by 180 degrees and the back surface thereof is also imaged. By performing three-dimensional image processing in the three-dimensional image synthesizing step S11a in order to associate corresponding portions on the front and back surfaces, an overall image of the observation target object 1 can be generated. Thereby, the observation object 1 can be turned over and observed. The means for rotating the observation object 1 is shown in FIG. The rotating means 8 is provided with a motor at the tip of the moving means 4 and rotates the rotating shaft to rotate the observation object 1. This rotation angle can be freely adjusted. In the second embodiment, the rotation angle is set to 180 degrees, but may be set to, for example, 45 degrees or 90 degrees depending on the observation situation.
[0042]
(Embodiment 3) Fig. 10 shows another embodiment of the present invention. It has been replaced with a device. In the slit illuminating means 3 composed of a planar light, a linear light source for irradiating light having a width smaller than that of the observation object 1 is attached to an elongated column, and two linear light sources are prepared and attached to each column. A certain linear light source faces each other, and the light beams emitted from each linear light source are present on the same plane, so that a light surface is formed as shown in FIG. A plurality of linear light sources may be used as long as the condition that “the light beams emitted from the respective linear light sources exist on the same plane” is satisfied. In addition, the external illuminating means 5 composed of a strobe light source irradiates the observation object 1 with light evenly and does not hinder the imaging of the imaging means 2, for example, obliquely in front of the imaging surface of the observation object 1. To place. The third embodiment operates similarly to the first embodiment. In the third embodiment, since a strobe light source is used, when a glossy target object such as an insect is photographed, saturation or reflection is included, and accurate color information cannot be obtained. However, when imaging a target object that is not glossy, the third embodiment can be used as a simple external lighting unit.
[0043]
(Embodiment 4) FIG. 11 shows another embodiment of the present invention, which comprises slit illuminating means 3 comprising a planar light, moving means 4 comprising a movable base, image capturing means 2 comprising a digital camera, and an image processing computer 6. The illumination device includes an external illumination means 5 composed of an illumination device covering the entire space constituted by a point light source and the like, an external illumination control means 7 for controlling lighting of each point light source, and rotation of the observation object described in the second embodiment. Means 8 are added. In this embodiment, the slit illuminating means 3 and the dome-shaped illuminating device 5 of the second embodiment are replaced with an illuminating device comprising a planar light and a plurality of point light sources mounted on a curved surface, respectively. The fourth embodiment operates almost in the same manner as the second embodiment, but has a different point. The difference is that, in the step of rotating the observation object 1, the point light source corresponding to the rotation vector of the rotation unit 8 is adjusted so that the illumination environment of the light beam emitted from the point light source group to the observation object does not change. Changing the position of the group. Another difference is that the entire area of the surface of the observation target is irradiated with light from the external illumination means. This is due to the rotation means 8 described above. This is because, when the observation object is rotated by the rotation means 8, the external illumination means 5 also moves with the rotation, but light must also be applied to the observation-side surface of the rotated observation object. is there. For this purpose, the external illumination unit 5 irradiates light to the surface of the observation target object that is outside the imaging target at the start of imaging.
[0044]
(Embodiment 5) FIG. 12 shows another embodiment of the present invention, in which various shapes of the slit illumination 3 are proposed. The shape of the ring-shaped device of the first embodiment does not necessarily have to be a circle, and may be, for example, a shape as depicted in FIG. FIG. 12 illustrates three shapes. Common to these shapes is that when the observation target is placed at the center of the slit illumination, the illumination environment of each slit light source with respect to the observation target is all uniform, and the relative positions of the slit light sources are always the same. That is.
[0045]
【The invention's effect】
According to the present invention, by providing a plurality of slit light sources, the number of contact points between the light emitted from the slit light source and the observation object is increased, and the irradiation environment of each light beam on the observation object is made equal, and furthermore, each light source is used. By installing on the same fixture, the accuracy of the horizontality between each illumination and the object to be photographed was improved. In addition, a stereoscopic image that accurately reproduces the original color information of the object surface is displayed from depth information obtained from an image taken under slit lighting and color information obtained from an image taken under external lighting means. It became possible to do.
[0046]
As described above, it has become possible to highly improve the accuracy and quality of an ultra-high resolution three-dimensional image.
[Brief description of the drawings]
FIG. 1 is a configuration diagram of an embodiment of a stereoscopic observation apparatus according to the present invention.
FIG. 2 is a diagram showing a processing procedure of the stereoscopic observation apparatus shown in FIG.
FIG. 3 is a configuration diagram of slit illumination.
FIG. 4 is a configuration diagram of a dome-type illumination.
FIG. 5 is a diagram illustrating a relationship between the number of images and luminance for one pixel.
FIG. 6 is an explanatory diagram of a three-dimensional data extraction process in step S10 of FIG.
FIG. 7
FIG. 3 is an enlarged view of a three-dimensional data structure used in step S10 of FIG.
FIG. 8
FIG. 14 is a diagram illustrating a processing procedure according to the second embodiment.
FIG. 9
FIG. 13 is a diagram illustrating a part of the moving unit used in the second embodiment for rotating an observation target.
FIG. 10
FIG. 13 is a diagram illustrating a device configuration according to a third embodiment.
FIG. 11
FIG. 13 is a diagram illustrating a device configuration according to a fourth embodiment.
FIG.
FIG. 14 is a diagram illustrating an example of various slit illumination shapes according to the fifth embodiment.
[Description of Signs] 1 Observation target 2 Imaging means 3 Slit lighting means 3a Slit light source 3b Slit light source 4 Moving means 5 External lighting means 6 Image processing computer 7 External lighting control means 8 Rotating means

Claims

観察対象物のデジタル画像を取得する画像取得手段と、
観察対象物の合焦点を含む限定された領域を照射するスリット照明手段と、
観察対象物の観察側表面の全領域を照射する外部照明手段と、
観察対象物を前記画像取得手段に対して相対的に移動する移動手段と、
前記画像取得手段と前記スリット照明手段とを用いて、前記観察対象物の移動に伴って得られた複数枚のデジタル画像から３次元情報を抽出する３次元情報抽出手段と、
前記画像取得手段と前記外部照明手段とを用いて、前記観察対象物の移動に伴って得られた複数枚のデジタル画像から、前記３次元情報抽出手段で抽出された３次元空間座標位置と同一の３次元空間座標位置に存在するピクセルの色情報を抽出する色情報抽出手段と、
前記３次元情報抽出手段から得られた３次元情報と前記色情報抽出手段から得られた色情報とより、観察対象物表面の色情報を有する立体情報を生成する立体情報生成手段と、
前記立体情報生成手段により得られた情報を表示する立体画像表示手段と
を有する立体観察装置。Image acquisition means for acquiring a digital image of the observation target,
Slit illumination means for irradiating a limited area including the focal point of the observation object,
External illumination means for irradiating the entire area of the observation side surface of the observation object,
Moving means for moving the observation target relative to the image acquisition means,
A three-dimensional information extracting unit that extracts three-dimensional information from a plurality of digital images obtained along with the movement of the observation target using the image acquiring unit and the slit lighting unit;
The same as the three-dimensional spatial coordinate position extracted by the three-dimensional information extracting means from a plurality of digital images obtained along with the movement of the observation object using the image acquiring means and the external lighting means. Color information extracting means for extracting color information of a pixel existing at the three-dimensional spatial coordinate position of
Three-dimensional information generating means for generating three-dimensional information having color information on the surface of the observation target from the three-dimensional information obtained from the three-dimensional information extracting means and the color information obtained from the color information extracting means;
A stereoscopic observation apparatus comprising: a stereoscopic image display unit that displays information obtained by the stereoscopic information generation unit.

前記スリット照明手段は、観察対象物より小さな幅の光を照射する複数の光源から構成され、
かつ前記複数の光源は同一の輪状具に等間隔に配置され、
かつ複数の前記光源から照射されたすべての光線は同一平面に存在し、前記光線のすべてが一点で交差する
ことを特徴とする請求項１記載の立体観察装置。The slit illuminating means includes a plurality of light sources that emit light having a smaller width than the observation target,
And the plurality of light sources are arranged at equal intervals on the same ring-shaped device,
The stereoscopic observation apparatus according to claim 1, wherein all light beams emitted from the plurality of light sources are present on the same plane, and all of the light beams intersect at one point.

前記スリット照明手段は、観察対象物より小さな幅の光を照射する複数の線状光源から構成され、
前記複数の線状光源は相互に向き合い、
前記それぞれの光源から照射されたすべての光線は同一平面に存在する
ことを特徴とする請求項１記載の立体観察装置。The slit illuminating means is constituted by a plurality of linear light sources that emit light having a smaller width than the observation target,
The plurality of linear light sources face each other,
The stereoscopic observation apparatus according to claim 1, wherein all light beams emitted from the respective light sources are present on the same plane.

前記外部照明手段は、観察対象物の観察側表面の全領域に対して光を照射する
ことを特徴とする請求項１記載の立体観察装置。The three-dimensional observation apparatus according to claim 1, wherein the external illumination unit irradiates light to an entire region on an observation side surface of the observation target.

前記外部照明手段は、観察対象物の観察側表面の全領域を均一に照射する複数の光源群からなる
ことを特徴とする請求項１記載の立体観察装置。2. The stereoscopic observation apparatus according to claim 1, wherein the external illumination means includes a plurality of light source groups for uniformly irradiating the entire area of the observation side surface of the observation target.

前記外部照明手段は、観察対象物の全領域を均一に照射する複数の光源からなり、
前記観察対象物が回転した場合、前記複数の光源も前記回転ベクトルに従って移動する
ことを特徴とする請求項１記載の立体観察装置。The external illumination means is composed of a plurality of light sources that uniformly illuminate the entire area of the observation target,
The stereoscopic observation apparatus according to claim 1, wherein when the observation target rotates, the plurality of light sources also move according to the rotation vector.

観察対象物のデジタル画像を取得する画像取得ステップと、観察対象物の合焦点を含む限定された領域を照射するスリット照明ステップと、
観察対象物の観察側表面の全領域を照射する外部照明ステップと、
観察対象物を前記画像取得ステップに対して相対的に移動する移動ステップと、
前記画像取得ステップと前記スリット照明ステップとを用いて、前記観察対象物の移動に伴って得られた複数枚のデジタル画像から３次元情報を抽出する３次元情報抽出ステップと、
前記画像取得ステップと前記外部照明ステップとを用いて、前記観察対象物の移動に伴って得られた複数枚のデジタル画像から、前記３次元情報抽出ステップで抽出された３次元空間座標位置と同一の３次元空間座標位置に存在するピクセルの色情報を抽出する色情報抽出ステップと、
前記３次元情報抽出ステップから得られた３次元情報と前記色情報抽出ステップから得られた色情報とより、観察対象物表面の色情報を有する立体情報を生成する立体情報生成ステップと、
前記立体情報生成ステップにより得られた情報を表示する立体画像表示ステップと
を有する立体観察方法。An image acquisition step of acquiring a digital image of the observation target, and a slit illumination step of irradiating a limited area including the focal point of the observation target,
An external illumination step of irradiating the entire area of the observation side surface of the observation object,
A moving step of moving the observation target relative to the image obtaining step,
A three-dimensional information extraction step of extracting three-dimensional information from a plurality of digital images obtained with the movement of the observation target, using the image acquisition step and the slit illumination step;
Using the image acquisition step and the external illumination step, the same as the three-dimensional spatial coordinate position extracted in the three-dimensional information extraction step from a plurality of digital images obtained with the movement of the observation target object A color information extraction step of extracting color information of a pixel existing at the three-dimensional space coordinate position of
A three-dimensional information generating step of generating three-dimensional information having color information of the surface of the observation target from the three-dimensional information obtained from the three-dimensional information extracting step and the color information obtained from the color information extracting step;
A stereoscopic image displaying step of displaying information obtained by the stereoscopic information generating step.

前記スリット照明ステップは、観察対象物より小さな幅の光を照射する複数の光源より光を照射し、
かつ前記複数の光源を同一の輪状具に等間隔に配置し、
かつ前記複数の光源から照射されたすべての光線は同一平面に存在し、前記光線のすべてが一点で交差する
ことを特徴とする請求項７記載の立体観察方法。The slit illuminating step is to irradiate light from a plurality of light sources that irradiate light of a smaller width than the observation target,
And the plurality of light sources are arranged at equal intervals on the same ring-shaped device,
8. The stereoscopic observation method according to claim 7, wherein all light beams emitted from the plurality of light sources are present on the same plane, and all of the light beams intersect at a single point.

前記スリット照明ステップは、観察対象物より小さな幅の光を照射する複数の線状光源より光を照射し、
前記複数の線状光源は相互に向き合い、
前記それぞれの光源から照射されたすべての光線は同一平面に存在する
ことを特徴とする請求項７記載の立体観察方法。The slit illuminating step irradiates light from a plurality of linear light sources that irradiate light having a smaller width than the observation target,
The plurality of linear light sources face each other,
The stereoscopic observation method according to claim 7, wherein all light beams emitted from the respective light sources are present on the same plane.

前記外部照明ステップは、観察対象物の観察側表面の全領域に対して光を照射する
ことを特徴とする請求項７記載の立体観察方法。The stereoscopic observation method according to claim 7, wherein the external illumination step irradiates light to an entire region on an observation side surface of the observation target.

前記外部照明ステップは、観察対象物の観察側表面の全領域を均一に照射する複数の光源より光を照射する
ことを特徴とする請求項７記載の立体観察方法。The stereoscopic observation method according to claim 7, wherein the external illumination step includes irradiating light from a plurality of light sources that uniformly irradiate the entire area of the observation side surface of the observation target.

前記外部照明ステップは、観察対象物の全領域を均一に照射する複数の光源より光を照射し、
前記観察対象物が回転した場合、前記複数の光源も前記回転ベクトルに従って移動する
ことを特徴とする請求項７記載の立体観察方法。The external lighting step irradiates light from a plurality of light sources that uniformly illuminate the entire region of the observation target,
The stereoscopic observation method according to claim 7, wherein when the observation object rotates, the plurality of light sources also move according to the rotation vector.