なお、矛盾しない限り、本願の実施例及び実施例における特徴は互いに組み合わせることができる。以下、図面を参照しながら実施例と組み合わせて本願を詳しく説明する。
当業者が本願の技術的解決手段をよく理解できるように、以下、本願の実施例における図面を参照しながら、本願の実施例の技術的解決手段を明確で完全に説明する。明らかなように、説明される実施例は本願の一部の実施例に過ぎず、全ての実施例ではない。本願における実施例に基づき、当業者が創造的な労働を必要とせずに得る全ての他の実施例は、いずれも本願の特許範囲に属する。
なお、本願の明細書、特許請求の範囲及び上記図面における用語「第1」、「第2」などは類似の対象を区別するものであり、特定の順番又は優先順位を説明するものではない。なお、ここで本願の実施例を説明するために、このように使用されるデータは場合によって交換可能である。さらに、用語「含む」、「有する」及びこれらの任意の変形は、非排他的な包含物をカバーすることを意図し、例えば、一連のステップ又はユニットを含むプロセス、方法、システム、製品又は機器は、明確に記載されたステップ又はユニットに制限されるわけではなく、明確に記載されていないもの、又はこれらのプロセス、方法、製品又は機器に固有の他のステップ又はユニットを含んでもよい。
本願の実施例によれば、三次元スキャナーを提供する。
図1は本願の実施例に係る三次元スキャナーの模式図である。図1に示すように、該三次元スキャナーは以下の部材を含む。
画像投影装置10は対象物に光を投射するために使用され、光はカラーコード縞の形で投射された所定光を含み、カラーコード縞は少なくとも2色の縞をコードしたものであり、つまり、少なくとも2色の縞がコード及びソートされてカラーコード縞に結合する。
なお、上記カラーコード縞は、様々な単色縞でコードされて形成でき、又は様々な非単色縞でコードされて形成されてもよく、しかしながら、各色縞を区別して処理するように、赤、緑、青、シアン、マゼンタ及びイエローなどの様々な単色縞でコードされたカラーコード縞は好ましく、具体的には、カラーコード縞の各色縞のR、G、B成分は、好ましくは0又は255であり、且つ最大2つのみの成分は同時に255となる。
また、異なる色の歯表面での拡散特性、光透過特性が異なるため、高品質の縞パターン(各縞がより均一に分布し、且つ各縞の間のコントラストもより均一になる)を取得するために、本願において、カラーコード縞の各縞の幅をそれぞれ異なる値に設定することで、赤緑青3色の対象物での拡散特性を調整し、各色縞の間の相互干渉を低減し、各色縞の抽出精度を向上させる。
具体的には、図2に示すように、物体でのRGB3色の拡散及びコントラストはそれぞれ異なり、このとき、各色縞の幅を調整することで、RGB3色の均一な拡散特性、及び均一な各色縞のコントラストが実現され、さらに縞の抽出精度が向上する。
選択可能に、上記画像投影装置10は透過投影の方式を採用できる。
具体的には、光源エミッタ12が少なくとも2つの異なる波長帯域の光を放射した後、少なくとも2つの異なる波長帯域の光に対してコリメート・収束処理を行うことにより、光がMASKパターンを透過し、且つ第1結像レンズ14を介してパターンを対象物に投射する。
つまり、上記画像投影装置10は、光源エミッタ12と、カラーレンチキュラーシート13と、第1結像レンズ14とを含み、光源エミッタ12は少なくとも2つの異なる波長帯域の光を放射するために使用され、カラーレンチキュラーシート13と第1結像レンズ14は、光の伝送経路に設置され、且つ光はカラーレンチキュラーシート13上のMASKパターンを透過し、且つ第1結像レンズ14を介してパターンを対象物に投射し、カラーレンチキュラーシート13上のMASKパターンに含まれる色の種類は透過光に含まれる波長帯域の種類と一対一で対応する。
選択可能な例では、上記光源エミッタ12はレーザエミッタであってもよく、レーザエミッタが放射したレーザは、指向性発光、非常に高い輝度、非常に純粋な色、優れたコヒーレンスという特徴を有する。
なお、レーザエミッタを例にすると、レーザ光は、口径及び発散角が不適切で、光場の強度が不均一である状況がよくある。従って、本願の実施例が提供する画像投影装置10はビーム結合システム15及び光ロッド16を介して光を処理することで、レーザ光の口径及び発散角が調整され、強度の均一な光場が出力される。
レーザ光の口径と発散角の両方が小さい場合、ビーム結合システム15はコリメートシステムと収束レンズ、又はそれと同等の機能を有する光学システムで構成されてもよい。レーザ光の発散角が大きい場合、ビーム結合システム15は、3つ又は4つ以上のレンズ素子で構成され、より複雑な収束システムを形成してもよい。
光ロッド16は細長い六面体プリズム、円筒プリズム又は円錐プリズムであってもよく、光ロッド16の放射端面が入射端面に平行であり、且つ放射端面及び入射端面は長方形又は正方形であってもよく、光ロッド16は、光が固体透明媒体内に伝送する中実ロッドであってもよく、又は光が4つの固体界面により囲まれた空間に複数回反射される中空ロッドであってもよく、中実ロッドの放射端面及び入射端面に増透膜が塗布されており、表面に反射膜が塗布されているか又は膜が塗布されておらず、中空ロッドの内面に増反膜が塗布されている。具体的には、光は光ロッド16の内面に複数回反射・光混合され、さらに強度の均一な光場が出力される。
つまり、上記画像投影装置10はビーム結合システム15と光ロッド16とをさらに含み、ビーム結合システム15及び光ロッド16は光の伝送経路に設置され、且つ、光源エミッタ12によって放射された少なくとも2つの異なる波長帯域の光は、それぞれビーム結合システム15及び光ロッド16を通過し、カラーレンチキュラーシート13に投射される。
なお、レーザエミッタを例にすると、レーザ自体のコヒーレンスのため、投影パターンに回折スポットが生じてしまう。従って、本願の実施例が提供する画像投影装置10がレーザ光源エミッタ12を採用する場合、該画像投影装置10は位相変調素子17と駆動モーター18とをさらに含む。具体的には、図2に示すように、位相変調素子はレーザ光の伝送経路に設置され、光源エミッタ12は少なくとも2つの異なる波長帯域のレーザ光を放射した後、レーザ光の伝送経路に位置する位相変調素子はレーザ光の位相をリアルタイムに変調させ、この他、該位相変調素子は駆動モーター18によって駆動され、一定の速度で回転軸を中心に回転する。
位相変調素子は透明な光学材料の薄板、マイクロ光学素子又はランダム位相板であってもよい。
位相変調素子はビーム結合システム15の前に位置してもよいし、ビーム結合システム15の後に位置してもよい。
図1を例にすると、上記画像投影装置10に含まれる可能性のある複数の部材について、例を挙げて説明する。画像投影装置10は、3つのレーザエミッタと、2つの半透過反射型ビームスプリッタと、位相変調素子17(及び位相変調素子17に接続される駆動モーター18)と、ビーム結合システム15と、光ロッド16と、カラーレンチキュラーシート13と、第1結像レンズ14とを含む。
画像投影装置10は3つのレーザエミッタを介してレーザビームを放射し、例えば、1つのレーザエミッタが赤色レーザビームを放射し、1つのレーザエミッタが緑色レーザビームを放射し、もう1つのレーザエミッタが青色レーザビームを放射し、該レーザビームはそれぞれ2つの半透過反射型ビームスプリッタを通過してビーム収束の技術的効果が実現され、収束後のレーザビームは回転している位相変調素子17を透過し、レーザ自体のコヒーレンスによる投影パターンの回折スポットの発生が回避され、さらに、レーザビームをそれぞれビーム結合システム15及び光ロッド16に通過させることで、レーザ光の口径及び発散角が調整され、強度の均一な光場が出力され、最後、レーザビームはカラーレンチキュラーシート13を透過し、カラーコード縞の形で投射された所定光を生成し、第1結像レンズ14を介して対象物に投射される。勿論、画像投影装置10は、少なくとも2色のレーザビームが放射されてカラー縞を形成できることを確保する限り、2つのみのレーザエミッタを設置してもよい。
また、三次元スキャナーは反射鏡40をさらに含んでもよく、反射鏡40は、光の伝送経路を変更するために使用され、本実施例では、画像投影装置10が生成した所定光を反射して、所定光の伝送経路を変更するために使用でき、所定光は反射鏡40によって対象物に反射され、対象物によって画像収集装置20に反射され、画像投影装置10及び画像収集装置20の装着に対する制約が軽減され、画像投影装置10及び画像収集装置20の使用に必要な空間サイズが縮小される。例えば、画像投影装置10が対象物に所定光を投射するのに必要な空間サイズは、画像投影装置10自体の空間サイズ及び所定光が対象物に投射される経路の長さに対応する空間サイズであり、画像投影装置10が口腔内部に適用され、且つ画像投影装置10が反射鏡40を含まないと、上記必要な2つの空間は直線的に設置され、画像投影装置10の使用に多くの不便をもたらし、画像投影装置10が口腔内部に適用され、且つ画像投影装置10が反射鏡40を含み、上記必要な2つの空間が折り畳まれて設置され、この場合、画像投影装置10は口腔内部の空間をよりよく利用することができ、良好な投影効果が実現される。
選択可能に、上記画像投影装置10はDLPプロジェクターを採用してもよい。
具体的には、DLPプロジェクターは、DLP投影技術(デジタル光処理投影技術、DigitalLightProcessionの略記)を採用し、且つデジタルマイクロミラー装置(DMD、DigitalMicromirrorDeviceの略記)を主な重要処理素子として使用することにより、デジタル光学処理を実現する。なお、本願では、DLPプロジェクターを画像投影装置10として採用することにより、高コントラストの画像を取得し画面の美しさを保持するという技術的効果が実現される。
選択可能な例では、本願の実施例が提供する投影モジュールのピクセルサイズは7μm~8μmである。具体的には、本願の実施例が提供する三次元スキャナーを歯の三次元走査分野に応用することについて、画像投影装置10のデジタルマイクロミラー装置は最大2048*1152アレイを内蔵でき、デジタルマイクロミラー装置が所定光を単一の歯(約15mm)に投影するとき、単一ピクセルサイズが約7.3μmのカラーコード縞を取得することができる。なお、小さいピクセルサイズは歯上の隣接する縞画像間の干渉を減少することができる。
例えば、本願の実施例が提供する画像投影装置10はDLPLightCrafterを採用してもよく、具体的には、DLPLightCrafterの光学エンジンは、揚明光学公司がDLP3000DMDのために特に開発したRGBLED光源エンジンであってもよく、DLP3000DMDは光源エンジンの末端に装着され、0.3WVGAチップセットのDLP3000DMDは415,872個のマイクロミラーで構成され、マイクロミラーの間隔が7.6μmであり、608×684のマイクロミラーアレイが構成され、最大WVGA(854×480)の解像度の画像を生成することができる。
画像収集装置20は、対象物によって反射された光を収集するために使用され、本実施例では、対象物が画像投影装置10により光が投射される場合、対象物によって変調された光を収集し少なくとも1つの縞画像を取得するために使用され、取得された縞画像は、各縞シーケンスを決定するためにコード画像として使用され、及び対象物の三次元再構成のために再構成画像として使用され、さらに、対象物が照明部材30により照射される場合、対象物によって反射された照明光を収集するために使用される。
なお、対象物には画像投影装置10により光が投射されるため、投射された光に含まれる所定光も対象物に投射され、このとき、所定光はカラーコード縞の形で対象物に投射され、カラーコード縞も対象物にマッピングされ、さらに、画像収集装置20は対象物にマッピングされたカラーコード縞を収集し、少なくとも1つの縞画像を得る。
つまり、対象物が光を変調することは、対象物が自体の形状で所定光を変調し、所定光に対応するカラーコード縞は対象物の自体の形状に応じて対応して変化し、このとき、画像収集装置20は変化した後のカラーコード縞を収集し少なくとも1つの縞画像を生成することである。
好ましくは、画像収集装置20は、同じ変調されたカラーコード縞に対応する少なくとも2つの縞画像を同期取得する。具体的には、画像投影装置10はカラーコード縞を対象物に投射し、カラーコード縞は対象物によって変調された後に、画像収集装置20によって同期収集され、画像収集装置20は少なくとも2つの縞画像をリアルタイムに生成する。
本願の実施例が提供する三次元スキャナーでは、画像投影装置10は対象物に光を投射し、光はカラーコード縞の形で投射された所定光を含み、且つ該カラーコード縞は少なくとも2色のコード縞で構成され、画像収集装置20は、対象物が画像投影装置10により光が投射される場合、対象物によって変調された光を収集し少なくとも1つの縞画像を取得し、画像収集装置20の感光の波長帯域はカラーコード縞に含まれる縞色に対応し、画像収集装置はカラーコード縞の少なくとも2色のコード縞を取得でき、一般に、画像投影装置と画像収集装置はマッチして設置され、画像投影装置の所定光に含まれる色は全て画像収集装置により収集でき、取得された縞画像は、各縞シーケンスを決定するためにコード画像として使用され、及び対象物の三次元再構成のために再構成画像として使用される。これによって、従来の三次元再構成方法に必要なハードウェアコストが高く、三次元走査装置の普及や使用に不利であるという関連技術の技術問題が解決された。
なお、本願の実施例に係る三次元スキャナーは空間コードに基づいた縞抽出アルゴリズムにより、対象物の三次元形態を取得するため、該三次元スキャナーは最低1フレームのみの2次元画像を使用するだけで対象物の三次元再構成を実現することができ、カメラ21のフレームレート及びアルゴリズムの計算コストが大幅に低減され、三次元スキャナーの普及や使用が容易になり、具体的には、該三次元スキャナーは高フレームレートのカメラ21を使用する必要がないため、三次元スキャナーに必要なカメラ21の体積は小さくなり、さらに該三次元スキャナーは口腔内部の物体三次元形態の取得により適用する。
及び、該三次元スキャナーが最低1フレームのみの2次元画像を使用するだけで対象物の三次元再構成を実現することができるという技術的特性により、再構成画像とテクスチャ画像との間の取得時間差が大幅に短縮され、対象物の三次元再構成に対する投影、撮影に必要な時間が短縮され、それと同時に、該三次元スキャナーは口腔内部の物体三次元形態の取得により適用する(該三次元スキャナーがハンドヘルド式走査を行うことに有利である)。
また、本願の実施例が提供する三次元スキャナーは空間コードの情報として色を使用するため、コード情報の容易な識別及び識別精度の向上という技術的効果は同様に実現される。
また、本願の実施例に係る三次元スキャナーは空間コードに基づいた縞抽出アルゴリズムにより、対象物の三次元形態を取得するため、動的投影の投影ニーズがキャンセルされるという技術的効果は同様に実現される。
選択可能に、本願の実施例が提供する三次元スキャナーでは、画像収集装置20は、少なくとも1つの白黒カメラを含む複数のカメラ21をさらに含み、画像収集装置20は複数のカメラ21を介して対象物によって変調された光を処理し、複数の縞画像を得て、少なくとも1つの白黒カメラで得られた縞画像は対象物の三次元再構成のために再構成画像として使用され、及び、少なくとも複数の白黒カメラで得られた縞画像は各縞シーケンスを決定するためにコード画像として使用され、及び/又は、少なくとも1つのカラーカメラで得られた縞画像は各縞シーケンスを決定するためにコード画像として使用される。
なお、コード画像の少なくとも1つの縞画像に含まれる縞情報として、各縞のコードシーケンスを決定する必要があり、つまり、コード画像は各縞のコードシーケンスを決定可能な縞画像で構成される。
つまり、画像投影装置10によって予め設計されたカラーコード縞画像を対象物(例えば、歯又は歯肉)に投影し、それと同時に、画像収集装置20を制御して投影パターンを有する対象物の画像を迅速に収集し、画像収集装置20に含まれるカメラ21はそれぞれ異なる縞画像を収集し、例えば、カメラAはカラーカメラであり、カラー縞画像を取得し、カメラBは白黒カメラであり、白黒縞画像を取得する。このとき、カラー縞画像と白黒縞画像がコンピュータ端末に伝送され、コンピュータ端末はカラー縞画像をコード情報として、白黒縞画像を再構成画像として使用し、対象物の三次元形態を取得する。
なお、白黒カメラの結像解像度がカラーカメラよりも高いので、画像収集装置20は単に1つのカラーカメラで縞画像を取得すると、解像度が低くなるという状況が発生する。低解像度による三次元再構成が困難になる状況の発生を回避するために、上記実施例では、画像収集装置20は少なくとも1つの白黒カメラを含む複数のカメラ21を含み、高結像解像度の白黒縞画像を再構成画像とすることにより、対象物の三次元形態を取得する。画像収集装置20に含まれるカメラ21がCCDカメラであることを例として説明すると、所定光に対応するカラーコード縞は2色(例えば、赤色、青色)の縞をコードしたものである場合、画像収集装置20は異なるCCDカメラを介して異なる縞画像を取得し、例えば、カラーCCDカメラは赤青2色の縞画像を取得し、白黒CCDカメラは青色である1色を含む縞画像を取得し(白黒CCDカメラの前に青色光学フィルタが設けられる)、このとき、カラーCCDカメラで取得された縞画像を採用して、各青色縞のシーケンスコードを識別してマッチングし、次に、得られたシーケンスコード及び白黒CCDカメラで取得された縞画像に基づいて、三次元再構成アルゴリズム及びブレンドアルゴリズムを行い、対象物の三次元形態を構築する。なお、CCDカメラは小型、軽量、磁場により影響されず、耐振動、耐衝撃の特性を有し、三次元スキャナーが2CCDカメラを採用して縞画像を取得する場合、該三次元スキャナーの体積も対応して減少し、該三次元スキャナーを手で持って使用することが容易になり、空間の小さい被走査環境(例えば、口腔)に適用できる。
なお、選択可能な手段として、白黒CCDカメラの前に指定された色の光学フィルタ22dが設けられ、本願の実施例はこれについて具体的に限定しない。しかしながら、白黒CCDカメラの前に指定された色の光学フィルタ22dが設けられると、白黒CCDカメラは指定された色の縞画像を取得でき、このとき、指定された色のみを含む縞画像は、後続の三次元再構成アルゴリズム及びブレンドアルゴリズムを行って、対象物の三次元形態を構築することにより有利である。
なお、本願はカメラの形態について具体的に限定せず、当業者は、技術要件に応じて対応して置換することができ、例えば、該カメラはCCDカメラであってもよく、又はCMOSカメラであってもよい。
選択可能に、本願の実施例が提供する三次元スキャナーでは、該三次元走査に含まれる画像収集装置20に配置される感光の波長帯域は、前記カラーコード縞に含まれる縞色に対応する複数の指定された波長帯域を少なくとも含む。つまり、選択可能な例では、画像収集装置20にカラーカメラが設置され、該カラーカメラは、所定光に対応するカラーコード縞の複数の縞色を収集することができ、これによって、各縞シーケンスを決定する。本願に記載の指定された波長帯域は指定された1つの波長帯域であってもよく、又は指定された複数の波長帯域であってもよい。
また、図3に示すように、三次元スキャナーは、後で対象物のテクスチャ画像を収集するように、対象物を照射するための照明部材30をさらに含んでもよく、照明部材30は、フルカラー走査を実現し、即ち、対象物と色が一致し又は色が基本的に一致する三次元モデルを取得するために、好ましくは白色光LEDランプである。照明部材30は反射鏡40の外周に設置されてもよいし、又はスキャナーの他の部位に設置されてもよく、反射鏡40と連携して設置されて、反射鏡40によって照明光が対象物に反射され、例えば、該照明部材30は第1結像レンズ14の光源エミッタ12に接近する一方側に位置し、これにより、照明部材30と光源エミッタ12が投射した光は全て第1結像レンズ14を通過でき、反射鏡40によって対象物に反射される。具体的には、三次元スキャナーは把持部と、把持部の前端に設置された入口部とを含み、画像投影装置10と画像収集装置20の両方は把持部に装着され、反射鏡40は入口部に装着され、照明部材30は入口部に装着されてもよいし、把持部に装着されてもよい。
なお、画像収集装置20は赤色光、緑色光及び青色光を識別して決定でき、これによって、画像収集装置20は照明光に基づいた対象物のテクスチャ画像を収集することができる。
選択可能に、本願の実施例が提供する三次元スキャナーでは、該三次元スキャナーはタイミング制御回路をさらに含んでもよく、該タイミング制御回路は、画像投影装置10、照明部材30、及び画像収集装置20に接続され、タイミング制御回路は画像投影装置10を制御して対象物に光を投射し、且つ画像収集装置20を同期制御して複数の縞画像を取得するために使用され、タイミング制御回路は照明部材30を制御して対象物を照射し、且つ画像収集装置20を同期制御してテクスチャ画像を取得するために使用され、好ましくは、タイミング制御回路は画像投影装置10と照明部材30を制御して対象物に光を交互に投射するために使用される。
選択可能に、本願の実施例が提供する三次元スキャナーでは、画像収集装置20は、入光部と少なくとも2つの出光部とを含むビーム処理装置をさらに含み、各カメラ21はそれぞれ異なる出光部に対応して設置され、画像収集装置20はビーム処理装置を介して対象物によって変調された光を収集する。
つまり、画像収集装置20にビーム処理装置が設置されるので、複数のカメラ21がそれぞれ取得した縞パターンは完全に一致する視野及び角度を有し、つまり、複数のカメラ21は同じ第2結像レンズ23から入射された同軸光を受光することができ、該同軸光はそれぞれ上記複数のカメラ21に投射される。具体的には、図4に示すように、対象物の像光はビーム処理装置の入光部から入射し、このとき、ビーム処理装置は対象物の像光を分光処理し、該像光はそれぞれ少なくとも2つの出光部から放射されて、複数のカメラ21に投射され、このとき、複数のカメラ21が収集した縞画像は全て同じ視角から取得され、且つ同じ変調されたカラーコード縞に基づいて取得された縞画像であり、各縞画像中の縞シーケンスは同じ変調されたカラーコード縞と関連性があり、これにより、後続のアルゴリズムで該縞画像の三次元再構成を行うことに有利である。
選択可能な例では、ビーム処理装置は少なくとも1つの第1ビーム分離ユニットをさらに含み、該第1ビーム分離ユニットは、入光部から投射された光を分光処理し、光がそれぞれ少なくとも2つの出光部から出光部に対応して設置されたカメラ21に投射されるために使用され、具体的には、第1ビーム分離ユニットは各色の光を2方向の光に分離し、例えば、1つの赤青色光が第1ビーム分離ユニットによって処理された後、2つの赤青色光が形成され、2つの赤青色光はそれぞれ異なる方向に放射される。
つまり、該ビーム処理装置内に少なくとも1つの第1ビーム分離ユニットが設けられ、該第1ビーム分離ユニットは、入光部から投射された光を分光処理し、対象物の像光がそれぞれ少なくとも2つの出光部から投射され得、少なくとも2つの出光部に対応して設置されたカメラ21が同じ視角の縞画像を取得できるために使用される。
別の選択可能な例では、ビーム処理装置は少なくとも1つの第2ビーム分離ユニットをさらに含み、第2ビーム分離ユニットは、指定されたカメラに対して取得された光を分離処理し、各カメラが指定された波長帯域を含む光を取得するために使用され、具体的には、第2ビーム分離ユニットは一部の波長帯域の光を光から分離し、該一部の波長帯域の光は1方向に放射され、又は、第2ビーム分離ユニットは2部分の波長帯域の光を光から分離し、2部分の指定された波長帯域の光はそれぞれ異なる方向から放射され、例えば、赤青色光は第2ビーム分離ユニットによって処理された後、青色光が形成されて1方向に放射され、又は、赤青色光は第2ビーム分離ユニットによって処理された後、赤色光と青色光が形成され、赤色光と青色光はそれぞれ異なる方向に放射される。カラーコード縞は、指定された波長帯域に対応する色の縞を含む。
つまり、該ビーム処理装置内に少なくとも1つの第2ビーム分離ユニットが設けられ、該第2ビーム分離ユニットは、該第2ビーム分離ユニットに投射された光を分離処理するために使用され、これによって、投射された光の波長帯域の一部の光が該第2ビーム分離ユニットを通過し、波長帯域の別の部分の光が第2ビーム分離ユニットの表面から反射され(又は、波長帯域の別の部分の光が第2ビーム分離ユニットにより吸収される)、さらに指定されたカメラが指定された波長帯域を含む光を取得する。
なお、前記指定されたカメラは前記白黒カメラである。
選択可能に、本願の実施例が提供する三次元スキャナーでは、該三次元スキャナーは、放熱システム、加熱防霧システム、ソフトウェアアルゴリズムシステムなどを含んでもよい。
放熱システムは、三次元スキャナー装置の内部が過熱してスキャナーに損傷を与える状況を防止するために使用される。
加熱防霧システムは、三次元スキャナーの様々な光学機器に曇りが発生するので、正確な縞画像を取得できない状況を防止するために使用される。
ソフトウェアアルゴリズムシステムは、画像収集装置20が取得した少なくとも1つの縞画像に基づいて、対象物の三次元再構成を行うために使用される。
当業者が本願の技術的解決手段をより明確に理解できるように、以下、具体的な実施例を参照して説明する。
<実施例1>
図1を例にすると、ビーム処理装置は、第1出光部及び第2出光部を含む半透過反射型プリズム22cを含み、前記ビーム処理装置は前記半透過反射型プリズム22cを介して光の透過及び反射を行い、入光部から投射された光を分光処理し、前記光がそれぞれ前記第1出光部及び第2出光部からそれぞれ出光部に対応して設置されたカメラ21に投射されるのを実現し、このような場合、画像収集装置20は、第1出光部に対応して設置された第1カメラ211と、第2出光部に対応して設置された第2カメラ212とをさらに含み、第1カメラ211は収集された光に基づき第1縞画像を生成し、第2カメラ212は収集された光に基づき第2縞画像を生成し、第1縞画像と第2縞画像は少なくとも2色の縞を含み且つ少なくとも2色の縞が識別可能である。
また、ビーム処理装置は光学フィルタ22dをさらに含み、前記ビーム処理装置は前記光学フィルタ22dを介して、指定されたカメラに対して取得された光を分離処理し、前記指定されたカメラが第5フィルタ波長帯域を含む光を取得し、前記複数のカメラの少なくとも1つは指定されたカメラである。
具体的には、光学フィルタ22dは第1出光部と第1カメラ211との間に設置され、これにより第1カメラ211は第5フィルタ波長帯域の光を取得し、及び/又は、第2出光部と第2カメラ212との間に設置され、これにより第2カメラ212は第5フィルタ波長帯域の光を取得する。
なお、光学フィルタ22dが第1出光部と第1カメラ211との間に設置され、これにより、第1カメラ211が第5フィルタ波長帯域の光を取得することを例として説明すると、第1縞画像に含まれる2色の縞はそれぞれ黒色縞及び白色縞であり、そのうち、該白色縞はカラーコード縞に位置し、対応する縞色は光学フィルタ22dに対応するフィルタ色である。
このとき、第2縞画像に含まれる少なくとも2色の縞のうち少なくとも1つの縞の色は光学フィルタ22dに対応するフィルタ色であり、これによって、第2縞画像は第1縞画像に含まれる縞のコードシーケンスを識別することができる。
具体的には、第1カメラは白黒カメラであり、第2カメラはカラーカメラであり、白黒カメラは光学フィルタ22dに対応して設置され、画像投影装置10が赤緑青色のカラーコード縞(即ち、赤色縞、緑色縞及び青色縞を含むカラーコード縞)を投射することを例にすると、光学フィルタ22dは好ましくは青色光学フィルタであり、画像投影装置10は赤緑青色のカラーコード縞を対象物に投射し、対象物によって変調された後に画像処理装置に伝送され、赤緑青色のカラーコード縞は半透過反射型プリズム22cによって分離され、1つの赤緑青色のカラーコード縞が透過され且つ1つの赤緑青色のカラーコード縞が反射され、ここで、1つの赤緑青色のカラーコード縞は光学フィルタ22dを通過した後に、そのうちの青色光が白黒カメラにより収集され、白黒カメラは青色縞を含む第1縞画像を生成し、もう1つの赤緑青色のカラーコード縞がカラーカメラにより収集され、カラーカメラは赤色縞、緑色縞及び青色縞を含む第2縞画像を生成し、第1縞画像の各縞は第2縞画像の青色縞に対応し、第2縞画像がコード画像となり、具体的には、第2縞画像がカラーカメラにより収集され、第2縞画像の赤色縞、緑色縞及び青色縞が全て識別して決定できるため、第2縞画像の各縞のコードシーケンスを決定でき、第1縞画像が再構成画像となり、第1縞画像と第2縞画像の縞の対応関係に基づいて、第1縞画像の各縞は第2縞のコードシーケンスによって識別してマッチングでき、三次元再構成が実現される。
勿論、白黒カメラの前に光学フィルタ22dが設置されなくてもよく、白黒カメラで取得された第1縞画像は赤色縞、緑色縞及び青色縞を含み、又は赤緑青3色の光のうち2色が放射されて白黒カメラにより収集されるように、白黒カメラの前に2色光学フィルタ22dが設置されてもよく、又はカラーカメラの前に光学フィルタ22dが設置されてもよく、カラーカメラの前に赤色光学フィルタが設置されることを例にすると、カラーカメラは赤色縞を含む第2縞画像を生成し、第1縞画像の青色縞は赤緑青色のカラーコード縞の青色縞に対応し、第2縞画像の赤色縞は赤緑青色のカラーコード縞の青色縞に対応し、白黒カメラの前に単色光学フィルタ22dが設置され、指定された光しか放射できないため、白黒カメラが収集した第1縞画像中の縞も識別して決定でき、第1縞画像と第2縞画像は組み合わせて各縞のコードシーケンスを決定することができ、第1縞画像と第2縞画像の両方がコード画像となり、第1縞画像が再構成画像となる。又は、カラーカメラの前に2色光学フィルタ22dが設置され、カラーカメラの前に赤緑色光学フィルタ22dが設置されることを例にすると、カラーカメラは赤色縞及び緑色縞を含む第2縞画像を生成し、第1縞画像と第2縞画像の両方がコード画像となり、又は第2縞画像のみがコード画像となり、第1縞画像が再構成画像となる。
一部の実施例では、画像収集装置20は赤色光、緑色光及び青色光のうち2つしか識別して決定できず、該一部の実施例に対して、画像収集装置20は白色光での対象物のテクスチャデータを完全に取得できず、一部の実施例に対して、画像収集装置20は赤色光、緑色光及び青色光を識別して決定でき、白色光での対象物のテクスチャデータを完全に取得し、カラー三次元データの取得を実現することができる。
強調する必要がある点として、該実施例では、ビーム処理装置は前記半透過反射型プリズム22cを介して光の透過及び反射を行い、入光部から投射された光を分光処理し、前記光がそれぞれ前記第1出光部及び第2出光部からそれぞれ出光部に対応して設置されたカメラに投射されるのを実現し、つまり、ビーム処理装置は半透過反射型プリズム22cにより第1ビーム分離ユニットに対応する機能を実現する。
また、強調する必要がある点として、該実施例では、ビーム処理装置は前記光学フィルタ22dを介して、指定されたカメラに対して取得された光を分離処理し、前記指定されたカメラが指定された波長帯域を含む光を取得し、つまり、ビーム処理装置は光学フィルタ22dにより第2ビーム分離ユニットに対応する機能を実現する。
<実施例2>
図5を例にすると、ビーム処理装置は、第3出光部と第4出光部とを含む直角2チャンネルダイクロイックプリズム22aを含み、前記ビーム処理装置は前記直角2チャンネルダイクロイックプリズム22aを介して、入光部から投射された光を分光処理し、前記光がそれぞれ前記第3出光部及び前記第4出光部からそれぞれ出光部に対応して設置されたカメラ21に投射されるのを実現し、このような場合、画像収集装置20は、第3出光部に対応して設置された第3カメラ213と、第4出光部に対応して設置された第4カメラ214とを含み、第3カメラ213は収集された光に基づき第3縞画像を生成し、第4カメラ214は収集された光に基づき第4縞画像を生成し、第3縞画像と第4縞画像は少なくとも2色の縞を含み且つ少なくとも2色の縞が識別可能である。
この他、ビーム処理装置はさらに前記直角2チャンネルダイクロイックプリズム22aを介して、指定されたカメラに対して取得された光を分離処理し、前記指定されたカメラが指定された波長帯域を含む光を取得するのを実現し、前記指定されたカメラが指定された波長帯域を含む光を取得するステップは、前記第3カメラ213が第1フィルタ波長帯域の光を取得し、及び/又は、前記第4カメラ214が第2フィルタ波長帯域の光を取得するステップを含む。
なお、ビーム処理装置は前記直角2チャンネルダイクロイックプリズム22aを介して、第3カメラ213に対して取得された光を分離処理し、第3カメラ213が第1フィルタ波長帯域を含む光を取得するのを実現することを例として説明すると、第3縞画像に含まれる2色の縞はそれぞれ黒色縞及び白色縞であり、そのうち、該白色縞はカラーコード縞に位置し、対応する縞色は光学フィルタ22dに対応するフィルタ色である。
このとき、第4縞画像に含まれる少なくとも2色の縞のうち少なくとも1つの縞の色は光学フィルタ22dに対応するフィルタ色であり、これによって、第4縞画像は第3縞画像に含まれる縞のコードシーケンスを識別することができる。
具体的には、第3カメラは白黒カメラであり、第4カメラはカラーカメラであり、画像投影装置10が赤緑青色のカラーコード縞(即ち、赤色縞、緑色縞及び青色縞を含むカラーコード縞)を投射することを例にすると、画像投影装置10は赤緑青色のカラーコード縞を対象物に投射し、対象物によって変調された後に画像処理装置に伝送され、赤緑青色のカラーコード縞は直角2チャンネルダイクロイックプリズム22aによって、1つの赤緑色のカラーコード縞及び1つの青色のカラーコード縞に分解され、青色のカラーコード縞が白黒カメラにより収集され、白黒カメラは青色縞を含む第3縞画像を生成し、赤緑色のカラーコード縞がカラーカメラにより収集され、カラーカメラは赤色縞及び緑色縞を含む第4縞画像を生成し、第3縞画像の青色縞は第4縞画像の各縞に対応し、具体的には、第3縞画像と第4縞画像とが組み合わせた後に赤緑青色のカラーコード縞に対応し、第4縞画像がコード画像となり、具体的には、第4縞画像がカラーカメラにより収集され、第4縞画像の赤色縞と緑色縞の両方が識別して決定できるため、第4縞画像の各縞のコードシーケンスを決定することができ、第3縞画像が再構成画像となり、第3縞画像と第4縞画像の縞の対応関係に基づいて、第3縞画像の各縞は第4縞のコードシーケンスによって識別してマッチングでき、三次元再構成が実現される。勿論、本実施例では、白黒カメラは単色光しか取得できないため、第3縞画像も識別して決定でき、第3縞画像と第4縞画像は組み合わせて各縞のコードシーケンスを決定することができ、第3縞画像と第4縞画像の両方がコード画像として使用される。この他、本実施例では、光学フィルタ22dが設置されてもよく、光学フィルタ22dが設置されなくてもよく、光学フィルタ22dは直角2チャンネルダイクロイックプリズム22aと連携して設置さればよい。
強調する必要がある点として、該実施例では、ビーム処理装置は前記直角2チャンネルダイクロイックプリズム22aを介して、入光部から投射された光を分光処理し、前記光がそれぞれ前記第3出光部及び前記第4出光部からそれぞれ出光部に対応して設置されたカメラ21に投射されるのを実現し、つまり、ビーム処理装置は直角2チャンネルダイクロイックプリズム22aにより第1ビーム分離ユニットに対応する機能を実現する。
同様に、また強調する必要がある点として、該実施例では、ビーム処理装置はさらに前記直角2チャンネルダイクロイックプリズム22aを介して、指定されたカメラに対して取得された光を分離処理し、前記指定されたカメラが指定された波長帯域を含む光を取得するのを実現し、つまり、ビーム処理装置は直角2チャンネルダイクロイックプリズム22aにより第2ビーム分離ユニットに対応する機能を実現する。
<実施例3>
図6を例にすると、ビーム処理装置は、第5出光部と、第6出光部と、第7出光部とを含む3チャンネルダイクロイックプリズム22bを含み、前記ビーム処理装置は前記3チャンネルダイクロイックプリズム22bを介して、入光部から投射された光を分光処理し、前記光がそれぞれ前記第5出光部、前記第6出光部及び前記第7出光部からそれぞれ出光部に対応して設置されたカメラ21に投射されるのを実現する。
このような場合、前記画像収集装置20は、前記第5出光部に対応して設置された第5カメラ215と、第6出光部に対応して設置された第6カメラ216と、前記第7出光部に対応して設置された第7カメラ217とを含み、第5カメラ215は収集された光に基づき第5縞画像を生成し、第6カメラ216は収集された光に基づき第6縞画像を生成し、第7カメラ217は収集された光に基づき第7縞画像を生成し、第5縞画像、第6縞画像及び第7縞画像は少なくとも2色の縞を含み且つ少なくとも2色の縞が識別可能である。
前記ビーム処理装置は前記3チャンネルダイクロイックプリズム22bを介して、指定されたカメラに対して取得された光を分離処理し、前記指定されたカメラが指定された波長帯域を含む光を取得するのを実現し、前記指定されたカメラが指定された波長帯域を含む光を取得するステップは、前記第5カメラ215が第3フィルタ波長帯域の光を取得し、前記第6カメラ216が前記第3フィルタ波長帯域と異なる第4フィルタ波長帯域の光を取得するステップを少なくとも含む。
第5カメラ、第6カメラ及び第7カメラの少なくとも1つは白黒カメラであり、具体的には、第5カメラは白黒カメラであり、第6カメラ及び第7カメラはカラーカメラであり、又は第5カメラ及び第6カメラは白黒カメラであり、第7カメラはカラーカメラであり、好ましくは、上記第5カメラ215、第6カメラ216及び第7カメラ217はいずれも白黒カメラである。
なお、本願の画像収集装置20の感光の波長帯域はカラーコード縞に含まれる縞色に一対一で対応するため、第5カメラ215、第6カメラ216及び第7カメラ217がいずれも白黒カメラである場合、該カラーコード縞に含まれる縞色は3種であり、そのうち、少なくとも2種の縞色は前記第3フィルタ波長帯域、前記第4フィルタ波長帯域と対応関係がある。
例えば、カラーコード縞は赤色縞、青色縞及び緑色縞からなり、このとき、第1フィルタ表面に対応するフィルタ色が赤色、第2フィルタ表面に対応するフィルタ色が青色であってもよく、このとき、取得された第5縞画像は白黒縞画像であり、そのうち、白色縞はカラーコード縞の赤色縞に対応し、取得された第6縞画像は白黒縞画像であり、そのうち、白色縞はカラーコード縞の青色縞に対応する。
例えば、カラーコード縞は赤色縞、青色縞及びイエロー縞からなり、このとき、第1フィルタ表面に対応するフィルタ色が赤色、第2フィルタ表面に対応するフィルタ色が緑色であってもよく、このとき、取得された第5縞画像は白黒縞画像であり、そのうち、白色縞はカラーコード縞の赤色縞及びイエロー縞に対応し(光学分野で、イエロー光は緑色光及び赤色光からなる)、取得された第6縞画像は白黒縞画像であり、そのうち、白色縞はカラーコード縞のイエロー縞に対応する(光学分野で、イエロー光は緑色光及び赤色光からなる)。
選択可能な例では、前記ビーム処理装置はさらに前記3チャンネルダイクロイックプリズム22bを介して、指定されたカメラに対して取得された光を分離処理し、前記第7カメラ217は、前記第3フィルタ波長帯域及び前記第4フィルタ波長帯域と異なる第6フィルタ波長帯域の光を取得するのを実現する。
例えば、カラーコード縞は赤色縞、青色縞及び緑色縞からなり、このとき、第1フィルタ表面に対応するフィルタ色が赤色、第2フィルタ表面に対応するフィルタ色が青色であり、第3フィルタ表面に対応するフィルタ色が緑色であってもよく、このとき、取得された第7縞画像は白黒縞画像であり、そのうち、白色縞はカラーコード縞の緑色縞に対応する。
このとき、第5縞画像、第6縞画像及び第7縞画像のいずれかは、対象物の三次元再構成のために再構成画像として使用できる。例えば、第5縞画像は対象物の三次元再構成のために再構成画像として使用され、第5縞画像、第6縞画像及び第7縞画像は全て、各縞シーケンスを決定するためにコード画像として使用される。この他、第5縞画像、第6縞画像及び第7縞画像は全て再構成画像として使用されることは好ましい。
強調する必要がある点として、該実施例では、ビーム処理装置は前記3チャンネルダイクロイックプリズム22bを介して、入光部から投射された光を分光処理し、前記光がそれぞれ前記第5出光部、前記第6出光部及び前記第7出光部からそれぞれ出光部に対応して設置されたカメラ21に投射されるのを実現し、つまり、ビーム処理装置は3チャンネルダイクロイックプリズム22bにより第1ビーム分離ユニットに対応する機能を実現する。
同様に、また強調する必要がある点として、該実施例では、ビーム処理装置はさらに前記3チャンネルダイクロイックプリズム22bを介して、指定されたカメラに対して取得された光を分離処理し、前記指定されたカメラが指定された波長帯域を含む光を取得するのを実現し、つまり、ビーム処理装置は3チャンネルダイクロイックプリズム22bにより第2ビーム分離ユニットに対応する機能を実現する。
なお、本願に挙げられる上記実施例1、実施例2及び実施例3はいずれも、当業者が本願の技術的解決手段をより明確に理解するための例示的なものであり、ここで、本願は具体的に限定されない。その他の具体的な装置は、本願におけるビーム処理装置の機能の限定的な説明を実現できれば、同様に本願の実行可能な技術的解決手段としてもよい。
また、本願に挙げられる上記実施例1、実施例2及び実施例3は、本願におけるビーム処理装置の機能の限定的な説明を実現するために、いずれも相互に組み合わせて参照することができ、例えば、実施例2及び実施例3では、ビーム処理装置は直角2チャンネルダイクロイックプリズム22a又は3チャンネルダイクロイックプリズム22bにより第2ビーム分離ユニットに対応する機能を実現した後、該ビーム処理装置は続いて光学フィルタにより第2ビーム分離ユニットに対応する機能を再び実現することができる。
以上より、本手段と従来技術とを比較して、本発明の有益な効果は以下のとおりである。
1、空間コードに基づいた縞抽出アルゴリズムにより、1フレームのみの2次元画像を使用するだけで対象物の三次元再構成を行うことができるという技術目的が実現され、カメラ21のフレームレート及びアルゴリズムの計算コストを低減させるという技術的効果が達成する。
2、空間コードの情報として色を使用することにより、コード情報が容易に識別でき、さらに識別精度を向上させるという技術的効果が達成する。
3、本願の三次元スキャナーの技術原理に基づき、該三次元スキャナーは動的投影のニーズをキャンセルし、これによって、該三次元スキャナーは簡単な透過投影の方式で、パターンの投影処理を行うことができ、さらに、三次元スキャナーが透過投影の方式でパターンの投影処理を行うと、ハードウェアコストが大幅に削減される。
4、該三次元スキャナーがレーザを光源として使用しパターンの投影処理を行うと、該画像投影装置10の輝度及び被写界深度を高めることができ、さらに、低コスト、高輝度、高被写界深度の技術的効果が実現される。
つまり、本願が提供する三次元スキャナーは、ハードウェアコストが低く、リアルタイムフレームレートの要件が低く、光学システムの輝度が高く、被写界深度が大きく、装置が小型化であるという利点を有し、これによって、該三次元スキャナーは、口腔内の歯や歯肉などに対して、光反射、光透過及び光拡散などの特性を有する材質にカラーテクスチャ付きの動的リアルタイムな三次元走査を直接的に行うことができる。
本願の実施例によれば、三次元走査システムを提供する。該三次元走査システムは、三次元スキャナーと、画像プロセッサとを含み、
三次元スキャナーは、対象物に光を投射し、且つ前記対象物に光が投射される場合、前記対象物によって変調された光を収集し少なくとも1つの縞画像を取得するために使用され、前記投射された光はカラーコード縞の形で投射された所定光を含み、前記カラーコード縞は少なくとも2色の縞をコードしたものであり、
画像プロセッサは、前記三次元スキャナーに接続され、前記三次元スキャナーで取得された少なくとも1つの縞画像を取得し、且つ前記縞画像を、各縞シーケンスを決定するためにコード画像として使用し、及び前記対象物の三次元再構成のために再構成画像として使用するために使用される。
なお、該三次元走査システムに含まれる三次元スキャナーは本願の実施例が提供する上記三次元スキャナーである。
選択可能に、前記三次元スキャナーは複数のカメラを介して前記対象物によって変調された光を収集し、少なくとも1つの縞画像を取得し、且つ前記複数のカメラは少なくとも1つの白黒カメラを含む場合、前記画像プロセッサはさらに、少なくとも1つの前記白黒カメラで得られた縞画像を前記対象物の三次元再構成のために再構成画像として使用し、少なくとも複数の白黒カメラで得られた縞画像を各縞シーケンスを決定するためにコード画像として使用し、及び/又は、少なくとも1つのカラーカメラで得られた縞画像を各縞シーケンスを決定するためにコード画像として使用するために使用される。
本願の実施例が提供する三次元走査システムでは、三次元スキャナーは対象物に光を投射し、且つ前記対象物に光が投射される場合、前記対象物によって変調された光を収集し少なくとも1つの縞画像を取得し、前記投射された光はカラーコード縞の形で投射された所定光を含み、前記カラーコード縞は少なくとも2色の縞をコードしたものであり、画像プロセッサは前記三次元スキャナーに接続され、前記三次元スキャナーで取得された少なくとも1つの縞画像を取得し、且つ前記縞画像を、各縞シーケンスを決定するためにコード画像として使用し、及び前記対象物の三次元再構成のために再構成画像として使用するために使用される。これによって、従来の三次元再構成方法に必要なハードウェアコストが高く、三次元走査装置の普及や使用に不利であるという関連技術の技術問題が解決された。
なお、本願の実施例に係る三次元走査システムは空間コードに基づいた縞抽出アルゴリズムにより、対象物の三次元形態を取得するため、該三次元走査システムは最低1フレームのみの2次元画像を使用するだけで対象物の三次元再構成を実現することができ、カメラのフレームレート及びアルゴリズムの計算コストが大幅に低減され、三次元システムの普及や使用が容易になり、具体的には、該三次元走査システムは高フレームレートのカメラを使用する必要がないため、三次元走査システムに必要なカメラの体積は小さくなり、さらに該三次元走査システムは口腔内部の物体三次元形態の取得により適用する。
及び、該三次元走査システムが最低1フレームのみの2次元画像を使用するだけで対象物の三次元再構成を実現することができるという技術的特性により、再構成画像とテクスチャ画像との間の取得時間差が大幅に短縮され、対象物の三次元再構成に対する投影、撮影に必要な時間が短縮され、それと同時に、該三次元走査システムは口腔内部の物体三次元形態の取得により適用する(該三次元走査システムがハンドヘルド式走査を行うことに有利である)。
また、本願の実施例が提供する三次元走査システムは空間コードの情報として色を使用するため、コード情報の容易な識別及び識別精度の向上という技術的効果は同様に実現される。
また、本願の実施例に係る三次元走査システムは空間コードに基づいた縞抽出アルゴリズムにより、対象物の三次元形態を取得するため、動的投影の投影ニーズがキャンセルされるという技術的効果は同様に実現される。
本願の実施例は三次元走査方法をさらに提供し、なお、本願の実施例の三次元走査方法は本願の実施例が提供する上記三次元スキャナーに適用される。以下、本願の実施例が提供する三次元走査方法を説明する。
図7は本願の実施例に係る三次元走査方法のフローチャートである。図7に示すように、該三次元走査方法は、
所定光をカラーコード縞の形で対象物に投射するステップS701と、
対象物によって変調された光を収集し、且つ光に基づき少なくとも1つの縞画像を取得するステップS703であって、取得された縞画像は、各縞シーケンスを決定するためにコード画像として使用され、及び対象物の三次元再構成のために再構成画像として使用される、ステップS703と、
コード画像に基づき複数の縞画像の各縞のシーケンスを決定するステップS705と、
シーケンスに基づき再構成画像の三次元再構成を行って、対象物の三次元データを取得するステップS707とを含む。
本願の実施例が提供する三次元走査方法は、所定光をカラーコード縞の形で対象物に投射し、対象物によって変調された光を収集し、且つ光に基づき少なくとも1つの縞画像を取得し、取得された縞画像は、各縞シーケンスを決定するためにコード画像として使用され、及び対象物の三次元再構成のために再構成画像として使用され、コード画像に基づき複数の縞画像の各縞のシーケンスを決定し、シーケンスに基づき再構成画像の三次元再構成を行って、対象物の三次元データを取得する。これによって、従来の三次元再構成方法に必要なハードウェアコストが高く、三次元走査装置の普及や使用に不利であるという関連技術の技術問題が解決された。
なお、本願の実施例に係る三次元走査方法は空間コードに基づいた縞抽出アルゴリズムにより、対象物の三次元形態を取得するため、該三次元走査方法は最低1フレームのみの2次元画像を使用するだけで対象物の三次元再構成を実現することができ、カメラのフレームレート及びアルゴリズムの計算コストが大幅に低減され、三次元走査方法の普及や使用が容易になり、具体的には、該三次元走査方法は高フレームレートのカメラを使用する必要がないため、三次元走査方法に必要なカメラの体積は小さくなり、さらに該三次元走査方法は口腔内部の物体三次元形態の取得により適用する。
及び、該三次元走査方法が最低1フレームのみの2次元画像を使用するだけで対象物の三次元再構成を実現することができるという技術的特性により、再構成画像とテクスチャ画像との間の取得時間差が大幅に短縮され、対象物の三次元再構成に対する投影、撮影に必要な時間が短縮され、それと同時に、該三次元走査方法は口腔内部の物体三次元形態の取得により適用する(該三次元走査方法がハンドヘルド式走査を行うことに有利である)。
また、本願の実施例が提供する三次元走査方法は空間コードの情報として色を使用するため、コード情報の容易な識別及び識別精度の向上という技術的効果は同様に実現される。
また、本願の実施例に係る三次元走査方法は空間コードに基づいた縞抽出アルゴリズムにより、対象物の三次元形態を取得するため、動的投影の投影ニーズがキャンセルされるという技術的効果は同様に実現される。
選択可能に、本願の実施例が提供する三次元走査方法では、三次元走査方法は、前記対象物のテクスチャデータを取得するステップと、前記対象物の三次元データ及びテクスチャデータに基づいて、前記対象物のカラー三次元データを取得するステップとをさらに含む。
選択可能に、本願の実施例が提供する三次元走査方法では、三次元走査方法は、照明光を対象物に投射し且つ前記照明光に基づき前記対象物のテクスチャデータを取得するステップと、前記対象物の三次元データ及びテクスチャデータに基づいて、前記対象物のカラー三次元データを取得するステップとをさらに含む。
テクスチャデータは単一のカメラで取得されてもよいし、複数のカメラで取得されたデータから合成されてもよい。
具体的には、ステップS703において、対象物によって変調された光を収集し、且つ同じ光に基づき少なくとも2つの縞画像を取得し、そのうち、少なくとも1つの縞画像は白黒カメラにより取得され、取得された縞画像は、各縞シーケンスを決定するためにコード画像として使用され、及び対象物の三次元再構成のために再構成画像として使用され、好ましくは、白黒カメラが取得した縞画像は再構成画像として使用される。
具体的には、ステップS705において、コード画像に基づき複数の縞画像の各縞のシーケンスを決定し、コード画像の各縞の配列情報及び色情報に基づいてコードシーケンスを決定し、例えば、赤、緑、緑、赤に従って配列された4つの縞の場合、例えば、赤色(1、0)、緑色(0、1)でコーデックを行い、コードシーケンスは(1、0)(0、1)(0、1)(1、0)であり、また、赤、青、青、緑、赤に従って配列された5つの縞の場合、例えば、赤色(1、0、0)、緑色(0、1、0)、青色(0、0、1)でコーデックを行い、コードシーケンスは(1、0、0)、(0、0、1)、(0、0、1)、(0、1、0)、(1、0、0)である。
具体的には、ステップS707において、コードシーケンスに基づき再構成画像の各縞に対して縞のマッチングを行い、ステレオ再構成の場合、本実施例によれば、2つの画像収集装置があり、2つの画像収集装置の再構成画像に対して縞のマッチングを行い、マッチングした後にポイントクラウド再構成を行い、対象物の三次元データを取得し、単眼再構成の場合、本実施例によれば、1つの画像収集装置があり、画像収集装置の再構成画像及び画像投影装置の所定光に対して縞のマッチングを行い、マッチングした後にポイントクラウド再構成を行い、対象物の三次元データを取得する。
図8は本願の実施例に係る三次元走査方法のフローチャートである。図8に示すように、該三次元走査方法は、
同じビームに基づき取得された縞画像である第1画像及び第2画像を取得するステップS801と、
第1画像に基づき各縞のコードシーケンスを決定するステップS803と、
コードシーケンスに基づき第2画像の縞に対して縞のマッチングを行い、三次元再構成を実現して対象物の三次元データを取得するステップS805とを含む。
該三次元走査方法は、
テクスチャデータを取得し、三次元データ及びテクスチャデータに基づいて対象物のカラー三次元データを取得するステップS807をさらに含む。
好ましくは、第1画像(第2画像)はテクスチャデータと交互に取得される。
以下、具体的な方法で説明する。
画像投影装置は第1時点で赤緑青色のカラーコード縞を対象物に投射し、対象物によって変調された後に画像処理装置に伝送され、赤緑青色のカラーコード縞は半透過反射型プリズムによって2つの赤緑青色のカラーコード縞に分離され、1つの赤緑青色のカラーコード縞がカラーカメラにより収集され、カラーカメラは対応する赤緑青色のカラーコード縞画像を生成し、もう1つの赤緑青色のカラーコード縞は青色光学フィルタを通過して白黒カメラにより収集され、白黒カメラは対応する青色縞画像を生成し、照明部材は第2時点で白色光を対象物に照射し、対象物によって反射された後にカラーカメラにより収集され、カラーカメラはテクスチャ画像を生成し、赤緑青色のカラーコード縞画像に基づき各縞のコードシーケンスを決定し、コードシーケンスに基づき青色縞画像の各縞に対して縞のマッチングを行い、三次元再構成を実現して対象物の三次元データを取得し、三次元データ及びテクスチャ画像に基づき対象物のフルカラー三次元データを取得する。
画像投影装置は第1時点で赤緑青色のカラーコード縞を対象物に投射し、対象物によって変調された後に画像処理装置に伝送され、赤緑青色のカラーコード縞は半透過反射型プリズムによって2つの赤緑青色のカラーコード縞に分離され、1つの赤緑青色のカラーコード縞がカラーカメラにより収集され、カラーカメラは対応する赤緑青色のカラーコード縞画像を生成し、画像投影装置は第3時点で青色のカラーコード縞を対象物に投射し、対象物によって変調された後に画像処理装置に伝送され、青色のカラーコード縞は順に半透過反射型プリズム及び青色光学フィルタを通過して白黒カメラにより収集され、白黒カメラは対応する青色縞画像を生成し、そのうち、青色のカラーコード縞は赤緑青色のカラーコード縞の青色縞に対応し、照明部材は第2時点で白色光を対象物に照射し、対象物によって反射された後にカラーカメラにより収集され、カラーカメラはテクスチャ画像を生成し、赤緑青色のカラーコード縞画像に基づき各縞のコードシーケンスを決定し、コードシーケンスに基づき青色縞画像の各縞に対して縞のマッチングを行い、三次元再構成を実現して対象物の三次元データを取得し、三次元データ及びテクスチャ画像に基づき対象物のフルカラー三次元データを取得する。
画像投影装置は第1時点で赤緑青色のカラーコード縞を対象物に投射し、対象物によって変調された後に画像処理装置に伝送され、赤緑青色のカラーコード縞は直角2チャンネルダイクロイックプリズムによって赤緑色縞及び青色縞に分解され、赤緑色縞がカラーカメラにより収集され、カラーカメラは対応する赤緑色縞画像を生成し、青色縞が白黒カメラにより収集され、白黒カメラは対応する青色縞画像を生成し、照明部材は第2時点で白色光を対象物に照射し、対象物によって反射された後にカラーカメラ及び白黒カメラにより収集され、カラーカメラは赤色光及び緑色光に基づいたテクスチャ画像を生成し、白黒カメラは青色光に基づいたテクスチャ画像を生成し、赤緑色縞画像に基づき各縞のコードシーケンスを決定し、コードシーケンスに基づき青色縞画像の各縞に対して縞のマッチングを行い、三次元再構成を実現して対象物の三次元データを取得し、カラーカメラのテクスチャ画像及び白黒カメラのテクスチャ画像に基づき、白色光に基づいたテクスチャ画像を合成し、三次元データ及び白色光のテクスチャ画像に基づき対象物のフルカラー三次元データを取得する。
画像投影装置は第1時点で赤緑青色のカラーコード縞を対象物に投射し、対象物によって変調された後に画像処理装置に伝送され、赤緑青色のカラーコード縞は3チャンネルダイクロイックプリズムによって、赤色縞、緑色縞及び青色縞に分解され、赤色縞が第1白黒カメラにより収集され、第1白黒カメラは対応する赤色縞画像を生成し、緑色縞が第2白黒カメラにより収集され、第2白黒カメラは対応する緑色縞画像を生成し、青色縞が第3白黒カメラにより収集され、第3白黒カメラは対応する青色縞画像を生成し、照明部材は第2時点で白色光を対象物に照射し、対象物によって反射された後に3つの白黒カメラにより収集され、第1白黒カメラは赤色光に基づいたテクスチャ画像を生成し、第2白黒カメラは緑色光に基づいたテクスチャ画像を生成し、第3白黒カメラは青色光に基づいたテクスチャ画像を生成し、赤色縞画像、緑色縞画像及び青色縞画像の組み合わせに基づき各縞のコードシーケンスを決定し、コードシーケンスに基づき赤色縞画像、緑色縞画像及び青色縞画像の各縞に対して縞のマッチングを行い、三次元再構成を実現して対象物の三次元データを取得し、3つの白黒カメラのテクスチャ画像に基づき、白色光に基づいたテクスチャ画像を合成し、三次元データ及び白色光のテクスチャ画像に基づき対象物のフルカラー三次元データを取得する。画像投影装置は第1時点で緑青色のカラーコード縞を対象物に投射し、対象物によって変調された後に画像処理装置に伝送され、緑青色のカラーコード縞は3チャンネルダイクロイックプリズムによって緑色縞及び青色縞に分解され、緑色縞が第2白黒カメラにより収集され、第2白黒カメラは対応する緑色縞画像を生成し、青色縞が第3白黒カメラにより収集され、第3白黒カメラは対応する青色縞画像を生成し、照明部材は第2時点で白色光を対象物に照射し、対象物によって反射された後に3つの白黒カメラにより収集され、第1白黒カメラは赤色光に基づいたテクスチャ画像を生成し、第2白黒カメラは緑色光に基づいたテクスチャ画像を生成し、第3白黒カメラは青色光に基づいたテクスチャ画像を生成し、緑色縞画像と青色縞画像の組み合わせに基づき各縞のコードシーケンスを決定し、コードシーケンスに基づき緑色縞画像及び青色縞画像の各縞に対して縞のマッチングを行い、三次元再構成を実現して対象物の三次元データを取得し、3つの白黒カメラのテクスチャ画像に基づき、白色光に基づいたテクスチャ画像を合成し、三次元データ及び白色光のテクスチャ画像に基づき対象物のフルカラー三次元データを取得する。
なお、図面のフローチャートに示されるステップは、例えば1セットのコンピュータ実行可能命令を含むコンピュータシステムで実行されてもよく、そして、フローチャートには論理的な順序が示されているが、場合によって、示される又は説明されるステップは記載内容と異なる順序で実行されてもよい。
本発明の実施例は、プログラムが記憶されている記憶媒体を提供し、該プログラムはプロセッサによって実行されるときに前記三次元走査方法を実現する。
本発明の実施例は、プログラムを実行するためのプロセッサを提供し、そのうち、前記プログラムが実行されるときに前記三次元走査方法を実行する。
本願の実施例によれば、三次元スキャナーを提供する。
図9は本願の実施例に係る三次元スキャナーの模式図である。図9に示すように、該三次元スキャナーは画像投影装置10と画像収集装置20とを含む。
画像投影装置10は、各所定の周期においてそれぞれ対象物に該所定の周期に対応する所定の縞パターンを投射するために使用され、各所定の縞パターンの縞は所定のカラーコード縞に従って配置され、各所定の縞パターンは所定のカラーコード縞の少なくとも1色の縞を含み、且つ複数の所定の縞パターンは所定のカラーコード縞の少なくとも2色の縞を含み、且つ前記所定の縞パターンの縞は前記所定のカラーコード縞の同じ色の縞の配置と一致する。
なお、各所定の周期において対象物に該所定の周期に対応する所定の縞パターンを投射することは、画像投影装置10が所定の縞パターンを周期的に投射し、画像投影装置10が各所定の周期において複数の所定の縞パターンを投射して、複数の所定の縞パターンがタイムシェアリング方式で投射されることであってもよい。例えば、画像投影装置10は第1期間で第1所定の縞パターンを投射し、第2期間で第2所定の縞パターンを投射し、画像収集装置20は第1期間で第1所定の縞パターンを収集し、第2期間で第2所定の縞パターンを収集し、画像収集装置20は、対象物の走査が完了するまでこのプロセスを繰り返す。
選択可能な例では、図10に示すように、画像投影装置10はDLP投影部11をさらに含み、前記画像投影装置10は前記DLP投影部11を介して、各所定の周期においてそれぞれ対象物に該所定の周期に対応する複数の所定の縞パターンを投射する。
つまり、前記画像投影装置10はDLP投影部11によりその機能を実現することができる。
具体的には、DLP投影部11は、各所定の周期においてそれぞれ対象物に該所定の周期に対応する複数の所定の縞パターンを投射し、各所定の縞パターンの縞は所定のカラーコード縞に従って配置され、各所定の縞パターンは所定のカラーコード縞の少なくとも1色の縞を含み、且つ複数の所定の縞パターンは所定のカラーコード縞の少なくとも2色の縞を含み、且つ前記所定の縞パターンの縞は前記所定のカラーコード縞の同じ色の縞の配置と一致する。
選択可能な例では、画像投影装置10は、発光部12と光透過部13とをさらに含み、発光部12は、各所定の周期においてそれぞれ該所定の周期に対応する複数の初期光を発光するために使用され、各前記初期光は少なくとも1種の縞色の光で構成され、前記縞色は前記所定のカラーコード縞の色であり、光透過部13は、前記初期光の伝送経路に設置され、各前記初期光が前記光透過部13に設けられた所定のカラーコード縞のパターンを介して透過すると、それぞれ対応する所定のカラー縞が生成され、即ち所定の縞パターンが対象物に投射され、前記所定の縞パターンの縞は前記所定のカラーコード縞の同じ色の縞の配置と一致する。
なお、所定のカラーコード縞は所定の各色縞の配置基準であり、本願では、DLP投影部11を介して、所定の各色縞の配置基準に合致する所定の縞パターンを直接投射することができ、又は光透過部13を所定の各色縞の配置基準のキャリアとしてもよく、即ち、光透過部13は所定の各色縞の配置基準を決定し、初期光が光投射部を通過した後に、所定の各色縞の配置基準に従って配置された所定の縞パターンが生成される。
つまり、前記画像投影装置10は発光部12及び光透過部13によりその機能を実現することができる。
具体的には、三次元スキャナーは透過投影の方式で、異なる所定の縞パターンを形成して対象物に投射することができ、且つ生成された各所定の縞パターンの縞は、光透過部13に設けられた所定のカラーコード縞に従って配置され、各所定の縞パターンは所定のカラーコード縞の少なくとも1色の縞を含み、且つ複数の所定の縞パターンは所定のカラーコード縞の少なくとも2色の縞を含み、且つ前記所定の縞パターンの縞は前記所定のカラーコード縞の同じ色の縞の配置と一致する。
選択可能に、前記発光部12は、それぞれ異なる波長帯域の光を放射する複数の光源ユニット121をさらに含み、前記発光部12は前記複数の光源ユニット121を介して前記初期光を放射し、初期光は単一の光源ユニット121により放射された単一の波長帯域の光であってもよく、又は複数の光源ユニット121により同期放射された複数の波長帯域の光であってもよい。
例えば、図9に示すように、発光部12は、それぞれ異なる波長帯域の光を放射する3つの光源ユニット121を含み、例えば、第1光源ユニット121は605~700波長帯域の光、即ち、赤色光を放射し、第2光源ユニット121は435~480波長帯域の光、即ち、青色光を放射し、第3光源ユニット121は500~560波長帯域の光、即ち、緑色光を放射する。
所定の周期のA期間において、第1光源ユニット121は605~700波長帯域の光を放射し、所定の周期のB期間において、第2光源ユニット121は435~480波長帯域の光を放射し、所定の周期のC期間において、第1光源ユニット121は605~700波長帯域の光を放射し、第2光源ユニット121は450~480波長帯域の光を放射し、それと同時に、第3光源ユニット121は500~560波長帯域の光を放射する。
又は、所定の周期のA期間において、第1光源ユニット121は605~700波長帯域の光を放射し、所定の周期のB期間において、第2光源ユニット121は450~480波長帯域の光を放射し、所定の周期のC期間において、第3光源ユニット121は500~560波長帯域の光を放射する。
なお、上記の第1光源ユニット121、第2光源ユニット121及び第3光源ユニット121についての設定は、例示的なものであり、光源ユニット121が放射可能な光の波長帯域を具体的に限定するものではない。上記例示的な例に加えて、光源ユニット121が放射可能な光の波長帯域は任意に選択することができ、本願はこれについて具体的に限定しない。
また、上記の所定の周期A、所定の周期B、所定の周期Cにおいて動作する光源ユニット121についての設定は、例示的なものであり、各所定の周期において発光可能な光源ユニット121を具体的に限定するものではない。上記例示的な例に加えて、各所定の周期において起動可能な光源ユニット121は任意に選択することができ、本願はこれについて具体的に限定しない。
選択可能に、光源ユニット121は、LED光源とレーザエミッタの少なくとも1つを含んでもよい。
つまり、前記光源ユニット121はレーザエミッタによりその機能を実現でき、又はLED光源によりその機能を実現することができる。レーザは、指向性発光、非常に高い輝度、非常に純粋な色、優れたコヒーレンスという利点を有する。
具体的には、前記発光部12は、それぞれ異なる波長帯域の光を放射する複数のLED光源をさらに含み、前記発光部12は前記複数のLED光源を介して前記初期光を放射する。
具体的には、前記発光部12は、それぞれ異なる波長帯域の光を放射する複数のレーザエミッタをさらに含み、前記発光部12は前記複数のレーザエミッタを介して前記初期光を放射する。
選択可能に、前記発光部12は、前記複数の光源ユニット121が放射した光の伝送経路に設置された集光ユニットをさらに含み、前記複数の光源ユニット121が放射した光は前記集光ユニットによって集光処理された後、同じ伝送経路で前記光透過部13に投射される。
つまり、初期光は、前記集光ユニットによって集光処理された後、同じ伝送経路で前記光透過部13に投射される光の組み合わせであり、そのうち、集光ユニットは半透過反射型プリズム22cによりその機能を実現することができる。
例えば、図9に示すように、発光部12は、それぞれ異なる波長帯域の光を放射する3つの光源ユニット121を含み、第1光源ユニット121と第2光源ユニット121の光経路に第1半透過反射型プリズム22cが設けられ、前記第1半透過反射型プリズム22cは、前記第1光源ユニット121及び前記第2光源ユニット121が放射した光を集光処理し、第2半透過反射型プリズム22cに投射するために使用され、第3光源ユニット121は第2半透過反射型プリズム22cの前記集光処理された光から離れる一方側に設置され、前記第3光源ユニット121が放射した光及び上記集光処理された光は、前記第2半透過反射型プリズム22cによって集光処理され、同じ伝送経路で前記光透過部13に投射される光の組み合わせが生成される。
選択可能に、前記光透過部13は回折格子をさらに含み、具体的には、前記光透過部13は前記回折格子を介して所定の縞パターンを生成し、対象物に投射する。
具体的には、回折格子に異なる領域が設けられ、且つ異なる領域は異なる波長帯域に対応し、即ち異なる領域は異なる波長帯域の光を透過でき、回折格子上の異なる領域は所定のカラーコード縞を決定し、これは、前記回折格子上の各領域は前記所定のカラーコード縞の各縞の配置と一致し、且つ各領域に対応する波長帯域は、配置が一致する縞に対応する縞色に対応する。例えば、回折格子は、第1波長帯域の光を透過するための第1領域と、第2波長帯域の光を透過させるための第2領域とを含み、第1波長帯域の光は回折格子を通過した後に第1波長帯域の縞を形成し且つ縞の配置は第1領域の配置に一致し、第2波長帯域の光は回折格子を通過した後に第2波長帯域の縞を形成し且つ縞の配置は第2領域の配置に一致する。
つまり、発光部12は所定の周期の異なる期間に異なる初期光を放射し、このとき、特定の初期光が回折格子に投射されると、様々な色の光はそれぞれ対応する領域を透過し、所定の縞パターンを形成する。
なお、該発光部12が前記複数のレーザエミッタを介して初期光を放射する場合、前記発光部12は位相変調ユニットをさらに含み、該位相変調ユニットは初期光の伝送経路に設置され、これによって、初期光は位相変調ユニットによって回折スポットを除去した後、光透過部13に投射される。
具体的には、位相変調ユニットは位相変調素子とビーム結合素子とを含んでもよく、前記位相変調素子は初期光の伝送経路に設置され、且つ前記位相変調素子は所定の軸線を中心に回転し、初期光の伝送経路は前記位相変調素子の所定の軸線と平行であり、前記ビーム結合素子は初期光の伝送経路に設置され、初期光をコリメートして調整し、初期光の発散角を低下させるために使用される。
前記位相変調素子は透明な光学材料の薄板、マイクロ光学素子又はランダム位相板の形態のいずれかであってもよく、及び、位相変調ユニットは駆動モーターをさらに含み、該位相変調素子は駆動モーターによって駆動され、一定の速度で回転軸を中心に回転する。
ビーム結合素子はコリメートシステムと収束レンズ、又はそれと同等の機能を有する光学システムで構成されてもよい。
位相変調素子はビーム結合素子の前に位置してもよいし、ビーム結合素子の後に位置してもよい。
なお、該発光部12が前記複数の光源ユニット121を介して初期光を放射する場合、前記発光部12は固体媒体素子をさらに含んでもよく、前記固体媒体素子は初期光の伝送経路に設置され、初期光は固体媒体素子によって複数回反射・光混合された後、光場強度が均一な形態で光透過部13に投射される。
具体的には、固体媒体素子は細長い六面体プリズム、円筒プリズム、円錐プリズムの形態のいずれかであってもよく、同時に、固体媒体素子は光が固体界面により囲まれた空間に複数回反射される中空ロッドであってもよく、又は光が固体透明媒体内に複数回反射される中実ロッドであってもよく、中実ロッドの入力端子及び出力端子に増透膜がメッキされており、中空ロッドの内面に増反膜が塗布されており、また、固体媒体素子の放射端面は入射端面と平行に設置される。
選択可能に、前記三次元スキャナーはタイミング制御部をさらに含み、前記タイミング制御部は、前記画像投影装置10、前記画像収集装置20に接続され、前記画像投影装置10を制御して各所定の周期においてそれぞれ該所定の周期に対応する所定の縞パターンを放射し、且つ前記画像収集装置20を制御して複数の所定の周期においてそれぞれ前記対象物によって変調された光を収集し、各前記所定の縞パターンに対応する縞画像を取得するために使用される。
つまり、三次元スキャナーはタイミング制御部を介して、前記画像投影装置10を制御して各所定の周期においてそれぞれ該所定の周期に対応する所定の縞パターンを放射し、及び前記画像収集装置20を制御して複数の所定の周期においてそれぞれ前記対象物によって変調された光を収集し、各前記所定の縞パターンに対応する縞画像を取得する。
つまり、三次元スキャナーはタイミング制御部を介して、画像投影装置10と画像収集装置20の工程を一致させる。
選択可能に、前記三次元スキャナーはタイミング制御部をさらに含み、前記タイミング制御部は、前記複数の光源ユニット121、前記画像収集装置20に接続され、前記複数の光源ユニット121を制御して異なる所定の周期においてそれぞれ光を放射し、各所定の周期においてそれぞれ該所定の周期に対応する初期光を生成し、及び前記画像収集装置20を制御して複数の所定の周期においてそれぞれ前記対象物によって変調された光を収集し、各前記初期光に対応する縞画像を取得するために使用される。
つまり、三次元スキャナーはタイミング制御部を介して、前記複数の光源ユニット121を制御して異なる所定の周期においてそれぞれ光を放射し、各所定の周期に対応する、対象物に投射される所定の縞パターンを生成し、及び前記画像収集装置20を制御して複数の所定の周期においてそれぞれ前記対象物によって変調された光を収集し、各前記初期光に対応する縞画像を取得する。
つまり、三次元スキャナーはタイミング制御部を介して、複数の光源ユニット121と画像収集装置20の工程を一致させる。
なお、上記2種のタイミング制御部はいずれも本願の選択可能な例であってもよく、つまり、本願では、三次元走査装置は第1タイミング制御部又は第2タイミング制御部を含み、前記第1タイミング制御部は、前記画像投影装置10、前記画像収集装置20に接続され、前記画像投影装置10を制御して各所定の周期においてそれぞれ該所定の周期に対応する所定の縞パターンを放射し、且つ前記画像収集装置20を制御して複数の所定の周期においてそれぞれ前記対象物によって変調された光を収集し、各前記所定の縞パターンに対応する縞画像を取得するために使用され、前記第2タイミング制御部は、前記複数の光源ユニット121、前記画像収集装置20に接続され、前記複数の光源ユニット121を制御して異なる所定の周期においてそれぞれ光を放射し、各所定の周期においてそれぞれ該所定の周期に対応する初期光を生成し、及び前記画像収集装置20を制御して複数の所定の周期においてそれぞれ前記対象物によって変調された光を収集し、各前記初期光に対応する縞画像を取得するために使用される。
選択可能に、前記三次元スキャナーは照明部材30をさらに含み、前記画像収集装置20はさらに、対象物が照明部材30により照射される場合、対象物によって反射された照明光を収集し、前記対象物のテクスチャデータを取得するために使用される。
さらに、三次元スキャナーが照明部材30をさらに含む場合、前記画像収集装置20は赤色光、青色光及び緑色光を識別して決定でき、対象物には前記照明部材30により照明光が投射される場合、画像収集装置20は該対象物のテクスチャ画像を収集し、テクスチャ画像及び三次元データによって、対象物と色が一致する(又は、色が基本的に一致する)三次元モデルを生成し、つまり、フルカラー走査が実現される。
例えば、上記照明部材30は白色光を放射するLEDランプであってもよく、画像投影装置10はDLP投影部11を含み、DLP投影部11を介して照明光を投射すればよく、即ち、画像投影装置10と照明部材30は一体成形された装置である。
さらに、三次元スキャナーが照明部材30をさらに含む場合、前記タイミング制御部はさらに前記照明部材30に接続され、照明部材30を制御して照明光を対象物に投射し、且つ画像収集装置20を制御して、前記対象物には前記照明部材30により照明光が投射される場合、前記対象物のテクスチャ画像を収集するために使用される。
さらに、三次元スキャナーが照明部材30をさらに含み、且つタイミング制御部がさらに前記照明部材30に接続される場合、タイミング制御部は、画像投影装置10と照明部材30を制御して所定の縞パターンと照明光を対象物に交互に投射するために使用され、且つタイミング制御部は、画像収集装置20を制御して画像投影装置10に対して所定の縞パターンを同期収集し、画像収集装置20を制御して照明部材30に対してテクスチャ画像を同期収集するために使用され、又は、タイミング制御部は、複数の光源ユニット121と照明部材30を制御して所定の縞パターンと照明光を対象物に交互に投射するために使用され、且つタイミング制御部は、画像収集装置20を制御して画像投影装置10に対して所定の縞パターンを同期収集し、画像収集装置20を制御して照明部材30に対してテクスチャ画像を同期収集するために使用される。
選択可能に、前記三次元スキャナーは、光の伝送経路を変更するための反射鏡40をさらに含む。
例えば、前記反射鏡40は所定の縞パターンの伝送経路に設置され、具体的には、所定の縞パターンは反射鏡40によって対象物に反射され、対象物によって変調された後に画像収集装置20に反射され、このとき、画像投影装置10及び画像収集装置20の装着に対する制約が軽減され、画像投影装置10及び画像収集装置20に必要な空間サイズが縮小される。
例えば、前記反射鏡40は複数の光源ユニット121が放射した光の伝送経路に設置され、具体的には、反射鏡40は複数の光源ユニット121が放射した光の伝送経路を変更し、複数の光源ユニット121の装着に対する制約を軽減し、複数の光源ユニット121に必要な空間サイズを縮小するために使用される。
選択可能に、三次元スキャナーが照明部材30及び反射鏡40をさらに含み、且つ反射鏡40が所定の縞パターンの伝送経路に設置される場合、図3に示すように、前記照明部材30は前記反射鏡40の外周に設置されてもよいし、又はスキャナーの他の部位に設置されてもよく、反射鏡40と連携して設置されて、反射鏡40によって照明光が対象物に反射され、例えば、該照明部材30は第1結像レンズ14の光源ユニット121に接近する一方側に設置され、照明部材30と光源ユニット121が投射した光は全て第1結像レンズ14を通過でき、反射鏡40によって対象物に反射される。
例えば、三次元スキャナーは把持部と、把持部の前端に設置された入口部とを含み、画像投影装置10と画像収集装置20の両方は把持部に装着され、反射鏡40は入口部に装着され、照明部材30は入口部に装着されてもよいし、把持部に装着されてもよい。
画像収集装置20は、前記対象物に所定の縞パターンが投射される場合、前記対象物によって変調された光を収集し、複数の縞画像を取得するために使用され、取得された縞画像は、各縞シーケンスを決定するためにコード画像として使用され、及び前記対象物の三次元再構成を行って対象物の三次元データを生成するために再構成画像として使用される。
つまり、対象物に所定の縞パターンが投射される場合、投射された所定の縞パターンが対象物にマッピングされ、該所定の縞パターンは対象物の自体の形状に応じて変形(即ち変調)され、このとき、画像収集装置20は上記変形した所定の縞パターンを収集し、さらに縞画像を取得し、そのうち、縞画像は、各縞シーケンスを決定し、及び対象物の三次元再構成を行うために使用される。
選択可能な例では、前記画像収集装置20は、少なくとも1つの白黒カメラ21を含む複数のカメラ21をさらに含み、前記画像収集装置20は前記複数のカメラ21を介して前記対象物によって変調された光を収集し、複数の縞画像を得て、少なくとも1つの前記白黒カメラ21で得られた縞画像は前記対象物の三次元再構成のために再構成画像として使用され、及び、少なくとも複数の白黒カメラ21で得られた縞画像は各縞シーケンスを決定するためにコード画像として使用され、及び/又は、少なくとも1つのカラーカメラ21で得られた縞画像は各縞シーケンスを決定するためにコード画像として使用される。
つまり、前記画像収集装置20は前記複数のカメラ21を介して前記対象物によって変調された光を収集し、複数の縞画像を得て、上記複数のカメラ21は少なくとも1つの白黒カメラ21を含み、少なくとも1つの前記白黒カメラ21で得られた縞画像は前記対象物の三次元再構成のために再構成画像として使用される。
なお、白黒カメラ21の結像解像度がカラーカメラ21よりも高いので、複数のカメラ21が少なくとも1つの白黒カメラ21を含み、白黒カメラ21で生成された縞画像を使用して三次元再構成を行うことで、対象物の三次元再構成精度が向上する。
具体的には、少なくとも1つの前記白黒カメラ21で得られた縞画像は前記対象物の三次元再構成のために再構成画像として使用されることは、1つの白黒カメラ21で得られた縞画像は前記対象物の三次元再構成のために再構成画像として使用されること、複数の白黒カメラ21で得られた縞画像は前記対象物の三次元再構成のために再構成画像として使用されること、1つの白黒カメラ21及び少なくとも1つのカラーカメラ21で得られた縞画像は前記対象物の三次元再構成のために再構成画像として使用されること、複数の白黒カメラ21及び少なくとも1つのカラーカメラ21で得られた縞画像は前記対象物の三次元再構成のために再構成画像として使用されることを含む。
具体的には、少なくとも複数の白黒カメラ21で得られた縞画像は各縞シーケンスを決定するためにコード画像として使用され、及び/又は、少なくとも1つのカラーカメラ21で得られた縞画像は各縞シーケンスを決定するためにコード画像として使用されることは、複数の白黒カメラ21で得られた縞画像は各縞シーケンスを決定するためにコード画像として使用されること、少なくとも1つのカラーカメラ21で得られた縞画像は各縞シーケンスを決定するためにコード画像として使用されること、少なくとも1つのカラーカメラ21及び少なくとも1つの白黒カメラ21で得られた縞画像は各縞シーケンスを決定するためにコード画像として使用されることを含む。
つまり、コード画像の少なくとも1つの縞画像に含まれる縞情報として、各縞のコードシーケンスを決定できる必要があり、即ち、コード画像は、各縞のコードシーケンスを決定できる縞画像で構成される。
選択可能に、前記カメラ21はCDDカメラであってもよく、又はCMOSカメラであってもよい。具体的には、本願はカメラの形態について具体的に限定せず、当業者は、技術要件に応じて対応して置換することができる。
なお、CCDカメラは小型、軽量、磁場により影響されず、耐振動、耐衝撃の特性を有し、従って、三次元スキャナーが2CCDカメラを採用して縞画像を取得する場合、該三次元スキャナーの体積も対応して減少し、該三次元スキャナーを手で持って使用することが容易になり、空間の小さい被走査環境(例えば、口腔)に適用できる。
例えば、画像投影装置10によって、所定の周期のa期間において、予め設計された所定の縞画像Aを対象物に投射し、所定の周期のb期間において、所定の設計された所定の縞画像Bを対象物に投射し、画像収集装置20を制御して所定の縞画像を有する対象物の画像を迅速に収集し、画像収集装置20に含まれるカメラ21はそれぞれ異なる縞画像を収集し、例えば、カメラ21はカラーカメラ21であり、所定の縞パターンAが前記対象物に投射される場合、カラー縞画像を取得するために使用され、カメラ21は白黒カメラ21であり、所定の縞パターンBが前記対象物に投射される場合、白黒縞画像を取得するために使用される。
このとき、カラー縞画像と白黒縞画像がコンピュータ端末に伝送され、コンピュータはカラー縞画像をコード情報として、白黒縞画像を再構成画像として使用し、対象物の三次元形態を取得する。
選択可能な例では、画像収集装置20は、入光部と少なくとも2つの出光部とを含むビーム処理装置22をさらに含み、各カメラ21はそれぞれ異なる出光部に対応して設置され、前記画像収集装置20はビーム処理装置22を介して前記対象物によって変調された光を収集する。
前記画像収集装置20は、前記ビーム処理装置22の入光部に対応して設置される第2結像レンズ23をさらに含み、前記画像収集装置20が収集した光は前記第2結像レンズ23を通過し、前記ビーム処理装置22の入光部に向かって、前記ビーム処理装置22の異なる出光部まで到達する。
つまり、画像収集装置20にビーム処理装置22が設置されるので、複数のカメラ21は同じ第2結像レンズ23から入射された同軸光に基づきそれぞれ結像することができ、即ち、複数のカメラ21がそれぞれ取得した縞パターンは一致する視野及び角度を有する。具体的には、ビーム処理装置22の入光部に第2結像レンズ23が設けられ、ビーム処理装置22は、カメラ21とそれぞれ一対一で対応して設置される複数の出光部を含み、ビーム処理装置22は、その中に入射された光の方向を調整し及び/又は波長帯域を分離し、これによって、各カメラ21は、同じ入射方向の光に基づきそれぞれ結像することができ、且つ指定された波長帯域の光に基づき結像することができる。
例えば、図4に示すように、対象物の光はビーム処理装置22の入光部を通って入射し、ビーム処理装置22は対象物の像光を分光処理し、該像光はそれぞれ少なくとも2つの出光部から放射されて、複数のカメラ21に投射され、このとき、複数のカメラ21が収集した縞画像は全て同じ視角から取得された縞画像である。
選択可能に、前記ビーム処理装置22は少なくとも1つの第1ビーム分離ユニットをさらに含み、前記第1ビーム分離ユニットは、入光部から投射された光を分光処理し、前記光がそれぞれ前記少なくとも2つの出光部から前記出光部に対応して設置されたカメラ21に投射されるために使用される。
つまり、ビーム処理装置22は第1ビーム分離ユニットによって、受光された光を複数の方向へ投射された光に分離する。例えば、1つの赤青色光は第1ビーム分離ユニットによって処理された後、2つの赤青色光が形成され、2つの赤青色光がそれぞれ異なる方向へ放射される。
選択可能に、前記ビーム処理装置22は少なくとも1つの第2ビーム分離ユニットをさらに含み、前記第2ビーム分離ユニットは、指定されたカメラ21に対して取得された光を分離処理し、前記指定されたカメラ21が指定された波長帯域の光を取得するために使用され、前記指定された波長帯域は、少なくとも1つの初期光に含まれる光の波長帯域を少なくとも含む。
つまり、ビーム処理装置22は第2ビーム分離ユニットによって、受光された光から一部の波長帯域の光を分離することができる。例えば、1つの赤青色光は第2ビーム分離ユニットによって処理された後、1つの青色光が形成される。
なお、本願における前記第1ビーム分離ユニットと前記第2ビーム分離ユニットは1つの物理ユニットに統合されてもよいし、又は物理的に別々に存在してもよい。
例えば、前記第1ビーム分離ユニットは半透過反射型プリズム22cであってもよく、前記第2ビーム分離ユニットは光学フィルタ22dであってもよく、前記第1ビーム分離ユニットと前記第2ビーム分離ユニットは直角2チャンネルダイクロイックプリズム22aに統合されてもよく、前記第1ビーム分離ユニットと前記第2ビーム分離ユニットは3チャンネルダイクロイックプリズム22bに統合されてもよい。
例えば、所定の周期のa期間において、画像投影装置10は、予め設計された所定の縞画像Aを対象物に投射し、所定の縞画像Aは青色縞及び緑色縞からなり、及び画像収集装置20中のカメラ21が前記対象物によって変調された光を収集する場合、カメラ21に対応する第2ビーム分離ユニットはカメラ21に対して取得された光を分離処理し、これによって、前記カメラ21は緑色光及び青色光を取得できる。好ましくは、前記カメラ21は緑色光及び青色光しか取得できない。
好ましくは、前記画像収集装置20に含まれる複数のカメラ21は複数の所定の縞パターンに一対一で対応し、つまり、各カメラ21が識別して決定できる光の色は、その対応する所定の縞パターンに含まれる縞色と一致する。
選択可能に、再構成画像の縞色の数量は所定のカラーコード縞の縞色の数量よりも少ないため、隣接する縞の間の間隔が小さくなりすぎず、縞のマッチングのプロセスで間隔が小さすぎるので正確にマッチングできないという問題が解決される。好ましくは、再構成画像が1つのみの色縞からなる。好ましくは、再構成画像は白黒カメラ21により取得される。好ましくは、再構成画像は青色光のみで生成された白黒縞画像であり、青色光は他の色の光に比べて干渉抵抗性及び安定性がより高い。
なお、前記三次元スキャナーは、放熱システム、加熱防霧システム、ソフトウェアアルゴリズムシステムなどを含んでもよく、放熱システムは、三次元スキャナー装置の内部が過熱してスキャナーに損傷を与える状況を防止するために使用され、加熱防霧システムは、三次元スキャナーの様々な光学機器に曇りが発生するので、正確な縞画像を取得できない状況を防止するために使用され、ソフトウェアアルゴリズムシステムは、画像収集装置20が取得した少なくとも1つの縞画像に基づいて、対象物の三次元再構成を行うために使用される。
以上のように、本願の実施例が提供する三次元スキャナーは、空間コードに基づいた縞抽出アルゴリズムにより、動的投影の投影ニーズがキャンセルされ、少量の2次元画像だけで対象物の三次元再構成を完成できるという技術的効果が実現され、三次元再構成方法に必要なハードウェアコストが高く、三次元走査装置の普及や使用に不利であるという関連技術の技術問題が解決された。
また、該三次元スキャナーは空間コードの情報として色を使用することにより、さらに三次元識別精度が向上する。
当業者が本願の技術的解決手段をより明確に理解するための、以下、具体的な実施例と組み合わせて説明する。
<実施例1>
図9を例にすると、前記ビーム処理装置22は、第3出光部と第4出光部とを含む直角2チャンネルダイクロイックプリズム22aを含み、前記ビーム処理装置22は前記直角2チャンネルダイクロイックプリズム22aを介して、入光部から投射された光を分光処理し、前記光がそれぞれ前記第3出光部及び前記第4出光部からそれぞれ出光部に対応して設置されたカメラ21に投射されるのを実現する。
対応して、前記画像収集装置20は、前記第3出光部に対応して設置された第3カメラ213と、第4出光部に対応して設置された第4カメラ214とを含み、第3カメラ213は収集された光に基づき第3縞画像を生成し、第4カメラ214は収集された光に基づき第4縞画像を生成し、第3縞画像と第4縞画像の両方は少なくとも2色の縞を含み且つ少なくとも2色の縞が識別可能である。
なお、第3縞画像と第4縞画像の両方が少なくとも2色の縞を含むことは、色を限定せずに、色の観点から2種の縞を区別して処理するために使用される。
また、前記ビーム処理装置22は前記直角2チャンネルダイクロイックプリズム22aを介して、指定されたカメラ21に対して取得された光を分離処理し、前記指定されたカメラ21が指定された波長帯域を含む光を取得するのを実現し、前記指定されたカメラ21が指定された波長帯域を含む光を取得するステップは、前記第3カメラ213が第3指定された波長帯域の光を取得し、前記第4カメラ214が第4指定された波長帯域の光を取得するステップを含む。
例えば、
好ましくは、第3カメラ213は白黒カメラ21であり、第4カメラ214はカラーカメラ21である。
発光部12は第1期間で赤色光を光透過部13に放射し、該赤色光は光透過部13に設けられた所定のパターンを介して透過すると、第1所定の縞パターンが生成され、該第1所定の縞パターンは赤色のカラーコード縞の形で対象物に投射され、光は対象物によって変調された後に画像処理装置に伝送され、本実施例では、直角2チャンネルダイクロイックプリズム22aは赤色、緑青色ダイクロイックプリズムであり、赤色光が第3出光部から放射され、緑色光及び青色光が第4出光部から放射され、このとき、赤色のカラーコード縞は直角2チャンネルダイクロイックプリズム22aを介して第3出光部から放射されて白黒カメラ21により収集され、白黒カメラ21は赤色縞を含む第3縞画像を生成する。
発光部12は第2期間で緑色光及び青色光を光透過部13に放射し、該緑色光及び青色光は光透過部13に設けられた所定の画像を介して透過すると、第2所定の縞パターンが生成され、該第2所定の縞パターンは緑青色のカラーコード縞の形で対象物に投射され、光は対象物によって変調された後に画像処理装置に伝送され、このとき、緑青色のカラーコード縞は直角2チャンネルダイクロイックプリズム22aを介して第4出光部から放射されてカラーカメラ21により収集され、カラーカメラ21は緑色縞及び青色縞を含む第4縞画像を生成する。
照明部材30は第8期間で照明光を対象物に投射し、対象物から放射された後に画像処理装置に伝送され、照明光の青色光及び緑色光はカラーカメラ21により収集されて第4テクスチャ画像が生成され、赤色光が白黒カメラ21により収集されて第3テクスチャ画像が生成され、第3テクスチャ画像と第4テクスチャ画像は対象物のテクスチャ画像を合成する。明らかなように、対象物のテクスチャ画像を取得するために、赤色光、緑色光及び青色光は全てカラーカメラ21により収集されて識別される必要があり、又は赤色光、緑色光及び青色光は全てカラーカメラ21及び白黒カメラ21により収集されて識別される必要があり、即ち一部の色の光はカラーカメラ21により収集されて識別され、一部の色の光は白黒カメラ21により収集されて識別される。
さらに、第3縞画像と第4縞画像の両方は同じ光透過部13に対応するため、第3縞画像と第4縞画像の各縞は対応し、具体的には、第3縞画像と第4縞画像が同じ座標系に基づいて組み合わせた後に、その中の縞は光透過部13上の所定のカラーコード縞に対応する。
具体的には、第3縞画像が再構成画像として、第4縞画像がコード画像として使用され、第4縞画像がカラーカメラ21により収集され、第4縞画像の緑色縞と青色縞の両方は識別して決定できるため、第4縞画像の各縞のコードシーケンスを決定することができ、第3縞画像と第4縞画像の縞の対応関係に基づいて、第3縞画像の各縞は第4縞のコードシーケンスによって識別してマッチングでき、三次元再構成が実現される。
好ましくは、白黒カメラ21は単色光しか取得できないため、第3縞画像も識別して決定でき、第3縞画像と第4縞画像は組み合わせて各縞のコードシーケンスを決定することができ、即ち、第3縞画像と第4縞画像の両方がコード画像として使用される。
また、本実施例では、光学フィルタ22dが設置されてもよく、光学フィルタ22dが設置されなくてもよく、光学フィルタ22dは直角2チャンネルダイクロイックプリズム22aと連携して設置さればよい。
強調する必要がある点として、該実施例では、ビーム処理装置22は前記直角2チャンネルダイクロイックプリズム22aを介して、入光部から投射された光を分光処理し、前記光がそれぞれ前記第3出光部及び前記第4出光部からそれぞれ出光部に対応して設置されたカメラ21に投射されるのを実現し、つまり、ビーム処理装置22は直角2チャンネルダイクロイックプリズム22aにより第1ビーム分離ユニットに対応する機能を実現する。
同様に、また強調する必要がある点として、該実施例では、ビーム処理装置22はさらに前記直角2チャンネルダイクロイックプリズム22aを介して、指定されたカメラ21に対して取得された光を分離処理し、前記指定されたカメラ21が指定された波長帯域を含む光を取得するのを実現し、つまり、ビーム処理装置22は直角2チャンネルダイクロイックプリズム22aにより第2ビーム分離ユニットに対応する機能を実現する。
直角2チャンネルダイクロイックプリズム22aには第1ビーム分離ユニットと第2ビーム分離ユニットが統合され、これによって、指定された波長帯域の光が指定された方向から放射されるのが実現され、例えば、直角2チャンネルダイクロイックプリズム22aは赤緑色光を第3出光部から放射させ、青色光を第4出光部から放射させるために、赤緑青3色光を含むビームが直角2チャンネルダイクロイックプリズム22aを通過すると、赤緑色光と青色光が分離され、赤緑色光は第3出光部から放射され、青色光は第3出光部から放射される。
<実施例2>
図11を例にすると、前記ビーム処理装置22は、第5出光部と、第6出光部と、第7出光部とを含む3チャンネルダイクロイックプリズム22bを含み、前記ビーム処理装置22は前記3チャンネルダイクロイックプリズム22bを介して、入光部から投射された光を分光処理し、前記光がそれぞれ前記第5出光部、前記第6出光部及び前記第7出光部からそれぞれ出光部に対応して設置されたカメラ21に投射されるのを実現する。
このような場合、前記画像収集装置20は、前記第5出光部に対応して設置された第5カメラ215と、第6出光部に対応して設置された第6カメラ216と、前記第7出光部に対応して設置された第7カメラ217とを含み、第5カメラ215は収集された光に基づき第5縞画像を生成し、第6カメラ216は収集された光に基づき第6縞画像を生成し、第7カメラ217は収集された光に基づき第7縞画像を生成し、第5縞画像、第6縞画像及び第7縞画像は全て少なくとも2色の縞を含み且つ少なくとも2色の縞が識別可能である。
なお、第5縞画像、第6縞画像及第7縞画像が少なくとも2色の縞を含むことは、色を限定せずに、色の観点から2種の縞を区別して処理するために使用される。
このとき、前記ビーム処理装置22は前記3チャンネルダイクロイックプリズム22bを介して、指定されたカメラ21に対して取得された光を分離処理し、前記指定されたカメラ21が指定された波長帯域を含む光を取得するのを実現し、前記指定されたカメラ21が指定された波長帯域を含む光を取得するステップは、前記第5カメラ215が第5指定された波長帯域の光を取得し、前記第6カメラ216が前記第5指定された波長帯域と異なる第6指定された波長帯域の光を取得するステップを少なくとも含む。
好ましくは、第5カメラ215、第6カメラ216及び第7カメラ217の少なくとも1つは白黒カメラ21であり、具体的には、第5カメラ215は白黒カメラ21であり、第6カメラ216及び第7カメラ217はカラーカメラ21であり、又は、第5カメラ215及び第6カメラ216は白黒カメラ21であり、第7カメラ217はカラーカメラ21であり、又は、第5カメラ215、第6カメラ216及び第7カメラ217はいずれも白黒カメラ21である。
好ましくは、第5カメラ215、第6カメラ216及び第7カメラ217はいずれも白黒カメラ21である。
発光部12は第3期間で赤色光を光透過部13に放射し、該赤色光は光透過部13に設けられた所定のカラーコード縞を介して透過すると、第3所定の縞パターンが生成され、該第3所定の縞パターンは赤色のカラーコード縞の形で対象物に投射され、光は対象物によって変調された後に画像処理装置に伝送され、本実施例では、ビーム処理装置は赤、緑、青の3色を分離する3チャンネルダイクロイックプリズム22bであり、赤色光が第5出光部から放射され、緑色光が第6出光部から放射され、青色光が第7出光部から放射され、このとき、赤色のカラーコード縞は3チャンネルダイクロイックプリズム22bによって分解され、第5出光部を通過して第5カメラ215により収集され、第5カメラ215は赤色縞を含む第5縞画像を生成する。
発光部12は第4期間で青色光を光透過部13に放射し、該青色光は光透過部13に設けられた所定の画像を介して透過すると、第4所定の縞パターンが生成され、該第4所定の縞パターンは青色のカラーコード縞の形で対象物に投射され、光は対象物によって変調された後に画像処理装置に伝送され、このとき、青色のカラーコード縞は3チャンネルダイクロイックプリズム22bによって分解され、第6出光部を通過して第6カメラ216により収集され、第6カメラ216は青色縞を含む第6縞画像を生成する。
発光部12は第5期間で緑色光を光透過部13に放射し、該緑色光は光透過部13に設けられた所定の画像を介して透過すると、第5所定の縞パターンが生成され、該第5所定の縞パターンは緑色のカラーコード縞の形で対象物に投射され、光は対象物によって変調された後に画像処理装置に伝送され、このとき、緑色のカラーコード縞は3チャンネルダイクロイックプリズム22bによって分解され、第7出光部を通過して第7カメラ217により収集され、第7カメラ217は緑色縞を含む第7縞画像を生成する。
照明部材30は第9期間で照明光を対象物に投射し、対象物から放射された後に画像処理装置に伝送され、照明光の赤色光は第5カメラ215により収集されて第5テクスチャ画像が生成され、青色光は第6カメラ216により収集されて第6テクスチャ画像が生成され、緑色光は第7カメラ217により収集されて第7テクスチャ画像が生成され、第5テクスチャ画像、第6テクスチャ画像及び第7テクスチャ画像は対象物のテクスチャ画像を合成する。明らかなように、対象物のテクスチャ画像を取得するために、赤色光、緑色光及び青色光は全てカラーカメラ21により収集されて識別される必要があり、又は赤色光、緑色光及び青色光は全てカラーカメラ21及び白黒カメラ21により収集されて識別される必要があり、即ち、一部の色の光はカラーカメラ21により収集されて識別され、一部の色の光は白黒カメラ21により収集されて識別され、又は赤色光、緑色光及び青色光は全て白黒カメラ21により収集されて識別される必要があり、即ち、各色の光は、識別及び決定のために、それぞれ1つの白黒カメラ21により独立して収集される。
さらに、第5縞画像、第6縞画像及び第7縞画像は全て同じ光透過部13に対応するため、第5縞画像、第6縞画像及び第7縞画像の各縞は対応し、具体的には、第5縞画像、第6縞画像及び第7縞画像は組み合わせた後に光透過部13上の所定のパターンに対応する。
具体的には、第5縞画像、第6縞画像及び第7縞画像によって決定される任意の縞画像が組み合わせた後再構成画像となり、第5縞画像、第6縞画像及び第7縞画像によって決定される任意の縞画像が組み合わせた後コード画像となることができる。好ましくは、第5縞画像、第6縞画像及び第7縞画像は、各縞のコードシーケンスを決定するために共同でコード画像として使用され、第5縞画像、第6縞画像及び第7縞画像は、三次元再構成を実現するために共同で再構成画像とし使用される。
また、本実施例では、光学フィルタ22dが設置されてもよく、光学フィルタ22dが設置されなくてもよく、光学フィルタ22dは3チャンネルダイクロイックプリズム22bと連携して設置さればよい。
強調する必要がある点として、該実施例では、ビーム処理装置22は前記3チャンネルダイクロイックプリズム22bを介して、入光部から投射された光を分光処理し、前記光がそれぞれ前記第5出光部、前記第6出光部及び前記第7出光部からそれぞれ出光部に対応して設置されたカメラ21に投射されるのを実現し、つまり、ビーム処理装置22は3チャンネルダイクロイックプリズム22bにより第1ビーム分離ユニットに対応する機能を実現する。
同様に、該実施例では、ビーム処理装置22はさらに前記3チャンネルダイクロイックプリズム22bを介して、指定されたカメラ21に対して取得された光を分離処理し、前記指定されたカメラ21が指定された波長帯域を含む光を取得するのを実現し、つまり、ビーム処理装置22は3チャンネルダイクロイックプリズム22bにより第2ビーム分離ユニットに対応する機能を実現する。
<実施例3>
図12を例にすると、前記ビーム処理装置22は、第1出光部及び第2出光部を含む半透過反射型プリズム22cを含み、前記ビーム処理装置22は前記半透過反射型プリズム22cを介して、入光部から投射された光を分光処理し、前記光がそれぞれ前記第1出光部及び第2出光部からそれぞれ出光部に対応して設置されたカメラ21に投射されるのを実現する。
このような場合、前記画像収集装置20は、前記第1出光部に対応して設置された第1カメラ211と、第2出光部に対応して設置された第2カメラ212とを含み、第1カメラ211は収集された光に基づき第1縞画像を生成し、第2カメラ212は収集された光に基づき第2縞画像を生成し、第1縞画像と第2縞画像の両方は少なくとも2色の縞を含み且つ少なくとも2色の縞が識別可能である。
なお、第1縞画像と第2縞画像の両方が少なくとも2色の縞を含むことは、色を限定せずに、色の観点から2種の縞を区別して処理するために使用される。
また、実施例では、前記ビーム処理装置22は光学フィルタ22dをさらに含み、前記ビーム処理装置22は前記光学フィルタ22dを介して、指定されたカメラ21に対して取得された光を分離処理し、前記指定されたカメラ21が指定された波長帯域を含む光を取得し、且つ前記複数のカメラ21の少なくとも1つは指定されたカメラ21である。
選択可能な例では、光学フィルタ22dは第1出光部と第1カメラ211との間に設置され、これにより第1カメラ211は第1指定された波長帯域の光を取得し、及び/又は、第2出光部と第2カメラ212との間に設置され、これにより第2カメラ212は第2指定された波長帯域の光を取得する。
例えば、
好ましくは、第1カメラ211は白黒カメラ21であり、第2カメラ212はカラーカメラ21であり、且つ白黒カメラ21は光学フィルタ22dに対応して設置される。
発光部12は第6期間で赤色光を光透過部13に放射し、該赤色光は光透過部13に設けられた所定のパターン(即ち所定のコード縞)を介して透過すると、第6所定の縞パターンが生成され、該第6所定の縞パターンは赤色のカラーコード縞の形で対象物に投射され、光は対象物によって変調された後に画像処理装置に伝送され、このとき、赤色のカラーコード縞は半透過反射型プリズム22cによって2つの赤色光に分解され、少なくとも1つの光が白黒カメラ21により収集され、第1縞画像が生成される。
また、該光は白黒カメラ21により収集される前に、赤色光学フィルタ22dによってフィルタリングされる。つまり、カメラ21の前に設置された光学フィルタ22dのフィルタ色は、カメラ21が収集したビーム色に対応する。
発光部12は第7期間で赤色光及び青色光を光透過部13に放射し、該赤色光及び青色光は光透過部13に設けられた所定の画像を介して透過すると、第7所定の縞パターンが生成され、該第7所定の縞パターンは赤青色のカラーコード縞の形で対象物に投射され、光は対象物によって変調された後に画像処理装置に伝送され、このとき、赤青色のカラーコード縞は半透過反射型プリズム22cによって、2つの赤青色光に分解され、少なくとも1つの光はカラーカメラ21により収集され、第2縞画像が生成される。
照明部材30は第10期間で照明光を対象物に投射し、対象物から放射された後に画像処理装置に伝送され、照明光の赤色光、青色光及び緑色光は第2カメラ212により収集されてテクスチャ画像が生成される。本実施例では、カラーカメラ21の前に光学フィルタ22dが設置されると、対象物のテクスチャ画像を取得するために、赤色光、緑色光及び青色光はカラーカメラ21及び白黒カメラ21により収集されて識別される必要があり、即ち、一部の色の光はカラーカメラ21により収集されて識別され、一部の色の光は白黒カメラ21により収集されて識別される。
さらに、第1縞画像と第2縞画像の両方は同じ光透過部13に対応するため、第1縞画像と第2縞画像の各縞は対応し、具体的には、第1縞画像と第2縞画像とが組み合わせた後に光透過部13上の所定のパターンに対応する。
具体的には、第1縞画像が再構成画像として、第2縞画像がコード画像として使用され、第2縞画像がカラーカメラ21により収集され、第2縞画像の赤色縞と青色縞の両方が識別して決定できるため、第2縞画像の各縞のコードシーケンスを決定することができ、第1縞画像と第2縞画像の縞の対応関係に基づいて、第1縞画像の各縞は第2縞画像のコードシーケンスによって識別してマッチングでき、三次元再構成が実現される。
なお、白黒カメラ21の前に光学フィルタ22dが設置されることは選択可能な例であり、本願はカメラ21の前に光学フィルタ22dを設置するか否かを具体的に限定せず、各カメラ21で取得された縞画像に少なくとも2色の縞が識別して決定できることを確保できればよい。
具体的には、白黒カメラ21の前に光学フィルタ22dが設置せず、白黒カメラ21で取得された第1縞画像は赤色縞を含み、又は、カラーカメラ21の前に青色光学フィルタ22dが設置され、カラーカメラ21で取得された第2縞画像は青色縞を含み、発光部12は第6期間で赤色光を放射し、第7期間で赤色光及び青色光を放射するため、各カメラ21で取得された縞画像に少なくとも2色の縞が識別して決定できることを確保するために、白黒カメラ21とカラーカメラ21が取得した縞画像に赤色縞のみを有することを回避するように、カラーカメラ21の前に赤色光学フィルタ22dを設置してはならず、又は、カラーカメラ21の前に2色光学フィルタ22dが設置され、カラーカメラ21で取得された第2縞画像は赤色縞及び青色縞を含む。
なお、各周期において、各所定の縞パターンと照明光の投射時間間隔が非常に小さく設置され、これにより、三次元スキャナーがこの周期に静止し又は基本的に静止することを確保し、所定の縞パターンと照明光は対象物の同じ領域に(基本的に)投射される。
強調する必要がある点として、該実施例では、ビーム処理装置22は前記半透過反射型プリズム22cを介して光の透過及び反射を行い、入光部から投射された光を分光処理し、前記光がそれぞれ前記第1出光部及び第2出光部からそれぞれ出光部に対応して設置されたカメラ21に投射されるのを実現し、つまり、ビーム処理装置22は半透過反射型プリズム22cにより第1ビーム分離ユニットに対応する機能を実現する。
また、強調する必要がある点として、該実施例では、ビーム処理装置22は前記光学フィルタ22dを介して、指定されたカメラ21に対して取得された光を分離処理し、前記指定されたカメラ21が指定された波長帯域を含む光を取得し、つまり、ビーム処理装置22は光学フィルタ22dにより第2ビーム分離ユニットに対応する機能を実現する。
なお、本願に挙げられる上記実施例1、実施例2及び実施例3はいずれも、当業者が本願の技術的解決手段をより明確に理解するための例示的なものであり、ここで、本願は具体的に限定されない。その他の具体的な装置は、本願におけるビーム処理装置22の機能の限定的な説明を実現できれば、同様に本願の実行可能な技術的解決手段としてもよい。
また、本願に挙げられる上記実施例1、実施例2及び実施例3は、本願におけるビーム処理装置22の機能の限定的な説明を実現するために、いずれも相互に組み合わせて参照することができ、例えば、実施例2及び実施例3では、ビーム処理装置22は直角2チャンネルダイクロイックプリズム22a又は3チャンネルダイクロイックプリズム22bにより第2ビーム分離ユニットに対応する機能を実現した後、該ビーム処理装置22は続いて光学フィルタ22dにより第2ビーム分離ユニットに対応する機能を再び実現することができる。
以上より、本手段と従来技術とを比較して、本発明の有益な効果は以下のとおりである。
1、空間コードに基づいた縞抽出アルゴリズムにより、少量の2次元画像を使用するだけで対象物の三次元再構成を行うことができるという技術目的が実現され、カメラ21のフレームレート及びアルゴリズムの計算コストを低減させるという技術的効果が達成する。
2、空間コードの情報として色を使用することにより、コード情報が容易に識別でき、さらに識別精度を向上させるという技術的効果が達成する。
3、本願の三次元スキャナーの技術原理に基づき、該三次元スキャナーは簡単な透過投影の方式で、パターンの投影処理を行うことができ、さらに、三次元スキャナーが透過投影の方式でパターンの投影処理を行うと、ハードウェアコストが大幅に削減される。
4、該三次元スキャナーがレーザを光源として使用しパターンの投影処理を行うと、該投影装置(即ち、発光部12と光透過部13の組み合わせ)の輝度及び被写界深度を高めることができ、さらに、低コスト、高輝度、高被写界深度の技術的効果が実現される。
つまり、本願が提供する三次元スキャナーは、ハードウェアコストが低く、リアルタイムフレームレートの要件が低く、光学システムの輝度が高く、被写界深度が大きく、装置が小型化であるという利点を有し、これによって、該三次元スキャナーは、口腔内の歯や歯肉などに対して、光反射、光透過及び光拡散などの特性を有する材質にカラーテクスチャ付きの動的リアルタイムな三次元走査を直接的に行うことができる。
本願の実施例によれば、三次元走査システムをさらに提供する。
図13は本願の実施例に係る三次元走査システムの模式図である。図13に示すように、該三次元走査システムは、三次元スキャナー71と画像プロセッサ73とを含む。
三次元スキャナー71は、各所定の周期においてそれぞれ対象物に該所定の周期に対応する所定の縞パターンを投射し、且つ前記対象物に所定の縞パターンが投射される場合、前記対象物によって変調された光を収集し、複数の縞画像を取得するために使用され、各所定の縞パターンの縞は所定のカラーコード縞に従って配置され、各所定の縞パターンは所定のカラーコード縞の少なくとも1色の縞を含み、且つ複数の所定の縞パターンは所定のカラーコード縞の少なくとも2色の縞を含み、且つ前記所定の縞パターンの縞は前記所定のカラーコード縞の同じ色の縞の配置と一致する。
画像プロセッサ73は、前記三次元スキャナー71に接続され、前記三次元スキャナー71で取得された複数の縞画像を取得し、且つ前記縞画像を、各縞シーケンスを決定するためにコード画像として使用し、及び前記対象物の三次元再構成のために再構成画像として使用するために使用される。
なお、該三次元スキャナー71は上記実施例が提供する三次元スキャナーのいずれかである。
また、該三次元走査システムは空間コードに基づいた縞抽出アルゴリズムにより、三次元スキャナー71が簡単な透過投影の方式で、パターンの投影処理を行うことができて、少量の2次元画像だけで対象物の三次元再構成を完成できるという技術的効果を実現し、三次元再構成方法に必要なハードウェアコストが高く、三次元走査装置の普及や使用に不利であるという関連技術の技術問題が解決された。
また、該三次元走査システムは空間コードの情報として色を使用することにより、さらに三次元識別精度が向上する。
選択可能な例では、前記三次元スキャナー71が複数のカメラ21を介して対象物によって変調された光を収集し、複数の縞画像を取得し、且つ前記複数のカメラ21が少なくとも1つの白黒カメラ21を含む場合、前記画像プロセッサ73はさらに、少なくとも1つの前記白黒カメラ21で得られた縞画像を前記対象物の三次元再構成のために再構成画像として使用し、少なくとも複数の白黒カメラ21で得られた縞画像を、各縞シーケンスを決定するためにコード画像として使用し、及び/又は、少なくとも1つのカラーカメラ21で得られた縞画像を、各縞シーケンスを決定するためにコード画像として使用するために使用される。
本願の実施例によれば、三次元走査方法をさらに提供する。
なお、本願の実施例の三次元走査方法は本願の実施例が提供する上記三次元スキャナーに適用される。以下、本願の実施例が提供する三次元走査方法を説明する。
図14は本願の実施例に係る三次元走査方法のフローチャートである。図14に示すように、該三次元走査方法は、
各所定の周期においてそれぞれ該所定の周期に対応する初期光を放射するステップS1401であって、各前記初期光は所定のカラーコード縞の少なくとも1色の光で構成され、且つ各前記初期光が前記光透過部13に設けられた所定のカラーコード縞のパターンを介して透過すると、それぞれ対応する所定のカラー縞が生成されて対象物に投射される、ステップS1401と、
前記複数の所定の周期においてそれぞれ前記対象物によって変調された光を収集し、且つ上記光に基づき複数の縞画像を取得するステップS1403であって、取得された縞画像は、各縞シーケンスを決定するためにコード画像として使用され、及び前記対象物の三次元再構成のために再構成画像として使用される、ステップS1403と、
前記コード画像に基づき前記複数の縞画像の各縞のシーケンスを決定するステップS1405と、
シーケンスに基づき前記再構成画像の三次元再構成を行って、前記対象物の三次元データを取得するステップS1407とを含む。
以上のように、本願の実施例が提供する三次元走査方法は空間コードに基づいた縞抽出アルゴリズムにより、三次元スキャナーが簡単な透過投影の方式で、パターンの投影処理を行うことができて、少量の2次元画像だけで対象物の三次元再構成を完成できるという技術的効果を実現し、三次元再構成方法に必要なハードウェアコストが高く、三次元走査装置の普及や使用に不利であるという関連技術の技術問題が解決された。
また、該三次元走査方法は空間コードの情報として色を使用することにより、さらに三次元識別精度を向上させるという技術的効果が達成した。
選択可能な例では、前記三次元走査方法は、照明光を対象物に投射し且つ前記照明光に基づき前記対象物のテクスチャデータを取得するステップと、前記対象物の三次元データ及びテクスチャデータに基づいて、前記対象物のカラー三次元データを取得するステップとをさらに含む。
選択可能に、テクスチャデータは単一のカメラ21で取得されてもよいし、複数のカメラ21で取得されたデータから合成されてもよい。
好ましくは、ステップS803において、対象物によって変調された光を収集し、且つ該光に基づき少なくとも2つの縞画像を取得し、そのうち、少なくとも1つの縞画像が白黒カメラ21により取得され、白黒カメラ21が取得した縞画像は再構成画像として使用される。
具体的には、ステップS805において、コード画像に基づき複数の縞画像の各縞のシーケンスを決定し、コード画像の各縞の配列情報及び色情報に基づいてコードシーケンスを決定し、例えば、赤、緑、緑、赤に従って配列された4つの縞の場合、例えば、赤色(1、0)、緑色(0、1)でコーデックを行い、コードシーケンスは(1、0)(0、1)(0、1)(1、0)であり、また、赤、青、青、緑、赤に従って配列された5つの縞の場合、例えば、赤色(1、0、0)、緑色(0、1、0)、青色(0、0、1)でコーデックを行い、コードシーケンスは(1、0、0)、(0、0、1)、(0、0、1)、(0、1、0)である。
具体的には、ステップS807において、コードシーケンスに基づき再構成画像の各縞に対して縞のマッチングを行い、ステレオ再構成の場合、本実施例によれば、2つの画像収集装置20があり、2つの画像収集装置20の再構成画像に対して縞のマッチングを行い、マッチングした後にポイントクラウド再構成を行い、対象物の三次元データを取得し、単眼再構成の場合、本実施例によれば、1つの画像収集装置20があり、画像収集装置20の再構成画像及び光透過部13に設けられた所定のカラーコード縞に対して縞のマッチングを行い、マッチングした後にポイントクラウド再構成を行い、対象物の三次元データを取得する。
以下、具体的な方法で説明する。
選択可能な例では、発光部12及び光透過部13は第1期間で赤青色のカラーコード縞を対象物に投射し、対象物によって変調された後に画像処理装置に伝送され、赤青色のカラーコード縞の光は半透過反射型プリズム22cによって少なくとも1つの赤青色のカラーコード縞の光に分離され、1つの赤青色のカラーコード縞の光はカラーカメラ21により収集され、カラーカメラ21は対応する赤青色のカラーコード縞画像を生成し、及び、発光部12及び光透過部13は第2期間で青色のカラーコード縞を対象物に投射し、対象物によって変調された後に画像処理装置に伝送され、青色のカラーコード縞の光は半透過反射型プリズム22cによって少なくとも1つの青色のカラーコード縞の光に分離され、1つの青色のカラーコード縞の光は青色光学フィルタ22dを通過して白黒カメラ21により収集され、白黒カメラ21は対応する青色縞画像を生成する。
また、照明部材30は第3期間で白色光を対象物に照射し、対象物によって反射された後にカラーカメラ21により収集され、カラーカメラ21はテクスチャ画像を生成し、赤青色のカラーコード縞画像に基づき各縞のコードシーケンスを決定し、コードシーケンスに基づき青色縞画像の各縞に対して縞のマッチングを行い、三次元再構成を実現して対象物の三次元データを取得し、三次元データ及びテクスチャ画像に基づき対象物のフルカラー三次元データを取得する。
選択可能な例では、発光部12及び光透過部13は第1期間で赤緑色のカラーコード縞を対象物に投射し、対象物によって変調された後に画像処理装置に伝送され、赤緑色のカラーコード縞の光から直角2チャンネルダイクロイックプリズム22aによって1つの赤緑色のカラーコード縞の光が分解され、該1つの赤緑色のカラーコード縞の光はカラーカメラ21により収集され、カラーカメラ21は対応する赤緑色のカラーコード縞画像を生成し、及び、発光部12及び光透過部13は第2期間で青色のカラーコード縞を対象物に投射し、対象物によって変調された後に画像処理装置に伝送され、青色のカラーコード縞の光から直角2チャンネルダイクロイックプリズム22aによって1つの青色のカラーコード縞の光が分解され、該1つの青色のカラーコード縞の光が白黒カメラ21により収集され、白黒カメラ21は対応する青色縞画像を生成する。
また、照明部材30は第3期間で白色光を対象物に照射し、対象物によって反射された後にカラーカメラ21及び白黒カメラ21により収集され、カラーカメラ21は赤色光及び緑色光に基づいたテクスチャ画像を生成し、白黒カメラ21は青色光に基づいたテクスチャ画像を生成し、赤緑色のカラーコード縞画像に基づき各縞のコードシーケンスを決定し、コードシーケンスに基づき青色縞画像の各縞に対して縞のマッチングを行い、三次元再構成を実現して対象物の三次元データを取得し、カラーカメラ21のテクスチャ画像及び白黒カメラ21のテクスチャ画像に基づき、白色光に基づいたテクスチャ画像を合成し、三次元データ及び白色光のテクスチャ画像に基づき対象物のフルカラー三次元データを取得する。
選択可能な例では、発光部12及び光透過部13は第1期間で赤色のカラーコード縞を対象物に投射し、対象物によって変調された後に画像処理装置に伝送され、赤色のカラーコード縞の光から3チャンネルダイクロイックプリズム22bによって1つの赤色のカラーコード縞の光が分解され、該1つの赤色のカラーコード縞の光が第1白黒カメラ21により収集され、第1白黒色カメラ21は対応する赤色のカラーコード縞画像を生成し、発光部12及び光透過部13は第2期間で緑色のカラーコード縞を対象物に投射し、対象物によって変調された後に画像処理装置に伝送され、緑色のカラーコード縞の光から3チャンネルダイクロイックプリズム22bによって1つの緑色のカラーコード縞の光が分解され、該1つの緑色のカラーコード縞の光が第2白黒カメラ21により収集され、第2白黒色カメラ21は対応する緑色のカラーコード縞画像を生成し、及び、発光部12及び光透過部13は第3期間で青色のカラーコード縞を対象物に投射し、対象物によって変調された後に画像処理装置に伝送され、青色のカラーコード縞の光から3チャンネルダイクロイックプリズム22bによって1つの青色のカラーコード縞の光が分解され、該1つの青色のカラーコード縞の光が第3白黒カメラ21により収集され、第3白黒色カメラ21は対応する青色のカラーコード縞画像を生成する。
また、照明部材30は第4期間で白色光を対象物に照射し、対象物によって反射された後に3つの白黒カメラ21により収集され、第1白黒カメラ21は赤色光に基づいたテクスチャ画像を生成し、第2白黒カメラ21は緑色光に基づいたテクスチャ画像を生成し、第3白黒カメラ21は青色光に基づいたテクスチャ画像を生成し、赤色縞画像、緑色縞画像及び青色縞画像の組み合わせに基づき各縞のコードシーケンスを決定し、コードシーケンスに基づき赤色縞画像、緑色縞画像及び青色縞画像の各縞に対して縞のマッチングを行い、三次元再構成を実現して対象物の三次元データを取得し、3つの白黒カメラ21のテクスチャ画像に基づき、白色光に基づいたテクスチャ画像を合成し、三次元データ及び白色光のテクスチャ画像に基づき対象物のフルカラー三次元データを取得する。
なお、図面のフローチャートに示されるステップは、例えば1セットのコンピュータ実行可能命令を含むコンピュータシステムで実行されてもよく、そして、フローチャートには論理的な順序が示されているが、場合によって、示される又は説明されるステップは記載内容と異なる順序で実行されてもよい。
なお、図面のフローチャートに示されるステップは、例えば1セットのコンピュータ実行可能命令を含むコンピュータシステムで実行されてもよく、そして、フローチャートには論理的な順序が示されているが、場合によって、示される又は説明されるステップは記載内容と異なる順序で実行されてもよい。
本発明の実施例は、プログラムが記憶されている記憶媒体を提供し、該プログラムはプロセッサによって実行されるときに前記三次元走査方法を実現する。
本発明の実施例は、プログラムを実行するためのプロセッサを提供し、前記プログラムが実行されるときに前記三次元走査方法を実行する。
また、用語「備える」、「含む」又はこれらの任意の変形は、非排他的な包含物をカバーすることを意図し、それにより、一連の要素を含む過程、方法、システム、製品又は装置はこれらの要素を含むだけでなく、明瞭に示されていない又はこれらの過程、方法、製品又は装置に固有の他の要素をさらに含む。さらなる制限がない限り、句「1つ…を含む」によって限定される要素は、要素を含む過程、方法、製品又は装置において別の同じ要素がまだ存在することを排除しない。
また、本発明の各実施例における各機能ユニットは1つの物理ユニットに統合されてもよいし、物理的に別々に存在してもよいし、2つ又は2つ以上のユニットが1つのユニットに統合されてもよい。
当業者にとって明らかなように、本願の実施例は方法、システム又はコンピュータプログラム製品として提供され得る。従って、本願は、完全ハードウェア実施例、完全ソフトウェア実施例又はソフトウェアとハードウェアを組み合わせた実施例の形態を採用することができる。且つ、本願は、コンピュータ利用可能なプログラムコードを含む1つ又は複数のコンピュータ利用可能な記憶媒体(磁気ディスクメモリ、CD-ROM、光学メモリなどを含むが、これらに制限されない)で実施されるコンピュータプログラム製品の形態を採用することができる。
以上は本願の実施例に過ぎず、本願を制限するためのものではない。当業者にとって、本願に対して各種の変更や変化が可能である。本願の趣旨及び原理を逸脱することなく行われる全ての修正、同等置換、改良などは、本願の特許請求の範囲に含まれるものとする。
そして、本発明の上記実施例で、様々な実施例に対する説明が異なり、ある実施例において詳述されない部分は、他の実施例の関連する説明を参照することができる。