JP2021525032A - 画像処理方法、装置及び３次元結像システム - Google Patents

Abstract

本発明は、画像処理方法、装置及び３次元結像システムを開示し、この方法は、処理対象の２次元画像を取得するステップと、処理対象の２次元画像をグリッドテンプレートに整列させるステップと、グリッド画像のマッピング関係を示すためのグリッドマッピングテーブルを用いて処理対象の２次元画像をマッピング処理して第１の画像を得るステップと、第１の画像をミラーリングして第２の画像を得るステップと、第１の画像と第２の画像とを合成して第１の画像と第２の画像とのゴーストを得るステップとを含む。本発明は、グリッドテンプレート及びグリッドマッピングテーブルを用いて、処理対象の２次元画像をマッピング処理し、人間の眼で取得した左眼画像及び右眼画像を模擬し、同一の処理対象の２次元画像に対して１回のマッピング処理を行えば、左眼画像と右眼画像とを得ることができ、画像処理のステップが削減されて画像処理時間が短縮され、ゴーストされた２次元画像を３次元画像に変換する後続のリアルタイム性に条件を提供する。【選択図】図１

Description

本発明は、画像処理技術分野に関し、具体的には、画像処理方法、装置及び３次元結像システムに関するものである。

立体視、即ち両眼で物を見る場合、主観的には被視物体の厚み及び空間の深さや距離などの感覚を生じさせることができる。これは、同一の被視物体でも両眼の網膜上の像が全く同じではなく、左眼では物体の左側面が左方から多く見え、右眼では物体の右側面が右方から多く見えることが主な原因であり、両眼からの画像情報は、視覚的に高度な中枢処理を受けることにより、立体的な物体のイメージを生成する。

表示技術やデジタル技術の発展に伴い、電子製品を用いて人間の眼を模倣した立体視が研究のホットスポットになっている。従来技術では、３次元（３Ｄ）カメラを使用する場合にのみユーザが３Ｄ画像を見ることができる。従来の３Ｄカメラの大部分は、人間の眼を模倣した構成であり、両カメラから構成され、一方のカメラが採集した画像は、人間の眼の左眼画像に対応し、他方のカメラが採集した画像は、人間の眼の右眼画像に対応し、画像処理機器により左眼画像及び右眼画像を合成することで、３Ｄ画像を形成することができる。

このうち、従来技術における３次元結像システムでは、２つのカメラにより左眼画像及び右眼画像をそれぞれ採集し、２枚の画像を別々に処理して、後続の３次元結像に用いるようにしている。しかし、この画像処理方法は、画像の取得から処理の完了までの遅延が大きく、リアルタイム性が要求される場合には適用できない場合がある。

これに鑑みて、本発明の実施例は、画像処理の遅延が大きいという問題を解決するための画像処理方法、装置及び３次元結像システムを提供する。

第１の態様によれば、本発明の実施例にて提供される画像処理方法は、
処理対象の２次元画像を取得するステップと、
前記処理対象の２次元画像を、前記処理対象の２次元画像のグリッド分割のためのグリッドテンプレートに整列させるステップと、
グリッド画像のマッピング関係を示すためのグリッドマッピングテーブルを用いて前記処理対象の２次元画像をマッピング処理して第１の画像を得るステップと、
前記第１の画像をミラーリングして第２の画像を得るステップと、
前記第１の画像と前記第２の画像を合成して、前記第１の画像と前記第２の画像のゴーストを得るステップと、を含み、
前記第１の画像は、左眼画像であり、前記第２の画像は、右眼画像であり、又は、
前記第１の画像は、前記右眼画像であり、前記第２の画像は、前記左眼画像である。

本発明の実施例は、グリッドテンプレート及びグリッドマッピングテーブルを用いて、処理対象の２次元画像をマッピング処理し、人間の眼で取得した左眼画像及び右眼画像を模擬し、即ち、本方法は、同一の処理対象の２次元画像に対して１回のマッピング処理を行えば、左眼画像と右眼画像を得ることができ、画像処理のステップが削減されて画像処理時間が短縮され、ゴーストされた２次元画像を３次元画像に変換する後続のリアルタイム性に条件を提供する。第１の態様と結び付けて、第１の態様の第１の実施形態では、前記グリッドマッピングテーブルは、前記グリッドテンプレートにおける各グリッドの番号を含み、前記番号に対応して、前記グリッドマッピングテーブルには、マッピングされた前記グリッド画像の情報が記憶される。

本発明の実施例は、グリッドテンプレートにおける各グリッドに番号を付与し、番号を用いてマッピングされたグリッド画像の情報を１対１で対応させることで、複数のグリッド画像を並列処理する際にマッピングされたグリッド画像の情報の乱れを回避し、後続のマッピング処理の正確性を向上させる。

第１の態様の第１の実施形態と結び付けて、第１の態様の第２の実施形態では、グリッドマッピングテーブルを用いて前記処理対象の２次元画像をマッピング処理し、第１の画像を得る前記ステップは、
前記グリッドテンプレートを用いて前記処理対象の２次元画像を分割して複数の処理対象のグリッド画像を形成するステップと、
前記処理対象のグリッド画像の番号を取得するステップと、
前記グリッドマッピングテーブルを検索して、前記番号に対応する前記グリッド画像の情報を抽出するステップと、
抽出された前記グリッド画像の情報を用いて、前記処理対象のグリッド画像を処理するステップと、
処理された前記処理対象のグリッド画像を組み合わせて前記第１の画像を得るステップと、を含む。

本発明の実施例は、分割された各処理対象のグリッド画像に対応して、番号を用いてグリッドマッピングテーブルから対応するグリッド画像情報を抽出し、処理対象のグリッド画像を処理する。ここで、各処理対象の２次元画像は、番号によって区別され、複数の処理対象のグリッド画像の同時処理が可能であり、画像処理の効率を向上させる。

第１の態様の第２の実施形態と結び付けて、第１の態様の第３の実施形態では、前記グリッド画像の情報は、前記グリッド画像のサイズであり、
上記の抽出された前記グリッド画像の情報を用いて、前記処理対象のグリッド画像を処理するステップは、
抽出された前記グリッド画像のサイズに応じて、前記処理対象のグリッド画像に対してスケーリング処理を行うステップを含む。

本発明の実施例は、グリッドマッピングテーブルに記憶されたマッピングされたグリッド画像のサイズを用いて、各処理対象のグリッド画像に対してスケーリング処理を行い、即ち、画像の解像度、画素などの情報と関係なく、画像サイズの観点から処理対象のグリッド画像を処理することで、画質を保証することができる一方、処理効率を向上させることができる。

第１の態様と結び付けて、第１の態様の第４の実施形態では、上記の前記第１の画像と前記第２の画像とを合成して前記第１の画像と前記第２の画像とのゴーストを得る前記ステップは、
前記第１の画像の側辺の中心点が前記第２の画像の側辺の中心点と一致するように、前記第１の画像と前記第２の画像の一側辺を整列させるステップと、
前記第１の画像又は第２の画像を前記側辺の中心線に沿って平行に移動させて前記ゴーストを得るステップと、を含む。

第１の態様と結び付けて、第１の態様の第５の実施形態では、前記処理対象の２次元画像は、ビデオストリームにおける１フレームの画像である。

第２の態様によれば、本発明の実施例にて提供される画像処理装置は、
処理対象の２次元画像を取得するための取得モジュールと、
前記処理対象の２次元画像を、前記処理対象の２次元画像のグリッド分割のためのグリッドテンプレートに整列させるための整列モジュールと、
グリッド画像のマッピング関係を示すためのグリッドマッピングテーブルを用いて前記処理対象の２次元画像をマッピング処理して第１の画像を得るためのマッピングモジュールと、
前記第１の画像をミラーリングして第２の画像を得るためのミラーリングモジュールと、
前記第１の画像と前記第２の画像とを合成して前記第１の画像と前記第２の画像とのゴーストを得るための合成モジュールと、を含む。

本発明の実施例は、グリッドテンプレート及びグリッドマッピングテーブルを用いて、処理対象の２次元画像をマッピング処理し、人間の眼で取得した左眼画像及び右眼画像を模擬し、即ち、本装置は、同一の処理対象の２次元画像に対して１回のマッピング処理を行えば、左眼画像と右眼画像を得ることができ、画像処理のステップが削減されて画像処理時間が短縮され、ゴーストされた２次元画像を３次元画像に変換する後続のリアルタイム性に条件を提供する。

第３の態様によれば、本発明の実施例にて提供される画像処理機器は、
メモリとプロセッサとを含み、前記メモリと前記プロセッサは、互いに通信接続され、前記メモリにはコンピュータ命令が記憶され、前記プロセッサは、前記コンピュータ命令を実行することで、本発明の第１の態様又は第１の態様の実施形態のいずれか１つに記載の画像処理方法を実行する。

第４の態様によれば、本発明の実施例にて提供されるコンピュータ読み取り可能な記憶媒体は、本発明の第１の態様又は第１の態様の実施形態のいずれか１つに記載の画像処理方法を前記コンピュータに実行させるためのコンピュータ命令を記憶する。

第５の態様によれば、本発明の実施例にて提供される３次元結像システムは、
画像を採集するためのレンズがシングルレンズで構成され、処理対象の２次元画像を取得するための画像採集機器と、
前記画像採集機器に電気的に接続され、前記処理対象の２次元画像を処理するための本発明の第３の態様に記載の画像処理機器と、
前記画像処理機器に電気的に接続され、３次元画像を表示するための画像表示機器と、を含む。

本発明の実施例にて提供される３次元結像システムは、画像採集機器のレンズがシングルレンズで構成され、その採集機器が、デュアルレンズのように２つの画像採集システムを使用する必要がなく、画像採集機器全体の体積を減少させ、また、シングルレンズ内視鏡は、デュアルレンズに比べて外径を大幅に小さくすることができ、この３次元結像システムをサイズの小さい人体器官内に適用して、人体器官を３次元的に結像することができ、３次元結像システムの使用範囲をさらに拡大することができる。

本発明の特徴と利点は、添付の図面を参照してより明確に理解され、図面は概略的なものであり、本発明を任意に限定するものとして解釈してはいけない。
本発明の実施例における画像処理方法の１つの具体的な方法の流れ図を示す。 本発明の実施例における画像処理方法のもう１つの具体的な方法の流れ図を示す。 本発明の実施例におけるグリッドテンプレート分割の１つの具体的な概略図である。 本発明の実施例におけるマッピング変換の原理の概略図である。 本発明の実施例における画像処理方法のもう１つの具体的な方法のフローチャートを示す。 本発明の実施例における輻輳角と左右眼の画像との間の距離の関係の概略図である。 本発明の実施例における画像処理装置の１つの具体的な構成図である。 本発明の実施例における画像処理装置のもう１つの具体的な構成図である。 本発明の実施例における画像処理機器の具体的な構成図である。 本発明の実施例における３次元結像システムの１つの具体的な構成図である。

本発明の実施例の目的、技術的解決手段及び利点をより明確にするために、以下、本発明の実施例における図面を組み合わせて、本発明の実施例における技術的解決手段を明確且つ完全に説明するが、明らかに、説明された実施例は、本発明の一部の実施例であり、全ての実施例ではない。本発明の実施例に基づいて、創造的な労力を付与せずに当業者が想到できる他のすべての実施例も本発明の保護範囲に含まれる。

本発明にて提供される画像処理方法は、人間の眼で観察される左眼画像及び右眼画像を模擬するためである。具体的には、取得された処理対象の２次元画像をマッピング処理することで、両眼視差画像、即ち左眼画像及び右眼画像を生成して、立体視を実現し、また、左眼画像及び右眼画像を合成して、第１の画像と第２の画像のゴースト像を得て、輻輳角を作り出す。そして、本発明の３次元結像システムにおける画像表示機器は、両眼視差画像と輻輳角とを組み合わせることで、３Ｄ画像を形成することができる。

本発明の実施例にて提供される画像処理方法は、図１に示すように、ステップＳ１１乃至ステップＳ１５を含む。

ステップＳ１１では、処理対象の２次元画像を取得する。

画像処理装置によって取得された処理対象の２次元画像は、２次元の画像であってもよく、ビデオストリームにおける１フレームの画像であってもよく、ビデオをリアルタイムで採集し、そのうちからフレーム毎の画像を抽出してもよく、この画像処理装置が処理対象の２次元画像を取得できることを確保すればよい。

ステップＳ１２では、処理対象の２次元画像をグリッドテンプレートに整列させる。

このうち、グリッドテンプレートは、処理対象の２次元画像に対してグリッド分割を行うためのものである。具体的には、このグリッドテンプレートは、処理対象としての２次元画像を正規化処理するために用いられ、任意のサイズの処理対象の２次元画像を等比例でスケーリングして、スケーリングされた処理対象の２次元画像のサイズをこのグリッドテンプレートにマッチングすることができる。

ステップＳ１３では、グリッドマッピングテーブルを用いて、処理対象の２次元画像をマッピング処理し、第１の画像を得る。

このうち、グリッドマッピングテーブルは、グリッド画像のマッピング関係を示すためのものである。グリッドマッピングテーブルは、グリッド番号によって索引付けされてもよく、グリッドテンプレートに応じて左から右、上から下へ記憶されるようにグリッドマッピングテーブルにおけるマッピング関係を予め規定してもよく（即ち、グリッドマッピングテーブル内の関連情報の記憶順序を予め規定してもよく）、他の方式で索引付けされてもよい。

画像処理装置は、このグリッドマッピングテーブルに記憶されたマッピング関係を用いて、処理対象の２次元画像をマッピング処理し、例えば、処理対象の２次元画像全体を処理してもよく、又は、処理対象の２次元画像を分割し、分割された画像を処理するなどであってもよい。即ち、画像処理装置は、処理対象の２次元画像に基づいて、マッピング処理を行い、第１の画像を形成する。ここで、マッピング関係は、変換後の画像が近端で大きく、遠端で小さくなるようなものであってもよいし、透視後の画像を式により算出するなどであってもよい。

ステップＳ１４では、第１の画像をミラーリングして第２の画像を得る。

このうち、第１の画像は、左眼画像であり、第２の画像は、右眼画像であり、又は、第１の画像は、右眼画像であり、第２の画像は、左眼画像である。

本発明者は、人間の眼で観察される左眼画像と右眼画像とがミラーリング画像であること、即ち、マッピングされた第１の画像をミラーリング処理して第２の画像を得ることが可能であることを、多数の実験により分かった。

ステップＳ１５では、第１の画像と第２の画像とを合成して、第１の画像と第２の画像とのゴーストを得る。

画像処理装置は、第１の画像及び第２の画像を合成し、第１の画像と第２の画像とのゴーストを得る。合成された第１の画像及び第２の画像を、後続の３次元画像表示のために画像表示機器に出力させることができる。ここで、後続の画像表示機器は、左眼画像と右眼画像との偏光方向が互いに直交するように左眼画像と右眼画像との偏光方向を調整することで、使用時にユーザが３Ｄメガネを着用することで３Ｄ画像の視聴を可能にし、人間の両眼にそれぞれ見える２枚の画像の偏光方向が互いに直交するようにすれば、他の方法で偏光方向の調整を実現することもできる。

本発明の実施例は、グリッドテンプレート及びグリッドマッピングテーブルを用いて、処理対象の２次元画像をマッピング処理し、人間の眼で取得した左眼画像及び右眼画像を模擬し、即ち、本方法は、同一の処理対象の２次元画像に対して１回のマッピング処理を行えば、左眼画像と右眼画像とを得ることができ、画像処理のステップが削減されて画像処理時間が短縮され、ゴーストされた２次元画像を３次元画像に変換する後続のリアルタイム性に条件を提供する。

本発明の実施例にてさらに提供される画像処理方法は、図２に示すように、ステップＳ２１乃至ステップＳ２５を含む。

ステップＳ２１では、処理対象の２次元画像を取得する。詳細は、図１に示す実施例のステップＳ１１を参照し、ここで説明を省略する。

ステップＳ２２では、処理対象の２次元画像をグリッドテンプレートに整列させる。

このうち、グリッドテンプレートは、処理対象の２次元画像に対してグリッド分割を行うためのものである。なお、グリッドテンプレートは、図３に示すように、各グリッドに唯一のラベルを対応させて複数のグリッドに分割することができ、グリッドテンプレートにより分割されるグリッドの数は、図３に示す数に限らず、実際の使用状況に応じて適宜設定することができる。また、グリッドの符号化方式もこれに限定されるものではなく、全てのグリッドを区別可能な全ての符号化方式は、いずれも本発明の保護範囲に属する。

ステップＳ２３では、グリッドマッピングテーブルを用いて、前記処理対象の２次元画像をマッピング処理し、第１の画像を得る。

このうち、グリッドマッピングテーブルは、グリッド画像のマッピング関係を示すためのものである。本実施例では、グリッドマッピングテーブルは、グリッドテンプレートにおける各グリッドの番号を含む。番号に対応して、グリッドマッピングテーブルには、マッピングされたグリッド画像の情報が記憶される。

グリッドマッピングテーブルは、以下の表１で示す。

具体的には、ステップＳ２３１乃至ステップＳ２３５を含む。

ステップＳ２３１では、グリッドテンプレートを用いて、処理対象の２次元画像を分割し、複数の処理対象のグリッド画像を形成する。

画像処理装置は、処理対象の２次元画像をグリッドテンプレートに整列させた後、グリッドテンプレート内のグリッドの分割方式を用いて、処理対象の２次元画像を分割し、複数の処理対象のグリッド画像を形成する。ここで、分割された処理対象のグリッド画像の番号は、グリッドテンプレートにおいて対応する位置のグリッドの番号と同一であるため、この番号を用いて、グリッドマッピングテーブルを検索してグリッド画像の情報を取得することが容易になる。

ステップＳ２３２では、処理対象のグリッド画像の番号を取得する。

画像処理装置は、処理対象の２次元画像を分割した後、グリッドテンプレートにおける各グリッドの番号を用いて、処理対象のグリッド画像に番号を付与し、具体的には、上述したように、処理対象のグリッド画像の番号は、グリッドテンプレートにおいて対応する位置のグリッドの番号と同一である。このため、画像処理装置は、対応する位置のグリッドの番号を抽出するだけでよく、処理対象のグリッド画像に番号を再び付与する必要がなく、処理時間が節約される。

ステップＳ２３３では、グリッドマッピングテーブルを検索し、番号に対応するグリッド画像の情報を抽出する。

画像処理装置は、処理対象のグリッド画像の番号を用いて、この番号に対応するグリッド画像の情報をグリッドマッピングテーブルから検索する。ここで、グリッド画像の情報は、マッピングされたグリッド画像のサイズであってもよく、マッピングされたグリッド画像の各端点のグリッドマッピングテーブルにおける座標データなどであってもよい。

好ましくは、本実施例では、グリッドマッピングテーブルに、マッピングされたグリッド画像のサイズ情報が記憶される。

ステップＳ２３４では、抽出されたグリッド画像の情報を用いて、処理対象のグリッド画像を処理する。

画像処理装置は、抽出されたグリッド画像のサイズ情報を用いて、処理対象のグリッド画像を処理する。ここで、マッピング変換の原理は、図４に示すように、元画像の左側の辺を回転軸として、所定の角度でスクリーン内部へ反転され、及び同じ角度でスクリーン外へ回転されるようにマッピング変換させ、図４の中央及び一番右の画像にそれぞれ形成されることである。本実施例では、処理対象の２次元画像のサイズを線形スケーリングすることで、スケーリングされた第１の画像及び第２の画像が図４に示す効果を得る。即ち、画像処理装置は、抽出されたグリッド画像のサイズに応じて、処理対象のグリッド画像をスケーリング処理し、具体的には以下のステップを含んでもよい。

（１）処理対象のグリッド画像を順次走査（ｎｏｎ−ｉｎｔｅｒｌａｃｅｄ ｓｃａｎｎｉｎｇ）する。

画像処理装置は、処理対象のグリッド画像を順次走査し、処理対象のグリッド画像の各行のサイズを取得する。

（２）各行の画像を順次線形スケーリングする。

画像処理装置は、一端が大きく、他端が小さくなるように、処理対象のグリッド画像の各行のサイズを線形スケーリングし、サイズがスケーリングされた第１の画像を得る。各行に対して線形スケーリングを順次行うことで、処理するデータ量を減らし、画像処理の効率化を図ることができる。

ステップＳ２３５では、処理された処理対象のグリッド画像を組み合わせて第１の画像を得る。

画像処理装置は、処理対象のグリッド画像の番号を用いて、映像処理された画像を再び組み合わせて第１の画像を得る。

ステップＳ２４では、第１の画像をミラーリングして第２の画像を得る。

このうち、第１の画像は、左眼画像であり、第２の画像は、右眼画像であり、又は、第１の画像は、右眼画像であり、第２の画像は、左眼画像である。詳細は、図１に示す実施例のステップＳ１４を参照し、ここで説明を省略する。

ステップＳ２５では、第１の画像と第２の画像とを合成して、第１の画像と第２の画像とのゴーストを得る。詳細は、図１に示す実施例のステップＳ１５を参照し、ここで説明を省略する。

図１に示す実施例と比較して、本実施例では、グリッドマッピングテーブルに記憶されたマッピングされたグリッド画像のサイズを用いて、各処理対象のグリッド画像に対してスケーリング処理を行い、即ち、画像の解像度、画素などの情報と関係なく、画像サイズの観点から処理対象のグリッド画像を処理することで、画質を保証することができる一方、処理効率を向上させることができる。

本発明の実施例にてさらに提供される画像処理方法は、図５に示すように、ステップＳ３１乃至ステップＳ３５を含む。

ステップＳ３１では、処理対象の２次元画像を取得する。詳細は、図２に示す実施例のステップＳ２１を参照し、ここで説明を省略する。

ステップＳ３２では、処理対象の２次元画像をグリッドテンプレートに整列させる。

このうち、グリッドテンプレートは、処理対象の２次元画像に対してグリッド分割を行うためのものである。詳細は、図２に示す実施例のステップＳ２２を参照し、ここで説明を省略する。

ステップＳ３３では、グリッド画像のマッピング関係を示すためのグリッドマッピングテーブルを用いて、処理対象の２次元画像をマッピング処理し、第１の画像を得る。詳細は、図２に示す実施例のステップＳ２３を参照し、ここで説明を省略する。

ステップＳ３４では、第１の画像をミラーリングして第２の画像を得、ここで、第１の画像は、左眼画像であり、第２の画像は、右眼画像であり、又は、第１の画像は、右眼画像であり、第２の画像は、左眼画像である。詳細は、図２に示す実施例のステップＳ２４を参照し、ここで説明を省略する。

ステップＳ３５では、第１の画像と第２との画像を合成して、第１の画像と第２の画像とのゴーストを得る。

画像処理装置は、映像処理後に形成される左眼画像と右眼画像との間の距離を調整して輻輳角を作り出す。本願の発明者は、複数の実験を行った結果、画像の間の距離が変化すると、それに対応する輻輳角が変化することを見出した。例えば、図６に示すように、輻輳角と左右眼の画像との間の距離との関係を説明し、図６のａ）に示すように、輻輳角がα₁である場合には、左右眼の間の距離が小さく、図６のｂ）に示すように、輻輳角がα₂である場合、左右眼の間の距離が大きく、即ち、左右眼の距離が変化すると、それに応じて輻輳角も変化する。そこで、本発明では、左右眼の画像の間の距離を調整することで、輻輳角を作り出す。即ち、左眼画像と右眼画像との間の距離を調整することで、２枚の画像にゴーストが発生する。

具体的には、ステップＳ３５１と、ステップＳ３５２とを含む。

ステップＳ３５１では、第１の画像と第２の画像との一側辺を整列させる。

このうち、第１の画像の側辺の中心点は、第２の画像の側辺の中心点と一致する。

画像処理装置は、第１の画像及び第２の画像の側辺に沿って整列し、且つ第１の画像及び第２の画像にそれぞれ対応し、整列された側辺の中心点が一致する。

ステップＳ３５２では、第１の画像又は第２の画像を側辺の中点線に沿って平行に移動させてゴーストを得る。

画像処理装置は、第１の画像及び第２の画像が整列される側辺の中心線に沿って第１の画像又は第２の画像を平行に移動させる。第１の画像又は第２の画像のうちのいずれか１つを平行に移動させるか、第１の画像及び第２の画像をそれぞれ反対方向に移動させて第１の画像と第２の画像のゴーストを形成することができる。

本実施例では、図２に示す実施例の画像処理方法と比較して、第１の画像又は第２の画像を平行に移動させることで、左眼画像と右眼画像との間に所定の距離を持たせて輻輳角を作り出す。そして、本発明の３次元結像システムにおける画像表示機器は、両眼視差画像と輻輳角とを組み合わせることで、３Ｄ画像を形成することができる。

図７に示すように、本発明の実施例にてさらに提供される画像処理装置は、
処理対象の２次元画像を取得するための取得モジュール４１と、
処理対象の２次元画像を、前記処理対象の２次元画像のグリッド分割のためのグリッドテンプレートに整列させるための整列モジュール４２と、
グリッド画像のマッピング関係を示すためのグリッドマッピングテーブルを用いて処理対象の２次元画像をマッピング処理して第１の画像を得るためのマッピングモジュール４３と、
第１の画像をミラーリングして第２の画像を得るためのミラーリングモジュール４４と、
第１の画像と前記第２の画像を合成して第１の画像と第２の画像のゴーストを得るための合成モジュール４５と、を含む。

本発明の実施例にて提供される画像処理装置は、グリッドテンプレート及びグリッドマッピングテーブルを用いて、処理対象の２次元画像をマッピング処理し、人間の眼で取得した左眼画像及び右眼画像を模擬し、即ち、本方法は、同一の処理対象の２次元画像に対して１回のマッピング処理を行えば、左眼画像と右眼画像を得ることができ、画像処理のステップが削減されて画像処理時間が短縮され、ゴーストした２次元画像を３次元画像に変換する後続のリアルタイム性に条件を提供する。

本実施例のいくつかの好ましい実施形態では、図８に示すように、マッピングモジュール４３は、
前記グリッドテンプレートを用いて前記処理対象の２次元画像を分割して、複数の処理対象のグリッド画像を形成するための分割ユニット４３１と、
前記処理対象のグリッド画像の番号を取得するための取得ユニット４３２と、
前記グリッドマッピングテーブルを検索して、前記番号に対応する前記グリッド画像の情報を抽出するための検索ユニット４３３と、
抽出された前記グリッド画像の情報を用いて、前記処理対象のグリッド画像を処理するための処理ユニット４３４と、
処理された前記処理対象のグリッド画像を組み合わせて、前記第１の画像を得るための組み合わせユニット４３５と、を含む。

本発明の実施例にてさらに提供される画像処理機器は、図９に示すように、プロセッサ５１とメモリ５２とを含み、ここで、プロセッサ５１とメモリ５２は、バス又は他の方式で接続されてもよく、図９では、バスを介して接続されることを例とする。

プロセッサ５１は、中央処理器（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＣＰＵ）であってもよい。プロセッサ５１は、他の汎用プロセッサ、デジタル信号プロセッサ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ、ＤＳＰ）、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ、ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ、ＦＰＧＡ）又は他のプログラマブル論理デバイス、ディスクリートゲート又はトランジスタ論理デバイス、ディスクリートハードウェア構成要素などのチップ、又は上記の種々のチップの組み合わせであってもよい。

メモリ５２は、本発明の実施例に係る画像処理方法に対応するプログラム命令／モジュール（例えば、図７に示す取得モジュール４１、整列モジュール４２、マッピングモジュール４３、ミラーリングモジュール４４及び合成モジュール４５）のような、非一時的なソフトウェアプログラム、非一時的なコンピュータ実行可能なプログラム、及びモジュールを記憶するための非一時的なコンピュータ読み取り可能な記憶媒体である。プロセッサ５１は、メモリ５２に記憶された非一時的なソフトウェアプログラム、命令及びモジュールを実行することで、プロセッサの各種の機能アプリケーションやデータ処理を実行し、上記の方法の実施例における画像処理方法を実現する。

メモリ５２は、オペレーティングシステム、少なくとも１つの機能に必要なアプリケーションを記憶可能な記憶プログラム領域と、プロセッサ５１によって作成されたデータなどを記憶可能な記憶データ領域とを含んでもよい。さらに、メモリ５２は、高速ランダムアクセスメモリを含んでもよく、また、少なくとも１つのディスク記憶デバイス、フラッシュメモリデバイス、又は他の非一時的な固体記憶デバイスなどの非一時的なメモリを含んでもよい。いくつかの実施例では、メモリ５２は、プロセッサ５１に対して遠隔に配置されたメモリを選択することができ、これらの遠隔のメモリは、ネットワークを介してプロセッサ５１に接続される。上記のネットワークの例としては、インターネット、イントラネット、ローカルエリアネットワーク、移動通信ネットワーク、及びそれらの組み合わせが挙げられるが、これらに限定されない。

上記の１つ以上のモジュールは、前記メモリ５２に記憶され、前記プロセッサ５１によって実行されると、図１、図２、及び図５に示す実施例における画像処理方法を実行することができる。

上記の画像処理機器の具体的な細部は、図１、図２及び図５に示す実施例に対応する関連説明及び効果に対応することができるので、ここで説明を省略する。

本発明の実施例にて提供される３次元結像システムは、図１０に示すように、画像採集機器６１と、画像処理機器６２と、画像表示機器６３とを含む。

このうち、画像採集機器６１では、画像を採集するためのレンズは、シングルレンズで構成され、処理対象の２次元画像を取得するためのものである。画像処理機器６２は、画像採集機器６１に電気的に接続され、画像採集機器６１から出力された処理対象の２次元画像を処理するためのものである。画像表示機器６３は、画像処理機器６２に電気的に接続され、画像処理機器６２から出力された画像を表示するためのものである。

本発明の実施例にて提供される３次元結像システムは、画像採集機器６１のレンズがシングルレンズで構成されて、画像採集機器６１全体の体積を減少させ、また、シングルレンズの画像採集機器は、採集された画像を伝送するためのデータ線が１本だけでよいため、画像採集機器６１と画像処理機器６２とを結ぶ線の内径を小さくすることができ、この３次元結像システムをサイズの小さい物体内部、例えば、人体器官内に適用して、人体器官を３次元的に結像することができ、３次元結像システムの使用範囲をさらに拡大することができる。

当業者であれば、上記の実施例の方法を実現するための流れの全部又は一部が、コンピュータ読み取り可能な記憶媒体に記憶されたコンピュータプログラムによって関連するハードウェアに命令することによって実現され、このプログラムが実行されると、上記の各方法の実施例の流れを含んでもよいことを理解することができる。ここで、前記記憶媒体は、磁気ディスク、光ディスク、リードオンリーメモリ（Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭ）、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ）、フラッシュメモリ（Ｆｌａｓｈ Ｍｅｍｏｒｙ）、ハードディスク（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ、略語：ＨＤＤ）又はソリッドステートドライブ（Ｓｏｌｉｄ−Ｓｔａｔｅ Ｄｒｉｖｅ、ＳＳＤ）などであってもよく、前記記憶媒体は、上記の種類のメモリの組み合わせを含んでもよい。

本発明の実施例を図面に基づいて説明したが、当業者であれば、本発明の趣旨及び範囲を逸脱する限り、様々な修正及び変形を行うことができ、そのような修正及び変形は、いずれも添付の特許請求の範囲によって定義される範囲内に含まれる。

Claims (10)

1. 処理対象の２次元画像を取得するステップと、
   前記処理対象の２次元画像を、前記処理対象の２次元画像のグリッド分割のためのグリッドテンプレートに整列させるステップと、
   グリッド画像のマッピング関係を示すためのグリッドマッピングテーブルを用いて前記処理対象の２次元画像をマッピング処理して第１の画像を得るステップと、
   前記第１の画像をミラーリングして第２の画像を得るステップと、
   前記第１の画像と前記第２の画像とを合成して前記第１の画像と前記第２の画像とのゴーストを得るステップと、を含み、
   前記第１の画像は、左眼画像であり、前記第２の画像は、右眼画像であり、又は、
   前記第１の画像は、前記右眼画像であり、前記第２の画像は、前記左眼画像であることを特徴とする画像処理方法。
2. 前記グリッドマッピングテーブルは、前記グリッドテンプレートにおける各グリッドの番号を含み、前記番号に対応して、前記グリッドマッピングテーブルには、マッピングされた前記グリッド画像の情報が記憶されることを特徴とする請求項１に記載の方法。
3. 上記のグリッドマッピングテーブルを用いて前記処理対象の２次元画像をマッピング処理して第１の画像を得るステップは、
   前記グリッドテンプレートを用いて前記処理対象の２次元画像を分割して、複数の処理対象のグリッド画像を形成するステップと、
   前記処理対象のグリッド画像の番号を取得するステップと、
   前記グリッドマッピングテーブルを検索して、前記番号に対応する前記グリッド画像の情報を抽出するステップと、
   抽出された前記グリッド画像の情報を用いて、前記処理対象のグリッド画像を処理するステップと、
   処理された前記処理対象のグリッド画像を組み合わせて前記第１の画像を得るステップと、を含むことを特徴とする請求項２に記載の方法。
4. 前記グリッド画像の情報は、前記グリッド画像のサイズであり、
   上記の抽出された前記グリッド画像の情報を用いて、前記処理対象のグリッド画像を処理するステップは、
   抽出された前記グリッド画像のサイズに応じて、前記処理対象のグリッド画像に対してスケーリング処理を行うステップを含むことを特徴とする請求項３に記載の方法。
5. 上記の前記第１の画像と前記第２の画像とを合成して前記第１の画像と前記第２の画像とのゴーストを得るステップは、
   前記第１の画像の側辺の中心点が前記第２の画像の側辺の中心点と一致するように、前記第１の画像と前記第２の画像との一側辺を整列させるステップと、
   前記第１の画像又は第２の画像を前記側辺の中心線に沿って平行に移動させて前記ゴーストを得るステップとを含むことを特徴とする請求項１に記載の方法。
6. 前記処理対象の２次元画像は、ビデオストリームにおける１フレームの画像であることを特徴とする請求項１に記載の方法。
7. 処理対象の２次元画像を取得するための取得モジュールと、
   前記処理対象の２次元画像を、前記処理対象の２次元画像のグリッド分割のためのグリッドテンプレートに整列させるための整列モジュールと、
   グリッド画像のマッピング関係を示すためのグリッドマッピングテーブルを用いて前記処理対象の２次元画像をマッピング処理して第１の画像を得るためのマッピングモジュールと、
   前記第１の画像をミラーリングして第２の画像を得るためのミラーリングモジュールと、
   前記第１の画像と前記第２の画像とを合成して前記第１の画像と前記第２の画像とのゴーストを得るための合成モジュールと、を含むことを特徴とする画像処理装置。
8. メモリとプロセッサとを含み、前記メモリと前記プロセッサとは、互いに通信接続され、前記メモリにはコンピュータ命令が記憶され、前記プロセッサは、前記コンピュータ命令を実行することで、請求項１〜６のいずれか１項に記載の画像処理方法を実行することを特徴とする画像処理機器。
9. 請求項１〜６のいずれか１項に記載の画像処理方法をコンピュータに実行させるためのコンピュータ命令を記憶することを特徴とするコンピュータ読み取り可能な記憶媒体。
10. 画像を採集するためのレンズがシングルレンズで構成され、処理対象の２次元画像を取得するための画像採集機器と、
    前記画像採集機器に電気的に接続され、前記処理対象の２次元画像を処理するための請求項８に記載の画像処理機器と、
    前記画像処理機器に電気的に接続され、３次元画像を表示するための画像表示機器と、を含むことを特徴とする３次元結像システム。

Images