JP2009529824A

JP2009529824A - ３次元映像獲得用ｃｍｏｓステレオカメラ

Info

Publication number: JP2009529824A
Application number: JP2008558177A
Authority: JP
Inventors: リー・ビョンス; ウォン・ジュンホ
Original assignee: Siliconfile Technologies Inc
Current assignee: SK Hynix System IC Inc
Priority date: 2006-03-09
Filing date: 2007-02-07
Publication date: 2009-08-20
Also published as: CN101401443A; KR20070092890A; EP1992173A1; US20090058993A1; KR100762098B1; WO2007102659A1

Abstract

本発明は、単一の半導体基板上に同じ特性を持つ２つのＣＭＯＳイメージセンサが配置された３次元映像獲得用ＣＭＯＳステレオカメラに関し、(a)同じ半導体基板上に２つのＣＭＯＳイメージセンサが配置されることによって、各ＣＭＯＳイメージセンサが、同じ平面上に位置する像平面を有し、(b)各ＣＭＯＳイメージセンサ間に３次元映像の処理のためのＤＳＰ(Digital Signal Processor)が配置され、(c)各ＣＭＯＳイメージセンサの光軸が、互いに平行であり、像平面に垂直であり、(d)ＣＭＯＳイメージセンサ上に形成される光学素子が、同じ工程を経て製作できるので、各ＣＭＯＳイメージセンサ間の光軸の偏差などを最小化できる。これにより３次元物体の距離と高さを簡単に計算でき、同じチップに設置されたＤＳＰによって高速の３次元映像処理が可能である。

Description

本発明は、３次元映像獲得用カメラに関し、より詳細には、少なくとも２つのＣＭＯＳイメージセンサを使用して得られた映像から３次元情報を容易に得ることのできる、３次元映像獲得用ＣＭＯＳステレオカメラに関する。

物体の３次元情報を得る従来の方法は、左眼と右眼との視差である両眼視差を使用する方法と、３次元物体の各点までの距離を測定する方法と、がある。

両眼視差を使用する方法は、互いに平行に配列された２つのイメージセンサを使用するものである。２つのイメージセンサは、３次元物体を異なる方向から見るようになるので、２つのイメージセンサで得られた映像は、互いに異なっている。したがって、２つの映像において同じ点を探し、左側映像と右側映像との変位を比較することによって、距離に対する情報を得ることができる。

この方法は、２つのイメージセンサを使用するので、比較的簡単な装置で行われる。しかし、得られた２つの映像から同じ点を探すのは、多くの画像処理を要するので、多量の計算が必要になる。

これに比べて、３次元物体の各点までの距離を測定する方法は、３次元物体の全ての点の距離情報が正確に測定される。しかし、複雑な装置を必要とし、また、測定速度が遅い。

より一般的な方法は、レーザポインタを使用して、３次元物体に網模様の格子パターンを有するレーザビームを照射し、互いに平行に配列されたカメラを使用して、左側映像および右側映像を得て、距離を測定する方法である。

このような方法は、２つの映像から同じ点を探す方法が比較的容易である。しかし、２台のカメラ以外に、格子パターンを有するレーザビームを放射するポインタなどを必要とし、一般的な野外の環境などでは使用できない。

図１は、左側映像と右側映像とを比較して、３次元情報が得られる従来の例１００を示す。

図１を参照して、３次元空間上の点（Ａ）は、左眼レンズ１１０を介して、左側映像１１５上の点（Ａ’）に位置するようになり、右眼レンズ１２０を介して、右側映像１２５上の点（Ａ”）に位置するようになる。したがって、２つの映像１１５、１２５を比較すると、その点（Ａ）の深さ情報を得ることができる。

ところが、上記のような方式では、２つの映像１１５、１２５を比較して同じ点を探すには、複雑な計算が必要である。大部分の場合は、映像のエッジを抽出して、このエッジが同じ点であると仮定することによって深さ情報を得ている。このような画像処理や同じ点の判断処理などは、複雑で、また、多くの不確実性を持つ。したがって、この不確実性を補正するために、多くの処理を必要とする。

図２は、３次元情報の抽出フローの従来の例２００を示す。

図２を参照して、水平に配置された２つのカメラ２１０、２２０で得られた映像は、シリアル通信あるいはパラレル通信２０１によって各々のイメージバッファ２１５、２２５に格納される。イメージバッファ２１５、２２５に格納された各々の映像は、ＤＳＰ(Digital Signal Processor: デジタル信号プロセッサ)２３０に転送される。そして、３次元情報２４０は、ＤＳＰ２３０において各映像を比較して同じ点を探し、深さ情報を計算することによって得られる。

しかしながら、図２に示した従来の３次元情報抽出方式は、イメージバッファ２１５、２２５が必要であり、また、シリアル通信あるいはパラレル通信２０１を使用することによって生じ得るトラフィック(traffic)に起因して、処理速度の遅延が発生することがある。

本発明の目的は、３次元映像情報を簡単に計算し、処理速度が速く、小型の３次元映像獲得用ＣＭＯＳステレオカメラを提供することである。

本発明の一態様によれば、３次元映像獲得用ステレオカメラは、点光源からの光を同じ平面で受ける左眼レンズ及び右眼レンズと、前記左眼及び右眼レンズの下方に位置し、単一の基板上に配置された左側ＣＭＯＳイメージセンサ及び右側ＣＭＯＳイメージセンサと、前記左側及び右側ＣＭＯＳイメージセンサ間に形成され、前記左側及び右側ＣＭＯＳイメージセンサからデータバスを介して映像を受け取って、前記点光源の３次元情報を抽出するデジタル信号プロセッサ（ＤＳＰ）と、を備える。

本発明の他の態様によれば、３次元映像獲得用ステレオカメラは、点光源からの光を同じ平面で光を受ける少なくとも３つのレンズと、前記少なくとも３つのレンズの下方に位置し、単一の基板上に配置された少なくとも３つのＣＭＯＳイメージセンサと、前記少なくとも３つのＣＭＯＳイメージセンサ間に形成され、前記少なくとも３つのＣＭＯＳイメージセンサからデータバスを介して映像を受け取って、前記点光源の３次元情報を抽出するデジタル信号プロセッサ（ＤＳＰ）と、を備える。

図３は、本発明の一実施形態に係る３次元映像獲得用ＣＭＯＳステレオカメラの断面図及び平面図を示す。

図３を参照して、本発明の一実施形態に係る３次元映像獲得用ステレオカメラ３００は、２つのレンズ３１０、３２０と、２つのＣＭＯＳイメージセンサ３１５、３２５と、ＤＳＰ(Digital Signal Processor: デジタル信号プロセッサ)３３０と、を備える。ここで、ＣＭＯＳイメージセンサ３１５、３２５及びＤＳＰ３３０は、単一の基板に配置されている。また、ＣＭＯＳイメージセンサの光軸は、互いに平行であり、像平面に対して垂直である。

ＣＭＯＳイメージセンサ３１５、３２５は、基板上に互いに離れて配置される。また、ＣＭＯＳイメージセンサ３１５、３２５は、各々の中心間の距離がｄになるように配置される。便宜上、図３において、左側にあるＣＭＯＳイメージセンサ３１５を左側ＣＭＯＳイメージセンサとし、右側にあるＣＭＯＳイメージセンサ３２５を右側ＣＭＯＳイメージセンサという。

ＤＳＰ３３０は、ＣＭＯＳイメージセンサ３１５、３２５から得られた映像から３次元情報を抽出するために配置される。空間活用の点で、ＤＳＰ３３０は、ＣＭＯＳイメージセンサ３１５、３２５間に配置することが望ましい。

ＣＭＯＳイメージセンサ３１５、３２５から垂直方向に距離ｈだけ離れている所には、各ＣＭＯＳイメージセンサ３１５、３２５に対応するレンズ３１０、３２０が配置される。すなわち、ＣＭＯＳイメージセンサ３１５、３２５の各々により形成される像平面は、レンズ３１０、３２０の平面から距離ｈだけ離れている。

図４は、図３に示した３次元映像獲得用ＣＭＯＳステレオカメラ３００において、空間内の一点がＣＭＯＳイメージセンサに結像される２つの結像点の幾何学的な関係４００を示す。

図４において、Ｗ１は、左眼レンズ３１０及び右眼レンズ３２０の平面から点光源４１０までの垂直高さを意味する。Ｗ２は、左側ＣＭＯＳイメージセンサ３１５及び右側ＣＭＯＳイメージセンサ３２５間の中心に垂直な軸から点光源４１０までの水平距離を意味する。そして、Ｗ３は、ＣＭＯＳイメージセンサ３１５、３２５の中心に垂直な軸から点光源４１０までの水平距離を意味する。

ＣＭＯＳイメージセンサ３１５、３２５の中心間の水平距離ｄと、イメージセンサとレンズとの間の垂直距離ｈとは、測定される深さ情報の分解能に関係する値である。高さｈに対する距離ｄの値が大きいほど、深さ情報の分解能は大きくなるが、遠い距離の物体の深さの区分が難しくなる。反面、高さｈに対する距離ｄの値が小さいほど、深さ情報の分解能が小さくなるが、遠い距離の物体の深さの区分が可能になる。

Ｘ−Ｙ平面上に位置した点光源４１０から出発した光は、一つのレンズ３１０を介して、これに対応する左側ＣＭＯＳイメージセンサ３１５に投影され、また、他の一つのレンズ３２０を介して、これに対応する右側ＣＭＯＳイメージセンサ３２５に投影される。

したがって、各レンズ３１０、３２０から点光源４１０までの距離に応じて、左側ＣＭＯＳイメージセンサ３１５の中心と左側結像点との間の変位（ｔ２）および、右側ＣＭＯＳイメージセンサ３２５の中心と右側結像点との間の変位（ｔ３）が変化する。従って、各変位（ｔ２、ｔ３）から点光源４１０の深さ情報を求めることができる。

図４を参照して、３次元空間内の一点の深さ情報は、以下のように求めることができる（但し、図４の例では、ｔ２＜ｔ３を仮定）。

これから、Ｗ１、Ｗ２、Ｗ３の値を求めることができる。

このような配置の特徴は、Ｙ軸に投影された点４１０の高さによる結像点の変位（ｔ１）がＣＭＯＳイメージセンサ３１５、３２５に対して常に一致するということである。このような特徴は、物体の３次元情報を抽出するのに必要な計算を簡単にする。

図５は、本発明での３次元情報抽出の一例５００を示したもので、イメージセンサ上で同じｔ１値を持つ空間内の任意の線の深さ情報、Ｗ１を求める方式を示す。空間内の点光源から出発した光は、左側像平面５１０上の一点５１５に位置するようになり、右側像平面５２０上の一点５２５に位置するようになる。また、点５１５、５２０の像平面上の高さ（ｔ１）は、同一である。

したがって、上述した（数１）及び（数２）を用いて、結像点の値ｔ１、ｔ２、ｔ３から対応する空間内の値Ｗ１、Ｗ２、Ｗ３を求めることができる。したがって、各イメージセンサから得られる映像で特定のｔ１値を持つ２つのラインを互いに比較して同じ点を探す方式により、３次元の情報を得ることができる。

したがって、３次元深さ情報を得るのに使用される左眼と右眼の全体イメージを比較して同じ点を探す従来の方式に比べて、計算量が大幅に減少し、不確実性も比較的少なくなる。また、本例で含まれる深さの不確実性は、隣接した他の点の深さ情報から容易に補正できる。

図６は、図３に示した３次元映像獲得用ＣＭＯＳステレオカメラ３００での３次元情報の抽出フローの一例６００を示す。

図６を参照して、ＣＭＯＳイメージセンサ３１５、３２５は、データバス６１０を介して３次元情報を抽出するＤＳＰ３３０と接続され、ＤＳＰ３３０から３次元情報６２０を抽出するようになる。したがって、従来のようなイメージバッファ（図２の２１５、２２５）が不要であり、シリアル通信あるいはパラレル通信（図２の２０１）を使用することによって生じ得るトラフィック(traffic)に起因した処理速度の遅延がない。

また、ＣＭＯＳイメージセンサ３１５、３２５での映像情報は、外挿(interpolation)等のために幾つかのライン単位に処理される。例えば、ＶＧＡの場合、映像のサイズは、６４０×４８０の画素からなり、外挿処理などの画像処理は、６４０個のデータを持つ幾つかのラインを使用して実行される。

通常、画像処理は５〜８本のラインを使用して行われるので、任意の軸に対して２つのＣＭＯＳイメージセンサ３１５、３２５の結像点の変位（ｔ１）が同じである、左側ＣＭＯＳイメージセンサ３１５の幾つかのラインデータおよび右側ＣＭＯＳイメージセンサ３２５の幾つかのラインデータを使用することによって、ＤＳＰ３３０から１ラインの３次元情報を抽出する方式を使用できる。従って、該データは、時間遅延無しで直ちに処理されるため、画像処理速度が速くなる。

すなわち、左側ＣＭＯＳイメージセンサ３１５と右側ＣＭＯＳイメージセンサ３２５とで同じ結像点を持つ幾つかのラインのデータを用いて同じ点を探し、深さ情報を求める方法を使用することによって、左側映像および右側映像全体を用いて同じ点を探す方式に比べて、３次元情報の抽出が比較的容易になる。

以上では、２つのレンズと、単一の基板に形成された２つのＣＭＯＳイメージセンサとを含む例を説明したが、レンズの数が３個以上であり、該レンズに対応するＣＭＯＳイメージセンサが３個以上、単一の基板に形成された例であっても、同様な結果を得ることができる。

上述のように、本発明に係る３次元映像獲得用ＣＭＯＳステレオカメラは、少なくとも２つのＣＭＯＳイメージセンサを単一の基板の同じ平面に配置し、該少なくとも２つのＣＭＯＳイメージセンサ間に３次元情報抽出のためのＤＳＰを配置することによって、小型化が可能である。また、ＣＭＯＳステレオカメラは、ライン単位で３次元情報を抽出することによって、３次元情報を比較的簡単に計算でき、処理速度が速くなる。

また、本発明に係る３次元映像獲得用ＣＭＯＳステレオカメラは、別途のイメージバッファなどの付加装置が不要になり、低価格の３次元イメージセンサを実現できる。

３次元情報抽出の従来の例を示す。３次元情報の抽出フローの従来の例を示す。本発明の一実施形態に係る３次元映像獲得用ＣＭＯＳステレオカメラの断面図及び平面図を示す。図３に示したステレオカメラを用いて空間内の一点が像平面に結像される結像点の幾何学的な関係を示す。図３に示したステレオカメラにおいて点光源の左側映像及び右側映像を示す。図３に示したステレオカメラでの３次元情報の抽出フローを示す。

符号の説明

２１５、２２５イメージバッファ
３１０、３２０レンズ
３１５、３２５ＣＭＯＳイメージセンサ
３３０ＤＳＰ
４１０点光源

Claims

３次元映像を獲得するためのＣＭＯＳステレオカメラであって、
点光源からの光を同じ平面で受ける左眼レンズ及び右眼レンズと、
前記左眼及び右眼レンズの下方に位置し、単一の基板上に配置された左側ＣＭＯＳイメージセンサ及び右側ＣＭＯＳイメージセンサと、
前記左側及び右側ＣＭＯＳイメージセンサ間に形成され、前記左側及び右側ＣＭＯＳイメージセンサからデータバスを介して映像を受け取って、前記点光源の３次元情報を抽出するデジタル信号プロセッサ（ＤＳＰ）と、を備えることを特徴とするＣＭＯＳステレオカメラ。
前記３次元情報は、前記点光源から出発した光が、前記左眼レンズ及び前記右眼レンズを通って、前記左側ＣＭＯＳイメージセンサ及び右側ＣＭＯＳイメージセンサに結像される結像点の各々の変位から、前記点光源の高さ情報を計算することによって、得られることを特徴とする請求項１に記載のＣＭＯＳステレオカメラ。
前記３次元情報は、前記左側ＣＭＯＳイメージセンサ及び右側ＣＭＯＳイメージセンサのライン単位で抽出されることを特徴とする請求項１に記載のＣＭＯＳステレオカメラ。
前記３次元情報は、任意の軸に対して、前記左側及び右側ＣＭＯＳイメージセンサの各々の結像点の変位が同じである複数個のラインを使用して抽出されることを特徴とする請求項３に記載のＣＭＯＳステレオカメラ。
前記複数個のラインは、５本〜８本であることを特徴とする請求項４に記載のＣＭＯＳステレオカメラ。
３次元映像を獲得するためのＣＭＯＳステレオカメラであって、
点光源からの光を同じ平面で光を受ける少なくとも３つのレンズと、
前記少なくとも３つのレンズの下方に位置し、単一の基板上に配置された少なくとも３つのＣＭＯＳイメージセンサと、
前記少なくとも３つのＣＭＯＳイメージセンサ間に形成され、前記少なくとも３つのＣＭＯＳイメージセンサからデータバスを介して映像を受け取って、前記点光源の３次元情報を抽出するデジタル信号プロセッサ（ＤＳＰ）と、を備えることを特徴とするＣＭＯＳステレオカメラ。
前記３次元情報は、前記点光源から出発した光が、前記少なくとも３つのレンズを通って、前記少なくとも３つのＣＭＯＳイメージセンサに結像される結像点の各々の変位から、前記点光源の高さ情報を計算することによって、得られることを特徴とする請求項６に記載のＣＭＯＳステレオカメラ。
前記３次元情報は、前記少なくとも３つのＣＭＯＳイメージセンサのライン単位で抽出されることを特徴とする請求項６に記載のＣＭＯＳステレオカメラ。
前記３次元情報は、任意の軸に対して、前記少なくとも３つのＣＭＯＳイメージセンサの各々の結像点の変位が同じである複数個のラインを使用して抽出されることを特徴とする、請求項８に記載のＣＭＯＳステレオカメラ。
前記複数個のラインは、５本〜８本であることを特徴とする請求項９に記載のＣＭＯＳステレオカメラ。