JP2008233081A - 視空間点認知の方法 - Google Patents
視空間点認知の方法 Download PDFInfo
- Publication number
- JP2008233081A JP2008233081A JP2008065232A JP2008065232A JP2008233081A JP 2008233081 A JP2008233081 A JP 2008233081A JP 2008065232 A JP2008065232 A JP 2008065232A JP 2008065232 A JP2008065232 A JP 2008065232A JP 2008233081 A JP2008233081 A JP 2008233081A
- Authority
- JP
- Japan
- Prior art keywords
- new
- viewpoint
- point
- signal
- signals
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Studio Devices (AREA)
- Processing Or Creating Images (AREA)
Abstract
【解決手段】 視空間点認知の方法であって、人の眼の空間認知に対する視差原理に基づき、点光源及び視空間点認知装置の利用を通して、該点光源の物点座標、及び該視空間点認知装置の視点座標を測量することができ、こうして視空間点光源位置認知の目的を達成する。また、該視空間点認知装置は視点移動の能力を備え、視点の移動により視点座標と物点座標を重合させることができ、物点自動追跡の目的を達成する。同時に、該視空間点認知装置は外部新視点の座標を受け入れることができ、これにより視点の位置を再設定し、視点リセットの目的を達成する。
【選択図】 図19
Description
一般的な2D光学レンズは、球面レンズ1により構成し、傍軸点光源の物点oに対して、2D光学レンズ1の作用を経由後、その写像の特徴は点状の像点ixyで、その写像位置の関係は式(1)の幾何光学の法則に従う。
図2は、1D光学レンズ写像の指示図である。
一般的な1D光学レンズは半円柱状のレンズ2、3により構成し、その写像の原理は幾何光学の理論に従うが、1Dの写像能力のみを備える。よって、傍軸点光源の物点oに対して、1D縦方向フォーカス光学レンズ2の作用を経れば、その写像の特徴は横線状の横像線iyとなり、1D横方向フォーカス光学レンズ3の作用を経れば、その写像の特徴は縦線状の縦像線ixとなる。その空間位置の関係もまた式(1)幾何光学の法則に従う。
図3は、一般光学撮影機構成の指示図である。
該撮影機5は一般の光学カメラ、デジタルカメラ、ビデオカメラとすることができ、主に調整可能絞り6、焦点変更可能レンズ組7、像感知記録装置8により構成する。物点o1に対して、該焦点変更可能レンズ組7の焦点距離fを適当に調整後、像点i1を得て、該像記録装置8の上に写像可能である。一般に、物点の物点距離lo≫fは、liはほぼ等しくfの関係にある。また、距離が異なる物点o2に対しては、該焦点変更可能レンズ組7の作用を通して、別の像点i2を得ることができ、該調整可能絞り6の大きさを適当に調整することで、該像記録装置8の上に別の近似像点i2 `を写像可能である。
ヒト眼球10は一部の光学撮影機に類似しており、主に虹彩11、水晶体13、視網膜15により構成する。光学撮影機と対比させれば、虹彩11の機能は瞳孔12の大きさの調整であるため調整可能な絞りと見なすこともでき、水晶体13の機能はレンズで、毛様体筋14の運動は水晶体13の湾曲率(すなわち焦点距離)を改変することができるため、焦点変更可能なレンズと見なすこともできる。視網膜15は影像感知装置とも言え、それが取得した影像を視神経16を通して大脳に伝達し、大脳により影像処理、保存、及び空間認知を行う。一般的に、眼球10の視線は視軸17とも呼ばれ、それはすなわち眼球光学システムの光軸である。眼球の上下、左右転動を通して、視軸17の方向を一定限度内で変更することができる。また、頸部の左右、上下転動を通して、視軸17の方向を大きく変更することができる。
図5は視空間構成の指示図である。
左右眼21、22にとっては、視空間は該左右眼21、22が存在し及び見ている空間である。先ず、ワールド座標系O(X,Y,Z)を定義し、
Sは立体ステレオベース(Stereo Base)と定義し、OHはステレオベース中心点と定義し、Hの長度は頸椎の高度と見なすことができる(図9、図10参照)。
図5に示すように、別に左眼座標系OL(XL,YL,ZL)上の(0,0,f)において、点FLを左眼水晶体の中心位置と定義する。該座標系OL(XL,YL,ZL)のZL軸はYL軸に対して角度の回転を行い、XL軸に対して角度ψLの回転を行う(図7参照)。よって、θL、ψLの角度は左眼球の左右(すなわち、水平)、上下(すなわち、垂直)の回転運動角度に類似すると言える(図9と図10参照)。左眼座標系OL(XL,YL,ZL)は視網膜上に設定されるため、よって、座標原点付近に分布する視網膜はXL−YL平面上に分布すると見なすことができ、よってXL−YL面を左像平面と定義する。
図5に示すように、別に右眼座標系OR(XR,YR,ZR)上の(0,0,f)位置において、点FRを右眼水晶体の中心位置と定義する。該座標系OR(XR,YR,ZR)のZR軸はYR軸に対して角度θRの回転を行い、XR軸に対して角度ψRの回転を行う(図8参照)。よって、θR、ψRの角度は右眼球の左右(すなわち、水平)、上下(すなわち、垂直)の回転運動角度に類似したものと見なすことができる(図9と図10参照)。右眼座標系OR(XR,YR,ZR)は視網膜上に設定するため、座標原点付近に分布する視網膜はXR−YR平面上に分布すると見なすことができる。よって、XR−YR面を右像平面と定義する。
図11は両眼が実際に凝視する時の視点、物点と各座標係の幾何指示図である。
両眼が前方を凝視する時、両眼の視線は一点において交差し、すなわちそれが視点である。またZL軸とZR軸はそれぞれ左右眼21、22の視軸で、該両視軸は一点において交差しなければならない。該交点が視点Vである。ワールド座標系O(X,Y,Z)上において、該視点Vの座標は(XV,YV,ZV)である。また、視点Vの付近には物点Pが存在し、ワールド座標系O(X,Y,Z)上において、該物点Pの座標は(XP,YP,ZP)である。また、該物点Pは左眼視網膜OL(XL,YL,ZL)座標系上において、写像する点ILの位置はIL(xL,yL,0)である。該物点は右眼視網膜OR(XR,YR,ZR)座標系上において、写像する点IRの位置はIR(xR,yR,0)である。一般的に、左右両眼視軸の角度(θL,θR,ψL,ψR,Θ,Φ)を適当に調整することにより、視点Vと物点Pを重合させ、目標物を追跡注視する目的を達成することができる。
以下に図、符号の巻明及び発明の詳細な説明を用い、本発明について記述する。
以下に先ず視差理論の計算方法を説明後、次に実際の実施例の説明を行う。
図15は既知の視軸パラメーターにおける各座標系、視点、物点、像点等幾何関係の指示図である。また、視差の理論に基づき、視軸パラメーター(θL,θR,ψ,Θ,Φ,S,f)、及び左右眼の像点座標IL(xL,yL,0)、IR(xR,yR,0)等既知の条件から、算出される視点V(XV,YV,ZV)、物点P(XP,YP,ZP)の座標は、これに基づき推算され、視点追跡が必要とする新視軸パラメーターを達成することができる。
1.初期状態下における各座標系の定義
図5は視空間初期状態構成の指示図である。
各座標系初期状態の幾何関係図では、θL,θR,ψ,Θ,Φ等角度回転を行う前、ワールド座標系O(X,Y,Z)にとっては、頸部座標系をON(XN,YN,ZN)と設定し、左眼座標系をOL(XL,YL,ZL)と設定し、及び右眼座標系をOR(XR,YR,ZR)と設定し、しかも各座標系の原点位置を以下のように定義する。
図12は頸部座標系がON(XN,YN,ZN)で、先にYN軸に対してΘ角度回転する時、各座標系の相対幾何関係である。図13は頸部座標系がON(XN,YN,ZN)で、次にXN軸に対してΦ角度回転する時、各座標系の相対幾何関係である。Θ、Φ角度の正負値の定義は右手の回転法則に基づき定義する。
座標回転の変換と回転順序には関連があるため、先にΘ角度の回転を行った後、さらにΦ角度の回転を行う。その結果は先にΦ角度の回転を行った後にさらにΘ角度の回転を行う結果とは異なる。よって、本発明中では、左、右眼像点座標θL、θR、ψL、ψRの回転順序を含むが、その中の一種の回転順序についてだけ記述し、その他の異なる順序については、計算方式が同一であるため記述しない。
ここでは座標軸、単位ベクトルの変化を明確に描写するため、垂直軸の回転に対して、頸部座標系は+Θ角度の回転を行う。すなわち、頸部は左方へと回転する。水平軸の回転に対しては、頸部座標系は+Φ角度の回転を行い、すなわち頸部は下方へと回転する。よって、左眼座標系OL(XL,YL,ZL)、右眼座標系OR(XR,YR,ZR)のワールド座標系O(X,Y,Z)間に対する座標転換関係は以下の通りである。
図14は左、右眼座標系がθL、θR、ψ角度の回転を行う時、左、右眼座標系の幾何変化関係である。θL、θR、ψ角度の正負値は右手の回転法則に基づき定義する。座標軸、単位ベクトルの変化を明確に描写するため、垂直軸の回転に対して、左眼座標系はθL角度の回転を行い、この例θL<0は負値で、右眼座標系はθR角度の回転を行い、この例θR>0、は正値で、すなわち左右両目は前方を凝視する。また、水平軸の回転に対して、両者は共にψ角度の回転を行い、この例ψ<0は負値で、すなわち左右両目は上方を凝視する。
よって、左眼座標系OL(XL,YL,ZL)のワールド座標系O(X,Y,Z)間に対する座標転換関係は以下の通りである。
図14はワールド座標系O(X,Y,Z)に対して、左、右眼座標系OL(XL,YL,ZL)、OR(XR,YR,ZR)が視点パラメーター(θL,θR,ψ,Θ,Φ,S,)回転定位後(注、ここでの例はθL<0、θR>0、ψ<0)に、左視軸ZL““と右視軸ZR““が交わる点で、すなわち視点V(XV,YV,ZV)である。よって、視点Vの位置(XV,YV,ZV)は視点パラメーター(θL,θR,ψ,Θ,Φ,S,)により決定し、その計算は以下の通りである。
図15は、視点V(XV,YV,ZV)付近において存在する物点P(XP,YP,ZP)である。該物点が左右眼座標系上において写像する位置は左像点IL(xL,yi,0)、右像点IR(xR,yi,0)である。よって、物点Pの位置(XP,YP,ZP)は視点パラメーター(θL,θR,ψ,Θ,Φ,S,f)及び写像位置(xL,xR,yi)により決定する。その計算は以下の通りである。
式(10)、(18)の座標変換に基づき、左像点のワールド座標系上における座標を以下のように得ることができる。
また、左右水眼晶体の中心点FL、FRの左右眼座標系上の座標は共に(0,0,f)で、ワールド座標系上での座標は以下の通りである。
明確に空間を認知し、物点の遠近及び位置を判別するため、ヒトは両目の視線を絶えず移動させ、物点追跡の目的を達成しなければならない。物点追跡範囲の大きさに基づき、小角度物点追跡と大角度物点追跡に分けることができる。小角度物点追跡は視点に比較的近い物点に対して、眼球の転動を利用するだけで(θL,θR,ψ)を変化させることができるため、比較的小さな角度で視点を改変し、視点を物点の位置に移動させる。一方、大角度物点追跡は視点に比較的遠い物点に対して、頸部の転動と眼球の転動を利用し、最良の視点パラメーター(Θ,Φ,θL,θR,ψ)を再設定し、物点追跡の目的を達成するものである。通常、ヒトは無意識に眼球と頸部の角度を同時に調整しており、すなわち
(Θ,Φ,θL,θR,ψ)で、こうして視点は最も注意を向ける必要のある物点上に留まり続け、物点の遠近、位置を判別する目的を達成する。
小角度物点追跡の計算
図16は小角度物点追跡の指示図である。
前記のように、視点に比較的近い物点に対するその物点追跡の方法は、(θL,θR,ψ)眼球の角度を変えることにより、左右眼視軸の方向を転動させ、物点追跡の目的を達成する。よって、左右眼新視軸方向
(3)視点の右方への追跡(ΔθL<0しかもΔθR<0)
(θL New,θR New,ψNew,ΩNew,ΦNew,SNew)=(θL+ΔθL,θR+ΔθR,ψ+Δψ,Θ,Φ,S) (90)
図17、18は大角度物点追跡の指示図である。
前記のように、視点より遠い物点に対しては、頸部の転動と眼球の転動を通して、
(Θ,Φ,θL,θR,ψ)を改変し、物点追跡の目的を達成することができる。通常、視点より遠い物点に対するその物点追跡の方法は、先ず頸部パラメーター(Θ,Φ)を調整し、視中心線を
図19は本発明第一実施例方法構成の指示図である。
本発明視空間点認知方法100の第一実施例は主に、点光源101、及び視空間点認知装置105により構成する。
該点光源101は主動の点光源により構成し、該光源は可視光、或いは非可視光102を発散することができ、または受動の点光源で、該光源は光の反射体で、他の光源の光を反射可能である。
該視空間点認知装置105は該点光源101が発散する光102を受け取り、一組の該視空間点認知装置105の視点座標信号(XV,YV,ZV)190を出力し、及び該点光源101の物点座標信号(XP,YP,ZP) 191を出力する。また、該視空間点認知装置105は視点移動の能力を備え、視点の移動により視点座標と物点座標を重合させることができ、物点自動追跡の目的を達成する。同時に、該視空間点認知装置105は外部の新視点視空間座標信号(XV New,YV New,ZV New)192を受け取り、これにより視点の位置を再設定し、該視空間点認知装置105視点リセットの目的を達成する。
本発明第一実施例中の視空間点認知装置105は主に視差像取り込み装置110、及び視空間点演算装置170により構成する。
該視差像取り込み装置110は該点光源101が発出する光102を受け取った後、一組の視点パラメーター信号(θL,θR,ψ,Ω,Φ,S,f)150を出力可能で、及び視差信号(xL,xR,yi)を備える左、右2D影像信号158を出力可能である。また、該視差像取り込み装置110は該視空間点演算装置170が出力する一組の新視点パラメーター信号
(θL New,θR New,ψNew,ΩNew,ΦNew,SNew)153を受け取り、これに基づき該視差像取り込み装置110視点の位置を改変することができる。該視空間点演算装置170は該視点パラメーター信号 (θL,θR,ψ,Ω,Φ,S,f)150、及び視差信号(xL,xR,yi)を備える一対の左、右2D影像信号158を受け取り後、公式(58)、(59)、(60)に基づき、該視差像取り込み装置の視点座標信号(XV,YV,ZV)190を計算並びに出力することができる。別に、公式(80)、(81)、(82)に基づき、該点光源101の物点座標信号(XP,YP,ZP)191を演算し並びに出力することができる。同時に、公式(87)、(88)、(89)、(90)に基づき、一組の新視点パラメーター信号(θL New,θR New,ψNew,ΩNew,ΦNew,SNew)153を計算並びに出力可能で、小角度物点追跡の目的を達成する。別に、公式(93)、(94)、(95)、(96)に基づき、新視点パラメーター信号
(θL New,θR New,ψNew,ΩNew,ΦNew,SNew)153を計算並びに出力可能で、大角度物点追跡の目的を達成する。また、該視空間点演算装置170は外部の新視点視空間座標信号(XV New,YV New,ZV New)192を受け取り、公式(93)、(94)、(95)、(96)に基づき、但し(XV New,YV New,ZV New)を式中の (XP,YP,ZP)に入れ替え、もう一組の新視点パラメーター信号153(θL New,θR New,ψNew,ΩNew,ΦNew,SNew)を演算し、後に該信号を強制的に出力し、視点リセットの目的を達成する。
本発明第一実施例の視差像取り込み装置110は主に一対の左、右撮影機120、130、一組の視点定位機構装置140、視点読み取り装置151、視点設定装置154及び一対の左、右2D影像記憶及び出力装置157により構成する。
該左、右撮影機120、130は該視点定位機構装置140の上に装置し、該点光源101が発散する光102を受け取り後、一対の左、右2D影像信号156を個別に出力することができる。
該左、右2D影像記憶及び出力装置157は該左、右2D影像信号156を受け取り後、一対の左、右2D影像信号158を保存並びに出力することができる。
該視点定位機構装置140は多数の回転、位置移動等機械の構造で、アクチュエーター(Actuator)、及び***(Positioning Sensor)により構成し(注:構成が複雑で図示が困難で、かつ一般的に常用される公知のパーツであるため、ここでは詳述しない)、該左、右撮影機120、130を固定、積載、回転、及び移動可能で、また、視点駆動制御信号155の受信を通して、すべてのアクチュエーターを駆動することができ、該左、右撮影機120、130光軸(すなわち、視軸)方向を改変及び再設定可能で、こうして視差像取り込み装置視点位置の改変及び再設定の目的を達成することができる。該視点読み取り装置151は該視点定位機構装置140上のすべての***のデータ及び撮影機焦点距離のデータ152を読み取り可能で、視点パラメーター値に転換後、視点パラメーター信号
(θL,θR,ψ,Ω,Φ,S,f)150を出力する。また、該視点設定装置154は新視点パラメーター信号(θL New,θR New,ψNew,ΩNew,ΦNew,SNew)153を受け取り、該信号153を視点駆動制御信号155に転換後、該信号155を出力する。よって、該視点定位機構装置140は視点設定装置154が出力する新視点駆動制御信号155を受け取り、すべてのアクチュエーターの駆動を制御する目的を達成し、こうして視点改変の目的を達成する。
本発明第一実施例中の左、右撮影機120、130は主に光学フィルター121、自動微調整可能な2D絞り122、オートフォーカス可能な2Dレンズ組123、及び2D影像センサー124により構成する。
該光学フィルター121は該点光源波長以外の光源をろ過可能である。
該自動微調整可能な2D絞り122は円型の孔とすることができ、その孔の孔径は制御微調整可能である。
該オートフォーカス可能な2Dレンズ組123は水平及び垂直方向2Dフォーカス能力を備えるレンズ組で、その焦点距離をオートフォーカス並びに出力可能である。
該左撮影機120上において該2D影像センサー124は一般的に公知のCCD或いはCMOSにより構成し、視差信号(xL,yi)を備える左2D影像信号156を出力することができる。また、該右撮影機130は一般的に公知のCCD或いはCMOSにより構成し、視差信号(xR,yi)を備える右2D影像信号156を出力することができる。
本発明第一実施例中の視空間点演算装置170は主に2個の電子インターフェース171及び181、及び演算プログラム装置172により構成する。
該電子インターフェース171は一般のデジタル入力/出力ポート、ADC、DAC等電子パーツにより構成し、該視差像取り込み装置に連結し、該視点パラメーター信号
(θL,θR,ψ,Ω,Φ,S,f)150、視差信号(xL,xR,yi)を備える一対の左、右2D影像信号158を読み取ることができる。また、一組の新視点パラメーター信号 (θL New,θR New,ψNew,
ΩNew,ΦNew,SNew)153を出力可能である。
該電子インターフェース181は一般の有線或いは無線のRS232、USB、ネットワーク等標準伝送インターフェースにより構成し、外部の他の装置に連結し、該標準伝送インターフェースを通して新視点座標信号(XV New,YV New,ZV New)192を読み取り、該視差像取り込み装置の視点座標信号(XV,YV,ZV)190を出力し、及び該点光源の物点座標信号(XP,YP,ZP)191を出力する。
該演算プログラム装置172は一般のマイクロプロセッサー、DSP、記憶装置により構成するマイクロコンピュータで、該記憶装置中には演算ロジックプログラム173を装置する。該演算ロジックプログラム173は入力された該視点パラメーター信号(θL,
θR,ψ,Ω,Φ,S,f)150、及び視差信号(xL,xR,yi)を備える一対の左、右2D影像信号158に基づき、該2D影像信号158の処理に対して、該演算ロジックプログラム173は該2D影像センサー124上影像の最亮点を探し出すことができ、左右像点の座標(xL,yi)、及び(xR,yi)を取り出し後、視点座標信号(XV,YV,ZV)190、及び物点座標信号(XP,YP,ZP)191を計算並びに出力可能で、一組の新視点パラメーター信号(θL New,θR New,ψNew,ΩNew,
ΦNew,SNew)153を計算並びに出力し、物点追跡の目的を達成する。
また、該演算ロジックプログラム173は入力された該新視点座標信号 (Xv New,Yv New,Zv New)192に基づき、一組の新視点パラメーター信号 (θL New,θR New,ψNew,ΩNew,ΦNew,SNew)153を計算並びに出力し、こうして新視点リセットの目的を達成する。
図24は本発明第二実施例の方法構成の指示図である。
本発明第二実施例の視空間点認知方法200は主に点光源201、及び視空間点認知装置205により構成する。
該点光源201は主動の点光源により構成し、該光源は可視光、或いは非可視光202を発散することができ、または受動の点光源で、該光源は光の反射体で、他の光源の光を反射可能である。
該視空間点認知装置205は該点光源201が発散する光202を受け取り、該視空間点認知装置の視点座標信号(XV,YV,ZV)290を出力し、及び該点光源201の物点座標信号 (XP,YP,ZP)291を出力することができる。該視空間点認知装置は視点移動の能力を備え、視点の移動により視点座標と物点座標を重合させることができ、物点自動追跡の目的を達成する。同時に、該視空間点認知装置は外部の新視点の座標信(XV New,YV New,ZV New)292を受け取り、該信号292に基づきリ、該視空間点認知装置205の視点をリセットすることができる。
本発明第二実施例中の視空間点認知装置205は主に視差像取り込み装置210、及び視空間点演算装置270により構成する。
該視差像取り込み装置210は該点光源201が発出する光202を受け取り後、一組の視点パラメーター信号(θL,θM,θR,ψ,Ω,Φ,S,f)250、及び視差信号(xL,xR,yi)を備える一組の左、中、右1D影像信号258を出力可能である。また、該視差像取り込み装置210は該視空間点演算装置270が出力する一組の新視点パラメーター信号(θL New,θM New,θR New,ψNew,ΩNew,ΦNew,SNew)253を受け取り、これに基づき該視差像取り込み装置210の視点を改変する。該視空間点演算装置270は該視点パラメーター信号(θL,θM,θR,ψ,Ω,Φ,S,f)250、及び視差信号(xL,xR,yi)を備える一組の1D影像信号258を受け取り後、公式(58)、(59)、(60)に基づき、該視差像取り込み装置の視点座標信号(XV,YV,ZV)290を計算並びに出力可能である。別に、公式(80)、(81)、(82)に基づき、該点光源201の物点座標信号(XP,YP,ZP)291を演算並びに出力可能である。同時に、公式(87)、(88)、(89)、(90)、(91)に基づき、一組の新視点パラメーター信号(θL New,θM New,θR New,ψNew,ΩNew,
ΦNew,SNew)253を計算並びに出力可能で、小角度物点追跡の目的を達成する。別に、公式(93)、(94)、(95) 、 (96)、(97)に基づき、一組の新視点パラメーター信号(θL New,
θM New,θR New,ψNew,ΩNew,ΦNew,SNew)253を計算並びに出力可能で、大角度物点追跡の目的を達成する。
また、該視空間点演算装置270は外部の一組の新視点座標信号(XV New,YV New,ZV New)292を受け取り、公式(93)、(94)、(95)、(96)、(97)に基づき、(XV New,YV New,ZV New)を式中の(XP,YP,ZP)に入れ替え、もう一組の新視点パラメーター信号(θL New,θM New,θR New,ψNew,ΩNew,
ΦNew,SNew)253を演算、算出後、該信号を強制的に出力し、視点リセットの目的を達成する。
本発明第二実施例中の視差像取り込み装置210は主に左撮影機220、中撮影機225、右撮影機230、一組の視点定位機構装置240、視点読み取り装置251、視点設定装置254及び左、中、右1D影像記憶及び出力装置257により構成する。
該左、中、右撮影機220、225、230は該点光源201が発散する光202を受け取り後、左、中、右1D影像信号256を個別に出力する。
該左、中、右1D影像記憶及び出力装置257は該左、中、右1D影像信号256を受信後、左、中、右1D影像信号258を個別に保存並びに出力する。
また、該左、中、右撮影機220、225、230は該視点定位機構装置240の上に装置する。該視点定位機構装置240は多数の回転、位置移動等機械の構造(Actuator)、及び***(Positioning Sensor)により構成(注:構成が複雑で図示が困難で、かつ一般的に常用されている公知のパーツであるため、ここでは詳述しない)し、これら自動化機構及びパーツの装置を通して、(θL,θM,θR,ψ,Ω,Φ,S,f)等パラメーターを改変し、こうして左、中、右撮影機220、225、230 光軸(すなわち、視軸)方向を改変する目的を達成する。また、該視点定位機構装置240は視点駆動制御信号255の受信を通して、すべてのアクチュエーターを駆動することができ、該左、中、右撮影機220、225、230光軸方向を改変及び再設定し、こうして該視差像取り込み装置視点位置の改変及び再設定の目的を達成する。
また、該視点読み取り装置251は該視点定位機構装置上240のすべての***のデータ及び撮影機の焦点距離252を読み取り、視点パラメーター値に転換後、一組の視点パラメーター信号(θL,θM,θR,ψ,Ω,Φ,S,f)250を出力可能である。また、該視点設定装置254は新視点パラメーター信号(θL New,θM New,θR New,ψNew,ΩNew,ΦNew,SNew)253を受信し、該信号253を視点駆動制御信号255に転換後、該信号255を出力する。よって、該視点定位機構装置240は視点設定装置254が出力する新視点駆動制御信号255を受信し、すべてのアクチュエーターの駆動を制御する目的を達成し、こうして視点改変の目的を達成する。
本発明第二実施例中の左、中、右撮影機220、225、230は主に光学フィルター221、自動微調整可能な1D絞り222、オートフォーカス可能な1Dレンズ組223、及び1D影像センサー224により構成する。該光学フィルター221は該点光源波長以外の光源をろ過可能である。
該左撮影機220上において該1D絞り222は細長い形状のスリットで、そのスリット幅は制御微調整可能で、その装置方向は垂直方向で、すなわち長いほうの辺を垂直方向に装置する。
該1Dレンズ組223は水平フォーカス能力を備える1Dレンズ組で、その焦点距離をオートフォーカス並びに出力可能である。
該1D影像センサー224は一般公知のCCD或いはCMOSにより構成し、その装置方向は水平方向で、すなわち長い方の辺を水平方向に装置し、視差信号(xL)を備える左1D影像信号を出力することができる。
該中撮影機225上において該1D絞り222は細長い形状のスリットで、そのスリット幅は制御微調整可能で、その装置方向は水平方向で、すなわち長い方の辺を水平方向に装置する。
該1Dレンズ組223は垂直フォーカス能力を備える1Dレンズ組で、その焦点距離をオートフォーカス並びに出力可能である。
該1D影像センサーは一般公知のCCD或いはCMOSにより構成し、その装置方向は垂直方向で、すなわち長いほうの辺を垂直方向に装置し、視差信号(yi)を備える中1D影像信号を出力することができる。
該右撮影機230上において該1D絞り222は細長い形状のスリットで、そのスリット幅は制御微調整可能で、その装置方向は垂直方向で、すなわち長いほうの辺を垂直方向に装置する。
該1Dレンズ組223は水平フォーカス能力を備える1Dレンズ組で、その焦点距離をオートフォーカス並びに出力可能である。
該1D影像センサー224は一般公知のCCD或いはCMOSにより構成し、その装置方向は水平方向で、すなわち長い方の辺を水平方向に装置し、視差信号(xR)を備える右1D影像信号を出力することができる。
本発明第二実施例の視空間点演算装置270は主に両電子インターフェース271及び281、及び演算プログラム装置272により構成する。
該電子インターフェース271は一般のデジタル入力/出力ポート、ADC、DAC等電子パーツにより構成し、該視差像取り込み装置210に連結し、該視点パラメーター信号250(θL,θM,θR,ψ,Ω,Φ,S,f)、及び視差信号(xL,xR,yi)を備える一組の左、中、右1D影像信号258を読み取ることができる。また、一組の新視点パラメーター信号253(θL New,θM New,θR New,ψNew,ΩNew,ΦNew,SNew)を出力可能である。
また、該電子インターフェース281は一般の有線或いは無線のRS232、USB、ネットワーク等標準伝送インターフェースにより構成し、外部の他の装置に連結し、該標準伝送インターフェースを通して新視点座標信号(XV New,YV New,ZV New)292を読み取り、該視差像取り込み装置の視点座標信号290(XV,YV,ZV)を出力し、及び該点光源の物点座標信号291(XP,YP,ZP)を出力する。
該演算プログラム装置272は一般のマイクロプロセッサー、DSP、記憶装置により構成するマイクロコンピュータで、該記憶装置中には演算ロジックプログラム273を装置する。該演算ロジックプログラム273は入力された該視点パラメーター信号(θL,θM,θR,ψ,Ω,Φ,S,f)250、及び視差信号(xL,xR,yi)を備える一組の左、中、右1D影像信号258に基づき、該1D影像信号258の処理に対して、該演算ロジックプログラム273は該1D影像信号258上の影像の最亮点を探し出すことができ、左、中、右像点の座標 (xL,yi,xR)を取り出し後、該視差像取り込み装置の視点座標信号(XV,YV,ZV)290を計算並びに出力し、及び該点光源の物点座標信号(XP,YP,ZP)291を出力する。また、該物点座標信(XP,YP,ZP)290に基づき、一組の新視点パラメーター信号(θL New,θM New,θR New,ψNew,ΩNew,ΦNew,SNew)253を計算及び出力し、これにより該視差像取り込み装置の視点と該点光源の物点を重合させ、視点追跡の目的を達成する。また、該演算ロジックプログラム273は入力された該新視点座標信号(XV New,YV New,ZV New)292に基づき、一組の新視点パラメーター信号(θL New,θM New,θR New,ψNew,ΩNew,ΦNew,SNew)253を計算並びに出力し、該信号を強制的に出力し、視点の位置を再設定可能で、こうして新視点リセットの目的を達成する。
上記は本発明の実施例に過ぎず本発明を限定するものではない。本発明の特許請求の範囲に基づき行われる均等変化及び修飾はすべて本発明の特許範囲に含まれるものとする。
2 1D縦方向(垂直)フォーカス光学レンズ
3 1D横方向(水平)フォーカス光学レンズ
5 一般光学撮影機
6 調整可能絞り
7 焦点変更可能レンズ組
8 像感知記録装置
10 眼球
11 虹彩
12 瞳孔
13 水晶体
14 毛様体筋
15 視網膜
16 視神経
17 視軸
21 左眼球
22 右眼球
26 右視軸
30 視点
31 視空間
32 像空間
100 、200 視空間点認知方法
101 、201 点光源
102、202 点光源が発散する光
105、205 視空間点認知装置
110 、210 視差像取り込み装置
120、220 左撮影機
121、221 光学フィルター
122 自動微調整可能な2D絞り
123 オートフォーカス可能な2Dレンズ組
124 2D影像センサー
130、230 右撮影機
140、240 一組の視点定位機構装置
150、250 一組の視点パラメーター信号(θL,θR,ψ,Ω,Φ,S,f)
151、251 視点読み取り装置
152、252 すべての***のデータ及び撮影機焦点距離のデータ
153、253 一組の新視点パラメーター信号(θL New,θR New,ψNew,ΩNew,ΦNew,SNew)
154、254 視点設定装置
155、255 視点駆動制御信号
156、158 一対の左、右2D影像信号
157 一対の左、右2D影像記憶及び出力装置
170、270 視空間点演算装置
171、181、271、281 電子インターフェース
172、272 演算プログラム装置
173、273 演算ロジックプログラム
190、290 視点視空間座標信号(XV,YV,ZV)
191、291 物点視空間座標信号(XP,YP,ZP)
192、292 新視点視空間座標信号(XV New,YV New,ZV New)
222 自動微調整可能な1D絞り
223 オートフォーカス可能な1Dレンズ組
224 1D影像センサー
225 中撮影機
257 1D影像記憶及び出力装置
o、o1、o2点光源の物点
Olens 2D光学レンズの幾何中心点
ixy、i1、i2 像点
lo 物体距離
li 像距離
f 焦点距離
ix 縦像線
iy 横像線
S 立体ステレオベース
H 頸椎の高度
OH ステレオベース中心点
Θ 頸部座標系のYN軸に対する回転の角度
Φ 頸部座標系のXN軸に対する回転の角度
θL 左眼座標系のXL軸に対する回転の角度
θR 右眼座標系のYR軸に対する回転の角度
ψL 右眼座標系のXR軸に対する回転の角度
ψ 左、右眼の相同の角度によるXL、XR軸に対する回転
O(X,Y,Z) 視空間座標系(ワールド座標系) 及び座標軸
ON(XN,YN,ZN) 頸部座標系及び座標軸
OL(XL,YL,ZL) 左眼像空間座標系及び座標軸
OR(XR,YR,ZR) 右眼像空間座標系及び座標
RL(Θ,Φ,θL,ψ)回転を行った後の左眼像空間座標系の座標軸単位ベクト ル(内、は左視軸単位ベクトル)
右眼像空間座標系の座標軸単位ベクトル
RR(Θ,Φ,θR,ψ)回転を行った後の右眼像空間座標系の座標軸単位ベクト ル(内、は右視軸単位ベクトル)
RL(Θ,Φ,θL,ψ) 左眼像空間座標系の座標回転マトリックス
RLij 左眼像空間座標系座標回転マトリックスの因子
RR(Θ,Φ,θR,ψ) 右眼像空間座標系の座標回転マトリックス
RRij 右眼像空間座標系座標回転マトリックスの因子
V(XV,YV,ZV) ワールド座標系上における視点Vの座標
P(XP,YP,ZP) ワールド座標系上における物点Pの座標
P(xP,yP,zP) 頸部座標系上における物点Pの座標
IL(xL,yL,0) 左眼像空間座標系上における像点ILの座標
IR(xR,yR,0) 右眼像空間座標系上における像点IRの座標
IL(XIL,YIL,ZIL) ワールド座標系上における左像点ILの座標
IR(XIR,YIR,ZIR) ワールド座標系上における右像点IRの座標
FL(0,0,f) 左眼像空間座標系上における左眼水晶体FLの座標
FR(0,0,f) 右眼像空間座標系上における右眼水晶体FRの座標
FL(XFL,YFL,ZFL)ワールド座標系上における左眼水晶体FL中心点の座標
FR(XFR,YFR,ZFR) ワールド座標系上における右眼水晶体FRの座標
回転後の左視軸
回転後の右視軸
左新視軸単位ベクトル
左新視軸単位ベクトル
左視点ベクトル
右視点ベクトル
左物点ベクトル
右物点ベクトル
左像点ベクトル
右像点ベクトル
視中心軸ベクトル
θM 視中心軸角度
θC 視軸収束角度
Claims (40)
- 視空間点認知であって、以下のパーツにより構成し、
点光源は移動可能な主動式点光源により構成し、該点光源は可視光、或いは非可視光を発散し、または移動可能な受動式点光源により構成し、該点光源は点状の反射体で、他の光源の光を反射し、
視空間点認知装置は該点光源が発散する光を受け取り、該視空間点認知装置の視点座標信号(XV,YV,ZV)を計算並びに出力可能で、及び該点光源の物点座標信号(XP,YP,ZP)
を計算並びに出力し、また、該視空間点認知装置は視点移動の能力を備え、視点の移動により視点座標と物点座標を重合させることができ、物点自動追跡の目的を達成し、同時に、該視空間点認知装置外部新視点の座標信号(XV New,YV New,ZV New)を受け取り、これにより視点の位置を再設定し、該視空間点認知装置視点リセットの目的を達成することを特徴とする視空間点認知の方法。 - 前記視空間点認知装置は、以下のパーツにより構成し、
視差像取り込み装置は該点光源が発出する光を受け取り後、一組の視点パラメーター信号、及び視差信号を備える一対の左、右2D影像信号を出力可能で、また、一組の新視点パラメーター信号を受け取り、これに基づき視差像取り込み装置視点の位置を改変し、
視空間点演算装置は該一組の視点パラメーター信号、及び視差信号を備える一対の左、右2D影像信号を受け取り後、該視差像取り込み装置の視点座標信号(XV,YV,ZV)を計算並びに出力可能で、該点光源の物点座標信号(XP,YP,ZP)を計算並びに出力可能で、同時に、該点光源の物点座標信号(XP,YP,ZP)に基づき、一組の新視点パラメーター信号を計算並びに出力し、該視差像取り込み装置の視点座標と該点光源の物点座標を重合させ、物点追跡の目的を達成し、また、外部の新視点座標信号(XV New,YV New,ZV New)を受け取り、演算を経てもう一組の新視点パラメーター信号を算出後、該信号を強制的に出力し、こうして該視差像取り込み装置視点の位置を再設定し、視点リセットの目的を達成することを特徴とする請求項1記載の視空間点認知の方法。 - 前記視差像取り込み装置は、以下のパーツにより構成し、
左撮影機は視点定位機構装置の上に装置し、該点光源が発散する光を受け取り後、視差信号を備える左2D影像信号を出力し、
右撮影機は視点定位機構装置の上に装置し、該点光源が発散する光を受け取り後、視差信号を備える右2D影像信号を出力し、
左2D影像記憶及び出力装置は該左2D影像信号を読み取り後、左2D影像信号を保存並びに出力し、
右2D影像記憶及び出力装置は該右2D影像信号を読み取り後、右2D影像信号を保存並びに出力し、
視点定位機構装置は多数の回転、位置移動等機械の構造で、アクチュエーター(Actuator)、及び***(Positioning Sensor)により構成し、該左、右撮影機を固定、積載、回転、及び移動可能で、視点駆動制御信号の受信を通して、すべてのアクチュエーターを駆動することができ、該左、右撮影機光軸(すなわち、視軸)方向を改変及び再設定可能で、こうして視差像取り込み装置視点位置の改変及び再設定の目的を達成することができ、またすべての***のデータの出力を通して、左、右撮影機光軸(すなわち、視軸)方向のデータを提供し、
視点読み取り装置は該視点定位機構装置上のすべての***のデータ及び該撮影機の焦点距離を読み取り、視点パラメーター値に転換後、一組の視点パラメーター信号を出力し、
視点設定装置は一組の新視点パラメーター信号を受信し、該信号を視点駆動制御信号に転換後、該信号を出力し、こうして該視点定位機構装置上のすべてのアクチュエーターの駆動を達成することを特徴とする請求項2記載の視空間点認知の方法。 - 前記左撮影機は、以下のパーツにより構成し、
光学フィルターは該点光源波長以外の光源を濾過し、
自動微調整可能な2D絞りは円型の孔であって、その孔の孔径は自動微調整し、
オートフォーカス可能な2Dレンズ組は水平及び垂直方向2Dフォーカス能力を備えるレンズ組で、その焦点距離をオートフォーカス並びに出力し、
2D影像センサーは一般的に公知のCCD或いはCMOSにより構成し、視差信号を備える左2D影像信号を出力することを特徴とする請求項3記載の視空間点認知の方法。 - 前記右撮影機は、以下のパーツにより構成し、
光学フィルターは該点光源波長以外の光源を濾過し、
自動微調整可能な2D絞りは円型の孔であって、その孔の孔径は自動微調整し、
オートフォーカス可能な2Dレンズ組は水平及び垂直方向2Dフォーカス能力を備えるレンズ組で、その焦点距離をオートフォーカス並びに出力し、
2D影像センサーは一般的に公知のCCD或いはCMOSにより構成し、視差信号を備える右2D影像信号を出力することを特徴とする請求項3記載の視空間点認知の方法。 - 前記視空間点演算装置は、以下のパーツにより構成し、
電子インターフェースは一般のデジタル入力/出力ポート、ADC、DAC等電子パーツにより構成し、該視差像取り込み装置に連結し、該一組の視点パラメーター信号、及び視差信号を備える一対の左、右2D影像信号を読み取り可能で、また一組の新視点パラメーター信号を出力し、
電子インターフェースは一般の有線或いは無線のRS232、USB、ネットワーク等標準伝送インターフェースにより構成し、外部の他の装置に連結し、該標準伝送インターフェースを通して新視点座標信号(XV New,YV New,ZV New)を読み取り、該点光源の物点座標信号(XP,YP,ZP)を出力し、及び該視差像取り込み装置の視点座標信号(XV,YV,ZV)を出力し、
演算プログラム装置は一般のマイクロプロセッサー、DSP、記憶装置により構成するマイクロコンピュータで、該記憶装置中には演算ロジックプログラムを装置し、該演算ロジックプログラムは入力された該一組の視点パラメーター信号、及び視差信号を備える一対の左、右2D影像信号に基づき、該視差信号を取り出し後、該視差像取り込み装置の視点座標信号(XV,YV,ZV)、及び該点光源の物点座標信号(XP,YP,ZP)を計算並びに出力し、また、該物点座標信号(XP,YP,ZP)に基づき、一組の新視点パラメーター信号を計算及び出力し、該視差像取り込み装置の視点座標と該点光源の物点座標を重合させ、物点追跡の目的を達成し、また、該演算ロジックプログラムは入力された該新視点座標信号(XV New,YV New,ZV New)に基づき、一組の新視点パラメーター信号を計算及び出力し、該信号を強制的に出力し、これにより視点の位置を再設定し、こうして新視点リセットの目的を達成することを特徴とする請求項2記載の視空間点認知の方法。 - 前記一組の視点パラメーター信号は
(θL,θR,ψL,ψR,Ω,Φ,S,f)で、該視差信号は(xL,yL,xR,yR)で、該一組の新視点パラメーター信号は
(θL New,θR New,ψL New,ψR New,ΩNew,ΦNew,SNew)であることを特徴とする請求項2記載の視空間点認知の方法。 - 前記視差信号を備える左2D影像信号に対して、その視差信号は(xL,yL)で、該視差信号を備える右2D影像信号に対して、その視差信号は(xR,yR)であることを特徴とする請求項3記載の視空間点認知の方法。
- 前記視差信号(xL,yL)と(xR,yR)間にはxL = yR = yiの関係を備えることを特徴とする請求項8記載の視空間点認知の方法。
- 前記一組の視点パラメーター信号(θL,θR,ψL,ψR,Ω,Φ,S,f)は, ψL=ψR=ψ
の関係を備え、しかも該一組の新視点パラメーター信号(θL New,θR New,ψL New,ψR New,ΩNew,ΦNew,SNew)はψL New=ψR New=ψNewの関係を備えることを特徴とする請求項7記載の視空間点認知の方法。 - 前記演算プログラム装置中の演算ロジックプログラムは該左、右2D影像が含む視差信号に対して取り出し処理を行い、該左、右2D影像上の最亮点を探し出すことにより、該点光源に対応する左像点座標(xL,yL)、及び右像点座標(xR,yR)を取り出すことを特徴とする請求項6記載の視空間点認知の方法。
- 前記一組の視点パラメーター信号(θL,θR,ψL,ψR,Ω,Φ,S,f)、及び該一組の新視点パラメーター信号(θL New,θR New,ψL New,ψR New,ΩNew,ΦNew,SNew)は各角度の正負値に対して、右手回転法則、或いは左手回転法に基づきに基づきこれを定義することを特徴とする請求項10記載の視空間点認知の方法。
- 前記演算プログラム装置中の演算ロジックプログラムの物点追跡に対して、物点追跡範囲の大きさに基づき、小角度物点追跡と大角度物点追跡に分けられることを特徴とする請求項6記載の視空間点認知の方法。
- 前記小角度物点追跡に対して、視点から比較的近い距離の該点光源(すなわち、物点)は該視点定位機構装置への制御を通して、(θL,θR,ψL,ψR)の値を改変し視点を変えることができ、視点を物点の位置に移動させることができ、大角度物点追跡に対して、視点から比較的遠い距離の該点光源(すなわち、物点)に対する該視点定位機構装置への制御を通して、(θL,θR,ψL,ψR,Θ,Φ,S)の値を改変し視点を変え、視点を物点の位置に移動させることができ、こうして物点追跡の目的を達成することを特徴とする請求項16記載の視空間点認知の方法。
- 前記大角度物点追跡において、該物点P(XP,YP,ZP)の位置に基づき、一組の新視点パラメーター信号(θL New,θR New,ψL New,ψR New,ΩNew,ΦNew,SNew)を計算及び出力し、その計算の方法は新視中心線を
- 前記新視点再設定において、入力された新視点座標信号(XV New,YV New,ZV New)に基づき、一組の新視点パラメーター信号(θL New,θR New,ψL New,ψR New,ΩNew,ΦNew,SNew)を計算及び出力し、その計算方式はまた請求項19記載の計算方法により、但し(XV New,YV New,ZV New)を式中(XP,YP,ZP)の値に入れ替えることを特徴とする請求項6記載の視空間点認知の方法。
- 視空間点認知の方法であって、以下のパーツにより構成し、
点光源は移動可能な主動式点光源により構成し、該点光源は可視光、或いは非可視光を発散し、または移動可能な受動式点光源により構成し、該点光源は点状の反射体で、他の光源の光を反射し、
視空間点認知装置は該点光源が発散する光を受け取り、該視空間点認知装置の視点座標信号(XV,YV,ZV)を計算並びに出力可能で、及び該点光源の物点座標信号(XP,YP,ZP)を計算並びに出力し、また該視空間点認知装置は視点移動の能力を備え、視点の移動により視点座標と物点座標を重合させ、物点自動追跡の目的を達成し、同時に、該視空間点認知装置は外部新視点の座標信号(XV New,YV New,ZV New)を受信し、これにより視点の位置を再設定し、該視空間点認知装置視点リセットの目的を達成することを特徴とする視空間点認知の方法。 - 前記視空間点認知装置は、以下のパーツにより構成し、
視差像取り込み装置は該点光源が発出する光を受け取り後、一組の視点パラメーター信号、及び視差信号を備える一組の左、中、右1D影像信号を出力可能で、また一組の新視点パラメーター信号を受け取り、これに基づき視差像取り込み装置視点の位置を改変可能で、
視空間点演算装置は該一組の視点パラメーター信号、及び視差信号を備える一組左、中、右1D影像信号を受信後、該視差像取り込み装置の視点座標信号(XV,YV,ZV)を計算並びに出力可能で、該点光源の物点座標信号(XP,YP,ZP)を計算並びに出力可能で、同時に、該点光源の物点座標信号(XP,YP,ZP)に基づき、一組の新視点パラメーター信号を計算並びに出力し、該視差像取り込み装置の視点座標と該点光源の物点座標を重合させ、物点追跡の目的を達成し、また外部の新視点座標信号(XV New,YV New,ZV New)を受信し、演算を経てもう一組の新視点パラメーター信号を算出後、該信号を強制的に出力し、こうして該視差像取り込み装置視点の位置を再設定し、視点リセットの目的を達成することを特徴とする請求項21記載の視空間点認知の方法。 - 前記視差像取り込み装置は、以下のパーツにより構成し、
左撮影機は視点定位機構装置の上に装置し、該点光源が発散する光を受け取り後、視差信号を備える左1D影像信号を出力し、
中撮影機は視点定位機構装置の上に装置し、該点光源が発散する光を受け取り後、視差信号を備える中1D影像信号を出力し、
右撮影機は視点定位機構装置の上に装置し、該点光源が発散する光を受け取り後、視差信号を備える右1D影像信号を出力し、
左1D影像記憶及び出力装置は該左1D影像信号を読み取り後、左1D影像信号を保存並びに出力可能で、
中1D影像記憶及び出力装置は該中1D影像信号を読み取り後、中1D影像信号を保存並びに出力し、
右1D影像記憶及び出力装置は該右1D影像信号後を読み取り後、右1D影像信号を保存並びに出力し、
視点定位機構装置は多数の回転、位置移動等機械の構造で、アクチュエーター(Actuator)、及び***(Positioning Sensor)により構成し、該左、中、右撮影機を固定、積載、回転、及び移動し、視点駆動制御信号の受信を通して、すべてのアクチュエーターを駆動することができ、該左、中、右撮影機光軸(すなわち、視軸)方向を改変及び再設定し、こうして視差像取り込み装置視点位置の改変及び再設定の目的を達成することができ、またすべての***のデータの出力を通して、左、中、右撮影機光軸(すなわち、視軸)方向のデータを提供し、
視点読み取り装置は該視点定位機構装置上のすべての***のデータ及び撮影機の焦点距離を読取り可能で、視点パラメーター値に転換後、一組の視点パラメーター信号を出力し、
視点設定装置は一組の新視点パラメーター信号を受信し、該信号を視点駆動制御信号に転換後、該信号を出力し、こうして該視点定位機構装置上のすべてのアクチュエーターの駆動を達成することを特徴とする請求項22記載の視空間点認知の方法。 - 前記左撮影機は、以下のパーツにより構成し、
光学フィルターは該点光源波長以外の光源を濾過し、
自動微調整可能な1D絞りは細長い形状のスリットで、そのスリット幅は自動微調整可能で、その装置方向は垂直方向で、すなわち長いほうの辺を垂直方向に装置し、
オートフォーカス可能な1Dレンズ組は水平フォーカス能力を備える1Dレンズ組で、その焦点距離をオートフォーカス並びに出力し、
1D影像センサーは一般公知のCCD或いはCMOSにより構成し、その装置方向は水平方向で、すなわち長い方の辺を水平方向に装置し、視差信号を備える左1D影像信号を出力可能であることを特徴とする請求項23記載の視空間点認知の方法。 - 前記中撮影機は、以下のパーツにより構成し、
光学フィルターは該点光源波長以外の光源を濾過し、
自動微調整可能な1D絞りは細長い形状のスリットで、そのスリット幅はは自動微調整可能で、その装置方向は水平方向で、すなわち長い方の辺を水平方向に装置し、
オートフォーカス可能な1Dレンズ組は垂直フォーカス能力を備える1Dレンズ組で、その焦点距離をオートフォーカス並びに出力し、
1D影像センサーは一般公知のCCD或いはCMOSにより構成し、その装置方向は垂直方向で、すなわち長いほうの辺を垂直方向に装置し、視差信号を備える中1D影像信号を出力可能であることを特徴とする請求項23記載の視空間点認知の方法。 - 前記右撮影機は、以下のパーツにより構成し、
光学フィルターは該点光源波長以外の光源を濾過し、
自動微調整可能な1D絞りは細長い形状のスリットで、そのスリット幅は自動微調整し、その装置方向は垂直方向で、すなわち長いほうの辺を垂直方向に装置し、
オートフォーカス可能な1Dレンズ組は水平フォーカス能力を備える1Dレンズ組で、その焦点距離をオートフォーカス並びに出力し、
1D影像センサーは一般公知のCCD或いはCMOSにより構成し、その装置方向は水平方向で、すなわち長い方の辺を水平方向に装置し、視差信号を備える右1D影像信号を出力することを特徴とする請求項23記載の視空間点認知の方法。 - 前記視空間点演算装置は、以下のパーツにより構成し、
電子インターフェースは一般のデジタル入力/出力ポート、ADC、DAC等電子パーツにより構成し、該視差像取り込み装置に連結し、該一組の視点パラメーター信号、及び視差信号を備える一組の左、中、右1D影像信号を読み取り可能で、また一組の新視点パラメーター信号を出力し、
電子インターフェースは一般の有線或いは無線のRS232、USB、ネットワーク等標準伝送インターフェースにより構成し、外部の他の装置に連結し、該標準伝送インターフェースを通して新視点座標信号(XV New,YV New,ZV New)を読取り、該点光源の物点座標信号(XP,YP,ZP)を出力し、及び該視差像取り込み装置の視点座標信号(XV,YV,ZV)を出力し、
演算プログラム装置は一般のマイクロプロセッサー、DSP、記憶装置により構成するマイクロコンピュータで、該記憶装置中には演算ロジックプログラムを装置し、該演算ロジックプログラムは入力された該一組の視点パラメーター信号、視差信号を備える一組の左、中、右1D影像信号に基づき、該視差信号を取り出し後、該視差像取り込み装置の視点座標信号(XV,YV,ZV)、及び該点光源の物点座標信号(XP,YP,ZP)を計算並びに出力可能で、また該物点座標信号(XP,YP,ZP)に基づき、一組の新視点パラメーター信号を計算及び出力し、該視差像取り込み装置の視点座標と該点光源の物点座標を重合させ、物点追跡の目的を達成し、また該演算ロジックプログラムは入力された該新視点座標信号(XV New,YV New,ZV New)に基づき、一組の新視点パラメーター信号を計算及び出力し、該信号を強制的に出力し、視点の位置を再設定可能で、こうして新視点リセットの目的を達成することを特徴とする請求項22記載の視空間点認知の方法。 - 前記一組の視点パラメーター信号は(θL,θM,θR,ψL,ψM,ψR,Ω,Φ,S,f)で、該視差信号は(xL,yi,xR)で、該一組の新視点パラメーター信号は(θL New,θM New,θR New,ψL New,ψM New,ψR New,ΩNew,ΦNew,SNew)であることを特徴とする請求項22記載の視空間点認知の方法。
- 前記視差信号を備える左1D影像信号に対して、その視差信号は(xL)で、該視差信号を備える中1D影像信号に対して、その視差信号は(yi)で、該視差信号を備える右1D影像信号に対して、その視差信号は(xR)であることを特徴とする請求項23記載の視空間点認知の方法。
- 前記一組の視点パラメーター信号(θL,θM,θR,ψL,ψM,ψR,Ω,Φ,S,f)はψL=ψM=ψR=ψの関係を備え、しかも該一組の新視点パラメーター信号(θL New,θM New,θR New,ψL New,ψM New,ψR New,ΩNew,ΦNew,SNew)もまたψL New=ψM New=ψR New=ψNewの関係を備えることを特徴とする請求項28記載の視空間点認知の方法。
- 前記演算プログラム装置中の演算ロジックプログラムは該1D影像信号の取り出し処理において該1D左、中、右影像上の最亮点を探し出すことができ、該点光源に対応する左像点の座標(xL)、中像点の座標(yi)、及び右像点の座標(xR)を取り出すことを特徴とする請求項27記載の視空間点認知の方法。
- 前記演算プログラム装置中の演算ロジックプログラムは請求項12記載の方法と公式に基づき、該視点座標信号(XV,YV,ZV)を算出可能であることを特徴とする請求項27記載の視空間点認知の方法。
- 前記演算プログラム装置中の演算ロジックプログラムは請求項13記載の方法と公式に基づき、該物点座標信号(XP,YP,ZP)を算出可能であることを特徴とする請求項27記載の視空間点認知の方法。
- 前記一組の視点パラメーター信号(θL,θM,θR,ψL,ψM,ψR,Ω,Φ,S,f)、及び該一組の新視点パラメーター信号(θL New,θM New,θR New,ψL New,ψM New,ψR New,ΩNew,ΦNew,SNew)は、各角度の正負値に対して、右手回転法則、或いは左手回転法に基づき、これを定義することを特徴とする請求項33記載の視空間点認知の方法。
- 前記R11〜R33及びXL0“,Y L0“,ZL0“、X R0“,Y R0“,Z R0“の値は座標回転の順序に従い、異なる値を呈し、その内の一種の座標回転順序の結果に対して、該R11〜R33及びXL0“,Y L0“,ZL0“、X R0“,Y R0“,Z R0“の値は請求項15記載の値であることを特徴とする請求項32、33記載の視空間点認知の方法。
- 前記演算プログラム装置中の演算ロジックプログラムの物点追跡において、物点追跡範囲の大きさに基づき、小角度物点追跡と大角度物点追跡に分けられることを特徴とする請求項27記載の視空間点認知の方法。
- 前記小角度物点追跡において、視点から比較的近い距離の該点光源(すなわち、物点)に対して、該視点定位機構装置への制御を通して、(θL,θM,θR,ψL,ψM,ψR)の値を改変し、こうして視点を改変し、視点を物点の位置に移動させることができ、大角度物点追跡においては、視点から比較的遠い距離の該点光源(すなわち、物点)に対して、該視点定位機構装置への制御を通して、(θL,θM,θR,ψL,ψM,ψR,Ω,Φ,S,f)の値を改変し、こうして視点を改変し、視点を物点の位置に移動させることができ、こうして物点追跡の目的を達成することを特徴とする請求項36記載の視空間点認知の方法。
- 前記大角度物点追跡において、該物点P(XP,YP,ZP)の位置に基づき、一組の新視点パラメーター信号(θL New,θM New,θR New,ψL New,ψM New,ψR New,ΩNew,ΦNew,SNew)を計算及び出力し、その計算の方法は新視中心線を
- 前記新視点の再設定において、入力された該新視点座標信号(Xv New,Yv New,Zv New)に基づき、一組の新視点パラメーター信号(θL New,θM New,θR New,ψL New,ψM New,ψR New,ΩNew,ΦNew,SNew)を計算及び出力し、その計算方式は請求項39記載の計算方法とするが、但し(Xv New,Yv New,Zv New)を式中(XP,YP,ZP)の値に入れ替えることを特徴とする請求項27記載の視空間点認知の方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW096108692A TW200838292A (en) | 2007-03-14 | 2007-03-14 | Visual space point recognition method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008233081A true JP2008233081A (ja) | 2008-10-02 |
Family
ID=39763528
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008065232A Pending JP2008233081A (ja) | 2007-03-14 | 2008-03-14 | 視空間点認知の方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US7739074B2 (ja) |
JP (1) | JP2008233081A (ja) |
TW (1) | TW200838292A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9207761B2 (en) | 2012-11-14 | 2015-12-08 | Electronics And Telecommunications Research Institute | Control apparatus based on eyes and method for controlling device thereof |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008282400A (ja) * | 2007-05-08 | 2008-11-20 | Lin Ming-Yen | 三次元マウスの装置 |
JP5388921B2 (ja) * | 2010-03-25 | 2014-01-15 | 株式会社東芝 | 3次元距離計測装置及びその方法 |
BR112013013565B1 (pt) | 2010-12-02 | 2021-11-23 | Ultradent Products Inc | Sistema e método de visualização e rastreamento de imagens de vídeo estereoscópicas |
BR112014029605B1 (pt) * | 2012-06-01 | 2023-10-31 | Ultradent Products Inc | Sistema para gerar imagens de vídeo estereoscópicas de dispositivo de controle de gesto e sistemas para gerar imagens de vídeo estereoscópicas |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5960571A (ja) * | 1982-09-30 | 1984-04-06 | Sumitomo Electric Ind Ltd | 視覚による位置認識方法 |
JPH01320431A (ja) * | 1988-06-22 | 1989-12-26 | Ohbayashi Corp | 三次元位置計測装置 |
JPH05288532A (ja) * | 1992-04-06 | 1993-11-02 | Ricoh Co Ltd | 立体画像入力装置 |
JPH07174553A (ja) * | 1993-12-20 | 1995-07-14 | Nippon Telegr & Teleph Corp <Ntt> | ステレオカメラ装置および距離導出方法 |
JP2003097914A (ja) * | 2001-09-25 | 2003-04-03 | Nippon Hoso Kyokai <Nhk> | 位置検出装置及び位置検出プログラム |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW200842403A (en) * | 2007-04-18 | 2008-11-01 | Ming-Yan Lin | Cognition method of plural points in visual space |
-
2007
- 2007-03-14 TW TW096108692A patent/TW200838292A/zh not_active IP Right Cessation
-
2008
- 2008-03-12 US US12/047,159 patent/US7739074B2/en not_active Expired - Fee Related
- 2008-03-14 JP JP2008065232A patent/JP2008233081A/ja active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5960571A (ja) * | 1982-09-30 | 1984-04-06 | Sumitomo Electric Ind Ltd | 視覚による位置認識方法 |
JPH01320431A (ja) * | 1988-06-22 | 1989-12-26 | Ohbayashi Corp | 三次元位置計測装置 |
JPH05288532A (ja) * | 1992-04-06 | 1993-11-02 | Ricoh Co Ltd | 立体画像入力装置 |
JPH07174553A (ja) * | 1993-12-20 | 1995-07-14 | Nippon Telegr & Teleph Corp <Ntt> | ステレオカメラ装置および距離導出方法 |
JP2003097914A (ja) * | 2001-09-25 | 2003-04-03 | Nippon Hoso Kyokai <Nhk> | 位置検出装置及び位置検出プログラム |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9207761B2 (en) | 2012-11-14 | 2015-12-08 | Electronics And Telecommunications Research Institute | Control apparatus based on eyes and method for controlling device thereof |
Also Published As
Publication number | Publication date |
---|---|
TWI374663B (ja) | 2012-10-11 |
TW200838292A (en) | 2008-09-16 |
US7739074B2 (en) | 2010-06-15 |
US20080228438A1 (en) | 2008-09-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112639664B (zh) | 用于确定和/或评价图像显示设备的定位地图的方法和装置 | |
US9563104B1 (en) | Asymmetric aperture for eyetracking | |
AU2012227252B2 (en) | Surgical Stereo Vision Systems And Methods For Microsurgery | |
US9961335B2 (en) | Pickup of objects in three-dimensional display | |
US10382699B2 (en) | Imaging system and method of producing images for display apparatus | |
US11184597B2 (en) | Information processing device, image generation method, and head-mounted display | |
WO2019037578A1 (zh) | Vr瞳距调节方法和装置 | |
KR20190015573A (ko) | 시선 추적에 기초하여 자동 초점 조정하는 이미지 포착 시스템, 장치 및 방법 | |
US10353207B2 (en) | Head-mounted display device and video display system | |
CN105068659A (zh) | 一种增强现实*** | |
CN206650796U (zh) | 虚拟现实装置 | |
CN106646903A (zh) | 一种随动头显装置和方法 | |
US11460684B2 (en) | Method of operating a surgical microscope and surgical microscope | |
JP2008233081A (ja) | 視空間点認知の方法 | |
US11864841B2 (en) | Method of operating a surgical microscope and surgical microscope | |
Wibirama et al. | 3D gaze tracking on stereoscopic display using optimized geometric method | |
JP2016134668A (ja) | 電子眼鏡および電子眼鏡の制御方法 | |
CN206710716U (zh) | 一种随动头显装置 | |
CN205103763U (zh) | 一种增强现实*** | |
KR101873161B1 (ko) | 컨버전스 매칭을 이용한 개인용 3차원 영상 제공 방법 및 장치 | |
CN104216126A (zh) | 一种变焦3d显示技术 | |
TW202317771A (zh) | 使用空間定位、自由形式的光學元件以用於失真補償及影像清晰度增強的緊湊型成像光學元件 | |
JP2020202499A (ja) | 画像観察システム | |
US12016642B2 (en) | Constellations for tracking instruments, such as surgical instruments, and associated systems and methods | |
US20210196422A1 (en) | Method of operating a surgical microscope and surgical microscope |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110203 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20110430 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20110511 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20110602 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20110607 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110701 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111208 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20120507 |