JP2010530086A - イメージングモデル及び画像処理装置 - Google Patents
イメージングモデル及び画像処理装置 Download PDFInfo
- Publication number
- JP2010530086A JP2010530086A JP2009543197A JP2009543197A JP2010530086A JP 2010530086 A JP2010530086 A JP 2010530086A JP 2009543197 A JP2009543197 A JP 2009543197A JP 2009543197 A JP2009543197 A JP 2009543197A JP 2010530086 A JP2010530086 A JP 2010530086A
- Authority
- JP
- Japan
- Prior art keywords
- image
- lens
- projection
- field
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 49
- 238000003384 imaging method Methods 0.000 title abstract description 16
- 238000000034 method Methods 0.000 claims abstract description 57
- 230000003287 optical effect Effects 0.000 claims abstract description 34
- 230000000007 visual effect Effects 0.000 claims description 42
- 230000002093 peripheral effect Effects 0.000 claims description 32
- 230000005043 peripheral vision Effects 0.000 claims description 15
- 241000251468 Actinopterygii Species 0.000 claims description 7
- 238000003709 image segmentation Methods 0.000 claims description 5
- 238000009877 rendering Methods 0.000 claims description 4
- 208000001491 myopia Diseases 0.000 claims description 3
- 238000003860 storage Methods 0.000 claims description 2
- 238000004519 manufacturing process Methods 0.000 abstract description 3
- 230000008569 process Effects 0.000 abstract description 2
- 230000004438 eyesight Effects 0.000 description 22
- 238000004088 simulation Methods 0.000 description 10
- 238000004422 calculation algorithm Methods 0.000 description 9
- 238000013507 mapping Methods 0.000 description 9
- 238000012360 testing method Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 6
- 238000009826 distribution Methods 0.000 description 6
- 238000005259 measurement Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 230000009467 reduction Effects 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 230000007423 decrease Effects 0.000 description 4
- 210000001525 retina Anatomy 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000003909 pattern recognition Methods 0.000 description 3
- 241000288906 Primates Species 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000005094 computer simulation Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000004069 differentiation Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000009472 formulation Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000012888 cubic function Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000005389 magnetism Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000004304 visual acuity Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B13/00—Optical objectives specially designed for the purposes specified below
- G02B13/18—Optical objectives specially designed for the purposes specified below with lenses having one or more non-spherical faces, e.g. for reducing geometrical aberration
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B13/00—Optical objectives specially designed for the purposes specified below
- G02B13/06—Panoramic objectives; So-called "sky lenses" including panoramic objectives having reflecting surfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
- G06T3/047—Fisheye or wide-angle transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/147—Details of sensors, e.g. sensor lenses
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Optics & Photonics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Vascular Medicine (AREA)
- Image Processing (AREA)
Abstract
【課題】イメージングモデルとイメージング装置を製造するためのシステム及び手法を提供すること。
【解決手段】画像処理装置は、視野を有する光学的要素と、当該光学的要素に連結され、複数領域に視野を分割可能に構成された画像分割要素と、当該画像分割要素に連結され、複数領域で画像を処理可能に構成された画像演算器とを含む。このような装置を形成する方法も記述される。
【選択図】 図39
【解決手段】画像処理装置は、視野を有する光学的要素と、当該光学的要素に連結され、複数領域に視野を分割可能に構成された画像分割要素と、当該画像分割要素に連結され、複数領域で画像を処理可能に構成された画像演算器とを含む。このような装置を形成する方法も記述される。
【選択図】 図39
Description
本開示は、一般的に、イメージングモデル及び装置に関し、特に、中心窩イメージングに基づく中心窩イメージングモデル及びシステムに関する。
人間の網膜のような画像センサである中心窩視覚センサは、様々な用途に利用可能である。このような空間変化画像センサは、より少ないデータ数で広い視野(FOV)を観察し、視野の他の領域と比べて視野中央でより詳細に観察を行うことが可能となる。画像表現のための典型的なモデルとしてログポーラ(LP)マッピングが用いられている。このマッピングは、霊長類の視覚系における生物学上の観察に基づく解析的定式化に基づき作成されている。このマッピングは、コンピュータビジョンにソフトウェア的に応用されており、CCDおよびCMOS撮像技術に基づくLP視覚チップの製造に用いられる。LPマッピングは、人間の網膜のように行われ、画像データ量の大幅な削減に効果的であるばかりか、LPマッピングの数学的な性質により、回転・拡大不変の幾何学的特長量を生成することにも適している。
ログポーラ画像を獲得する他の手法としては、光学系を用いる手法が存在する。この手法は、通常、特殊な広角中心窩(WAF)レンズと、受光素子がサイズ不変になる市販の二次元デカルト座標系のビジョンチップを組み合わせて実現する。一方、LPチップによる手法は、特殊に製造されたチップと、通常のレンズを有し、対数関数に基づいてサイズが変化する受光素子を組み合わせて実現される。光学系を用いる手法は、特殊に製造されたチップに比べ、様々な種類の座標系の複雑な組み合わせをより容易に実現することができる。WAFレンズは、光学的な拡大率(M.F.)から、視野中心において最も高い空間解像度を与えることができる。
カメラの視線制御は、中心窩視覚システムに必要不可欠である。この中心窩視覚システムは、オバートアテンション(overt−attention)、すなわち、動的にカメラを動かして注視するタイプを考慮して提案されている。他のタイプとしては、コバートアテンション(covert−attention)、すなわち、静的にカメラを固定して注視するものがある。回転・拡大縮小・移動に関する不変の性質は、パターン認識に利用できる。フーリエ・メリン変換は、そのような性質を生成するアルゴリズムとして知られている。しかしながら、一般に、デカルト座標系における画像は、回転・拡大縮小不変でなく、LP画像は移動不変でない。つまり、移動は、LP座標における投影において幾何学的な変形を引き起こすからである。中心窩視覚センサを使ったオバートビジョンシステム(overt−vision system)は、このような2種類の画像を組み合わせて利用することにより、信頼性のあるパターン認識を可能とする。すなわち、デカルト座標系画像を用いて、対象に対して高精度な視線制御を行いながら、LP画像における変形を低減させる。さらに、視野を球面投影によって表すことにより、カメラの視線制御を容易にする。
空間非一様なデータを獲得する中心窩センサによって得られたLP画像は、デカルト座標系画像に変換される。フーリエ・メリン変換は、回転・拡大縮小・移動不変の特徴を抽出するためにデカルト座標系を必要とする。しかし、このことは、デカルト座標系画像がオリジナル入力画像の表現に必ずしも適していることを意味している訳ではない。なぜなら、空間一様な解像度の入力画像から、逆に再マッピングされたデカルト座標系画像は、デカルト座標系画像からLP画像のように逆のケースの場合よりも、視野中央においてより高い空間解像度を有するからである。
図1には、WAFレンズからの入力画像が、ピンホールカメラ(PHC)画像と比較されて示されている。このPHC画像は、WAF画像に対し、同一の視野角度と同一のピクセル数データとなっている。WAFレンズは、約120度の広い視野と視野中央における十分に高い解像度を同時に実現している。
図2は、WAFレンズ、LPレンズ、フィッシュアイ(FE)レンズ、PHCレンズに関するプロットを表している。図2(a)は、物高hに対する像高rを示している。図2(b)は、物高hに対する拡大率M.F.(dr/dh)を示している。図2(c)は、物高hに対する拡大率M.F.(r/h)を示している。
図3(a)−(e)は、オリジナル画像と、そこからシミュレーションによってマッピングされたWAFレンズ、LPレンズ、FEレンズ、PHCレンズによる画像を表している。
図4は、従来のFEレンズ、PHCレンズ、Kuniyoshiレンズに関するプロットをそれぞれ表している。図4(a)は、物高hに対する像高rを示している。図4(b)は、物高hに対する拡大率M.F.(dr/dh)を示している。図4(c)は、物高hに対する拡大率M.F.(r/h)を示している。
図5(a)−(c)は、スケールが1.0、0.75、1.5となる3つの場合の模範的なテスト画像を表している。図5(d)、(f)は、LPレンズ画像とKuniyoshiレンズ(Kレンズ)画像であり、このKレンズ画像は、実際のKレンズ画像のM.F.分布からシミュレートとされている。各画像は、θmax=π/3、hmax=1、h0=0.026、h1=0.21の条件で図5(a)から抽出されている。
図6は、θmax=π/3、hmax=1、h0=0.026、h1=0.21のときに、スケールが0.75、1.0、1.5として、LPレンズ(左)とKレンズから得られたLP画像を表している。
図7は、LPレンズとKレンズのような従来のレンズによる拡大縮小不変性の精度を表すために、LPレンズとKレンズの像面上での長さを物高hに対してプロットしたものを示している。破線と太実線は、LPレンズとKレンズをそれぞれ示している。
CCDカメラのような視覚センサは、他のセンサに比べてより多くの情報を獲得することが可能である。さらに、広い視野は、視覚情報の多機能的利用にとって都合が良く、自動車や移動ロボットのような移動体が様々な環境下を柔軟に行動することを可能にする。代表的な産業応用は、これまで、検査システムや医用応用など、狭い画角しかもたない通常の視覚センサを用いた単機能的利用に限られている。一般に、広い視野と高い空間解像度の間には、トレードオフの関係が存在することが知られている。広い視野と高い空間解像度を同時に実現することは、通常1枚の画像あたりのピクセル数の膨大な増加を引き起こし、データ通信や実時間処理において深刻な問題となる。
人間の視覚特性に基づいた中心窩視覚情報を利用することは、非常に有効な解決手段である。人間の眼は、120度の広い視野を有する。視力は、中心窩と呼ばれる網膜の中心領域近傍で最も高く、視野の周辺に行くにしたがって低下する。コンピュータによるログポーラマッピングに基づいて中心窩画像を再構成する方法と、空間で非一様にスキャンする撮像装置(CCD)を用いて中心窩画像を獲得する方法とが存在する。カメラの視線は、視野の注目領域で詳細に対象の情報を獲得するために制御される。このようなシステムは、広角中心窩視覚センサ(WAFVS)システムと呼ばれる。
WAFVSシステムは、画像入力部と、視線制御(VDC)部と、画像処理部とにより構成される。画像入力部は、特殊な超広角レンズを装着した2台のCCDカメラと、画像取込装置とを備えている。WAFレンズと名付けられた特殊レンズ(図8)は、この部分において主要な役割を担っている。本レンズは、市販のCCDカメラに装着され、120度の広い視野を有するとともに局所的に高い空間解像度を視野の中心部分に有するWAF画像を光学的に実現する。このような入力画像を有するステレオ視は、十分な精度を持った3次元情報と、広い視野とを同時に実現する。図9は、WAFレンズに対する入射角度θLに対する左カメラのCCD画像平面上での像高rLの特性を示している。比較のために、同一視野・同一情報量となるPHCレンズの像高rper Lも示されている。図1は、WAFレンズとPHCレンズによる画像を示している。それらの曲線は、式(1)(WAFレンズ)、式(2)(PHCレンズ)で表される。各曲線の傾きは、視野の半径方向に沿った画像の空間解像度を示している。典型的なWAFレンズは、PHCレンズと比べ、視野中央での高い空間解像度と視野周辺における低い空間解像度を有する。
ここで、各fk i(k=0,1,2)は、カメラキャリブレーションにより決定された係数であり、rmax iは、式(1)における60度に対応する像高である。また、下付き文字「i」は、左カメラ又は右カメラを意味する。
WAFレンズからの入力画像は、広い視野と局所的な高空間解像度という2種類の異なった特性を有するため、多機能的・多目的利用に適している。図1(a)と図1(b)における白色及び黒色の円は、それぞれ入射角度10度と30度を示している。WAFレンズからの入力画像の30度から60度の周辺領域は、PHCレンズからの画像が視野全体の約90%であるのに対し、約40%に抑えられている。少ないピクセル数をもつこの領域は、侵入物の検知や自己位置推定等の周辺視野を容易にする。一方、WAF画像の中心領域(0から10度まで)は、ピンホールカメラ画像が約1%であるのに対し,約10%となる。この領域は、十分に高い空間解像度を有し、例えば、色、形状及びパターンに基づく物体識別や、より高精度な3次元情報を獲得等に用いられる。中間領域(10から30度まで)は、中心視と周辺視の双方に用いられる。
WAF画像においては、カメラムーバを用いて視野内の注目点を素早く変更するカメラ視線制御(VDC)が有効である。VDC部は、VDC機構と、4台のステッピングモータとを備えている。これらのモータは、人間の眼の2種類の眼球運動、すなわち、(急激な)断続性運動と(高精細な)随従性運動により、首部分のパン回転と、左右の2つのカメラのチルト及び輻輳回転を実現する。
画像処理部は、有線無線LANの下でマルチタスクオペレーティングシステム(OS)を有する複数のコンピュータによって構成されている。この画像処理部は、適宜タスク分散に基づく柔軟な並列画像処理を行う点が特徴である(図10)。この機能は、並列かつ強調的に様々な画像処理を実行するために研究されている。様々なレベルの数種類の画像処理は、各プロセッサの負荷量に基づいて、並列的、分散的、或いは選択的に実行される。そのうちのメインコンピュータは、ファイルサーバーとしての役割を果たし、複数台のコンピュータ間、及び複数個のタスク間で情報を共有するようになっている。カメラのVDCとの組み合わせは、WAFVSシステムの応用を拡げる。以上は、移動ロボットのナビゲーションの他に、物体への視線追従と対象の同時認識のような多機能的応用に有効である。
図11(a)に示されるように、WAF画像の多機能的利用に基づく合理的な移動ロボットナビゲーションが存在する。当該ナビゲーションは、中心視と周辺視の2つのタスクに基づき、WAFレンズの性質を利用している。中心視は、より高精度な3次元情報から、障害物の回避コースを計画する役割を担っている.一方、周辺視は、オドメトリによる位置姿勢情報を補正する役割を果たす。計画されたコース及び補正された位置姿勢情報は、タスク間で共有され、これらの情報の協調的利用に基づいてナビゲーションの性能を向上させるために周期的に更新される。例えば、補正された位置姿勢情報は、計画されたコース上の目標点を変更し、目標となる移動距離や回転角度が演算される。これらの演算値は、移動ロボットの駆動制御用コンピュータに入力される。図11(b)は、このナビゲーションのフローチャートを示している。ここで、周辺視の周期は、中心視の周期よりもかなり短くなっている。ここでのセットアップは、人間の視覚情報処理系に類するモデルに基づいている。これは、周辺視は、移動ロボットの制御により密接に結びついているからである。
図12(a)は、カメラの光軸をYiとし、原点をWAFレンズの視点とした視点座標系Oi−XiYiZiを示している(i=L,R)。入力画像上の座標(u’i,v’i)は、ドットアスペクト比Kにより、視野座標系の座標(u’i,v’i)に変換される。当該座標は、視点への入射方向(θi,φi)に対応する。なお、(Iu i,Iv i)は、この座標系における画像中心を意味する。(uper i,vper i)は、式(2)を用いて視点座標系の座標から変換された透視投影座標系における座標である。
図12(b)は、左カメラの視点座標系OL−XLYLZL、ロボット座標系OC−XCYCZC、ワールド座標系OW−XWYWZWを示している。ここで、路面は、完全な平面であると仮定している。図12(b)においては、Ψ1cとΨ2cは、それぞれ、両眼カメラムーバのパン回転及びチルト回転の振れ角である。ロボット座標系の原点Ocは、ロボットの中心であり、そのワールド座標系の座標は、(Xrobo,Yrobo,0)である。Pは、首回転軸からロボット中心までの距離であり、Hは、路面からのカメラ視点の高さであり、Bは、左右のカメラ間の距離すなわち基線長であり、αは、YC軸とYw軸の間の角度である。
障害物を回避するコースは、中心視により受動型の平行ステレオ法で得られた3次元情報を用い、ロードマップに基づいて決定される。ロードマップは、ワールド座標系の2次元のXw軸とYw軸を有し、壁、道路境界線、検出された障害物等の環境情報を備えている。このロードマップは、しばしば経路計画の研究に用いられるボロノイグラフとは異なる。図13(i)は、障害物が存在する領域を推定する手法について示している。ここでは、カメラの視線方向がYw軸と平行であると仮定している。ここでの手順は、以下の通りである。
(a)路面が、5(cm)四方となる小正方形状のブロックに分割される。
(b),(c)各3次元計測点(x,y,z)は、CCD素子の離散化によって生じる計測誤差を考慮し、対応するブロックに投票される。Yw(YL)軸及びXw(XL)軸の各方向の計測誤差Δx及びΔyは、式(3)と式(4)を用いてそれぞれ計算される。
ここで、ΔθiとΔφi(i=L,R)は、それぞれ、視野の半径方向及び円周方向の入射角度の誤差であり、これらは、CCD素子の離散化誤差によって生じる。図13(ii)は、これらの誤差について示している。
(d)前記障害物が、閾値に基づいてハイライトされたブロックに存在すると推定される。
(b),(c)各3次元計測点(x,y,z)は、CCD素子の離散化によって生じる計測誤差を考慮し、対応するブロックに投票される。Yw(YL)軸及びXw(XL)軸の各方向の計測誤差Δx及びΔyは、式(3)と式(4)を用いてそれぞれ計算される。
(d)前記障害物が、閾値に基づいてハイライトされたブロックに存在すると推定される。
図14(i)は、ロードマップ上に回避経路を決定する流れを示している。各ステップでハッチングが付された領域は、障害物が存在しないことを示している。障害物情報は、衝突を避けるためのオフセットとともにロードマップに与えられる。白丸は、決定された回避経路上のデータ点列である。道路境界線の情報は、次段落に記述される周辺視のアルゴリズムによって得られる。
図14(ii)は、2台のカメラの視線を含む平面上の各点の奥行き誤差Δyの等高線グラフを示している。ここで、基線長Bは300mmである。前記誤差は、コンピュータシミュレーションにより、式(3)及び(4)に基づいて算出される。各値は、比Δy/yとして表される。比較として、上式(2)によって表されるPHCレンズの画像の奥行き誤差が示されている。破線は、カメラの視野の境界線であり、これらの内側の領域は、奥行き情報を有する。図14(ii)に示されるように、奥行きは、PHCレンズよりもWAFレンズの方が、左カメラへの小さい入射角度で高精度に計測される可能性がある。PHCレンズは、前方約0.6mの範囲の内側でしか、2%以下の誤差で奥行きを計測することができない。一方、WAFレンズは、前方約3.2mの遠い範囲において同程度の精度で奥行きを計測できる。
図15(a),図15(b),図16に表された平行2直線(TPL)アルゴリズムのように、視野周辺に投影された2本の道路境界線を用い、1台のCCDカメラからその位置及び姿勢角を得る手法が存在する。本手法は、より高い精度での位置情報の計測を可能にする。これは、前記周辺領域が、少ないピクセル数で表されるものの円周方向により高い解像度を有するためであり、WAF画像(図1(a))中、入射角度が30度となる黒色の円の周長は、図1(b)におけるPHC画像に比べて長いためである。なお、ここでは、平面の路面上に2本の平行な境界線(lA及びlB)があるとともに、カメラ光軸は回転しないものと仮定する。更に、道路幅Wと路面からの視点高さHは、既知とする。
左カメラの視点OL(XO L,ZO L)は、図15(b)に示されるように、原点が共通となる座標系OL−XLYLZL及びこれに関連する座標系OL−XL’YL’ZL’に基づいて、各境界線を含む2つの平面から算出される。座標系OL−XL’YL’ZL’は、2本の境界線に対して平行であるため、XL’軸は路面に対して水平である。これらの平面は式(5)で表される。
OL(XO L,ZO L)は、aiを用いて算出される。
道路幅Wは、視点高さH(=ZO L)が既知であることから、式(7)で計算できる。このことは、幅が未知の通路環境においても、移動ロボットをナビゲーションできることを意味している。
境界線に対するカメラの視線方向は、パン角ψ1とチルト角ψ2によって表され、透視投影座標系における消失点から算出される。ワールド座標系における移動ロボットの姿勢角αは、カメラムーバがロボット座標系からパン角ψ1Cだけ振れると、式(8)で表される。
図16は、ハフ変換を用いたTPLアルゴリズムのフローチャートを示している。本アルゴリズムは、道路境界線の一部が遮蔽や証明条件により見えないときでも、迅速に位置情報を計測する。
カメラムーバが移動ロボットに固定されているとすると、移動ロボットの姿勢変化が大きくなるに従い、道路前方の位置及び3次元の情報の精度が低下する。この問題は、カメラの視線方向を道路境界線に対して平行になるように維持するカメラの視線制御で解決される。回転角Δψiは、式(9)により算出される。
上式で、α1は、オドメトリに基づく画像取り込み直後の移動ロボットの姿勢角の推定値であり、α2は、位置情報が前記周辺領域から算出された直後の推定値である。
移動ロボットの位置情報は、
と、
と、により周期的に補正される。ここで、Xroboiは、画像取り込み直後(i=1)と位置情報の算出直後(i=2)に、オドメトリによる移動ロボットの位置に関する値である。式(7)から算出された道路幅が、既知の幅Wと大きく異なる場合、位置情報は更新されない。
TPLアルゴリズムを用いた場合、カメラ水平位置wを精度良く計測するための最適なカメラ視点高さhが存在する。カメラの視線方向が道路境界線に平行なとき、wとhの関係は、コンピュータによるシミュレーションによって分析される。図17は、視野座標系に投影された2本の道路境界線を示している(φn(n=A,B)で表される)。CCDの離散化誤差ΔφA とΔφBによって生じる水平位置の計測誤差Δwは、式(10)ないし式(12)により算出される。
図18は、各位置(w/W,h/W)における誤差Δwの等高線グラフを示している。図18(a)はWAFレンズからのものであり、図18(b)はPHCレンズからのものである。Δwの各値は、道路幅Wのパーセンテージで表されている。Δwは、WAFレンズの場合とPHCレンズの場合でそれぞれ、半径0.875の円上と半径0.405の円上のΔφA とΔφBから算出される。これらの半径は、約35度の入射角度に対応する。各水平位置wにおいてΔwを最小にする視点高さが存在する(図18中破線参照)。wが0あるいは1に近づくに従い、最適な高さ値は小さくなる。前記誤差は,hが0に近づき、また、wが0或いは1に近づくに従い、wの変化に対して変化し易くなる。なお、WAFレンズは、PHCレンズに比べ、より高い精度でwを計測可能である。これは、同じ入射角度における円周方向の解像度が高くなるためである。
実験用の移動ロボットが図19に示されている。そのロボットは、駆動とステアリング両用の1個の前輪と、2個の後輪とを備えたフロントホイールシステム車である。前記ロボットには、画像処理用と移動ロボットの走行制御用の2台のコンピュータが設けられている。これらは、並列に処理を実行し、通信によってロボットの位置情報を共有する。位置情報は、駆動用及びステアリング用のロータリーエンコーダにより計測された回転量から推定され、計画されたコースとナビゲーションの精度を向上させるために、周辺視からの計測値により補正される。
図20(i)(a)と(b)に示されるように、2種類のナビゲーションによる実験が行われた。ここでは、白色ボード(幅20(cm)高さ55(cm))をカーペット上に障害物(幅137.5(cm))として配置する。左カメラの視線方向のチルト角ψ2を0度とし、カメラ視点の高さHを64.5(cm)とし、ロボット中央とカメラムーバの首回転軸との間の水平距離Pを53(cm)としている。障害物と前記移動ロボットの間の衝突オフセットを20cmとし、前記移動ロボットの移動速度を10(cm/s)としている。
図20(ii)は、実験結果を示している。白色の三角は、計画されたコース上のターゲットポイントであり、黒色の点は、実際の走行経路上の(Xrobo,Yrobo)で表される点列である。ここで、Xroboは、TPLアルゴリズムによる計測値であり、Yroboはオドメトリによる推定値である。×印は障害物である。これらは、それぞれワールド座標系に基づいてプロットされている。当該実験において、ステアリングは、ターゲットポイントに合った3次関数に基づいて軌道追従するように制御される。2つのコースの間のずれは、ステアリング制御の遅れによって引き起こされると思われる。図20(ii)(b)中の300mm近傍のターゲットポイントは、TPLアルゴリズムからの位置情報の誤差が影響している。
中心窩センサは、FOV(視野)の中心部分でより高く、中心部分から周囲に向かうに従って急激に低下する空間解像度を有する中心窩画像を生成する。つまり,中心窩センサの空間解像度は一様でない。このように、中心窩センサは、大幅に削減されたデータ数で、広視野と、視野中心での詳細さとを実現する。ログポーラマッピングは、しばしば、中心窩画像のモデルとして利用される。ログポーラマッピングは、霊長類の視覚系における生物学上の観察に基づく解析的定式化に基づき作成されている。ログポーラは、コンピュータビジョンにソフトウェア的に応用されており、CCDおよびCMOS撮像技術に基づくLP視覚チップの製造に用いられる。ログポーラマッピングは、人間の網膜のように行われ、画像データ量の大幅な削減に効果的であるばかりか、回転・拡大不変の幾何学的特長量を容易に生成することにも適している。
中心窩画像を得るための他の手法及び広角レンズが存在する。当該広角レンズは、特殊な広角中心窩レンズ(WAFレンズ)と、均一に並べられた受光素子を有する市販のデカルト座標系のビジョンチップとの組み合わせである。一方、前者の手法は、市販の通常レンズをログポーラチップに組み合わされる。ログポーラチップは、その受光素子のサイズが中心窩において均一で且つ周辺では対数的に変化する。
平面投影と球面投影を組み合わせたモデルの特殊な広角レンズが知られている。このレンズは、「線形な平面投影」と「線形な球面投影」を橋渡しするために、対数カーブを用いて球面投影の一部を歪曲させることで、中心窩特性を実現する。FOV(視野)における当該領域、すなわち、球面対数部は、回転、尺度不変(RS不変)となる。
本発明は、イメージングモデルとイメージング装置を作るためのシステムと手法であり、イメージングモデルとシステムをどのように作るかについて開示する。
簡潔に述べると、構造的に、システム一例及び他の例は、以下の通りに実施可能である。
画像処理装置は、視野を持つ光学的要素と、当該光学的要素に連結し、複数領域に視野を分割するように構成された画像分割要素と、当該画像分割要素に連結し、複数領域で画像を処理可能に構成された画像演算器とを含む。
本開示は、画像をモデリングする方法とみることもできる。当該方法は、光学的要素を提供し、光学的要素の視野を決定し、視野を複数領域に分割し、分割された複数領域で画像処理するという手順を含んでいる。
本発明における他のシステム、方法、特徴、及び効果は、以下の図面と発明の詳細な説明により、本技術分野における通常の技術を有する者に対して明らか、或いは、明らかにされる。本明細書に含まれる全ての付加的システム、方法、特徴及び効果は、本開示の範囲内にあり、付随する請求の範囲により保護される。
本開示の多くの態様は、以下の図面を参照すると容易に理解可能である。図面中の構成要素は、必ずしも本発明の原理をはっきりと図示することや、それを強調するものではない。更に、図面中において言及されている数値は、幾つかの図の至る所で対応部分を指定している。
本開示は、イメージングモデルと装置を製作するためのシステムと方法に関する。
当該技術分野における通常の技術を有する者が理解するように、ブロックに入る矢印や記号は入力を示し、ブロックから出る矢印や記号は出力を示す。同様に、以下に記述される接続は、電気、光学、放射線及び磁気等を含むあらゆる電磁的なものを適用できる。
1.AdWAFモデルの実施例
A.モデリング
WAFレンズによる入力画像による相対的に正確なLP画像は、カメラキャリブレーションに基づいて抽出される。図21は、カメラモデルの実施例の構成図を示している。このカメラモデルは、平面投影(PP)すなわちレンズの光学中心への入射角度θの正接による透視投影と、球面投影(SP)すなわち入射角度θに線形な投影との組み合わせに基づいている。本カメラモデルの投影高pは、以下で定義される。
A.モデリング
WAFレンズによる入力画像による相対的に正確なLP画像は、カメラキャリブレーションに基づいて抽出される。図21は、カメラモデルの実施例の構成図を示している。このカメラモデルは、平面投影(PP)すなわちレンズの光学中心への入射角度θの正接による透視投影と、球面投影(SP)すなわち入射角度θに線形な投影との組み合わせに基づいている。本カメラモデルの投影高pは、以下で定義される。
ここでf1とf2は、それぞれ前記投影平面と前記SP(球面投影)面への焦点距離である。kは、双方の投影の連続性のための補正係数である。
WAF画像モデル、すなわち改良WAF(AdWAF)のイメージングは、式(13)によるPPと式(14)SPの双方を、デカルト座標系と対数座標系の双方に組み合わせることで、以下の式で定義される。
ここで、rは、θに対応する像高であり、rmaxは、θ=θmaxのときの最大像高であり、ci(i=1,2,3,4)は、θの各領域から抽出された部分画像の像高を調節するためのスケール調整係数である。更に、di(i=1,2,3)は、
ここで、L は物体距離、すなわち、光学中心から物面までの距離であり、bは以下によって与えられる。
この場合、式(16)から式(19)が連続であるのみならず、これらを微分したものも連続である。
図22は、他タイプのレンズとともに,AdWAF画像に付随するように、物高hに対する各値、すなわち、像高r、視野半径方向及び円周方向のM.F.であるdr/dh、r/hをそれぞれ示している。hmax及びrmaxは、各タイプを容易に比較するために、θmax=π/3のとき1に正規化されている。図22のケースでは、視野の境界線h0、h1、h2は、それぞれ、0.1(=9.826(°))、0.4(=19.107(°))、及び0.6(=34.715(°))である。他タイプのレンズ、つまり、LPレンズ、フィッシュアイ(FE)レンズ、PHCレンズ及びWAFレンズは、次のように定義される。
式(47)と式(48)は、θ=θ0で連続で、且つ、それらの微分も連続となる。なお、LPレンズは、θ1=θ2=θmax、c0=c1=1、及びc2=c3=0のとき、本AdWAFモデルで表すことができる。その中心窩と周辺視野は、それぞれ、AdWAFモデルの中心窩と傍中心窩に対応する。
太線は、WAFレンズを表している。その像高とM.F.の分布は、WAFレンズの設計概念、すなわち、より広いFOV(視野)を獲得し、視野の中心部分で局所的により高い空間解像度を実現することが特徴である。半径方向のM.Fは、PHCレンズ(太破線)及びFEレンズ(細破線)に対し、小さな入射角度でかなり高い一方、大きな入射角度では低くなっている。LPレンズ(実線)に比べ、本AdWAFモデル(円付細実線)は、中間及び周辺の領域でより低いM.F.を有するため、同じデータ数で中心領域(0≦h≦h0)でより高いM.F.を獲得できる。調整係数ciは、AdWAF画像のM.F.として用いられ、WAFレンズのM.F.を超えないようにされる。加えて、AdWAFモデルにおいてrmaxが0.93であるならば、調整されたM.F.は、図22(b)に示されるように、中心領域においてLPレンズのM.F.とほぼ等しくなる。よって、このことは、AdWAFモデルが、LPレンズよりも視野の周辺領域で多くのピクセル数が減少可能となることを意味している。
視野全体は、図21に示されるように、中心領域(0≦θ≦θ0)、中間領域(θ0≦θ≦θ2)、及び周辺領域(θ2≦θ≦θmax)の3領域に分割される。AdWAFモデルは、PPとSPの境界θ2で、前記3領域を更に4領域に分割する。PPとSPの対数関数の部分は、それぞれ、傍中心窩と近周辺視野と名付けられる。前記傍中心視は、パターン認識のような中心視に用いられるのが好ましく、前記近周辺視野は、より周辺視に用いられることが好ましい。前記中心領域(中心窩)は、像高rが物高hに対して線形であるため、平面投影デカルト座標系領域であり、一方、周辺領域(周辺視野)は、rが入射角度θに対して線形であるため、球面投影デカルト座標系領域である。
B.画像抽出
図23は、rmax=64(pixel)、θmax=π/3、hmax=1、h0=0.1、h1=0.4及びh2=0.6の条件で、AdWAF画像の全体像をシミュレートしている。各画像は、512×512(pixel)のオリジナル画像(図23(a))から抽出されている。ここで、AdWAF画像は、中央領域において、LPレンズ(図3)よりも高い解像度を有することが明らかである点に注目すべきである。一方、周辺領域の解像度は、WAFレンズとLPレンズの間のレベルである。
図23は、rmax=64(pixel)、θmax=π/3、hmax=1、h0=0.1、h1=0.4及びh2=0.6の条件で、AdWAF画像の全体像をシミュレートしている。各画像は、512×512(pixel)のオリジナル画像(図23(a))から抽出されている。ここで、AdWAF画像は、中央領域において、LPレンズ(図3)よりも高い解像度を有することが明らかである点に注目すべきである。一方、周辺領域の解像度は、WAFレンズとLPレンズの間のレベルである。
図24は、上記シミュレーションと同一条件下で、WAFレンズ画像から実際に抽出されたAdWAF画像を示している。図24(a)、(b)、(c)は、それぞれ、抽出されたAdWAF画像の全体視、式(17)による傍中心窩画像、式(16)による中心窩画像である。デカルト座標系の中心窩画像は、移動不変の性質のみを有する。
C.考察
(i)Kレンズとの関係
図25は、前記AdWAFモデルと、当該AdWAFモデルに関連するKuniyoshiレンズ(Kレンズ)との比較を示している。ここでの条件は、実際のKレンズのM.F.分布によって決定される条件、すなわち、rmax=1、θmax=π/3、hmax=1、h0=0.026、h1=0.21及びh2=0.6である。h1とh2の値は、それぞれ、Kレンズの視野の境界線からの入射角度θ0(=2.584(°))とθ1(=20.0(°))に対応している。FEレンズ、PHCレンズ、Kレンズ、及びAdWAFモデルは、それぞれ、細破線、太破線、太実線、円付細実線で示されている。Kレンズの像高は、h0≦h≦h1でθに対して対数関数的に変化し、h1≦h≦hmaxでθに対して線形に変化する。この場合、1本目の境界線h0(=θ0)が2本目の境界線h1(=θ1)と等しく、且つ、3本目の境界線h2(=θ2)がKレンズモデルの2本目の境界線と等しいとき、これらは一致する。なお、Kuniyshiらは、PPとSP面への2つの焦点距離f1f2が同じ値を持つと仮定している。ここで、境界線に関するこの条件は、本AdWAFモデルに、同一のデータ数であるKレンズよりも前記中心領域でより高いM.F.を与える。その一方、前記中心領域でKレンズと同じM.F.をもつならば、rmaxは0.85tなる。従って、この場合の本AdWAFモデルは、約28パーセントのデータ数を削減することができる。
(i)Kレンズとの関係
図25は、前記AdWAFモデルと、当該AdWAFモデルに関連するKuniyoshiレンズ(Kレンズ)との比較を示している。ここでの条件は、実際のKレンズのM.F.分布によって決定される条件、すなわち、rmax=1、θmax=π/3、hmax=1、h0=0.026、h1=0.21及びh2=0.6である。h1とh2の値は、それぞれ、Kレンズの視野の境界線からの入射角度θ0(=2.584(°))とθ1(=20.0(°))に対応している。FEレンズ、PHCレンズ、Kレンズ、及びAdWAFモデルは、それぞれ、細破線、太破線、太実線、円付細実線で示されている。Kレンズの像高は、h0≦h≦h1でθに対して対数関数的に変化し、h1≦h≦hmaxでθに対して線形に変化する。この場合、1本目の境界線h0(=θ0)が2本目の境界線h1(=θ1)と等しく、且つ、3本目の境界線h2(=θ2)がKレンズモデルの2本目の境界線と等しいとき、これらは一致する。なお、Kuniyshiらは、PPとSP面への2つの焦点距離f1f2が同じ値を持つと仮定している。ここで、境界線に関するこの条件は、本AdWAFモデルに、同一のデータ数であるKレンズよりも前記中心領域でより高いM.F.を与える。その一方、前記中心領域でKレンズと同じM.F.をもつならば、rmaxは0.85tなる。従って、この場合の本AdWAFモデルは、約28パーセントのデータ数を削減することができる。
(ii)シミュレーション結果
図26は、本AdWAFモデルに関する異なるスケール(α=0.75,1,1.5)のテスト画像を表している。これらは、θmax=π/3、hmax=1、h0=0.026、h4=0.21及びh2=0.6の条件下で図26(a)から抽出されたものである。
図26は、本AdWAFモデルに関する異なるスケール(α=0.75,1,1.5)のテスト画像を表している。これらは、θmax=π/3、hmax=1、h0=0.026、h4=0.21及びh2=0.6の条件下で図26(a)から抽出されたものである。
本AdWAFモデルとKuniyoshiモデルの両者は、回転・拡大縮小不変のLP画像を獲得できる。図27と図6は、それぞれ、LPレンズ(左)とAdWAFモデル(右)の比較、LPレンズ(左)とKレンズ(右)の比較を示しており、図26(a)、(b)、(c)のテスト画像から抽出された極座標画像である。両比較は、θmax=π/3、hmax=1、h0=0.026、h1=0.21及びh2=0.6の同一条件下でシミュレートされている。各画像中の明領域は、傍中心窩と近周辺視野からなる対数領域を示している。一方,各ピクセルの明るさを半分に落とした上下の暗領域は、平面投影デカルト座標系領域(中心窩)と球面投影デカルト座標系(周辺視野)を示している。ここで、本AdWAFモデルは、周辺視野(下部の暗い領域)を有しながら、LPレンズに比べて、移動不変性を備えたより広い中心窩を獲得する。これは、近周辺視野は、対応する領域の画像サイズを低減するためである。この条件において、本AdWAFモデルは、Kレンズに比べてより広い中心窩と対数領域を獲得する。
図28は、Kレンズ(AdWAF)と本AdWAFモデル画像に関し、物高hに対する拡大縮小不変性の精度を示すために、像面上の長さの変化を示している。この長さは、rmax=1としたときにおいて、各hに対応する像高とhの95%に対応する他の像高との差である。破線、太実線、円付細実線は、それぞれ、LPレンズ、Kレンズ、AdWAFモデルを示している。拡大縮小不変性は、各線の傾きが連続的に0であることを意味している。なお、全てのケースが中心窩(0≦h≦h0)で拡大縮小不変とは限らない。また、傍中心窩において、Kレンズは、厳密に言えば拡大縮小不変ではない。細実線は、θmax=π/3、hmax=1、h0=0.026、h1=0.026及びh2=0.6の異なる条件下において、本AdWAFモデルにより表現された模擬Kレンズを示している。この線は、オリジナルのKレンズよりも滑らかに変化しているが、傍中心窩が拡大縮小不変にならない。このように、本AdWAFモデルの定義がより正確であるから、本AdWAFモデルは、他のWAF視覚センサをより柔軟に記述することが可能である。
前述により、以下が明らかである。(a)本AdWAFモデルは、LPレンズモデルよりも中心窩で高いM.F.を実現できる。また、(b)本AdWAFモデルは、傍中心窩でより正確に拡大縮小不変性領域を得ることができるともに、中心窩でより広い移動不変領域を確保することができる。更に、(c)本AdWAFモデルは、より正確に定義されているため、他のWAFレンズをより柔軟に記述することができる。
2.AdWAFモデルの他の実施例
A. モデリング
A. モデリング
WAF画像をより多目的に利用するために、幾何学的モデル、すなわち、他の実施例(AdWAFモデル)が開示される。図29は、平面投影と球面投影を組み合わせたカメラモデルの他の一実施例を示している。前者は、透視投影、すなわち、レンズの光学中心への入射角θの正接に線形であり、後者はθに線形である。本カメラモデルの投影高pは、以下のように表される。
ここで、f1とf2は、それぞれ、投影平面と投影球面への焦点距離である。
ここでのAdWAFモデルは、(36)の平面投影と(37)の球面投影の両者と、線形な座標系と対数座標系の両者とを組み合わせることにより、以下の式で表される。
ここで、rはθに対応する像高であり、rmaxは、θ=θmaxのときの最大像高であり、ci(i=1,2,3,4)は、θの各領域から抽出された部分画像の像高を調節するためのスケール調整係数である。更に、di(i=1,2,3)は、
式(38)から式(41)が各境界線で連続であるため、c1=c2=c3=c4=1のときは、それらの微分も連続になる。
ここでのAdWAFモデルでは、中心窩(0≦θ≦θ0)、傍中心窩(θ0≦θ≦θ1)、近周辺視野(θ1≦θ≦θ2)及び周辺視野(θ2≦θ≦θmax)の4領域に分割する。中心窩は平面投影であり、その像高は物高hに対して線形である。一方、周辺視野は球面投影であり、その像高は入射角度θに対して線形である。図30は、本AdWAFモデルによる画像と、ピンホールカメラ(PHC)レンズモデルによる線形なデカルト座標系画像とをシミュレートしており、視野の境界線条件は、θ0、θ1、θ2、それぞれ、9.826(°)、19.107(°)、34.715(°)となっている。また、各境界線を見やすくするために、輝度が変更されている。
図31は、AdWAF画像のプロットのために、物高hに対し、像高rと本AdWAFモデルの半径方向及び円周方向のM.F.であるdr/dh、r/hとを示している。他のレンズタイプ、すなわち、ログポーラ(LP)レンズ、フィッシュアイ(FE)レンズ、PHCレンズ及びWAFレンズと比較するために、hmax及びrmaxは、1に正規化される(θmax=π/3のとき)。本シミュレーションにおいては、視野の境界線h0、h1、h2は、それぞれ、0.1(θ0=9.826(°))、0.4(θ1=19.107(°))、及び0.6(θ2=34.715(°))となっている。
太実線は、実際のWAFレンズを示している。像高とM.F.の分布は、WAFレンズの設計概念、すなわち、広い視野と視野中心部分で局所的に高い空間解像度の情報を獲得することが特徴である。その半径方向のM.F.は、小さな入射角度において、PHCレンズ(太破線)やFEレンズ(細破線)よりもかなり高い一方、大きな入射角度では低くなっている。図31は、本実施例のAdWAFモデル(円付細実線)が、同一視野の場合、0≦h≦h0の中心窩(すなわち0≦θ≦θ0)でLPレンズ(実線)より高いM.F.を獲得できることを示している。スケール調整係数ciは、中心窩におけるM.F.がLPレンズと等しくなるように、本AdWAF画像の像高を調整するために適用される。c1=c2=c3=c4=0、93であれば、調整されたM.F.は、図31(b)の場合、中心窩でLPレンズとほぼ等しくなる。換言すると、このことは。本AdWAFモデルが、LPレンズに比べ、視野全体で約13.5パーセントものピクセル数を減らせることを意味する。
B.実行
図32は、rmax=64(pixel)、θmax=π/3、θ0=9.826(°)、θ1=19.107(°)及びθ2=34.715(°)の条件で、視野全体による本AdWAFモデル(AdWAF画像)の画像をシミュレートとしている。各画像は、512×512(pixel)のターゲット画像(図32(a))からシミュレートされている。ここでは図示しないが、既存のレンズとの比較も図3のように行われている。AdWAF画像(図32(f))は、LPレンズ画像(図32(c))よりも中心部分において高い空間解像度を有する。一方、周辺領域の空間解像度は、WAFレンズ(図32(b))とLPレンズの間となっている。ここで、特筆すべき点は、これらのシミュレーション画像の全てがAdWAFモデルを用いて表せることである。
図32は、rmax=64(pixel)、θmax=π/3、θ0=9.826(°)、θ1=19.107(°)及びθ2=34.715(°)の条件で、視野全体による本AdWAFモデル(AdWAF画像)の画像をシミュレートとしている。各画像は、512×512(pixel)のターゲット画像(図32(a))からシミュレートされている。ここでは図示しないが、既存のレンズとの比較も図3のように行われている。AdWAF画像(図32(f))は、LPレンズ画像(図32(c))よりも中心部分において高い空間解像度を有する。一方、周辺領域の空間解像度は、WAFレンズ(図32(b))とLPレンズの間となっている。ここで、特筆すべき点は、これらのシミュレーション画像の全てがAdWAFモデルを用いて表せることである。
図33は、上記シミュレーションと同一条件下で、WAFレンズ画像から実際に抽出されたAdWAF画像を示している。図33(a)、(b)、(c)、(d)は、それぞれ、WAFレンズによる実画像、抽出されたAdWAF画像の全体画像、傍中心窩画像、すなわち、式(39)によるログポーラ画像(平面投影の対数座標系)、式(38)による中心窩画像(平面投影の線形座標系)である。広い視野に加え、傍中心窩画像の回転・拡大縮小不変の性質と、中心窩画像の移動不偏の性質は、多目的利用に適している。
C.考察
(i) 他の中心窩モデルについて
ログポーラビジョンチップや視覚システムに用いられている幾つかの中心窩モデルは、θ1=θ2=θmax且つc2=c3=0のとき、本AdWAFモデルにより表される。このようなモデルの視野は、LPレンズ同様、中心窩と「周辺視野」に分割される。本AdWAFモデルの傍中心窩は、PHCレンズが使用されるとすると、「周辺視野」にログポーラグリッドを記述する。ログポーラグリッドは、図34Aに示されるように、受容野(RF’s)のために用いられるリングと放射線からなる(図34A)。一方、中心窩は一様なサイズのRF’sを有する。また、このサイズは、中心窩と「周辺視野」の境界線での不連続性を避けるために、「周辺視野」の最初のリングのサイズと等しくなっている。各リングの半径は、以下のように、本AdWAFモデルを用いて正規化された物高hとして算出される。
(i) 他の中心窩モデルについて
ログポーラビジョンチップや視覚システムに用いられている幾つかの中心窩モデルは、θ1=θ2=θmax且つc2=c3=0のとき、本AdWAFモデルにより表される。このようなモデルの視野は、LPレンズ同様、中心窩と「周辺視野」に分割される。本AdWAFモデルの傍中心窩は、PHCレンズが使用されるとすると、「周辺視野」にログポーラグリッドを記述する。ログポーラグリッドは、図34Aに示されるように、受容野(RF’s)のために用いられるリングと放射線からなる(図34A)。一方、中心窩は一様なサイズのRF’sを有する。また、このサイズは、中心窩と「周辺視野」の境界線での不連続性を避けるために、「周辺視野」の最初のリングのサイズと等しくなっている。各リングの半径は、以下のように、本AdWAFモデルを用いて正規化された物高hとして算出される。
ログポーラセンサに関し、レンズと固体撮像素子チップの違いの一つとして、リングに沿ったRF’sの数Nがある。ここで、前記レンズのケースでは、各受光素子がRFに等しいと仮定する。LPレンズの前記数Nは、hが増大すると(rの中で)増加する。一方では、ログポーラチップが「周辺視野」で一定数N0を有する。図34A(a)は、N0=128、θ0=9.826(°)、θmax=60.0(°)及びc0=c1=1のときに、且つ、RF’sの数が中心窩で等しいときに、hに対する両者のNを比較している。
Sandiniのモデル(図34A(b))及びBolducのモデル(図34A(c))を比較したとき、N0、θ0、θmaxは共通ではあるが、視野の網掛け領域(すなわち「周辺視野」)でこれらの2モデルのRF’sのサイズは異なる変化をする。このことは、各RFが複数の受光素子から構成されるため、リング数は必ずしも像高rと等しくならないことを意味する。本AdWAFモデルは、スケール調整係数c0とc1により、ログポーラグリッドの異なる配置を示す。前記c0は前記r0を調整する(すなわち、中心窩のRF’sの数を調整する)。前記c1はリング半径の対数的な変化を調整する。この場合、式(49)と(50)の前記rは、リング数とみなすことができる。このように、前記c0とc1は、同一のN0、θ0、θmaxであっても、双方のモデルを本AdWAFモデルに適合させる。
前記Kuniyoshiレンズ(Kレンズ)モデルは、0≦θ≦θ0の平面投影線形部、θ0≦θ≦θ1)の球面投影対数部、及びθ1≦θ≦θmaxの球面投影線形部を有する。しかしながら、平面投影対数部(式(39)による傍中心窩)は有していない。このように、本AdWAFモデルは、fk1=f1且つfk2=f2の条件で、以下のように、Kレンズモデルを表す。
Kレンズモデル:
Kレンズモデル:
図34Bは、AdWAFモデルにおいて、AdWAF画像のプロットに関し(これらの値は実際のKレンズの仕様から決定される)、本AdWAFモデル(円付細実線)とKレンズ(太実線)の比較を示している。ここでの条件は、rmax=1、θmax=60(°)、θ0=2.584(°)、θ1=20.0(°)及びθ2=34.715(°)とされる。前記FEレンズ(細破線)とPHCレンズ(太破線)もまた、これらと比較されている。この境界線の条件は、同一視野で、AdWAF画像が0≦θ≦θ0においてKレンズより高いM.F.を与えることを示している。一方、中心窩(0≦θ≦θ0)でKレンズと同一のM.F.を有する場合、前記rmaxは0.85である。このことは、AdWAF画像が約28パーセントピクセル数を減少させることを意味する。
(ii)AdWAFレンズ、LPレンズ及びKレンズの比較
図35(i)では、輝度を変化させることにより、前記AdWAF画像、前記LPレンズ画像及び前記Kレンズ画像を比較している。これらは、θmax=60(°)、θ0=2.584(°)、θ1=20.0(°)及びθ2=34.715(°)の条件下でシミュレートされた。視野は、4つの領域、すなわち、中心窩(中心部分の暗い部分)、傍中心窩(最も明るい部分)、近周辺視野(2番目に明るい部分)及び周辺視野(外側の暗い部分)に分割される。これによれば、LPレンズ画像は、中心窩と傍中心窩しか有しておらず、Kレンズ画像は、傍中心窩を有していないことが分かる。AdWAF画像は、中心窩においてKレンズ画像より高いM.F.を示している。
図35(i)では、輝度を変化させることにより、前記AdWAF画像、前記LPレンズ画像及び前記Kレンズ画像を比較している。これらは、θmax=60(°)、θ0=2.584(°)、θ1=20.0(°)及びθ2=34.715(°)の条件下でシミュレートされた。視野は、4つの領域、すなわち、中心窩(中心部分の暗い部分)、傍中心窩(最も明るい部分)、近周辺視野(2番目に明るい部分)及び周辺視野(外側の暗い部分)に分割される。これによれば、LPレンズ画像は、中心窩と傍中心窩しか有しておらず、Kレンズ画像は、傍中心窩を有していないことが分かる。AdWAF画像は、中心窩においてKレンズ画像より高いM.F.を示している。
図35(ii)は、異なるスケール(α=0.75、1、1.5)となる3つのターゲット画像を示している。図35(iii)では、各スケール(図35(i)と同一条件下)におけるAdWAF画像(左)、LPレンズ画像(中央)、Kレンズ(右)の各極画像を比較している。ここでは、傍中心窩の極画像は、前記半径方向と円周方向に移動不変の性質を有することが分かる。つまり、この部分は、前記rが前記物高hに線形であるときに、回転・拡大縮小不変(RS不変)の性質を有することが分かる。一方、近周辺視野は、前記rが入射角θに線形であるときに、RS不変となる。これら2種類のRS不変の性質は、AdWAF画像に以下のような利点を与える。
1)傍中心窩は、異なるスケールの画像のマッチングに適している。
2)近周辺視野は、物面の回転の影響(すなわちスキューの影響)を低減させる。
2)近周辺視野は、物面の回転の影響(すなわちスキューの影響)を低減させる。
つまり、これらの利点は、本AdWAFモデルがより広い入射角度で異なる大きさのパターンを精度良くマッチングさせるとともに、カメラの回転に対してよりロバスト性があることを意味している。
拡大縮小不変の性質を評価するために、像面上の長さΔrが、物高hとその95パーセントの高さh’から算出される(図36(a)参照)。図36(b)は、rmax=1、θmax=60.0(°)、θ0=2.584(°)、θ1=20.0(°)及びθ2=34.715(°)の条件で、前記hに対する前記Δrを示している。円付細実線、破線、太実線は、それぞれ、本AdWAFモデル、LPレンズ、Kレンズを示している。これらの線の傾きが0で一定であれば、対応する部分(すなわち、平面投影対数部)は、物面の平面投影に対して拡大縮小不変である。このように、LPレンズと本AdWAFモデルによる画像は、それぞれ、θ0≦θ≦θmax、θ0≦θ≦θ1において、拡大縮小不変である。前記Kレンズ画像は、この観点において、厳密には拡大縮小不変ではない。つまり、前記Δrは、θ0≦θ≦θ1(Kレンズの球面投影対数部)で最大7.6パーセントの誤差を有している。
加えて、Kレンズカーブの境界線θ1=20.0(°)(h1=0.21)は、特に、境界線θ1の近傍において、画像のマッチングに適していない。図36(b)では、θmax=60.0(°)、θ0=2.584(°)、θ1=34.715(°)の条件で、本AdWAFモデルに基づき、実際のKレンズのカーブとシミュレートされたKレンズカーブ(円なしの細実線)を比較している。
物面の回転は、スキューを引き起こす。その影響をテストするために、スキュー係数αcの余弦を定義する。図37(a)は、回転ψからαcへの概念図を示している。
ψ が0であれば、光軸は物面に対して垂直である。すなわち,αc=π/2(cos(αc)=0)となる。図37(b)では、本AdWAFモデルと前記LPレンズを比較している。ここでは、モデルとして、ψ=0の場合を使い、各極座標の部分(θ0≦θ≦θ2)から算出された平均二乗平方根誤差(RMSE)に関して比較がなされている。0から15.3×10−3のcos(αc)の値は、0から100 から(°)の前記ψに対応している。本AdWAFモデルは、LPレンズよりも小さなRMSEを有する。このことは、θ1≦θ≦θ2の球面投影対数部で変形がより少なくなることから、LPレンズよりスキューに対してよりロバストになることを意味している。
図38では、本AdWAFモデルと前記LPレンズモデルとをψ=0、5、10(°)のときの極座標で比較している。極画像は、ψが大きくなるに従い、白矢印の方向に向かって変形する。図38は、本AdWAFモデルによる変形が、LPレンズモデルよりも小さくなることも示している。
図39は、本開示の方法3900のフローチャートを表している。イメージモデリングの手法3900は、光学的要素(光学的要素)を提供し(ブロック3902)、光学的要素の視野を決定し(ブロック3904)、複数領域に視野を分割し(ブロック3906)、分割された複数領域に応じて画像処理を行うこと(ブロック3908)を含むと良い。前記手法3900において、前記画像処理は、平面投影、平面対数投影、球面対数投影、球面投影及びログポーラ投影のうち、少なくとも一つの投影による処理を更に含むと良い。前記手法3900において、前記画像処理は、デカルト座標、球面座標、及び対数座標のうち少なくとも一つの座標による処理を更に含むことが好ましい。
前記手法3900において、前記画像処理は、回転不変、拡大縮小不変及び移動不変の何れかの特徴を有する画像をレンダリングすることを更に含むと良い。
前記手法3900において、前記視野を複数領域に分割する手順は、視野を中心窩領域、傍中心窩領域、近周辺視野領域及び周辺視野領域から選択される少なくとも1領域に視野を分割することを更に含むことが好ましい。
前記手法3900において、前記光学的要素の提供は、レンズを提供することを更に含むと良い。当該レンズの提供は、ログポーラレンズとミラーの提供を更に含むことが好ましい。前記手法3900において、前記ログポーラレンズの提供は、視野の中心領域に平面投影を適用することを更に含むと良い。前記ログポーラレンズの提供は、視野の周辺領域に球面投影を適用することを更に含んでも良い。
前記手法3900において、前記レンズの提供は、フィッシュアイレンズ、ピンホールカメラレンズ、及び広角中心窩レンズを提供することを含むと良い。更に、前記手法は、視野内で物体をセンシングすることを含むことが好ましい。このセンシングは、視野の複数領域のうち少なくとも一つに応じて実行される。前記手法3900において、前記画像処理は、画像を蓄積し、周辺領域でエッジを検出し、透視投影座標に変換し、ハフ変換により直線を検出し、境界線を決定し、注視方向を探索し、カメラを制御することを更に含むと良い。
前述の手法3900若しくは手法3900の要素は、これらを実行するためのコンピュータで実行可能な命令として、コンピュータで読込可能な記憶媒体に蓄積することも可能である。
図40は、本開示の装置4000の代表実施例のブロックダイアグラムを表している。装置4000は、視野を有する光学的要素(ブロック4002)と、当該光学的要素4002に連結され、複数領域に視野を分割可能に構成された画像分割要素(ブロック4004)と、前記画像分割要素4004に連結され、複数領域で画像処理可能に構成された画像演算器(ブロック4006)とを含むことが好ましい。
前記装置4000において、前記画像演算器4006は、更に、平面投影、平面対数投影、球面対数投影、球面投影、及びログポーラ投影のうち少なくとも1つの投影を処理可能に構成されると良い。画像演算器4006は、更に、デカルト座標、球面座標及び対数座標のうち少なくとも1の座標で処理可能に構成されることが好ましい。
前記装置4000において、前記画像演算器4006は、更に、回転不変の特徴、拡大縮小不変の特徴、及び移動不変の特徴のうちの1特徴を有する画像をレンダリング可能にも構成されると良い。
前記画像分割要素4004は、中心窩領域、傍中心窩領域、近周辺視野領域、及び周辺視野領域のうち少なくとも1の領域で視野を分割可能に構成されることが好ましい。
前記光学的要素4002は、視野の中心領域での平面投影、及び視野の周辺領域での球面投影のうち少なくとも1つを適用可能に構成されると良い。前記光学的要素4002は、フィッシュアイレンズ、ピンホールカメラレンズ、ミラー、広角中心窩レンズのうちの1つを含むと良い。
前記装置4000は、前記画像演算器4006に連結され、視野の複数分割視野のうち少なくとも1つを計測可能に構成されたセンサを更に含むと良い。前記装置4000において、前記画像演算器4006は、画像を蓄積し、周辺領域でエッジを検出し、透視投影座標に変換し、ハフ変換により直線を検出し、境界線を決定し、視線方向を探索し、カメラを制御可能に構成されることが好ましい。
本明細書と添付された請求項で用いられるように、「a」、「an」、「the」等の単数形で表現される用語は、明細書中に明示しない限り、複数形対象をも含んでいる。「複数(plurality)」なる用語は、明細書中に明示しない限り、2又はより多くの対象を含んでいる。更に、他に記載されない限り、ここで用いられる全ての技術用語と科学用語は、本発明が関連する技術分野における通常の技術を有する者に共通して理解される意味を有する。
まとめると、本発明の各実施例に従って、イメージングモデルとイメージング装置を形成するためのシステムと方法が記載されている。画像処理装置装置は、視野を有する光学的要素と、当該光学的要素に連結され、視野を複数領域に分割可能に構成された画像分割要素と、当該画像分割要素に連結し、複数領域で画像を処理可能に構成された画像演算器とを含むことが好ましい。前記装置を形成するための手法も記載されている。
当該技術分野における通常の技術を有する者が察するように、前述の手法における要素やブロックは、同時に行うことが可能で、或いは、記載された順序とは異なる順序で行うこともできる。
前述した実施例は、本発明の原理を明確に理解するための単なる実施可能例であることを強調する。本発明の本質から実質的に逸脱しない限り、本発明の前述の実施例に対し、多くの変形や改良が可能である。これらすべての変形や改良は、本開示及び本発明の範囲に含まれるものであり、次の請求の範囲により保護される。
Claims (24)
- 光学的要素を提供し、
前記光学的要素の視野を決定し、
複数領域に視野を分割し、
前記複数の分割領域に応じて画像処理することを特徴とする画像モデリング方法。 - 前記画像処理は、
平面投影と、
平面対数投影と、
球面対数投影と、
球面投影と、
ログポーラ投影と、
からなる群より選択された少なくとも1の投影で処理することを更に含むことを特徴とする請求項1記載の画像モデリング方法。 - 前記画像処理は、
デカルト座標系と、
球面座標系と、
対数座標系と、
からなる群より選択された少なくとも1の座標系で処理することを更に含むことを特徴とする請求項1記載の画像モデリング方法。 - 前記画像処理は、
回転不変性と、
拡大縮小不変性と、
移動不変性と、
からなる群より選択された1の特徴を有する画像をレンダリングすることを更に含むことを特徴とする請求項1記載の画像モデリング方法。 - 前記複数領域への視野の分割は、
中心窩領域と、
傍中心窩領域と、
近周辺視野領域と、
周辺視野領域と、
からなる群より選択された少なくとも1の領域に視野を分割することを更に含むことを特徴とする請求項1記載の画像モデリング方法。 - 前記光学的要素の提供は、レンズの提供を含むことを特徴とする請求項1記載の画像モデリング方法。
- 前記レンズの提供は、1つのログポーラレンズと1つのミラーとを1組提供することを含むことを特徴とする請求項6記載の画像モデリング方法。
- 前記ログポーラレンズの提供は、視野中心部分において平面投影を適用することを更に含むことを特徴とする請求項7記載の画像モデリング方法。
- 前記ログポーラレンズの提供は、視野周辺部分において球面投影を適用することを更に含むことを特徴とする請求項7記載の画像モデリング方法。
- 前記レンズの提供は、フィッシュアイレンズの提供を含むことを特徴とする請求項6記載の画像モデリング方法。
- 前記レンズの提供は、ピンホールカメラレンズの提供を含むことを特徴とする請求項6記載の画像モデリング方法。
- 前記レンズの提供は、広角中心窩レンズの提供を含むことを特徴とする請求項6記載の画像モデリング方法。
- 視野内で物体をセンシングし、分割された複数の視野領域の少なくとも1つに従って実行されるセンシングを行うことを更に含むことを特徴とする請求項1記載の画像モデリング方法。
- 前記画像処理は、
画像を蓄積し、
周辺視野領域でエッジを検出し、
透視投影座標に変換し、
ハフ変換を実行することにより直線を検出し、
境界線を決定し、
注視方向を検出し、
カメラを制御することを更に含むことを特徴とする請求項1記載の画像モデリング方法。 - 視野を有する光学的要素と、
前記光学的要素に連結され、視野を複数領域に分割するように構成された画像分割要素と、
前記画像分割要素に連結され、前記複数の領域で画像処理を可能に構成された画像演算器とを備えたことを特徴とする画像処理装置。 - 前記画像演算器は、
平面投影、
平面対数投影、
球面対数投影、
球面投影、
及びログポーラ投影からなる群より選択された少なくとも1の投影を処理可能に構成されていることを特徴とする請求項15記載の画像処理装置。 - 前記画像演算器は、
デカルト座標、
球面座標、
及び対数座標からなる群より選択された少なくとも1の座標系で処理可能に構成されていることを特徴とする請求項15記載の画像処理装置。 - 回転不変性と、
回転拡大不変性と、
移動不変性と、
からなる群より選択された1の特徴を有する画像をレンダリング可能に構成されていることを特徴とする請求項15記載の画像処理装置。 - 前記画像分割要素は、
中心窩領域と、
傍中心窩領域と、
近周辺視野領域と、
周辺視野領域と、
からなる群より選択された少なくとも1の領域に視野を分割可能に構成されていることを特徴とする請求項15記載の画像処理装置。 - 前記光学的要素は、視野の中心領域での平面投影と、視野の周辺領域で球面投影との少なくとも一方を適用可能に構成されていることを特徴とする請求項15記載の画像処理装置。
- 前記光学的要素は、フィッシュアイレンズ、ピンホールカメラレンズ、ミラー、及び広角中心窩レンズのうちの一つを含むことを特徴とする請求項15記載の画像処理装置。
- 前記画像演算器に連結するセンサを更に含み、当該センサは、複数の分割視野のうち少なくとも1つを計測可能に構成されていることを特徴とする請求項15記載の画像処理装置。
- 前記画像演算器は、
画像を蓄積し、
周辺領域でエッジを検出し、
透視投影座標に変換し、
ハフ変換を行うことによって直線を検出し、
境界線を決定し、
注視方向を計測し、
カメラを制御するように構成されていることを特徴とする請求項15記載の画像処理装置。 - 光学的要素を提供し、
前記光学的要素の視野を決定し、
複数領域に視野を分割し、
前記複数の分割領域に応じた画像処理を行うために、コンピュータで実行可能な命令を有することを特徴とするコンピュータで読込可能な記憶媒体。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US87564906P | 2006-12-19 | 2006-12-19 | |
PCT/US2007/088228 WO2008077132A1 (en) | 2006-12-19 | 2007-12-19 | Imaging model and apparatus |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010530086A true JP2010530086A (ja) | 2010-09-02 |
Family
ID=39536746
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009543197A Pending JP2010530086A (ja) | 2006-12-19 | 2007-12-19 | イメージングモデル及び画像処理装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US8094169B2 (ja) |
JP (1) | JP2010530086A (ja) |
WO (1) | WO2008077132A1 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9658369B2 (en) | 2011-05-12 | 2017-05-23 | Sota Shimizu | Geometric transformation lens |
JP2019032540A (ja) * | 2016-08-12 | 2019-02-28 | パナソニックIpマネジメント株式会社 | 撮像装置 |
JP2020057149A (ja) * | 2018-10-01 | 2020-04-09 | カシオ計算機株式会社 | 画像処理装置、ロボット、画像処理方法及びプログラム |
JP2020150427A (ja) * | 2019-03-14 | 2020-09-17 | 株式会社リコー | 撮像装置、撮像光学系及び移動体 |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8094965B2 (en) * | 2006-12-19 | 2012-01-10 | California Institute Of Technology | Image processor |
JP5812593B2 (ja) * | 2010-10-28 | 2015-11-17 | キヤノン株式会社 | 映像処理装置、撮像装置、映像処理方法及びプログラム |
TWI423659B (zh) * | 2010-11-09 | 2014-01-11 | Avisonic Technology Corp | 影像校正方法與相關影像校正系統 |
WO2013012578A1 (en) * | 2011-07-17 | 2013-01-24 | Ziva Corporation | Optical imaging with foveation |
JP6044328B2 (ja) * | 2012-12-26 | 2016-12-14 | 株式会社リコー | 画像処理システム、画像処理方法およびプログラム |
CN105335748B (zh) * | 2014-08-07 | 2018-10-12 | 株式会社理光 | 图像特征提取方法和*** |
CN105654462A (zh) * | 2015-10-13 | 2016-06-08 | 湖南优象科技有限公司 | 一种基于影像配准的建筑物高程提取方法 |
CN105939445B (zh) * | 2016-05-23 | 2019-04-19 | 武汉市公安局公共交通分局 | 一种基于双目摄像机的透雾摄像方法 |
EP3249928A1 (en) * | 2016-05-23 | 2017-11-29 | Thomson Licensing | Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices |
US10664049B2 (en) | 2016-12-09 | 2020-05-26 | Nvidia Corporation | Systems and methods for gaze tracking |
EP3635686A1 (en) * | 2017-06-05 | 2020-04-15 | Google LLC | Smoothly varying foveated rendering |
DE102017215412A1 (de) | 2017-09-04 | 2019-03-07 | Carl Zeiss Industrielle Messtechnik Gmbh | Koordinatenmessgerät zur Bestimmung mindestens einer Koordinate mindestens eines Messobjekts |
DE102019121434A1 (de) * | 2019-08-08 | 2021-02-11 | Karl Storz Imaging, Inc. | Beobachtungsvorrichtung und Verfahren zum Betrieb einer Beobachtungsvorrichtung |
JP2022154264A (ja) * | 2021-03-30 | 2022-10-13 | キヤノン株式会社 | 撮像装置、画像処理装置、移動装置、制御方法およびコンピュータプログラム |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5760826A (en) * | 1996-05-10 | 1998-06-02 | The Trustees Of Columbia University | Omnidirectional imaging apparatus |
JPH10188146A (ja) | 1996-12-26 | 1998-07-21 | Shigeki Kobayashi | アクティブカメラ及び監視装置 |
JPH114398A (ja) * | 1997-06-11 | 1999-01-06 | Hitachi Ltd | デジタルワイドカメラ |
CN1352754A (zh) * | 1999-01-04 | 2002-06-05 | 塞克维森技术公司 | 全景成象装置 |
KR100414083B1 (ko) * | 1999-12-18 | 2004-01-07 | 엘지전자 주식회사 | 영상왜곡 보정방법 및 이를 이용한 영상표시기기 |
US6535617B1 (en) * | 2000-02-14 | 2003-03-18 | Digimarc Corporation | Removal of fixed pattern noise and other fixed patterns from media signals |
US6829391B2 (en) * | 2000-09-08 | 2004-12-07 | Siemens Corporate Research, Inc. | Adaptive resolution system and method for providing efficient low bit rate transmission of image data for distributed applications |
JP4046969B2 (ja) * | 2000-11-09 | 2008-02-13 | キヤノン株式会社 | 画像処理装置、及びその方法、並びにプログラム、記憶媒体 |
EP1368970B1 (de) | 2001-03-05 | 2005-08-10 | Siemens Aktiengesellschaft | Verfahren und vorrichtung zum entzerren eines bildes, insbesondere für insassenschutzsysteme |
US6578962B1 (en) * | 2001-04-27 | 2003-06-17 | International Business Machines Corporation | Calibration-free eye gaze tracking |
BR0214533A (pt) * | 2001-12-05 | 2004-11-09 | Sola Int Holdings | Lente progressiva balanceadas |
KR20030078235A (ko) | 2002-03-28 | 2003-10-08 | 엘지전자 주식회사 | 카메라가 장착된 이동통신단말기의 영상 왜곡 보상방법 |
KR100973855B1 (ko) | 2002-06-12 | 2010-08-03 | 에스오 델라웨어 코포레이션 (에이/케이/에이 실리콘 옵틱스, 인크.) | 광학변형의 전자보정 시스템 및 방법 |
US7058237B2 (en) * | 2002-06-28 | 2006-06-06 | Microsoft Corporation | Real-time wide-angle image correction system and method for computer image viewing |
US20050089213A1 (en) * | 2003-10-23 | 2005-04-28 | Geng Z. J. | Method and apparatus for three-dimensional modeling via an image mosaic system |
KR20060059302A (ko) | 2004-11-26 | 2006-06-01 | 한국전자통신연구원 | 파노라믹 영상 생성을 위한 사용자 인터페이스 제공 방법 |
WO2006062325A1 (en) * | 2004-12-06 | 2006-06-15 | Electronics And Telecommunications Research Institute | Apparatus for correcting image distortion of stereo-camera and method thereof |
JP4371272B2 (ja) * | 2005-07-04 | 2009-11-25 | ソニー・エリクソン・モバイルコミュニケーションズ株式会社 | 携帯端末装置、コンテンツ配信システム、及びコンテンツ再生プログラム |
US8094965B2 (en) * | 2006-12-19 | 2012-01-10 | California Institute Of Technology | Image processor |
-
2007
- 2007-12-19 JP JP2009543197A patent/JP2010530086A/ja active Pending
- 2007-12-19 US US11/960,607 patent/US8094169B2/en not_active Expired - Fee Related
- 2007-12-19 WO PCT/US2007/088228 patent/WO2008077132A1/en active Application Filing
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9658369B2 (en) | 2011-05-12 | 2017-05-23 | Sota Shimizu | Geometric transformation lens |
JP2019032540A (ja) * | 2016-08-12 | 2019-02-28 | パナソニックIpマネジメント株式会社 | 撮像装置 |
JP2020057149A (ja) * | 2018-10-01 | 2020-04-09 | カシオ計算機株式会社 | 画像処理装置、ロボット、画像処理方法及びプログラム |
JP2020150427A (ja) * | 2019-03-14 | 2020-09-17 | 株式会社リコー | 撮像装置、撮像光学系及び移動体 |
JP7207038B2 (ja) | 2019-03-14 | 2023-01-18 | 株式会社リコー | 撮像装置、撮像光学系及び移動体 |
US11595631B2 (en) | 2019-03-14 | 2023-02-28 | Ricoh Company, Ltd. | Imaging device, image capturing optical system, and movable apparatus |
Also Published As
Publication number | Publication date |
---|---|
US8094169B2 (en) | 2012-01-10 |
WO2008077132A1 (en) | 2008-06-26 |
US20080158226A1 (en) | 2008-07-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2010530086A (ja) | イメージングモデル及び画像処理装置 | |
Pereira et al. | Self calibration of multiple LIDARs and cameras on autonomous vehicles | |
US10594941B2 (en) | Method and device of image processing and camera | |
Klimentjew et al. | Multi sensor fusion of camera and 3D laser range finder for object recognition | |
JP6067175B2 (ja) | 位置測定装置及び位置測定方法 | |
CN109064516B (zh) | 一种基于绝对二次曲线像的相机自标定方法 | |
Tarhan et al. | A catadioptric and pan-tilt-zoom camera pair object tracking system for UAVs | |
WO2008114264A2 (en) | A method and apparatus for video image stabilization | |
Alizadeh | Object distance measurement using a single camera for robotic applications | |
CN107209930B (zh) | 环视图像稳定方法和装置 | |
Zhang et al. | A novel absolute localization estimation of a target with monocular vision | |
WO2017038659A1 (ja) | 運動検出装置及びそれを用いた三次元形状測定装置 | |
JP2023505891A (ja) | 環境のトポグラフィを測定するための方法 | |
JP2014092922A (ja) | 検出装置、検出方法及び検出プログラム | |
US10812691B2 (en) | Image capturing apparatus and image capturing method | |
Wu et al. | PSNet: LiDAR and camera registration using parallel Subnetworks | |
Rosebrock et al. | Generic camera calibration and modeling using spline surfaces | |
JP2001194128A (ja) | 焦点光源付ステレオカメラによる3次元面形状推定方法 | |
JP2011059009A (ja) | 位置計測対象物、位置計測システム、位置計測用演算装置およびプログラム | |
US20200211225A1 (en) | Systems and methods for calibrating imaging and spatial orientation sensors | |
Qidan et al. | A rapid and precise self-localization approach of mobile robot based on binocular omni-directional vision | |
CN111383262A (zh) | 遮挡检测方法、***、电子终端以及存储介质 | |
CN116612459B (zh) | 目标检测方法、装置、电子设备及存储介质 | |
Coudron et al. | Multi-view tof fusion for object detection in industrial applications | |
KR101592793B1 (ko) | 영상 왜곡 보정 장치 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20101213 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111208 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120203 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20120713 |