JPH076227A - 隣接する複数画像より画像を形成する画像処理方法及び装置 - Google Patents

隣接する複数画像より画像を形成する画像処理方法及び装置

Info

Publication number
JPH076227A
JPH076227A JP5354629A JP35462993A JPH076227A JP H076227 A JPH076227 A JP H076227A JP 5354629 A JP5354629 A JP 5354629A JP 35462993 A JP35462993 A JP 35462993A JP H076227 A JPH076227 A JP H076227A
Authority
JP
Japan
Prior art keywords
image
address
target image
camera
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP5354629A
Other languages
English (en)
Other versions
JP3320541B2 (ja
Inventor
Pierre Lelong
ルロン ピエール
Govert W Dalm
ウィレム ダルム ホフェルト
Jan Klijn
クレイン ヤン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV, Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of JPH076227A publication Critical patent/JPH076227A/ja
Application granted granted Critical
Publication of JP3320541B2 publication Critical patent/JP3320541B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Studio Circuits (AREA)

Abstract

(57)【要約】 【目的】 隣接画像から画像を構築するための画像処理
方法及び装置の提供。 【構成】 固定フレーム線と原画像(I1,…Ii,Ij,…,In)
とを持つ隣接画像から目標画像(Io)を構築する画像処理
方法で該原画像及び目標画像はほぼ共通の視点を持つ。
この方法は、画像のディジタル化、目標画像の画素の１
つに対し全原画像(Ij)の１つ中の対応の点のアドレス(A
q)の決定、この対応の点の輝度値(F) の決定、この対応
の画素の輝度値を目標画像中の出発画素に割当て、の各
ステップ及び目標画像の各画素に対し以上のステップの
繰り返しを含む。また、この方法を実行する装置ではｎ
個の固定実カメラ(C1,…,Cn)が広角視野をカバーし共通
視点(P) を持つｎ個の隣接原画像(I1,…,In)を供給す
る。画像再構成システム(100)が広角視野の目標画像(I
o)という副画像を与えるため仮想カメラ(Co)という移動
カメラをシミュレートし、同じ視点(P) を持つ原画像の
基づき構築される。

Description

【発明の詳細な説明】 【発明の属する技術分野】
【０００１】本発明は、固定フレーム ラインを有する
隣接画像で、原画像と称される各画像より目標画像を形
成する方法に関するもので、前記原画像と目標画像とは
ほぼ共通の視点を有する場合の画像処理方法に関する。
【０００２】さらに本発明は、実カメラの各個別の視野
が合体して、単一の広角視野を有しパノラマ風景を観測
しうるように配置したｎ個の固定実カメラのシステム
と、パノラマ風景を連続的に走査する可動仮想カメラを
シミュレートし、前記ｎ個の実カメラより供給され隣接
する原画像より構成され、広角視野の任意のセクション
に対応する目標画像と称せられる副画像を形成する画像
構成システムであって、前記仮想カメラは実カメラと同
じか、近似した視点を有しており、この画像処理システ
ムはデイジタル システムであり、目標画像の構成シス
テムは、アドレス計算機を有し、これによって原画像の
１つ内のアドレス目標画像内の画像アドレスに対応させ
るアドレス計算機と、原画像内に見出されたアドレスの
点の輝度を計算し輝度を決定し、この輝度値を、目標画
像内のアドレスの初期画素に割当る手段と、を有してな
ることを特徴としている画像処理装置に関する。
【０００３】本発明は、遠隔監視またはテレビジョンの
分野において、例えばスポーツの試合を記録するなど、
大きな視野をカバーするため複数のショットが必要な場
合に用いられる。本発明はまた、自動車の分野で、死角
無しに周辺をパノラマ式に見るためのバックミラー手段
を構成するためにも用いられる。
【０００４】
【従来の技術】この種画像処理装置は出願Ｗ092 −1434
1 により既知である。本文献はテレビジョン用の画像処
理システムについて記述している。この既知の装置は、
互に隣接して配置された複数個の固定カメラを有する送
信ステーションを有し、これらカメラの視野が合体して
広角視野を与えるものである。本装置は、広角視野に対
応する全合成画像を形成する手段を有する処理ステーシ
ョンを有しており、さらに本ステーションは、この合成
画像より副画像を選択する手段を有している。又本シス
テムは、かかる副画像を表示するためのモニタ手段を有
している。この副画像は、合成画像の視角より小さい視
角を有していて、広角視野のサブ セクションと称され
る。
【０００５】前記画像処理装置は、走査ビームを用い
て、ライン毎に画像を形成する従来既知のテレビジョン
システムにのみ適用が可能である。
【０００６】（従来装置の欠点）この既知の処理ステー
ションにより、ユーザは広角視野の副セクションを選択
することができる。これらの対応の副画像は、各個別の
カメラによって供給される画像の寸法と同寸法である。
ユーザは走査の開始点を、広角視野に対応する複合画像
に対し変化させることによって副画像を選択する。前記
広角視野は、ビデオ画面の走査方法に平行な軸を有す
る。従って副画像のビデオ走査の開始点は、この軸に平
行に任意にかつ連続して移動させ得る。
【０００７】副画像における視野角は、実カメラの視野
角より小となる。しかし乍ら副画像の位置は、走査に対
し直角方向に移動させるものを含まない。その位置は走
査方向に平行な移動によるもののみである。副画像の形
成は合成画像に対しズーム効果を生じるものを含まな
い。すなわち撮像管の焦点長に比し副画像の焦点を変化
させるものを含まない。
【０００８】従って画像処理ステーションは、選択され
た副画像を１ライン毎に構成する手段を含んでいる。こ
れらの手段は、それぞれ異なるカメラよりのビデオ信号
の同期制御回路を必然的に含んでいる。
【０００９】（発明の目的）本発明の目的は、視野が互
いに合体するｎ個の固定カメラによってカバーされる広
角視野の移動カメラ走査をシミュレートしうるような装
置と方法を得るにある。
【００１０】本発明の特殊な目的は、実際に存在する可
動カメラのすべての機能を具え持ったカメラのシミュレ
ート装置を得るにある。すなわち静止位置にある観視者
に、観察またはモニタしているパノラマ状の画面の右又
は左へ向かっての水平角移動と、同じ画面の上又は下へ
向かっての垂直角移動、並びに同じ画面の表面の一部の
回転及びズームを可能にしようとするものである。
【００１１】（目的達成のための手段）本発明によれ
ば、この目的は、次の如き本発明方法の実施により達成
される。すなわち原画像と称される固定フレーム ライ
ンを有する隣接した画像より目標画像（ターゲツト イ
メージ）を構成する画像処理方法で、前記原画像と、目
標画像とがほぼ共通の視点（ビュー ポイント）を有し
ている画像の処理方法において、画像をデイジタル化す
る工程、目標画像の画素の一つに対して、全原画像の１
つ内の対応点のアドレスを決定する工程、上の対応点に
おける輝度値を決定する工程、この対応画素の輝度値を
目標画像内の初期画素に割当る工程、目標画像の各画素
に対し上記各工程を反復する工程、を具えてなることを
特徴とする隣接する複数の画像より画像を形成する画像
処理方法。
【００１２】本発明はかかる方法の実施のため、次の如
き装置をも提案する。すなわち、実カメラの各個別の視
野が合体して、単一の広角視野を有しパノラマ風景を観
測しうるように配置したｎ個の固定実カメラのシステム
と、パノラマ風景を連続的に走査する可動仮想カメラを
シミュレートし、前記ｎ個の実カメラより供給され隣接
する原画像より構成され、広角視野の任意のセクション
に対応する目標画像と称せられる副画像を形成する画像
構成システムであって、前記仮想カメラは実カメラと同
じか、近似した視点を有しており、この画像処理システ
ムはデイジタル システムであり、目標画像の構成シス
テムは、アドレス計算機を有し、これによって原画像の
１つ内のアドレス目標画像内の画像アドレスに対応させ
るアドレス計算機と、原画像内に見出されたアドレスの
点の輝度を計算し輝度を決定し、この輝度値を、目標画
像内のアドレスの初期画素に割当る手段と、を有してな
ることを特徴とする画像処理装置。
【００１３】本発明装置によれば、連続的に移動させて
いる仮想カメラによって供給されるような目標画像を構
成することが可能となる。この目標画像は、観察すべき
光景に対しそれぞれ固定的に配置された一群のカメラの
うちの１つづつによって形成される複数の隣接する原画
像により形成されるものであり、かかる構成により本装
置は、スクリーン上または記録によって次のサービスを
供給しうる。観察風景（シーン）の各部分を、場合によ
りズーム効果を与えて、各画像を順次連続的に読出すこ
と。あるいは、観察シーンを視野をしぼり、あるいは仰
角を制御するか、または回転を加え連続的に走査して読
出すこと。
【００１４】本発明の実施例では、該装置は、目標画像
の再構成システム（装置）は、アドレス計算機に各カメ
ラより独立の固定直交陸標内の仮想カメラの光学軸の方
位とスケール係数、すなわち方位角、視野角及び回転角
ψ0 を供給する仮想カメラに関するパラメータを記憶す
る第１手段と、アドレス計算機に、各実カメラの光学軸
の方向、及びスケール係数、すなわち前記固定陸標内の
方位角、視野角及び回転角を供給する実カメラに関する
パラメータを記憶する第２手段と、各画素毎に、目標画
像の画素のアドレスを発生し、全目標画像をカバーする
ようにしたアドレス発生器とを有し、アドレス計算機は
特定の原画像を決定し、該原画像のアドレスの点は、目
標画像の各画素に対応し、これらは仮想カメラと実カメ
ラのパラメータをベースとして定まる如くした画像処理
装置。
【００１５】他の技術的問題が、目標画像の構成に関し
て生じている。複数個のカメラを互に隣接させて配置
し、構成すべきパノラマ シーンの各ゾーンは、各カメ
ラによってカバーされるフィールドを超えないものとす
る。これにより目標画像を構成するすべてのデータが揃
ったものと見なす。しかし各カメラ間の境界において、
１つのカメラよりの画像が他のカメラの画像に変わる個
所において、２つのカメラの視角差があり、２つの隣接
カメラにより記録される２つの隣接ゾーンでは画像に大
なる歪を生ずる。この結果、２つの異なるカメラにより
記録される２つのゾーンの両側によって生ずる境界は表
示が困難でかつ精密さを欠いている。
【００１６】本発明の他の目的は、２個のカメラの境界
における画像歪みを修正して、境界の両側における部分
画像の表示中も、照準角と方位角の変化による全景の連
続表示中も、この境界が利用者には全く見えないような
形でパノラマ式画像を提供することにある。
【００１７】上の目的は、次の如く技術を有する本発明
装置により達成される。アドレス計算機（コンピュー
タ）は、視点Ρを通る投影を有する仮想カメラのモデル
を構成する第１手段と、視点Ρを通る投影を有する実カ
メラのモデルで、歪及び予知しうる誤りの修正を行った
モデルを構成する第２手段とを具えてなる画像処理装
置。
【００１８】本発明の実施例では、アドレス計算機が、
仮想カメラの画像のアドレスにおける各画素に、“逆方
向見込み変換“と称される幾何学的変換を加える幾何学
的変換を計算する第１手段を有し、この変換において
は、第１構成手段により与えられる仮想カメラのモデ
ル、並びに第１記憶手段により与えられる該仮想カメラ
の方位角、視野角、回転角及びスケール係数を考慮に入
れて、前記逆方向見込み変換をベースとし、視点と前記
画素を通過する光線の前記陸標（ランドマーク）内の位
置を決定する第１手段と、前記逆方向見込み変換によっ
て得られる光線の位置を記憶する手段と、該光線によっ
て横切られる特定の原画像を選択する手段と、前記陸標
内の前記光線に“逆方向見込み変換”と称される幾何学
的変換を加える幾何学的変換を計算する第２手段で、こ
の変換においては、第２構成手段によって与えられる実
カメラのモデル、並びに第２記憶手段によって与えられ
る対応の実カメラの方位角、視野角、回転角及びスケー
ル係数を考慮に入れて行う第２手段と、前記直接見込み
変換をベースとして、前記光線に対応し、従って前記目
標画像内のアドレスの画素に対応する特定の原画像内の
アドレスを供給する記憶手段とを具えてなることを特徴
とする画像処理装置である。
【００１９】
【作用】本装置を用いると、パノラマ式情景が表示され
るので、画面をモニタしている利用者にとっては、ズー
ムと機械的手段とで、照準、方位、およびカメラの光軸
の回りの回転角を変化できる移動カメラを所有するの
と、全く同一の利用上の便利さとサービスが得られる。
その利点は機械的手段が不要なことである。機械的手段
は、方位角と視角を変化させるモータ及びズーム用モー
タを含む。これらの在来の機械的手段は幾つかの欠点が
ある。すなわち第一に故障で動かないことがあり、次に
は動きが極めて遅いことである。さらにこれらは極めて
高価となる。しかもこれらの機械的手段は装置の外部に
装着されるので気候による劣化が生ずる。本発明に基づ
く電子画像処理手段では、動作が非常に精密、高信頼
で、非常に迅速かつ制御が容易なため、これらすべての
欠点が回避される。しかもこれらは装置に内蔵されるの
で気候による劣化を受けにくい。その上、電子手段は機
能の自動化のためのプログラム化が容易である。最後に
本発明の電子手段はコストがより低廉である。
【００２０】本発明によるとユーザは歪がなく、極めて
精度の高い画像が得られ、従来の機械的手段に比しより
容易に観視操作ができる。更に、より大きな視野のパノ
ラマ画像を得ることが可能である、というのは使用カメ
ラの数によっては180 度もしくは360 度の視野さえも実
現できるからである。関連作業も容易にプログラム化可
能である。
【００２１】監視については大きな進歩が達成できる。
自動車用のパノラマ式バックミラー<Panoramic rear-vi
ew> 手段を実現するにも、この進歩は非常に重要であ
る。
【００２２】目標画像を構成するために、数個のカメラ
を要することは欠点ではない。というのは、照準と方位
を変更するのに、昨今のCCD カメラ（電荷結合素子）の
アッセンブリは、機械装置に比し、視野、方位角及び回
転の変化ならびに単一の実可動カメラのズーム等の扱い
がより容易だからである。
【００２３】本発明の実施例では、輝度決定手段は、選
択手段によって供給される原画像内の、アドレス計算機
によって見出されたアドレスにおける輝度係数の最確値
を計算するインタポレータ（補間器）と、アドレス発生
器によって供給されるアドレスにおいて、目標画像内の
初期画素に対し、発見された原画像のアドレスに対応す
る輝度値を割当る第３記憶手段を具えてなる画像処理装
置である。
【００２４】Ｉ／撮像システム 図1Gは、180 度の角度に亘る一つの情景に関するデータ
を記録するための、固定実カメラ数個の一つの可能な並
べ方を示す。このパノラマ式情景は三個のカメラC1, C
2, C3で記録される。これらのカメラの有する視野によ
り、パノラマ式情景の詳細は必ずどれか一個のカメラで
記録され、監視から外れる対象は全く存在しない。これ
らのカメラの視点は、共通のＰか、それとも互いに極め
て近接しているかである。
【００２５】三本の軸PZ1, PZ2, PZ3 はそれぞれ、カメ
ラC1, C2, C3の光軸を示し、三個の点01, 02, 03は、そ
れぞれ光軸上における画像平面（image plane)上の画像
I1,I2, I3の幾何学中心を示す。
【００２６】角度 360度に亘る水平監視は、六個のカメ
ラを適当に配置すれば実行できる。しかし、垂直監視
も、（水平・垂直）両方向の監視もできる可能性があ
る。当業者であれば、如何なる型のパノラマ画像の構成
も実現できる筈なので、カメラの各種の相互配置をこれ
以上詳しく述べることは不要と考える。
【００２７】図1Aにおいて、撮像装置はｎ個の複数実カ
メラを含み、これらは既知の固定焦点距離を有し互いに
隣接して配置されるため、それらの個々の視野を合わせ
ると広角視野が得られる。これらｎ個の固定カメラはｎ
個の隣接する画像を生成し、この撮像装置でパノラマ式
情景が監視できる。これらカメラの有する光学視野によ
り、上記パノラマ式情景のあらゆる詳細がどれか一つの
カメラには記録され、監視対象が脱落することは無い。
【００２８】この結果を得るため、これらｎ個の隣接固
定カメラの配置も、視点と称するそれら光学中心Ｐが一
致するような方法でなされる。カメラの視点とは、光源
から発射されこの点を通る各光線が、逸脱することなく
そのカメラの光学系を横切るような点と定義される。
【００２９】ｎ個のカメラの視点は物理的に一致する必
要はない。しかし、以下の記述では、これら各視点の距
離が撮影するパノラマ式情景に比して小さく、例えば相
互の距離が５〜10cmでパノラマ式情景への距離が５ｍで
あるような場合には、一致の条件は十分に満たされてい
ると仮定する。このようにもしこれらの距離の比が50ま
たはそれ以上であるなら一致の条件は満たされているも
のと考え得るので、本発明によれば、調整の困難でかつ
高価な光学ミラーを用いて視点の厳密な一致を達成する
必要はない。
【００３０】II／複数カメラによる画像の形成 本発明の一つの目的は、一個の移動カメラ(mobile came
ra) を模擬したデジタル画像を再構成するシステムを提
供することである。ここで移動カメラとは、利用者の選
んだ設定によりｎ個の固定カメラの記録したパノラマ式
情景の如何なる部分またはサブ画像をも作成できる能力
を有するカメラである。
【００３１】ｎ個のカメラにはC1,---,Ci ，Cj,---,Cn
の番号を付しそれぞれはデジタル原画像I1,---,Ii, Ij,
----,In を生成するものとする。以下の記述では例え
ば、原画像IiとIjは二個の隣接固定実カメラCiとCjが生
成するものと考える。
【００３２】これら固定実カメラCiとCjは、パノラマ式
情景のうち隣接する原画像平面IiとIjをそれぞれ形成す
る。図1Aにおいて、原画像IiとIjの幾何学中心OiとOjを
通過する軸Pzi とPzj は、それぞれ固定実カメラCiとCj
の光軸を示す。
【００３３】図1Bにおいて、直交軸から成る陸標Px, P
y, Pzにおいては、軸PxとPzは水平で、軸Pyは垂直と定
義する。
【００３４】画像Ii, Ijなどの原画像には番号が付与さ
れ、これら画像の各画素ｍは画像平面内の座標により標
識（mark) が付けられる。図1Cに示すように、矩形座標
(OiXi, OiYi)および(OjXj, OjYj)の標識は、軸OiXiまた
はOjXjが水平であるような各画像平面、すなわち陸標P
x, Pzの平面において定義される。(OiXi, OiYi)及び(Oj
Xj)で定義される画像平面は、それぞれ光軸Pzi とPzj
に垂直であり、幾何学中心OiとOjを有する。
【００３５】これらカメラの各画像平面に関する個々の
標識が設定され終わると、これら固定原画像平面は以下
の各手段により陸標に関係が付けられる： ーそれらの方位角（またはパン角）Θi ，Θj −それらの照準角（または傾斜角）Φi ，Φj 。
【００３６】方位角Θi またはΘj は光軸PZi またはPZ
j を含む垂直面と陸標の水平軸Pzの成す角である。従っ
て、これは垂直軸Pyの周りの水平回転角である。
【００３７】照準角Φi またはΦj は光軸PZi ，PZj と
水平面(Px, Py)の成す角である。従って、これは水平
軸、各画像平面の軸OiXiまたはOjXjの周りの垂直回転各
である。
【００３８】簡単のため、図1Aに例示したように、今後
は、固定カメラCi, Cjの生成する原画像平面Ii, Ijは垂
直である、すなわちそれらの照準角Φi ，Φj はゼロで
あると仮定する。
【００３９】同様な理由から、簡単のため、今後説明す
る原画像と目標画像の双方について、図1Aが平面と軸及
び対応する平面と軸の投影を示すものとする。
【００４０】形成された画像を図式的に示す図1Aは、従
って、水平面Px, Pzにおけるセグメントにより代表され
る固定原画像平面の投影IiとIjのみを示している。
【００４１】図1Eは、例えば二個の隣接カメラCi, Cjに
よって生成されたパノラマ式画像の隣接画像Ii, Ijを示
している。本図においては、簡単のため、画像IiとIjは
同一平面に投影されているが、実際にはこれら画像は、
相互に固定カメラの光軸の成す角に等しい角を形成して
いる。これらの画像において、利用者は、線Joで区切ら
れる如何なるサブ画像をも、多少左右寄りあるいは多少
上下寄りで、固定カメラと同一倍率でまたは倍率を拡大
あるいは縮小して選択観測できる。
【００４２】模擬した移動カメラは、図1EのJoで区切っ
た原画像の部分Si, Sjから、目標画像Ioを構成する能力
がある。以後Coで示すこのカメラは、仮想カメラと呼ぶ
が、それは実際に存在しないカメラを模擬するからであ
る。明らかにこの移動カメラは二個の画像Ii, Ijを走査
するだけではない。I1からInまでのすべての原画像の走
査が可能である。
【００４３】この仮想カメラCoは固定カメラと同様の仕
方で、以下の各項すなわち、 −その方位角Θo −その照準角Φo −その回転角Ψo −及びその焦点距離POo により決まりzoで表示される倍
率（ズ−ム効果） により定義でき、その視点Ｐは固定実カメラの各視点と
共通であり、一方、Ooは目標画像Ioの幾何学中心であ
る。この仮想カメラの視点は実カメラに対して以前定義
した視点と近似的に共通である。
【００４４】図1Aは、仮想カメラの画像平面に関する水
平面における投影であってIoで示され、その光軸PZo は
目標画像Ioの幾何学中心Ooを通過している。
【００４５】この移動仮想カメラCoの定義において、方
位角Θo は、その光軸PZo を含む垂直平面が陸標の水平
軸Pzと成す角度である； 照準角Φo はその光軸PZo が
陸標の水平面Px, Pzと成す角度である； その角Ψo は
仮想カメラの、その光軸（固定）の周りの回転角であ
り； 最後にその焦点距離POo は可変で、この目標画像
の倍率が原画像の倍率に関して変化し得る（ズ−ム効
果）ようになっている。
【００４６】上記方位角Θo 、照準角Φo 、回転角Ψo
、及び焦点距離POo を変化することにより、この仮想
カメラは、異なる固定カメラC1ないしCnの視野を合成し
て形成した、広角の視野を走査する一個の移動カメラと
全く同様の機能を有することになる。
【００４７】注意しておきたいことは、仮想カメラCo
は、広角視野のうちJoで区切った小部分（またはサブセ
クション）を見ることができ、そしてこの場合、その可
変焦点距離POo を変化することにより、拡大した画像I
o、例えば、各カメラC1,---,Cnが生成する画像I1,---,I
n のそれぞれと同一の最終寸法を有する拡大画像を実現
することができるのである。
【００４８】同様に注意したいのは、この移動カメラの
視野の変位は連続的かつ任意に行なえることである；Jo
に対応するこの視野は、二個の隣接カメラCiとCjの生成
する隣接画像IiとIjの二つの部分(Si, Sj)の上か両側に
あってもよい。
【００４９】この場合、仮想カメラCoにより構成される
画像Ioは二つの画像部分を含み、その一部Ioi はデジタ
ル画像Iiの情報Siに基づいて構成され、他の部分Ioj は
デジタル画像Ijの情報Sjに基づいて構成される。図1Aに
おいて、Ioi とIoj は、水平平面における目標画像Ioi
とIoj の投影を表す。
【００５０】同様に実画像に関しては、直角座標(Oo, X
o, Oo, Yo)の標識を、ここで図1Dを参照してデジタル目
標画像平面Ioの中で定義する。この標識の中では、軸Oo
Xoは水平であり、すなわち陸標Px, Pzの水平面内にあ
る。画素Ooは目標画像Ioの幾何学中心であり、また仮想
カメラCo光軸PZo 上にも存在する。目標画像平面の各画
素ｍ’はこうしてこの直角座標軸(Oo, Xo, Oo, Yo)系に
おけるその座標によりマ−クされる。
【００５１】目標画像の枠組み（framework)も、その寸
法は、水平方向では画素数により、垂直方向では線数に
より定義される。
【００５２】III／目標画像を原画像から構成する方法 本発明に基づくデジタル画像処理手段は、固定実カメラ
により生成される「原画像」から仮想カメラにより生成
される「目標画像」を構成するためのものである。
【００５３】既に記述したように、目標画像の構成にお
いては技術問題が発生する可能性がある、というのは、
隣接実カメラにより生成され、図7Aと7Bにおけるデジタ
ル情景画像の形で示されるる画像IiとIjは、正しく接合
（blend)されないための歪みを示している： 特に直線
のある部分は曲がり、垂直線が垂直でないなどである。
その結果、これらを接合すると、これらの線はつながる
代わりに切れてしまう。その上、継目の両側の原画像の
部分は、別々の透視画法によって眺めたパノラマ情景と
して出現する。その結果として、目標画像Ioi とIoj は
うまく接続できず、これは図7Cに例示した通り、デジタ
ル画像7Aと7Bの単純な併置に終わってしまう。
【００５４】本発明は、これらの欠点を除去して、歪み
も透視画法の欠点もないデジタル画像を再構成でき、そ
の構成部分Ioi とIoj が、両者の境界の直線が観測者や
利用者に見えないように接続され得るような方法と手段
を提案するものである。
【００５５】図7Dは、図7Cに関するデジタル情景画像を
示すもので、ここでは図7Cの歪みと透視画法の欠点が本
発明に基づく手段により修整されている。
【００５６】原画像を構成する方法は、以下に説明する
信号処理装置により実行される各種の段階を含む。
【００５７】この方法に含まれる第一の段階は： −原画像におけるアドレスAqのｍ点を、目標画像Ioにお
いてアドレスAoを有する画素ｍ’と対応付けることであ
る。そのアドレス(Ao)は以下により定義される； −この原画像を生成する実カメラの参照または索引番
号； −この原画像における点ｍのアドレスAq。
【００５８】この方法に含まれる第二の段階は： −原画像における上記の点において最も確からしい輝度
の値を見積もること； −次いでこの輝度の値を目標画像における画素ｍ’に割
り当てることである。
【００５９】これらの段階は目標画像Ioの画素ｍ’のす
べてについて行なわれる。
【００６０】この処理手段の構成する目標画像において
は、下記のように、在来の移動カメラを使用する観測者
の得る画像の全品質を実現することが可能である： −歪みが無く、透視画の調整が不要、 −二個またはそれ以上の隣接画像の間の境界における切
れ目の直線（straightinterrupting lines)が出現しな
い。従って、問題はこれらの直線を如何にして見えなく
するかである。
【００６１】IV／画像処理装置の必須の要素 図２には、本発明に基づく画像処理装置の各種の要素を
機能ブロックの形で示す。
【００６２】ブロックC1, Ci, Cj,---、Cnはｎ個の固定
実カメラを示し、それらが出力として作成するｎ個の原
画像をI1,---,Ii, Ij,---,Inの記号で表す。
【００６３】各実カメラの有する撮像パラメ−タ（pick
-up parameters) は、情景に対するそのカメ ラの向き
(orientation) と規模係数（scale factor) に対応す
る。これらのパラメータは正確に知る必要がある。
【００６４】ブロック１は、一個の制御システムであ
り、これにより利用者は、仮想カメラCoの向きと規模係
数に関するパラメ−タを選択し表示できる。
【００６５】ブロック 100は画像再構成システム（imag
e reconstruction system)であり、この働きにより、実
カメラC1, C2,---,Cn が作った原画像I1, I2,---,1n に
基づいて、制御システム１で利用者の定義したパラメ−
タにより向きを決め調整された仮想カメラCoの与える、
「目標画像」と呼ばれる画像Ioの計算が可能になる。仮
想カメラCoは、その視点が実カメラの視点Ｐと共通であ
るか、または近接する視点を持つように設定される。
【００６６】ブロック10は表示手段または記録手段に対
応し、特に実時間表示にはデジタル型のモニターテレ
ビ、ビデオ・テープ録画にはビデオ・レコーダが用いら
れ、あるいは両者が併用される。
【００６７】実カメラはアナログデ−タを生成すること
に注意すべきである。この場合、Ａ／Ｄ変換モジュール
（図示せず）を用いてデジタル原画像を形成する。
【００６８】その利点から、当業者は多分CCD （電荷結
合素子）カメラを選択する筈である。この型のカメラは
扱いが容易で軽量、堅牢かつ信頼性が高い。また解像度
が極めて高く、技術進歩とともに今後一層改良されると
思われる。
【００６９】Ｖ／画像処理装置の構成要素の詳細 図３には、処理動作を実現するため必須の手段に対応す
る機能ブロックを図式的に示した。
【００７０】これらの手段は主として以下を含む： −利用者インタフェイス２、 −原画像選択器 205を含むアドレス計算器200 ； −内挿器 112、 −アドレス生成器 113、これは画素ごとに、目標画像Io
の各画素のアドレスAoを構成することにより、目標画像
Io全体をカバ−する、 −仮想カメラCoのパラメ−タΦo ，Θo ，Ψo ，Ｚo
（規模係数）を蓄積する第一の手段 210、 −パラメ−タΦ1 〜Φn 、Θ1 〜Θn 、Ψ1 〜Ψn 、Ｚ
1 〜Ｚn （実カメラC1〜Cnの規模係数）をそれぞれ蓄積
する第二の手段21.1〜21.n、 −第三の蓄積手段 117。
【００７１】構成すべき目標画像の各画素ｍ’に対応す
る一個のアドレスAoが、目標画像Ioのアドレスを生成す
るためのブロック 113に蓄積される。アドレス計算器 2
00は、利用者の選んだ設定機能（厳密にいえば利用者イ
ンタフェイス２によって制御ブロック１に入り、ブロッ
ク 210において仮想カメラのパラメータΦo 、Θo 、Ψ
o 、Ｚo として蓄積される機能）、及び、ブロック21.
1, 21.j, 21.nに蓄積された実カメラのパラメータΦj
、Θj 、Ψj 、Ｚj （ここでｊはカメラ１〜ｎの索引
の代表）の機能とを勘案して、目標画像Ioの画素ｍ’の
アドレスAoに対応するデータを有する画像Ijを供給でき
る実カメラCjの索引ｊを（すべての索引１〜ｎの中か
ら）見出だす。
【００７２】続いて、画像選択器 205がｎ個の実カメラ
の中の実カメラCj、及びこれに対応して処理すべきデー
タの存在する原画像Ijを選択する。
【００７３】同一の要素に基づき、アドレス計算器 200
は、この選択された原画像Ijの中の対応する点ｍのアド
レスAqを計算するが、この計算はインタフェイス２で利
用者の行なう各種の透視変換を媒介として行なわれる。
【００７４】こうして目標画像Ioの与えられたアドレス
Aoにおける画素ｍ’と、原画像Ijについて計算したアド
レスAqにおける点ｍとの間の対応が確立する。
【００７５】続いて、原画像Ijの中のアドレスAqの点ｍ
の輝度の値が、目標画像Ioの中のアドレスAoにおける対
応画素ｍ’に割り当てるため、計算される。これが目標
画像Ｉｏのすべての画素について繰り返される。
【００７６】目標画像Ioにおけるアドレスは実際にｍ’
であるが、原画像IjにおけるアドレスAqは正に計算した
アドレスであるため、一般にこの見付けたアドレスは、
画素ではなく、画素間の一個の点と一致する。従ってこ
の点ｍの輝度も是非計算する必要がある。
【００７７】図４では、計算されたアドレスAqが、原画
像Ijのどの画素とも一致しない場合に起こる問題を説明
している。
【００７８】この問題を処理するのが内挿器 112であ
る。
【００７９】内挿器 112は、問題のアドレスAqに与える
べき光の強度（light intensity)を計算するのに、例え
ば、アドレスAq近傍の画素の灰色レベルか、または輝度
（luminance)の関数としての何らかの値を勘案する。内
挿によって、ブロック 112はアドレスAqに与えるのが最
も適当と思われる光の強度を計算する。
【００８０】内挿のためには数種類の関数を利用し得る
が、複雑さに大小があり、その複雑さに応じて調整結果
の精度が変わる。
【００８１】極めて簡単な内挿関数は図４に示す双線形
（bilinear) 内挿である。アドレスAqは整数部 と分数
部を含む。このため、アドレスAqは四個の隣接画素ml,
m2,m3, m4の間に位置する。このアドレスの分数部は、m
1からm2の向きを正として計算したΔx 、及びm1からm3
の向きを正として計算したΔy で示す。m1とm3の距離及
びm1とm2の距離は一画素である。
【００８２】アドレスAqにおける光の強度Ｆまたは輝度
関数の値は、Δx とΔy の値に基づいて計算され、隣接
画素m1, m2, m3, m4の強度（または輝度関数の値）をそ
れぞれF1, F2, F3, F4とすれば、次の式で与えられる：
【数１】 F(Aj)=F1(1- Δx)(1- Δy)+F2 Δx(1-Δy)+F3(1-Δx)Δy+F4Δx.Δy
【００８３】アドレスAqに対応する値として、内挿器で
原画像について計算された強度F(Aq) は、その後は目標
画像Ioの出発アドレス(initial address) Apに位置する
画素ｍ’の有する強度（または輝度関数の値として扱わ
れ、ブロック 117に蓄積される。
【００８４】VI／アドレス計算器２００の説明 以下、図６を参照してアドレス計算器 200を説明する。
【００８５】アドレス計算器は、先ず前記で定義した仮
想及び実カメラの各パラメ−タを取り込む。
【００８６】仮想カメラのパラメータΦo 、Θo 、Ψo
、Zoは蓄積モジュール 210の中に得られる； 実カメ
ラのΦ1 〜Φn ，Θ1 〜Θn ，Ψ1 〜Ψn ，Z1〜Znは、
それぞれ蓄積モジュール21.1〜21.nの中に得られる。
【００８７】画像の寸法の定義は、幅×高さ（画素数）
と決めてある。規模係数ZoまたはZiはmm当りの画素数で
表現される。角度は例えば度で表わされる。
【００８８】仮想カメラに関するこれらのパラメータΦ
o 、Θo 、Ψo 、Zoは、仮想カメラの光軸の方向または
位置、その視点Ｐと画像中心Ooの位置、及び規模係数に
基づいて計算される。これらの値はユーザが選択してイ
ンタフェイス２から入力したものである。
【００８９】実カメラのパラメータである、Φ1 〜Φn
、Θ1 〜Θn 、Ψ1 〜Ψn 、焦点距離PO1 〜POn 、規
模係数Z1〜Zn、及びデジタル画像の中心O1〜Onは、各カ
メラの点Ｐと中心O1〜Onの位置、その規模係数、及びそ
の光軸の方向または位置（positioning)を非常に正確に
較正（calibrate)し測定した結果に基づき、非常に精細
に決定される。
【００９０】アドレス計算器 200は、仮想カメラCoの模
型、及び実カメラC1, C2,---,Cn の模型を構成するため
の手段 201及び 206を含む。
【００９１】図5Aは、仮想カメラCo及び実カメラC1, C
2,---,Cn の模型を形成する原理を説明している。図5A
に示された投影模型（projection model) は一点を通る
円錐投影で、すべての光線が単一の視点Ｐを経由すると
している（pin-hole model 針孔模型）。視点Ｐは、上
述の条件の下ですべての実カメラまたは仮想カメラにつ
いて共通であると仮定される。
【００９２】仮想カメラの陸標Px, Py, Pz、及び個々の
標識（individual mark)は構成モジュール 201で定義さ
れる；実カメラC1〜Cnの陸標Px, Pz及び個々の標識は構
成モジュール 206で定義される。
【００９３】図5Aを参照して、Ｍを監視すべき情景にお
ける対象点と仮定する。Ｍに対応する仮想カメラCoの画
像平面上の点ｍ’は、直線PMとカメラCoの画像平面Io(O
oxo,Ooyo) の交点に位置する。
【００９４】注意すべきこととして、図5Aの模型が正し
く有効なのは、歪みのない理想カメラとしての仮想カメ
ラに対してである。実際のカメラは例えば、広角開口を
有している場合があるので、歪みを生じ、これは修整の
必要がある。
【００９５】図5Bにはこの問題を説明してある。この図
5Bは、図1Aに示したのと同様の目標画像Ioと原画像Ijの
平面の投影を示している。
【００９６】原画像I1〜Inに基づいて目標画像Ioを構成
するため解決すべき問題は、アドレスAoの画素ｍ’に厳
密に対応する点ｍを、どのアドレスAqで発見できるかを
決定することである。実際には、原画像のこの点ｍに存
在する強度（輝度）を、仮想画像における画素ｍ’に割
り当てるため決定する試みが行なわれる。
【００９７】この決定は、実カメラの歪みと透視の欠陥
（perspective fault)の影響があるため、簡単ではな
い。
【００９８】図5Aにおけると同様に、図5Bは、アドレス
Aoの画素ｍ’は光線PMと目標画像Ioの交点に存在するこ
とを示している。ここでPMは観測すべき情景の点Ｍと視
点Ｐを結ぶ光線である、というのは、この理想カメラに
おいては、各光線は画像平面を横切って、逸脱すること
なく視点を通貨するからである。
【００９９】この光線ＰＭは原画像Ijの平面を点ｍ’で
交差する。カメラCjは従って、目標画像のこの部分を構
成するため必要なデータを提供できるように選ばれた実
カメラである。
【０１００】しかし、その一方で、同一の光線ＰＭと原
画像の平面Ijの交点であるｍ’が、この点ｍ’に割り当
てるべき強度値Ｆを供給できるIjにおけるｍ’点である
というのは正しくない。
【０１０１】ここで是非考慮すべき事項は、カメラCj
は、あらゆるカメラがそうであるように、一つの光学対
象（optical objective)を有し、これが CCDマトリクス
基板の上に実際の画像を形成する。この実画像が次い
で、Ａ／Ｄ変換モジュールにより変換されてデジタル原
画像を生成し、これが更に本発明に基づくデジタル画像
処理装置によって処理される。一つの対物レンズ系を使
用せざるを得ないという事実から、図5Bに図式的に示し
たように、光線ＭＰは、破線で示した歪み領域（distor
tion field) により逸脱することを考えざるを得ず、そ
の結果、ｍ’に対応する点はMP上の点ｍ’ではなく、原
画像Ijの平面におけるｍ* から少し離れた点ｍになる。
【０１０２】陸標と個々の標識に関連するデータによ
り、構成モジュール 201は、図5Aに示した円錐投影模型
上に、仮想カメラの模型MCo を構築する。ここでは、三
次元空間における各光線PMは目標画像Ioの平面により構
成される二次元空間における画素ｍ’に対応付けられ
る、というのは仮想カメラCoは理想カメラと考えたから
である。
【０１０３】他方、陸標と個々の標識に関連するデータ
により、構成モジュール 206は、図5Aに示した円錐投影
模型上に、各実カメラに関連する模型MC1 〜MCn を構築
する。ここでは、三次元空間における各光線PMは、各カ
メラの原画像平面により構成される二次元空間における
点ｍ* に対応する。これらのカメラは理想カメラではな
く、対照的に歪みを生じるので、模型MC1 〜MCn の構成
モジュール 206は、歪み修整手段を含み、この手段を用
いて、歪んだ原画像に対応する点ｍ* は体系的に同一の
二次元空間における点ｍに置換される。この点が修整原
画像に対応する。対象物の歪みを修整するすべての手段
は、当業者にとって既知と思われる。
【０１０４】アドレス計算器 200は、歪んだ原画像Ijの
この点ｍのアドレスAqを決定するための計算手段をも含
んでいる。
【０１０５】これらの手段は、機能ブロックの形で図６
に示され、アドレスAqの計算方法を具体化しているが、
これについては以下に述べるが、明確化のため図5Bに説
明してある。
【０１０６】VI.a／アドレスの計算方法 一つの出発アドレスAoに対応するアドレスAqを計算する
方法には数段階あり、その中には少なくとも、数個の素
変換の積で示される複雑な幾何学変換（geometrical tr
ansform)が含まれる。この幾何学変換の原理は、前述の
モジュール 206の効用により、実カメラの原画像の中の
各画素ｍが、このカメラの模型で定義した視点Ｐを通過
する三次元空間の光線PMに対応できるようになった、と
いう事実に基づいている。画像における一個の画素ｍの
位置は、このカメラの模型の定義に関連するカメラパラ
メータに支配され、一方、この画像に対応する光線PMに
関する三次元空間の位置は、固定陸標で表現できる。
【０１０７】Aoに基づいてアドレスAqを計算する方法に
は、以下の段階を含む： −第一の変換として、「逆透視変換（inverse perspect
ive transform)と呼ばれ、Ho-1で示される変換を行な
う。この変換により目標画像Ioにおける出発アドレスAo
に対応する光線ＰＭの方向が分かる。 −次に観測視野にこの光線を含む実カメラCjの索引ｊを
探す。もし数個のカメラが関連する場合には、その中で
観測視野を重複させ得るのに適したカメラを一個選択す
る。 −第二の変換として、「直接透視変換（direct perspec
tive transform) と呼ばれ、Hiで示される変換を行な
う。これにより、選択した実カメラCjの画像Ijの中で上
記光線PMに対応するアドレスAqが得られる。
【０１０８】このように、これら二種類の変換、すなわ
ち逆変換Ｈ-1と直接変換Ｈの根拠となるのは、視点Ｐを
有する針孔模型として定義した各カメラの模型である。
【０１０９】この複雑な幾何学変換Ｈを実現するには、
先ず「透視図法（perspective projection) 」Ｊと称す
る演算を考えるが、この演算により、陸標(Px, Py, Pz)
で示される情景の点Ｍは、実カメラCjの焦平面に位置す
る点ｍへと変換が可能になる。こうして点ｍはこの実カ
メラに関連する正規直交系(Ojxj, Ojyj, Ojzj)の中に位
置付けされる。
【０１１０】この「透視図法」演算Ｊにより、ある三次
元系における一点の標識（marking)は数学的方法により
一つの二次元系における標識に変化する。この演算は斉
次座標（homogeneous coordinates)を用いることにより
線形化でき、それによってこの変換を４×４のマトリク
スで表現することも可能である。
【０１１１】「透視変換」と呼ばれる幾何学変換Ｈは、
斉次座標を有する下記数個のマトリクスの積である：Ｔ
は翻訳（translation)を示すマトリクス、Ｓは規模の変
化を示すマトリクス、Ｊは前述の「透視図法」マトリク
ス、Ｌは原点の変化、Ｒは、その場合に応じて、角Фj
、Θj 、Ψj 、または角Φo 、Θo 、Ψo の何れかに
対応した回転である。
【０１１２】従って直接幾何学変換は次の式で表現さ
れ： Ｈ＝Ｔ＊Ｓ＊Ｊ＊Ｌ＊Ｒ 逆幾何学変換は次の式で表現される： Ｈ-1＝Ｔ-1＊Ｓ-1＊Ｊ-1＊Ｌ-1＊Ｒ-1。
【０１１３】この変換は、例えば最小二乗法を用いるこ
とにより、近似的に多項式関数の集まりで表現できる。
【０１１４】こうして得られる近似変換は、更にTRW 社
が品名TMC2302 で市販している製品により実現してもよ
い。同社の所在地はPO Box 2472, La Jolla, CA92038(U
S)である。
【０１１５】VI.b／アドレス計算器 200の詳細な具体化
に関する説明 この具体化は、図６の機能ブロックによって説明され
る。図６には以下が示される： −仮想カメラMCo の模型のための第一の構成モジュール
であるブロック 201、 −制御ブロック１のインタフェイス２で利用者により入
力される、仮想カメラのパラメータΦo 、Θo 、Ψo 、
Ｚo を蓄積する第一のモジュールであるブロック 210、 −目標画像Ioのすべての画素ｍ’のアドレスAoの生成器
であるブロック 113、 −下記のように各情報を受信して幾何学変換を計算する
第一のモジュールであるブロック 220： ＊アドレス生成器 113からは、ｍ’のアドレスAoを受
信、 ＊構成モジュール 201からは、仮想カメラの模型MCo を
受信、 ＊第一の蓄積モジュール 210からは、仮想カメラのパラ
メータΦo 、Θo 、Ψo 、Ｚo を受信。
【０１１６】三次元空間においては、計算ブロック 220
は、視点(P) と画素ｍ’を通過 する光線PMの位置を、
二次元空間Ioにおけるｍ’の位置付けに基づいて決定す
る。この目的のため、この計算ブロック 220は、前述の
ように、逆透視変換Ho-1を加える。 −ブロック 204は、三次元空間における光線PMの位置を
蓄積するモジュールであり、その位置は計算ブロック 2
20により供給される； −選択ブロック 205は、切り替えモジュール（switchin
g module) で、位置の分かった光線PMに基づき、実カメ
ラCjを選択し、探している点ｍの存在する対応する原画
像Ijを供給する； −ブロック 206は、実カメラMC1 〜MCn の模型を構成す
るための第二のモジュールで、歪みを修整する手段を含
んでいる； −ブロック21.1〜21.nは蓄積ブロックで、それぞれ実カ
メラのパラメータΦ1〜Φn 、Θ1 〜Θn 、Ψ1 〜Ψn Z
1〜Znを蓄積するための第二の手段である； −ブロック22.1〜22.nは下記の各情報を受信し、上記第
二のモジュールで幾何学変換を計算する； ＊切り替えモジュール 205から選択信号を受信、ただし
例示したようにカメラCjが既に選択されている場合に
は、原画像Ij関連の情報とともに受信、 ＊第二の構成モジュール 206から、実カメラCjの模型MC
j を受信、 ＊上記の場合には蓄積モジュール21.j（第二蓄積手段）
から、実カメラのパラメータΦj 、Θj 、Ψj 、Zjを受
信する。現在の場合、計算モジュール22.j（幾何学変換
を計算する第二の手段）は、原画像Ijの平面により構成
される二次元空間の中の点ｍの位置を計算するが、これ
は光線PMを蓄積するモジュール 204の提供する位置が基
礎になり、またこの計算は前述の直接透視変換Hjにより
行なう；ブロック23.1〜23.nは各点ｍのアドレスAqを蓄
積するブロックである。現在の場合、探している点ｍの
アドレスAqは蓄積モジュール23.jの中で得られる。
【０１１７】切り替えモジュール 205が、既に別の一つ
の原画像を選択していたとすれば、別の計算モジュール
22.1〜22.nが適切な直接変換H1〜Hnを行なって、この別
の原画像の点ｍの位置を定めていた筈である。
【０１１８】アドレス計算器 200で実行されるこれらの
動作により、また図３に示すように、このアドレス計算
器 200は、アドレスAqを内挿器ブロック 112に加え、後
者は対応する輝度関数Ｆを計算する。こうして、輝度関
数Ｆの値をアドレスAoの各画素に対応させることによ
り、蓄積ブロック 117の中で画像Ioが再構成される。
【０１１９】図２に示すように、画像Ioは次いで手段10
において表示または蓄積される。
【０１２０】例えば境界領域で原画像が重複するなど、
数個の原画像があり得る場合には、選択ブロック 205に
は二個の原画像から一個を選ぶ手段を含む。
【０１２１】二個の画像のうち一個を選択する一つの方
法は、境界領域における二個の画像の間の接合部（sea
m) が、重複領域のほぼ中央を通る直線になるかどうか
を決定することである。この方法は、例えば図１に示す
ように、水平に併置され垂直な接合部を有するようなカ
メラについて適用できる。
【０１２２】当業者であれば、例えば接合部が円錐体上
に放射状に並ぶような場合など、あらゆる種類の接合部
を選択できる筈である。
【０１２３】これまで灰色レベルの画素の符号化につい
て述べてきたことは、色彩画像の符号化にも適用できる
ことを注意しておく。この符号化は単にビット数を増加
するだけで実現する。
【０１２４】目標画像の中に接合部が目立たないように
するには、以下のような数種類の措置をとる必要のある
ことを銘記すべきである： −固定カメラを精密に較正すること、 −仮想画像が欠陥無しに完全に併置されるまで、フィー
ドバックを加えて結果を修整した後、固定カメラ模型の
パラメータに、所要の変更を加えること。
【０１２５】この作業、すなわち初期化（initializati
on) は較正作業の一部として組み込む必要がある。
【０１２６】各原画像には歪み修整（distortion corre
ctions) を加えるべきことも注意しておきたい。これら
作業のできる装置は市販されている。歪み修整器の動作
の完全性の検定（verification) も較正の一部である。
【０１２７】実カメラが異なれば、色彩または灰色レベ
ルの強度応答曲線（intensity response curve) も異な
る可能性がある。較正作業にあたっては、均一な仮想画
像を得るために、これら個々の応答について修整を行な
う必要がある。
【０１２８】利用者インタフェイス２の制御は自動、手
動何れでも可能である。一つの具体例として、このイン
タフェイスにジョイスティック（joystick) を用いても
よい。
【図面の簡単な説明】
【図１】図1Aは、実カメラが陸票の水平面に垂直な画像
平面を持つ場合に、この陸票の水平面中の種々の画像平
面の軌跡を示す平面図である。図1Bは、水平面での投影
中に視た陸票Ｐx,Ｐy,Ｐz を示す図である。図1Cは、特
殊の座標軸システムを持つ原画像平面の立面図である。
図1Dは、特殊の座標軸システムを持つ目標画像平面の立
面図である。図1Eは、パノラマ式全景の副画像を構築す
るため仮想カメラに対し利用者の選定したパラメータを
用いて２つの隣接実カメラの広角視野のセクションを限
定する効果を表す図である。図1Fは、これらのパラメー
タの規定する仮想カメラにより構築された目標画像を示
す図であり、この目標画像は、２つの実カメラの１番目
により供給された原画像に基づいて構築された画像の１
番目の部分と、２番目のカメラにより供給された原画像
に基づいて構築された２番目の画像部分とから成る。図
1Gは、 180°の視野をカバーするための3 つの隣接する
実カメラの配置を示す図である。
【図２】図２は、目標画像、実カメラ、利用者インタフ
ェイス、及び目標画像を表示するシステムを構築するた
めのシステムを持つ画像処理装置を、機能ブロックの形
で示す図である。
【図３】図３は、図２より更に詳細に、画像処理装置を
機能ブロックの形で示す図である。
【図４】図４は、原画像中のアドレスに関する輝度関数
の値の計算を示す図である。
【図５】図5Aは、実カメラ及び仮想カメラのモデルを示
す図である。図5Bは、目標画像及び原画像中の同じ輝度
を持つ対応する点を通過する同じ光線の行ったり来たり
するこれらの対応する点の位置に対する透視効果及び歪
み効果を、陸票の水平面上の投影中に示す図である。
【図６】図６は、目標画像中のアドレスにおける画素に
対応する原画像中の点のアドレスを計算するアドレス・
コンピュータを、機能ブロックの形で画像処理装置を示
す図である。
【図７】図7Aは、１番目の固定実カメラにより形成され
る１番目のディジタル原画像を示す図である。図7Bは、
１番目のカメラに隣接する２番目の固定実カメラにより
形成される２番目のディジタル原画像を示す図である。
図7Cは、１番目の原画像に基づき構築された１番目の目
標画像部分と２番目の原画像に基づき構築された２番目
の目標画像部分との間の、歪み誤り及び透視誤りを示す
図1Fの場合と同様のやり方で再構築されたディジタル目
標画像を示す図である。図7Dは、画像処理装置により処
置されて歪み誤り及び透視誤りが消去された後の、図7C
のディジタル目標画像を示す図である。
【符号の説明】
１ インタフェイス ２ 利用者インタフェイス 10 表示手段（記録手段） 100 画像再構成システム 101 変換手段 106, 113, 117 蓄積手段 110 原画像選択器 112 補間器（インターポレータ） 200 アドレス計算器 C1, …,Ci,…,Cn 固定実カメラ I1, …,Ii,…,In 原画像
───────────────────────────────────────────────────── フロントページの続き (72)発明者 ホフェルト ウィレム ダルム オランダ国 5508 テーエル フェルドホ ーフェン オパーステヘイ ４ (72)発明者 ヤン クレイン オランダ国 4811 セーイックス ブレダ ネウェ ボス ストラート 22

Claims (16)

    【特許請求の範囲】
  1. 【請求項１】 原画像（ソース イメージ：Ii,---,Ii,
    Ij,---, In) と称される固定フレーム ラインを有する
    隣接した画像より目標画像（ターゲツト イメージ：I
    o) を構成する画像処理方法で、前記原画像と、目標画
    像とがほぼ共通の視点（ビュー ポイント）を有してい
    る画像の処理方法において、 画像をデイジタル化する工程、 目標画像（Io）の画素の一つに対して、全原画像(Ij)の
    １つ内の対応点のアドレス（Aq）を決定する工程、 上の対応点における輝度値（Ｆ）を決定する工程、 この対応画素の輝度値（Ｆ）を目標画像（Io）内の初期
    画素に割当る工程、 目標画像（Io）の各画素に対し上記各工程を反復する工
    程、 を具えてなることを特徴とする隣接する複数の画像より
    画像を形成する画像処理方法。
  2. 【請求項２】 請求項１記載の画像処理方法において、
    較正工程を有し、本較正工程は、 原画像の各パラメータ、とくに規模係数（スケール フ
    ァクタ：z1,---, ｚn）と、方位角（θ1,---,θn ) に
    よって決定される光学軸の方向と、視野角（φ1,---,φ
    n ) と、固定直交（オルソノーマル）陸標（ランドマー
    ク：Px，Py，Pz) 内の回転角（Ψ1,---,Ψn ) とを記憶
    蓄積する工程と、 陸標の原点に対しほぼ共通であり、修正した収差を有す
    る視点の原画像を形成する実カメラのモデルを構成する
    工程とを有してなり、 さらに本画像処理方法は、データの入力工程を有し、本
    工程は、 目標画像の各パラメータ、とくに規模係数（スケール
    ファクタ：zo）と、方位角（θo ）によって決定される
    光学軸の方向と、視野角（ψo)と、固定直交陸標 Px ,
    Py，Pz )内の回転角（Ψo −Ψn ) とを記憶蓄積する工
    程と、 陸標の原点に対しほぼ共通であり、修正した収差を有す
    る視点の目標画像を形成する仮想カメラのモデルを構成
    する工程とを有してなることを特徴とする画像処理方
    法。
  3. 【請求項３】 請求項２記載の方法において、 各画素ごとに、目標画像（Io）の各画素に対するアドレ
    ス（Ao）を形成して全目標画像（Io）をカバーする工
    程、 仮想及び実カメラ モデルをベースとして目標画像（I
    o）の各画素に対応する点の原画像内のアドレス（Aq)
    と特定の原画像（Ij) を決定する工程とを有する画像処
    理方法。
  4. 【請求項４】 請求項３記載の方法において、 原画像（Ij) 内に見出される対応点のアドレス（Aq) の
    決定工程は、 目標画像（Io）内の初期画素（ｍ）のアドレス（Ao）を
    ベースとして、この与えられた画素（ｍ）を通り、かつ
    共通の視点（Ｐ）を通過する光線の視点における、原点
    （オリジン）の固定直交陸標（ Px, Py, Pz ) 内の方位
    を決定する工程、 前記光線（Px）によって横切られる原画像（Ij) を選択
    する工程、 原画像と前記光線との交差点における前記原画像内のア
    ドレス（Aq) を決定する工程であって、該交差点は初期
    画素に対応するものである工程、 とを具えてなることを特徴とする画像処理方法。
  5. 【請求項５】 請求項４記載の方法において、 陸標（ランドマーク）内の光線の位置を決定する工程
    は、“逆方向見込み変換（インバース パースペクティ
    ブ トランスフォーム）”（Ho-1) と称される幾何学的
    変換工程を含み、この変換は仮想カメラのモデルを考慮
    に入れている工程、 初期画素に対応する点のアドレス（Aq) 決定工程は、
    “直接見込み変換”と称される幾何的見込み変換（H1−
    Hn) を含み、これにより特定の選択した原画像におい
    て、関連の対応する実カメラ モデルを考慮に入れてな
    る工程、 を有してなることを特徴とする画像処理方法。
  6. 【請求項６】 請求項１ないし５の何れかに記載の方法
    において、原画像（Ij）内に見出されたアドレス（Aq）
    における輝度係数（Ｆ）のもっとも確度の高い値を計算
    する補間工程を含んでなる画像処理方法。
  7. 【請求項７】 画像処理装置において、 実カメラの各個別の視野が合体して、単一の広角視野を
    有しパノラマ風景を観測しうるように配置したｎ個の固
    定実カメラ（C1,---, Ci, Cj,---, Cn )のシステムと、 パノラマ風景を連続的に走査する可動仮想カメラ（Co）
    をシミュレートし、前記ｎ個の実カメラより供給され隣
    接する原画像（I1,---, Ii, Ij, ---,In )より構成さ
    れ、広角視野の任意のセクションに対応する目標画像
    （Io) と称せられる副画像を形成する画像構成システム
    （100)であって、前記仮想カメラ（Co) は実カメラと同
    じか、近似した視点（Ｐ）を有しており、この画像処理
    システムはデイジタル システムであり、目標画像（I
    o) の構成システム(100) は、 アドレス計算機(200) を有し、これによって原画像（I1
    −In) の１つ内のアドレス（Aq) で目標画像（Io) 内の
    画像アドレス（Ao) に対応させるアドレス計算機(200)
    と、 原画像（I1−In) 内に見出されたアドレス（Aq) の点の
    輝度を計算し輝度を決定し、この輝度値（Ｆ）を、目標
    画像（Io) 内のアドレス（Ao) の初期画素に割当る手段
    （112, 117) と、を有してなることを特徴とする画像処
    理装置。
  8. 【請求項８】 請求項７記載の装置において、 目標画像（Io) の再構成システム（装置）(100) は、 アドレス計算機(200) に各カメラより独立の固定直交陸
    標（Px, Py, Pz) 内の仮想カメラ（Co) の光学軸の方位
    とスケール係数(zo)、すなわち方位角（θo ）、視野角
    （φo ）及び回転角Ψ0 を供給する仮想カメラに関する
    パラメータを記憶する第１手段(210) と、 アドレス計算機(200) に、各実カメラ（C1,---, Ci, C
    j, ---,Cn) の光学軸の方向、及びスケール係数（ｚ1
    −ｚn ) 、すなわち前記固定陸標内の方位角（θ1 −θ
    n ) 、視野角（φ1 −φn ) 及び回転角（Ψ1 −Ψo)を
    供給する実カメラ（C1−Cn) に関するパラメータを記憶
    する第２手段（21.1〜21.n) と、 各画素毎に、目標画像（Io) の画素のアドレス（Ao) を
    発生し、全目標画像（Io) をカバーするようにしたアド
    レス発生器(113) とを有し、アドレス計算機（200)は特
    定の原画像（Cj) を決定し、該原画像のアドレス（Aq)
    の点は、目標画像（Io) の各画素に対応し、これらは仮
    想カメラと実カメラのパラメータをベースとして定まる
    如くした画像処理装置。
  9. 【請求項９】 請求項８記載の装置において、 アドレス計算機（コンピュータ：200 ）は、視点Ρを通
    る投影を有する仮想カメラのモデル（MCo)を構成する第
    １手段(201) と、 視点Ρを通る投影を有する実カメラのモデル（MC1 −MC
    n)で、歪及び予知しうる誤りの修正を行ったモデルを構
    成する第２手段(206) とを具えてなる画像処理装置。
  10. 【請求項１０】 請求項９記載の装置において、 アドレス計算機(200) は、 仮想カメラ（Co) の画像（Io) のアドレス（Ao) におけ
    る各画素（ｍ）に、“逆方向見込み変換“（Ho-1) と称
    される幾何学的変換を加える幾何学的変換を計算する第
    １手段(220) を有し、この変換においては、第１構成手
    段(201) により与えられる仮想カメラ（MCo)のモデル、
    並びに第１記憶手段(240) により与えられる該仮想カメ
    ラの方位角（θo)、視野角（φo)、回転角（ψo)及びス
    ケール係数(zo)を考慮に入れて、前記逆方向見込み変換
    （Ho-1) をベースとし、視点（Ρ）と前記画素（ｍ）を
    通過する光線の前記陸標（ランドマーク）内の位置を決
    定する第１手段(220) と、 前記逆方向見込み変換（Ho-1) によって得られる光線の
    位置を記憶する手段（204 ）と、 該光線によって横切られる特定の原画像（I1−In) を選
    択する手段(205) と、 前記陸標内の前記光線に“逆方向見込み変換”（H1−H
    n) と称される幾何学的変換を加える幾何学的変換を計
    算する第２手段（22.1−22.n) で、この変換において
    は、第２構成手段(206) によって与えられる実カメラの
    モデル、並びに第２記憶手段（21.1−21.n) によって与
    えられる対応の実カメラ（C1−Cn) の方位角（θ1 −θ
    n ) 、視野角（φ1 −ψn ) 、回転角（Ψ1 −Ψn ) 及
    びスケール係数（ｚ1 −ｚn ) を考慮に入れて行う第２
    手段（22.1−22.n）と、 前記直接見込み変換（H1−Hn) をベースとして、前記光
    線に対応し、従って前記目標画像（Io) 内のアドレス
    （Ao) の画素に対応する特定の原画像（I1−In)内のア
    ドレス（Aq) を供給する記憶手段（23.1−23.n) とを具
    えてなる画像処理装置。
  11. 【請求項１１】 請求項10記載の画像処理装置におい
    て、 輝度決定手段は、 選択手段(205) によって供給される原画像内の、アドレ
    ス計算機(200) によって見出されたアドレス（Aq) にお
    ける輝度係数の最確値を計算するインタポレータ（補間
    器）(112) と、 アドレス発生器(113) によって供給されるアドレス（A
    o) において、目標画像（Io) 内の初期画素に対し、発
    見された原画像のアドレス（Aq) に対応する輝度値を割
    当る第３記憶手段(117) を具えてなる画像処理装置。
  12. 【請求項１２】 請求項１ないし11の何れか１つに記載
    の装置において、目標画像（Io) の再構成システム(10
    0) は、 ユーザをして、仮想カメラ（Co) のパラメータ、すなわ
    ちスケール係数(zo)及び光学軸（θo,φo,ψo ）の方位
    を含むパラメータを規定しうる如くしたインタフェイス
    （２）を含んでなる画像処理装置。
  13. 【請求項１３】 請求項12記載の装置において、 ユーザ インタフェイス（２）は自動又は手動で制御し
    うる如くした画像処理装置。
  14. 【請求項１４】 請求項１ないし13の何れか１つに記載
    の装置において、 目標画像（Io) が、スクリーン（10) にリアル タイム
    で表示される画像処理装置。
  15. 【請求項１５】 請求項１ないし14の何れか１つに記載
    の装置において、 目標画像を記録する画像処理装置。
  16. 【請求項１６】 請求項７ないし15の何れかに記載の画
    像処理装置を有するモニタ装置。
JP35462993A 1992-12-29 1993-12-29 隣接する複数画像より画像を形成する画像処理方法及び装置 Expired - Fee Related JP3320541B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR9215836 1992-12-29
FR9215836 1992-12-29

Publications (2)

Publication Number Publication Date
JPH076227A true JPH076227A (ja) 1995-01-10
JP3320541B2 JP3320541B2 (ja) 2002-09-03

Family

ID=9437207

Family Applications (1)

Application Number Title Priority Date Filing Date
JP35462993A Expired - Fee Related JP3320541B2 (ja) 1992-12-29 1993-12-29 隣接する複数画像より画像を形成する画像処理方法及び装置

Country Status (5)

Country Link
US (1) US5444478A (ja)
EP (1) EP0605045B1 (ja)
JP (1) JP3320541B2 (ja)
KR (1) KR940017747A (ja)
DE (1) DE69324224T2 (ja)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0955925A (ja) * 1995-08-11 1997-02-25 Nippon Telegr & Teleph Corp <Ntt> 画像システム
JPH09214932A (ja) * 1996-01-30 1997-08-15 Nippon Telegr & Teleph Corp <Ntt> 画像装置及び画像通信システム
JPH10320537A (ja) * 1997-05-19 1998-12-04 Canon Inc 画像合成装置、画像合成方法および記憶媒体
JPH11213141A (ja) * 1997-11-18 1999-08-06 Ricoh Co Ltd 画像合成方法及び装置並びに情報記録媒体
WO2003012741A1 (fr) * 2001-07-30 2003-02-13 Nakagawa Chemical Co. Procede permettant d'examiner et d'analyser les couleurs
WO2003049030A1 (fr) * 2001-12-07 2003-06-12 Sony Corporation Dispositif de traitement d'image, procede de traitement d'image, procede de stockage et programme informatique
JP2004506285A (ja) * 2000-08-07 2004-02-26 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 高速デジタルパンチルトズームビデオ
WO2004036498A1 (ja) * 2002-10-15 2004-04-29 Seiko Epson Corporation 複数の画像データのパノラマ合成処理
JP2006100965A (ja) * 2004-09-28 2006-04-13 Aisin Seiki Co Ltd 車両の周辺監視システム
JP2006515128A (ja) * 2003-01-24 2006-05-18 マイコイ・コーポレーション 立体パノラマ画像取り込み装置
JP2006173988A (ja) * 2004-12-15 2006-06-29 Nissan Motor Co Ltd 車載用カメラ映像提示装置及び車載用カメラ映像提示方法
JP2010512086A (ja) * 2006-12-06 2010-04-15 ソニー・ユナイテッド・キングダム・リミテッド 画像コンテンツ生成方法及び画像コンテンツ生成装置
JP2010211626A (ja) * 2009-03-11 2010-09-24 Nec Corp 動線モニタリングシステム、方法、及び、プログラム
JP2011248630A (ja) * 2010-05-27 2011-12-08 Victor Co Of Japan Ltd 視点変換装置及び視点変換方法
WO2018128011A1 (ja) * 2017-01-06 2018-07-12 富士フイルム株式会社 画像処理装置、画像処理方法、およびプログラム

Families Citing this family (290)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6002430A (en) * 1994-01-31 1999-12-14 Interactive Pictures Corporation Method and apparatus for simultaneous capture of a spherical image
US7382399B1 (en) 1991-05-13 2008-06-03 Sony Coporation Omniview motionless camera orientation system
US5990941A (en) 1991-05-13 1999-11-23 Interactive Pictures Corporation Method and apparatus for the interactive display of any portion of a spherical image
US5384588A (en) 1991-05-13 1995-01-24 Telerobotics International, Inc. System for omindirectional image viewing at a remote location without the transmission of control signals to select viewing parameters
US6256061B1 (en) 1991-05-13 2001-07-03 Interactive Pictures Corporation Method and apparatus for providing perceived video viewing experiences using still images
US5670935A (en) † 1993-02-26 1997-09-23 Donnelly Corporation Rearview vision system for vehicle including panoramic view
US5910854A (en) 1993-02-26 1999-06-08 Donnelly Corporation Electrochromic polymeric solid films, manufacturing electrochromic devices using such solid films, and processes for making such solid films and devices
US6822563B2 (en) 1997-09-22 2004-11-23 Donnelly Corporation Vehicle imaging system with accessory control
US5877897A (en) 1993-02-26 1999-03-02 Donnelly Corporation Automatic rearview mirror, vehicle lighting control and vehicle interior monitoring system using a photosensor array
DE69411849T2 (de) * 1993-10-20 1999-03-04 Philips Electronics Nv Verfahren zur Verarbeitung von Luminanzpegel in einem zusammengesetzten Bild und Bildverarbeitungssystem zur Anwendung dieses Verfahrens
FR2714502A1 (fr) * 1993-12-29 1995-06-30 Philips Laboratoire Electroniq Procédé et dispositif de traitement d'image pour construire à partir d'une image source une image cible avec changement de perspective.
FR2714503A1 (fr) * 1993-12-29 1995-06-30 Philips Laboratoire Electroniq Procédé et dispositif de traitement d'image pour construire à partir d'une image source une image cible avec changement de perspective.
JPH07287761A (ja) * 1994-04-19 1995-10-31 Canon Inc 画像処理装置及び画像処理方法
US5668663A (en) 1994-05-05 1997-09-16 Donnelly Corporation Electrochromic mirrors and devices
US6064355A (en) * 1994-05-24 2000-05-16 Texas Instruments Incorporated Method and apparatus for playback with a virtual reality system
US5963247A (en) * 1994-05-31 1999-10-05 Banitt; Shmuel Visual display systems and a system for producing recordings for visualization thereon and methods therefor
IL113842A0 (en) * 1994-05-31 1995-08-31 Banitt Shmuel Visual display systems and a system for producing recordings for visualization thereon and methods therefor
JPH0877356A (ja) * 1994-09-09 1996-03-22 Fujitsu Ltd 三次元多眼画像の処理方法及び処理装置
DE69520329T2 (de) * 1994-11-17 2001-09-27 Canon Kk Kamerasteuervorrichtung und -Verfahren
US5659323A (en) * 1994-12-21 1997-08-19 Digital Air, Inc. System for producing time-independent virtual camera movement in motion pictures and other media
US5920337A (en) * 1994-12-27 1999-07-06 Siemens Corporate Research, Inc. Omnidirectional visual image detector and processor
EP0720125B1 (fr) * 1994-12-29 2002-05-08 Koninklijke Philips Electronics N.V. Dispositif de formation d'image et procédé pour effectuer des corrections de distorsions optiques géométriques dans une image
EP0726543B1 (en) * 1995-02-07 2003-09-10 Canon Kabushiki Kaisha Image processing method and apparatus therefor
JPH11506575A (ja) 1995-03-07 1999-06-08 インターバル リサーチ コーポレイション 情報の選択記憶システム及び方法
US6891563B2 (en) 1996-05-22 2005-05-10 Donnelly Corporation Vehicular vision system
US5657073A (en) * 1995-06-01 1997-08-12 Panoramic Viewing Systems, Inc. Seamless multi-camera panoramic imaging with distortion correction and selectable field of view
JPH11509064A (ja) * 1995-07-10 1999-08-03 サーノフ コーポレイション 画像を表現し組み合わせる方法とシステム
BR9609867A (pt) * 1995-07-27 1999-04-06 Sensormatic Electronics Corp Dispositivo e método de divisão formação e processamento de imagem para uso com câmera sem partes móveis
EP0860083A4 (en) * 1995-10-10 1998-12-02 Tagen Frederick W Von DEVICE AND METHOD FOR PRODUCING ARTIFICIAL AND ABSOLUTELY REAL-TIME ENVIRONMENTS
FR2741225A1 (fr) * 1995-11-13 1997-05-16 Production Multimedia Apm Atel Console de camera virtuelle
US6133944A (en) * 1995-12-18 2000-10-17 Telcordia Technologies, Inc. Head mounted displays linked to networked electronic panning cameras
US7655894B2 (en) 1996-03-25 2010-02-02 Donnelly Corporation Vehicular image sensing system
WO1997042601A1 (en) * 1996-05-06 1997-11-13 Sas Institute, Inc. Integrated interactive multimedia process
JP3832895B2 (ja) * 1996-05-28 2006-10-11 キヤノン株式会社 画像合成装置及び画像合成システム
US5790182A (en) * 1996-08-05 1998-08-04 Interval Research Corp. System and method for panoramic imaging using concentric spherical mirrors
US6721952B1 (en) 1996-08-06 2004-04-13 Roxio, Inc. Method and system for encoding movies, panoramas and large images for on-line interactive viewing and gazing
US6133943A (en) * 1996-09-30 2000-10-17 Intel Corporation Method and apparatus for producing a composite image
JPH10178564A (ja) * 1996-10-17 1998-06-30 Sharp Corp パノラマ画像作成装置及び記録媒体
KR100382753B1 (ko) * 1996-10-28 2003-06-18 삼성전자주식회사 다안 동영상 취득 방법 및 장치
US5893062A (en) 1996-12-05 1999-04-06 Interval Research Corporation Variable rate video playback with synchronized audio
US6263507B1 (en) 1996-12-05 2001-07-17 Interval Research Corporation Browser for use in navigating a body of information, with particular application to browsing information represented by audiovisual data
US6249616B1 (en) 1997-05-30 2001-06-19 Enroute, Inc Combining digital images based on three-dimensional relationships between source image data sets
US6624846B1 (en) 1997-07-18 2003-09-23 Interval Research Corporation Visual user interface for use in controlling the interaction of a device with a spatial region
US6124886A (en) 1997-08-25 2000-09-26 Donnelly Corporation Modular rearview mirror assembly
US6326613B1 (en) 1998-01-07 2001-12-04 Donnelly Corporation Vehicle interior mirror assembly adapted for containing a rain sensor
US8294975B2 (en) 1997-08-25 2012-10-23 Donnelly Corporation Automotive rearview mirror assembly
US6172613B1 (en) 1998-02-18 2001-01-09 Donnelly Corporation Rearview mirror assembly incorporating vehicle information display
US6552744B2 (en) * 1997-09-26 2003-04-22 Roxio, Inc. Virtual reality camera
IL122183A0 (en) * 1997-11-12 1998-04-05 Banitt Shmuel Composite movie generating camera assembly and method
US6259470B1 (en) * 1997-12-18 2001-07-10 Intel Corporation Image capture system having virtual camera
US6445287B1 (en) 2000-02-28 2002-09-03 Donnelly Corporation Tire inflation assistance monitoring system
US8288711B2 (en) 1998-01-07 2012-10-16 Donnelly Corporation Interior rearview mirror system with forwardly-viewing camera and a control
US6003998A (en) * 1998-01-22 1999-12-21 Interval Research Corp. System and method for panoramic imaging using concentric spherical mirrors
US6693517B2 (en) 2000-04-21 2004-02-17 Donnelly Corporation Vehicle mirror assembly communicating wirelessly with vehicle accessories and occupants
US6329925B1 (en) 1999-11-24 2001-12-11 Donnelly Corporation Rearview mirror assembly with added feature modular display
US6477464B2 (en) 2000-03-09 2002-11-05 Donnelly Corporation Complete mirror-based global-positioning system (GPS) navigation solution
US7067473B1 (en) * 1998-07-14 2006-06-27 Janssen Pharmaceutica N.V. Neurotrophic growth factor
JP3286306B2 (ja) * 1998-07-31 2002-05-27 松下電器産業株式会社 画像生成装置、画像生成方法
US6278460B1 (en) 1998-12-15 2001-08-21 Point Cloud, Inc. Creating a three-dimensional model from two-dimensional images
US6714249B2 (en) 1998-12-31 2004-03-30 Eastman Kodak Company Producing panoramic digital images by digital camera systems
WO2000062542A1 (en) * 1999-04-08 2000-10-19 Interactive Pictures Corporation Apparatus, media and method for capturing and processing spherical images
ES2286875T3 (es) 1999-04-22 2007-12-01 Leo Vision Procedimiento y dispositivo de tratamiento y de restitucion de imagenes, con nuevo muestreo.
AT407221B (de) * 1999-06-04 2001-01-25 Rocco Handelsgesellschaft M B Trägersystem zur montage von aufnahmegeräten
US8066415B2 (en) 1999-06-17 2011-11-29 Magna Mirrors Of America, Inc. Exterior mirror vision system for a vehicle
US7015954B1 (en) 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
US7292261B1 (en) * 1999-08-20 2007-11-06 Patrick Teo Virtual reality camera
JP4169462B2 (ja) * 1999-08-26 2008-10-22 株式会社リコー 画像処理方法及び装置、デジタルカメラ、画像処理システム、並びに、画像処理プログラムを記録した記録媒体
US6563529B1 (en) * 1999-10-08 2003-05-13 Jerry Jongerius Interactive system for displaying detailed view and direction in panoramic images
US7155735B1 (en) 1999-10-08 2006-12-26 Vulcan Patents Llc System and method for the broadcast dissemination of time-ordered data
US20060073509A1 (en) * 1999-11-18 2006-04-06 Michael Kilpatrick Method for detecting and quantitating multiple subcellular components
EP1247255A4 (en) * 1999-11-24 2007-04-25 Dartfish Sa COORDINATION AND COMBINATION OF VIDEO SEQUENCES WITH SPATIAL AND TEMPORAL NORMALIZATION
US6717608B1 (en) * 1999-12-31 2004-04-06 Stmicroelectronics, Inc. Motion estimation for panoramic digital camera
US6757682B1 (en) 2000-01-28 2004-06-29 Interval Research Corporation Alerting users to items of current interest
AU2001243285A1 (en) 2000-03-02 2001-09-12 Donnelly Corporation Video mirror systems incorporating an accessory module
US7167796B2 (en) 2000-03-09 2007-01-23 Donnelly Corporation Vehicle navigation system for use with a telematics system
US7004593B2 (en) 2002-06-06 2006-02-28 Donnelly Corporation Interior rearview mirror system with compass
US7370983B2 (en) 2000-03-02 2008-05-13 Donnelly Corporation Interior mirror assembly with display
GB2360413A (en) * 2000-03-16 2001-09-19 Lee Scott Friend Wide angle parabolic imaging and image mapping apparatus
US6396408B2 (en) 2000-03-31 2002-05-28 Donnelly Corporation Digital electrochromic circuit with a vehicle network
US7313289B2 (en) * 2000-08-30 2007-12-25 Ricoh Company, Ltd. Image processing method and apparatus and computer-readable storage medium using improved distortion correction
US7581859B2 (en) 2005-09-14 2009-09-01 Donnelly Corp. Display device for exterior rearview mirror
EP1363810B1 (en) 2001-01-23 2007-05-30 Donnelly Corporation Improved vehicular lighting system
US7255451B2 (en) 2002-09-20 2007-08-14 Donnelly Corporation Electro-optic mirror cell
JP2002251608A (ja) * 2001-02-23 2002-09-06 Mixed Reality Systems Laboratory Inc 撮像装置の制御装置及びその制御方法、画像処理装置及びその方法、並びにプログラムコード、記憶媒体
AU2002254217A1 (en) * 2001-02-24 2002-09-12 Eyesee360, Inc. Method and apparatus for processing photographic images
WO2002080521A2 (en) * 2001-03-30 2002-10-10 Digeo, Inc. System and method for a software steerable web camera with multiple image subset capture
US20020141657A1 (en) * 2001-03-30 2002-10-03 Robert Novak System and method for a software steerable web Camera
JP3297040B1 (ja) * 2001-04-24 2002-07-02 松下電器産業株式会社 車載カメラの画像合成表示方法及びその装置
US20030101348A1 (en) * 2001-07-12 2003-05-29 Russo Anthony P. Method and system for determining confidence in a digital transaction
US6882287B2 (en) 2001-07-31 2005-04-19 Donnelly Corporation Automotive lane change aid
US7697027B2 (en) 2001-07-31 2010-04-13 Donnelly Corporation Vehicular video system
US7123777B2 (en) * 2001-09-27 2006-10-17 Eyesee360, Inc. System and method for panoramic imaging
US7058239B2 (en) * 2001-10-29 2006-06-06 Eyesee360, Inc. System and method for panoramic imaging
KR100433625B1 (ko) * 2001-11-17 2004-06-02 학교법인 포항공과대학교 스테레오 카메라의 두영상과 양안차도를 이용한 다시점영상 합성 장치
KR101030903B1 (ko) * 2001-11-22 2011-04-22 파나소닉 주식회사 부호화 방법 및 부호화 장치
US20030112339A1 (en) * 2001-12-17 2003-06-19 Eastman Kodak Company Method and system for compositing images with compensation for light falloff
JP2003230127A (ja) * 2002-01-31 2003-08-15 Matsushita Electric Ind Co Ltd ダイジェスト映像特定システム、ダイジェスト映像提供システム、ダイジェスト映像特定方法、ダイジェスト映像提供方法、媒体、及びプログラム
JP3945279B2 (ja) * 2002-03-15 2007-07-18 ソニー株式会社 障害物認識装置、障害物認識方法、及び障害物認識プログラム並びに移動型ロボット装置
JP4055201B2 (ja) * 2002-04-12 2008-03-05 ソニー株式会社 サービス提供システム、情報処理装置および方法、記録媒体、並びにプログラム
WO2003093857A2 (en) 2002-05-03 2003-11-13 Donnelly Corporation Object detection system for vehicle
US6918674B2 (en) 2002-05-03 2005-07-19 Donnelly Corporation Vehicle rearview mirror system
US7329013B2 (en) 2002-06-06 2008-02-12 Donnelly Corporation Interior rearview mirror system with compass
US7310177B2 (en) 2002-09-20 2007-12-18 Donnelly Corporation Electro-optic reflective element assembly
US7274501B2 (en) 2002-09-20 2007-09-25 Donnelly Corporation Mirror reflective element assembly
US7307654B2 (en) * 2002-10-31 2007-12-11 Hewlett-Packard Development Company, L.P. Image capture and viewing system and method for generating a synthesized image
US7567274B2 (en) * 2002-12-09 2009-07-28 Frank Edughom Ekpar Method and apparatus for creating interactive virtual tours
US7289037B2 (en) 2003-05-19 2007-10-30 Donnelly Corporation Mirror assembly for vehicle
AU2003245616A1 (en) * 2003-06-20 2005-01-28 Serge Ayer Method and system for combining video sequences with spatio-temporal alignment
SE0302065D0 (sv) 2003-07-14 2003-07-14 Stefan Carlsson Video - method and apparatus
US20050046698A1 (en) * 2003-09-02 2005-03-03 Knight Andrew Frederick System and method for producing a selectable view of an object space
US7446924B2 (en) 2003-10-02 2008-11-04 Donnelly Corporation Mirror reflective element assembly including electronic component
US7308341B2 (en) 2003-10-14 2007-12-11 Donnelly Corporation Vehicle communication system
US20050185047A1 (en) * 2004-02-19 2005-08-25 Hii Desmond Toh O. Method and apparatus for providing a combined image
US7526103B2 (en) 2004-04-15 2009-04-28 Donnelly Corporation Imaging system for vehicle
US20060028550A1 (en) * 2004-08-06 2006-02-09 Palmer Robert G Jr Surveillance system and method
US7292207B1 (en) 2004-08-27 2007-11-06 Sun Microsystems, Inc. Computing blending functions for the tiling of overlapped video projectors
US7881496B2 (en) 2004-09-30 2011-02-01 Donnelly Corporation Vision system for vehicle
US9141615B1 (en) 2004-11-12 2015-09-22 Grandeye, Ltd. Interactive media server
US20060115182A1 (en) * 2004-11-30 2006-06-01 Yining Deng System and method of intensity correction
US7756358B2 (en) * 2004-11-30 2010-07-13 Hewlett-Packard Development Company, L.P. System and method of aligning images
US7720580B2 (en) 2004-12-23 2010-05-18 Donnelly Corporation Object detection system for vehicle
US7450137B2 (en) * 2005-02-18 2008-11-11 Hewlett-Packard Development Company, L.P. System and method for blending images
EP1696669B1 (en) * 2005-02-24 2013-07-03 Aisin Seiki Kabushiki Kaisha Vehicle surrounding monitoring device
US7634152B2 (en) 2005-03-07 2009-12-15 Hewlett-Packard Development Company, L.P. System and method for correcting image vignetting
EP1883855B1 (en) 2005-05-16 2011-07-20 Donnelly Corporation Vehicle mirror assembly with indicia at reflective element
CN101535087B (zh) 2005-11-01 2013-05-15 唐纳利公司 具有显示装置的内部后视镜
US8723951B2 (en) * 2005-11-23 2014-05-13 Grandeye, Ltd. Interactive wide-angle video server
DE102006036933B4 (de) * 2006-08-08 2024-01-11 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Erzeugung eines Gesamtbilds aus überlappenden Einzelbildern
WO2008024639A2 (en) 2006-08-11 2008-02-28 Donnelly Corporation Automatic headlamp control system
WO2008068456A2 (en) * 2006-12-06 2008-06-12 Sony United Kingdom Limited A method and an apparatus for generating image content
EP2122599B1 (en) 2007-01-25 2019-11-13 Magna Electronics Inc. Radar sensing system for vehicle
US7914187B2 (en) 2007-07-12 2011-03-29 Magna Electronics Inc. Automatic lighting system with adaptive alignment function
US8017898B2 (en) 2007-08-17 2011-09-13 Magna Electronics Inc. Vehicular imaging system in an automatic headlamp control system
WO2009036176A1 (en) 2007-09-11 2009-03-19 Magna Electronics Imaging system for vehicle
WO2009046268A1 (en) 2007-10-04 2009-04-09 Magna Electronics Combined rgb and ir imaging sensor
US20090160936A1 (en) * 2007-12-21 2009-06-25 Mccormack Kenneth Methods and apparatus for operating a video camera assembly
US8154418B2 (en) 2008-03-31 2012-04-10 Magna Mirrors Of America, Inc. Interior rearview mirror system
US20100020170A1 (en) 2008-07-24 2010-01-28 Higgins-Luthman Michael J Vehicle Imaging System
DE102008046545A1 (de) 2008-09-10 2009-05-14 Daimler Ag Verfahren und Vorrichtung zur Kalibrierung einer Anordnung zur Überwachung einer Umgebung eines Fahrzeugs
US9487144B2 (en) 2008-10-16 2016-11-08 Magna Mirrors Of America, Inc. Interior mirror assembly with display
WO2010099416A1 (en) 2009-02-27 2010-09-02 Magna Electronics Alert system for vehicle
US8376595B2 (en) 2009-05-15 2013-02-19 Magna Electronics, Inc. Automatic headlamp control
US8874317B2 (en) 2009-07-27 2014-10-28 Magna Electronics Inc. Parking assist system
US9495876B2 (en) 2009-07-27 2016-11-15 Magna Electronics Inc. Vehicular camera with on-board microcontroller
EP2473871B1 (en) 2009-09-01 2015-03-11 Magna Mirrors Of America, Inc. Imaging and display system for vehicle
US8890955B2 (en) 2010-02-10 2014-11-18 Magna Mirrors Of America, Inc. Adaptable wireless vehicle vision system based on wireless communication error
US9117123B2 (en) 2010-07-05 2015-08-25 Magna Electronics Inc. Vehicular rear view camera display system with lifecheck function
JP5481337B2 (ja) * 2010-09-24 2014-04-23 株式会社東芝 画像処理装置
TW201215126A (en) * 2010-09-27 2012-04-01 Hon Hai Prec Ind Co Ltd Image dividing system for cameras and using method of the same
WO2012068331A1 (en) 2010-11-19 2012-05-24 Magna Electronics Inc. Lane keeping system and lane centering system
US9900522B2 (en) 2010-12-01 2018-02-20 Magna Electronics Inc. System and method of establishing a multi-camera image using pixel remapping
US9264672B2 (en) 2010-12-22 2016-02-16 Magna Mirrors Of America, Inc. Vision display system for vehicle
US9336596B2 (en) * 2010-12-28 2016-05-10 Tektronix, Inc. System and methods to efficiently measure stereoscopic disparity and to generate related mismatch images
US9085261B2 (en) 2011-01-26 2015-07-21 Magna Electronics Inc. Rear vision system with trailer angle detection
US9194943B2 (en) 2011-04-12 2015-11-24 Magna Electronics Inc. Step filter for estimating distance in a time-of-flight ranging system
WO2012145819A1 (en) 2011-04-25 2012-11-01 Magna International Inc. Image processing method for detecting objects using relative motion
WO2012145818A1 (en) 2011-04-25 2012-11-01 Magna International Inc. Method and system for dynamically calibrating vehicular cameras
WO2012145822A1 (en) 2011-04-25 2012-11-01 Magna International Inc. Method and system for dynamically calibrating vehicular cameras
US10019841B2 (en) 2011-05-18 2018-07-10 Magna Electronics Inc. Driver assistance systems for vehicle
US10793067B2 (en) 2011-07-26 2020-10-06 Magna Electronics Inc. Imaging system for vehicle
US9491450B2 (en) 2011-08-01 2016-11-08 Magna Electronic Inc. Vehicle camera alignment system
DE112012003931T5 (de) 2011-09-21 2014-07-10 Magna Electronics, Inc. Bildverarbeitungssystem für ein Kraftfahrzeug mit Bilddatenübertragung undStromversorgung über ein Koaxialkabel
US9681062B2 (en) 2011-09-26 2017-06-13 Magna Electronics Inc. Vehicle camera image quality improvement in poor visibility conditions by contrast amplification
US9146898B2 (en) 2011-10-27 2015-09-29 Magna Electronics Inc. Driver assist system with algorithm switching
US9491451B2 (en) 2011-11-15 2016-11-08 Magna Electronics Inc. Calibration system and method for vehicular surround vision system
US10099614B2 (en) 2011-11-28 2018-10-16 Magna Electronics Inc. Vision system for vehicle
US9762880B2 (en) 2011-12-09 2017-09-12 Magna Electronics Inc. Vehicle vision system with customized display
US10457209B2 (en) 2012-02-22 2019-10-29 Magna Electronics Inc. Vehicle vision system with multi-paned view
WO2013126715A2 (en) 2012-02-22 2013-08-29 Magna Electronics, Inc. Vehicle camera system with image manipulation
US8694224B2 (en) 2012-03-01 2014-04-08 Magna Electronics Inc. Vehicle yaw rate correction
US10609335B2 (en) 2012-03-23 2020-03-31 Magna Electronics Inc. Vehicle vision system with accelerated object confirmation
US20130250040A1 (en) * 2012-03-23 2013-09-26 Broadcom Corporation Capturing and Displaying Stereoscopic Panoramic Images
WO2013158592A2 (en) 2012-04-16 2013-10-24 Magna Electronics, Inc. Vehicle vision system with reduced image color data processing by use of dithering
US10089537B2 (en) 2012-05-18 2018-10-02 Magna Electronics Inc. Vehicle vision system with front and rear camera integration
US9340227B2 (en) 2012-08-14 2016-05-17 Magna Electronics Inc. Vehicle lane keep assist system
DE102013217430A1 (de) 2012-09-04 2014-03-06 Magna Electronics, Inc. Fahrerassistenzsystem für ein Kraftfahrzeug
US9558409B2 (en) 2012-09-26 2017-01-31 Magna Electronics Inc. Vehicle vision system with trailer angle detection
US9446713B2 (en) 2012-09-26 2016-09-20 Magna Electronics Inc. Trailer angle detection system
US9723272B2 (en) 2012-10-05 2017-08-01 Magna Electronics Inc. Multi-camera image stitching calibration system
US20140114534A1 (en) * 2012-10-19 2014-04-24 GM Global Technology Operations LLC Dynamic rearview mirror display features
US9090234B2 (en) 2012-11-19 2015-07-28 Magna Electronics Inc. Braking control system for vehicle
US9743002B2 (en) 2012-11-19 2017-08-22 Magna Electronics Inc. Vehicle vision system with enhanced display functions
CN113472989A (zh) 2012-11-28 2021-10-01 核心光电有限公司 多孔径成像***以及通过多孔径成像***获取图像的方法
US10025994B2 (en) 2012-12-04 2018-07-17 Magna Electronics Inc. Vehicle vision system utilizing corner detection
US9481301B2 (en) 2012-12-05 2016-11-01 Magna Electronics Inc. Vehicle vision system utilizing camera synchronization
US20140218529A1 (en) 2013-02-04 2014-08-07 Magna Electronics Inc. Vehicle data recording system
US9092986B2 (en) 2013-02-04 2015-07-28 Magna Electronics Inc. Vehicular vision system
US10179543B2 (en) 2013-02-27 2019-01-15 Magna Electronics Inc. Multi-camera dynamic top view vision system
US9688200B2 (en) 2013-03-04 2017-06-27 Magna Electronics Inc. Calibration system and method for multi-camera vision system
US9787947B2 (en) * 2013-03-13 2017-10-10 Pelco, Inc. Surveillance system with intelligently interchangeable cameras
US10027930B2 (en) 2013-03-29 2018-07-17 Magna Electronics Inc. Spectral filtering for vehicular driver assistance systems
US9327693B2 (en) 2013-04-10 2016-05-03 Magna Electronics Inc. Rear collision avoidance system for vehicle
FR3004881B1 (fr) 2013-04-19 2015-04-17 Kolor Procede de generation d'un flux video de sortie a partir d'un flux video large champ
US10232797B2 (en) 2013-04-29 2019-03-19 Magna Electronics Inc. Rear vision system for vehicle with dual purpose signal lines
US9508014B2 (en) 2013-05-06 2016-11-29 Magna Electronics Inc. Vehicular multi-camera vision system
US9563951B2 (en) 2013-05-21 2017-02-07 Magna Electronics Inc. Vehicle vision system with targetless camera calibration
US9205776B2 (en) 2013-05-21 2015-12-08 Magna Electronics Inc. Vehicle vision system using kinematic model of vehicle motion
US9742991B2 (en) 2013-05-24 2017-08-22 Robert Frank Latorre 360 degree photobooth kiosk
US10567705B2 (en) 2013-06-10 2020-02-18 Magna Electronics Inc. Coaxial cable with bidirectional data transmission
CN109040553B (zh) 2013-06-13 2021-04-13 核心光电有限公司 双孔径变焦数字摄影机
US9260095B2 (en) 2013-06-19 2016-02-16 Magna Electronics Inc. Vehicle vision system with collision mitigation
US20140375476A1 (en) 2013-06-24 2014-12-25 Magna Electronics Inc. Vehicle alert system
US10755110B2 (en) 2013-06-28 2020-08-25 Magna Electronics Inc. Trailering assist system for vehicle
CN108388005A (zh) 2013-07-04 2018-08-10 核心光电有限公司 小型长焦透镜套件
CN109120823B (zh) 2013-08-01 2020-07-14 核心光电有限公司 具有自动聚焦的纤薄多孔径成像***及其使用方法
US20150042799A1 (en) * 2013-08-07 2015-02-12 GM Global Technology Operations LLC Object highlighting and sensing in vehicle image display systems
US10326969B2 (en) 2013-08-12 2019-06-18 Magna Electronics Inc. Vehicle vision system with reduction of temporal noise in images
US20150109444A1 (en) * 2013-10-22 2015-04-23 GM Global Technology Operations LLC Vision-based object sensing and highlighting in vehicle image display systems
US9499139B2 (en) 2013-12-05 2016-11-22 Magna Electronics Inc. Vehicle monitoring system
US9988047B2 (en) 2013-12-12 2018-06-05 Magna Electronics Inc. Vehicle control system with traffic driving control
US10160382B2 (en) 2014-02-04 2018-12-25 Magna Electronics Inc. Trailer backup assist system
US9623878B2 (en) 2014-04-02 2017-04-18 Magna Electronics Inc. Personalized driver assistance system for vehicle
US9487235B2 (en) 2014-04-10 2016-11-08 Magna Electronics Inc. Vehicle control system with adaptive wheel angle correction
US10328932B2 (en) 2014-06-02 2019-06-25 Magna Electronics Inc. Parking assist system with annotated map generation
US9392188B2 (en) 2014-08-10 2016-07-12 Corephotonics Ltd. Zoom dual-aperture camera with folded lens
KR20160072687A (ko) * 2014-12-15 2016-06-23 삼성전기주식회사 카메라 모듈
CN112327463B (zh) 2015-01-03 2022-10-14 核心光电有限公司 微型长焦镜头模块和使用该镜头模块的相机
US9916660B2 (en) 2015-01-16 2018-03-13 Magna Electronics Inc. Vehicle vision system with calibration algorithm
US10286855B2 (en) 2015-03-23 2019-05-14 Magna Electronics Inc. Vehicle vision system with video compression
WO2016156996A1 (en) 2015-04-02 2016-10-06 Corephotonics Ltd. Dual voice coil motor structure in a dual-optical module camera
ES2907810T3 (es) 2015-04-16 2022-04-26 Corephotonics Ltd Enfoque automático y estabilización de imagen óptica en una cámara compacta de plegado
US10946799B2 (en) 2015-04-21 2021-03-16 Magna Electronics Inc. Vehicle vision system with overlay calibration
US10819943B2 (en) 2015-05-07 2020-10-27 Magna Electronics Inc. Vehicle vision system with incident recording function
EP3304161B1 (en) 2015-05-28 2021-02-17 Corephotonics Ltd. Bi-directional stiffness for optical image stabilization in a digital camera
US10214206B2 (en) 2015-07-13 2019-02-26 Magna Electronics Inc. Parking assist system for vehicle
US10078789B2 (en) 2015-07-17 2018-09-18 Magna Electronics Inc. Vehicle parking assist system with vision-based parking space detection
US10225467B2 (en) * 2015-07-20 2019-03-05 Motorola Mobility Llc 360° video multi-angle attention-focus recording
KR102263924B1 (ko) 2015-08-13 2021-06-11 코어포토닉스 리미티드 비디오 지원 및 스위칭/비스위칭 동적 제어 기능이 있는 듀얼-애퍼처 줌 카메라
US10086870B2 (en) 2015-08-18 2018-10-02 Magna Electronics Inc. Trailer parking assist system for vehicle
EP3335077B1 (en) 2015-09-06 2019-08-14 Corephotonics Ltd. Auto focus and optical image stabilization with roll compensation in a compact folded camera
US9681111B1 (en) 2015-10-22 2017-06-13 Gopro, Inc. Apparatus and methods for embedding metadata into video stream
US10875403B2 (en) 2015-10-27 2020-12-29 Magna Electronics Inc. Vehicle vision system with enhanced night vision
US10033928B1 (en) 2015-10-29 2018-07-24 Gopro, Inc. Apparatus and methods for rolling shutter compensation for multi-camera systems
US9973696B1 (en) 2015-11-23 2018-05-15 Gopro, Inc. Apparatus and methods for image alignment
US9792709B1 (en) 2015-11-23 2017-10-17 Gopro, Inc. Apparatus and methods for image alignment
US9848132B2 (en) 2015-11-24 2017-12-19 Gopro, Inc. Multi-camera time synchronization
US9667859B1 (en) 2015-12-28 2017-05-30 Gopro, Inc. Systems and methods for determining preferences for capture settings of an image capturing device
KR102187146B1 (ko) 2015-12-29 2020-12-07 코어포토닉스 리미티드 자동 조정가능 텔레 시야(fov)를 갖는 듀얼-애퍼처 줌 디지털 카메라
US9922387B1 (en) 2016-01-19 2018-03-20 Gopro, Inc. Storage of metadata and images
US9967457B1 (en) 2016-01-22 2018-05-08 Gopro, Inc. Systems and methods for determining preferences for capture settings of an image capturing device
US11277558B2 (en) 2016-02-01 2022-03-15 Magna Electronics Inc. Vehicle vision system with master-slave camera configuration
US11433809B2 (en) 2016-02-02 2022-09-06 Magna Electronics Inc. Vehicle vision system with smart camera video output
US9665098B1 (en) 2016-02-16 2017-05-30 Gopro, Inc. Systems and methods for determining preferences for flight control settings of an unmanned aerial vehicle
US9602795B1 (en) 2016-02-22 2017-03-21 Gopro, Inc. System and method for presenting and viewing a spherical video segment
US9973746B2 (en) 2016-02-17 2018-05-15 Gopro, Inc. System and method for presenting and viewing a spherical video segment
US9743060B1 (en) 2016-02-22 2017-08-22 Gopro, Inc. System and method for presenting and viewing a spherical video segment
US10160437B2 (en) 2016-02-29 2018-12-25 Magna Electronics Inc. Vehicle control system with reverse assist
US20170253237A1 (en) 2016-03-02 2017-09-07 Magna Electronics Inc. Vehicle vision system with automatic parking function
US10132971B2 (en) 2016-03-04 2018-11-20 Magna Electronics Inc. Vehicle camera with multiple spectral filters
US10055651B2 (en) 2016-03-08 2018-08-21 Magna Electronics Inc. Vehicle vision system with enhanced lane tracking
CN111965919B (zh) 2016-05-30 2022-02-08 核心光电有限公司 旋转滚珠引导音圈电动机
KR102521406B1 (ko) 2016-06-19 2023-04-12 코어포토닉스 리미티드 듀얼 애퍼처 카메라 시스템에서의 프레임 동기화
WO2018007981A1 (en) 2016-07-07 2018-01-11 Corephotonics Ltd. Linear ball guided voice coil motor for folded optic
US10706518B2 (en) 2016-07-07 2020-07-07 Corephotonics Ltd. Dual camera system with improved video smooth transition by image blending
US9934758B1 (en) 2016-09-21 2018-04-03 Gopro, Inc. Systems and methods for simulating adaptation of eyes to changes in lighting conditions
JP6802848B2 (ja) * 2016-10-03 2020-12-23 オリンパス株式会社 画像処理装置、撮像システム、画像処理方法および画像処理プログラム
US10268896B1 (en) 2016-10-05 2019-04-23 Gopro, Inc. Systems and methods for determining video highlight based on conveyance positions of video content capture
US9973792B1 (en) 2016-10-27 2018-05-15 Gopro, Inc. Systems and methods for presenting visual information during presentation of a video segment
US11531209B2 (en) 2016-12-28 2022-12-20 Corephotonics Ltd. Folded camera structure with an extended light-folding-element scanning range
KR102164655B1 (ko) 2017-01-12 2020-10-13 코어포토닉스 리미티드 컴팩트 폴디드 카메라
US10194101B1 (en) 2017-02-22 2019-01-29 Gopro, Inc. Systems and methods for rolling shutter compensation using iterative process
IL290630B2 (en) 2017-02-23 2023-10-01 Corephotonics Ltd Lens designs for a folded camera
CN114137790A (zh) 2017-03-15 2022-03-04 核心光电有限公司 具有全景扫瞄范围的***、移动电子装置及其方法
US10187607B1 (en) 2017-04-04 2019-01-22 Gopro, Inc. Systems and methods for using a variable capture frame rate for video capture
US10904512B2 (en) 2017-09-06 2021-01-26 Corephotonics Ltd. Combined stereoscopic and phase detection depth mapping in a dual aperture camera
US10951834B2 (en) 2017-10-03 2021-03-16 Corephotonics Ltd. Synthetically enlarged camera aperture
KR102261024B1 (ko) 2017-11-23 2021-06-04 코어포토닉스 리미티드 컴팩트 폴디드 카메라 구조
KR102091369B1 (ko) 2018-02-05 2020-05-18 코어포토닉스 리미티드 폴디드 카메라에 대한 감소된 높이 페널티
CN113467031B (zh) 2018-02-12 2023-07-14 核心光电有限公司 具有光学图像稳定化的折叠摄像机、数字摄像机及方法
US10694168B2 (en) 2018-04-22 2020-06-23 Corephotonics Ltd. System and method for mitigating or preventing eye damage from structured light IR/NIR projector systems
CN111936908B (zh) 2018-04-23 2021-12-21 核心光电有限公司 具有扩展的两个自由度旋转范围的光路折叠元件
WO2020031005A1 (en) 2018-08-04 2020-02-13 Corephotonics Ltd. Switchable continuous display information system above camera
WO2020039302A1 (en) 2018-08-22 2020-02-27 Corephotonics Ltd. Two-state zoom folded camera
DE102018126371A1 (de) * 2018-10-23 2020-04-23 Hensoldt Optronics Gmbh Verfahren zur Anzeige eines Panoramabilds auf einer Bildwiedergabeeinrichtung
CN111919057B (zh) 2019-01-07 2021-08-31 核心光电有限公司 具有滑动接头的旋转机构
WO2020183312A1 (en) 2019-03-09 2020-09-17 Corephotonics Ltd. System and method for dynamic stereoscopic calibration
KR102365748B1 (ko) 2019-07-31 2022-02-23 코어포토닉스 리미티드 카메라 패닝 또는 모션에서 배경 블러링을 생성하는 시스템 및 방법
US11659135B2 (en) 2019-10-30 2023-05-23 Corephotonics Ltd. Slow or fast motion video using depth information
CN114641983A (zh) 2019-12-09 2022-06-17 核心光电有限公司 用于获得智能全景图像的***及方法
US11949976B2 (en) 2019-12-09 2024-04-02 Corephotonics Ltd. Systems and methods for obtaining a smart panoramic image
WO2021165764A1 (en) 2020-02-22 2021-08-26 Corephotonics Ltd. Split screen feature for macro photography
WO2021220080A1 (en) 2020-04-26 2021-11-04 Corephotonics Ltd. Temperature control for hall bar sensor correction
KR102495627B1 (ko) 2020-05-17 2023-02-06 코어포토닉스 리미티드 전체 시야 레퍼런스 이미지 존재 하의 이미지 스티칭
KR20240001277A (ko) 2020-05-30 2024-01-03 코어포토닉스 리미티드 슈퍼 매크로 이미지를 얻기 위한 시스템 및 방법
EP4202521A1 (en) 2020-07-15 2023-06-28 Corephotonics Ltd. Point of view aberrations correction in a scanning folded camera
US11637977B2 (en) 2020-07-15 2023-04-25 Corephotonics Ltd. Image sensors and sensing methods to obtain time-of-flight and phase detection information
EP4065934A4 (en) 2020-07-31 2023-07-26 Corephotonics Ltd. LARGE STROKE LINEAR POSITION DETECTION HALL EFFECT SENSOR MAGNET GEOMETRY
KR102480820B1 (ko) 2020-08-12 2022-12-22 코어포토닉스 리미티드 스캐닝 폴디드 카메라의 광학 이미지 안정화
US11968639B2 (en) 2020-11-11 2024-04-23 Magna Electronics Inc. Vehicular control system with synchronized communication between control units
WO2022259154A2 (en) 2021-06-08 2022-12-15 Corephotonics Ltd. Systems and cameras for tilting a focal plane of a super-macro image

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63142991A (ja) * 1986-12-05 1988-06-15 Hitachi Ltd パノラマ画像合成システム
JPH0336700A (ja) * 1989-07-03 1991-02-18 Mitsubishi Heavy Ind Ltd 周辺監視装置
JPH04275783A (ja) * 1991-03-04 1992-10-01 Nippon Hoso Kyokai <Nhk> 画像情報処理装置
JPH0514751A (ja) * 1991-06-28 1993-01-22 Nippon Hoso Kyokai <Nhk> パノラマ画像取り込み装置
JPH05110926A (ja) * 1991-10-18 1993-04-30 Matsushita Electric Ind Co Ltd 歪曲収差補正装置および画像合成装置
JPH07135605A (ja) * 1993-11-11 1995-05-23 Mitsubishi Electric Corp 画像合成装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4660157A (en) * 1981-10-02 1987-04-21 Harris Corporation Real time video perspective digital map display method
US4677576A (en) * 1983-06-27 1987-06-30 Grumman Aerospace Corporation Non-edge computer image generation system
DE3572533D1 (en) * 1984-08-24 1989-09-28 Hughes Aircraft Co System and method for mapping geosynchronous real image data into idealized images
GB2185360B (en) * 1986-01-11 1989-10-25 Pilkington Perkin Elmer Ltd Display system
GB2189365A (en) * 1986-03-20 1987-10-21 Rank Xerox Ltd Imaging apparatus
US4740839A (en) * 1987-06-12 1988-04-26 Phillips William R TV surveillance system that requires no mechanical motion
US5023725A (en) * 1989-10-23 1991-06-11 Mccutchen David Method and apparatus for dodecahedral imaging system
US5130794A (en) * 1990-03-29 1992-07-14 Ritchey Kurtis J Panoramic display system
JP3021556B2 (ja) * 1990-06-20 2000-03-15 ソニー株式会社 映像情報処理装置とその方法
US5187571A (en) * 1991-02-01 1993-02-16 Bell Communications Research, Inc. Television system for displaying multiple views of a remote location
US5200818A (en) * 1991-03-22 1993-04-06 Inbal Neta Video imaging system with interactive windowing capability
US5185667A (en) * 1991-05-13 1993-02-09 Telerobotics International, Inc. Omniview motionless camera orientation system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63142991A (ja) * 1986-12-05 1988-06-15 Hitachi Ltd パノラマ画像合成システム
JPH0336700A (ja) * 1989-07-03 1991-02-18 Mitsubishi Heavy Ind Ltd 周辺監視装置
JPH04275783A (ja) * 1991-03-04 1992-10-01 Nippon Hoso Kyokai <Nhk> 画像情報処理装置
JPH0514751A (ja) * 1991-06-28 1993-01-22 Nippon Hoso Kyokai <Nhk> パノラマ画像取り込み装置
JPH05110926A (ja) * 1991-10-18 1993-04-30 Matsushita Electric Ind Co Ltd 歪曲収差補正装置および画像合成装置
JPH07135605A (ja) * 1993-11-11 1995-05-23 Mitsubishi Electric Corp 画像合成装置

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0955925A (ja) * 1995-08-11 1997-02-25 Nippon Telegr & Teleph Corp <Ntt> 画像システム
JPH09214932A (ja) * 1996-01-30 1997-08-15 Nippon Telegr & Teleph Corp <Ntt> 画像装置及び画像通信システム
JPH10320537A (ja) * 1997-05-19 1998-12-04 Canon Inc 画像合成装置、画像合成方法および記憶媒体
JPH11213141A (ja) * 1997-11-18 1999-08-06 Ricoh Co Ltd 画像合成方法及び装置並びに情報記録媒体
JP4828779B2 (ja) * 2000-08-07 2011-11-30 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 高速デジタルパンチルトズームビデオ
JP2004506285A (ja) * 2000-08-07 2004-02-26 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 高速デジタルパンチルトズームビデオ
WO2003012741A1 (fr) * 2001-07-30 2003-02-13 Nakagawa Chemical Co. Procede permettant d'examiner et d'analyser les couleurs
WO2003049030A1 (fr) * 2001-12-07 2003-06-12 Sony Corporation Dispositif de traitement d'image, procede de traitement d'image, procede de stockage et programme informatique
JP2003178298A (ja) * 2001-12-07 2003-06-27 Sony Corp 画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラム
US7426317B2 (en) 2001-12-07 2008-09-16 Sony Corporation Image processing apparatus and image processing method, storage medium and computer program
CN100437639C (zh) * 2001-12-07 2008-11-26 索尼公司 图像处理装置和图像处理方法
WO2004036498A1 (ja) * 2002-10-15 2004-04-29 Seiko Epson Corporation 複数の画像データのパノラマ合成処理
CN100401320C (zh) * 2002-10-15 2008-07-09 精工爱普生株式会社 图像处理装置及图像处理方法
JP2006515128A (ja) * 2003-01-24 2006-05-18 マイコイ・コーポレーション 立体パノラマ画像取り込み装置
JP4560716B2 (ja) * 2004-09-28 2010-10-13 アイシン精機株式会社 車両の周辺監視システム
JP2006100965A (ja) * 2004-09-28 2006-04-13 Aisin Seiki Co Ltd 車両の周辺監視システム
JP2006173988A (ja) * 2004-12-15 2006-06-29 Nissan Motor Co Ltd 車載用カメラ映像提示装置及び車載用カメラ映像提示方法
JP2010512086A (ja) * 2006-12-06 2010-04-15 ソニー・ユナイテッド・キングダム・リミテッド 画像コンテンツ生成方法及び画像コンテンツ生成装置
US8427545B2 (en) 2006-12-06 2013-04-23 Sony Europe Limited Method and an apparatus for generating image content
US8848066B2 (en) 2006-12-06 2014-09-30 Sony Europe Limited Method and an apparatus for generating image content
JP2010211626A (ja) * 2009-03-11 2010-09-24 Nec Corp 動線モニタリングシステム、方法、及び、プログラム
JP2011248630A (ja) * 2010-05-27 2011-12-08 Victor Co Of Japan Ltd 視点変換装置及び視点変換方法
WO2018128011A1 (ja) * 2017-01-06 2018-07-12 富士フイルム株式会社 画像処理装置、画像処理方法、およびプログラム

Also Published As

Publication number Publication date
JP3320541B2 (ja) 2002-09-03
EP0605045A1 (fr) 1994-07-06
KR940017747A (ko) 1994-07-27
US5444478A (en) 1995-08-22
DE69324224D1 (de) 1999-05-06
EP0605045B1 (fr) 1999-03-31
DE69324224T2 (de) 1999-10-28

Similar Documents

Publication Publication Date Title
JP3320541B2 (ja) 隣接する複数画像より画像を形成する画像処理方法及び装置
US5586231A (en) Method and device for processing an image in order to construct from a source image a target image with charge of perspective
JP3463612B2 (ja) 画像入力方法、画像入力装置及び記録媒体
US10503059B2 (en) System and method for calibrating a display system using manual and semi-manual techniques
US5594845A (en) Method and device for processing an image in order to construct a target image from a plurality of contiguous source images
JP4828779B2 (ja) 高速デジタルパンチルトズームビデオ
JP3706645B2 (ja) 画像処理方法及びシステム
TW396292B (en) Stereo panoramic viewing system
US7429997B2 (en) System and method for spherical stereoscopic photographing
US6738073B2 (en) Camera system with both a wide angle view and a high resolution view
US7215364B2 (en) Digital imaging system using overlapping images to formulate a seamless composite image and implemented using either a digital imaging sensor array
KR20180101165A (ko) 파노라마 프레임으로의 프레임 스티칭
US20070132863A1 (en) Image taking apparatus, image processing method, and image processing program
WO2005006776A1 (en) Method and device for generating wide image sequences
JP3861855B2 (ja) 画像入力装置
US20090195758A1 (en) Meshes for separately mapping color bands
CN110428361A (zh) 一种基于人工智能的多路图像采集方法
CN111583117A (zh) 一种适用于太空复杂环境的快速全景拼接方法及装置
KR101230909B1 (ko) 차량용 광각 영상 처리장치 및 그 방법
CN114612574A (zh) 一种基于无人机的车载环视相机全景鸟瞰图标定及转换拼接方法
Huang et al. Spisy: The stereo panoramic imaging system
US20230269354A1 (en) Multiple camera sensor system
Qin et al. Creating a precise panorama from fanned video sequence images
CN117853329A (zh) 一种基于轨道摄像机多视角融合的图像拼接方法及***
JP2013042213A (ja) 画像処理装置および画像処理方法、プログラム

Legal Events

Date Code Title Description
LAPS Cancellation because of no payment of annual fees