JP4828779B2 - 高速デジタルパンチルトズームビデオ - Google Patents
高速デジタルパンチルトズームビデオ Download PDFInfo
- Publication number
- JP4828779B2 JP4828779B2 JP2002518738A JP2002518738A JP4828779B2 JP 4828779 B2 JP4828779 B2 JP 4828779B2 JP 2002518738 A JP2002518738 A JP 2002518738A JP 2002518738 A JP2002518738 A JP 2002518738A JP 4828779 B2 JP4828779 B2 JP 4828779B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- camera
- transformation
- plane
- composite
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Studio Circuits (AREA)
- Image Generation (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
[発明の分野]
本発明は、個別の画像を補間及び変換して、継ぎ目のない選択可能な画像、さもなければメカニカルなPTZセットアップにより取得される画像にするデジタル画像処理を使用して、複数のカメラにより達成されるデジタルパン チルト ズーム(PTZ)効果に関する。
より詳細には、本発明は、高速処理向けのプレーナ変換を採用したシステムに関する。
【0002】
[発明の背景]
従来技術では、シーンの画像を結合して1つのワイドアングル画像にする複数の手法が提供されている。1つのシステムは、Apple社のQuick Time VRであり、仮想現実の世界にパノラマを作成するために適合される。Apple社のシステムでは、写真フレームが僅かに重なり、カメラがある点の周りで回転した時に撮影される複数の画像に基づいて、パノラマを撮影するためのカメラが利用される。ソフトウェアは、個々の写真を互いに縫い合わせ、360°の視界を作る。結果的に得られるパノラマ画像は、円筒状の射影である。
【0003】
加えて、Judayにより米国特許第5,067,019号に示されるように、入力画像のある入力画素が出力画像の一部に変換されるように、画像を変換することが知られている。この変換は、ズームイン及びズームアウト効果を生成する場合がある。Zimmmermannによる米国特許第5,185,667号では、使用される半球形の視界の選択された部分の遠近補正視界を提供するシステムを記載している。この装置は、魚眼レンズからの画像を入力し、歪みを除去するために数学的に補正される全体的な半球視界の円形画像を作成する。
【0004】
Kuban等による米国特許第5,313,306号では、ワイドアングルカメラで撮影された画像の遠近及び歪み補正を可能にするシステムが示されている。このシステムは、機械的な移動なしに、パン、チルト及びズームを提供する。Kuban等による米国特許第5,359,363号では、視界の選択された部分が遠近及び歪み補正された視界を有するシステムを示している。米国特許第5,657,073号では、デジタル又はアナログビデオからなる複数のストリームを処理する方法が記載されており、それぞれは、特定又はユニークな視界を取得し、これらの画像をパノラマ式(panoramic)の出力又はパノラマ式球形(panospheric)の出力に変換する。
【0005】
従来の技術は、PTZカメラシステムの要素に対応するあるデジタル効果についての動機を供給するものであるが、デジタル処理に基づいた十分なPTZ機能性を提供するための有効なシステムについて必要がなお存在する。画像の歪み補正及びコネクションに要する処理時間は、計算的に重要な要素であり、ビデオ会議システムのような高いフレームレート及び低コストを可能にするように、上記計算的な負荷を軽減する手法についての大きな必要が存在する。
【0006】
[発明の概要]
ビデオカメラのアレイは、処理される画像を生成し、PTZカメラと機能的に等価な構成を形成する。オフラインの前校正手順が使用されて、幾何学的な補正による観察されたシーンの2次元のモザイクが作成される。任意の中間的な視界は、画像の集合から生成される。
【0007】
要するに、固定されたデジタルカメラのアレイが構成に搭載され、視界に重なり、パノラマ又はパノラマ式球形の区分的な到達範囲を提供する。重なりは、校正のために使用される。観察されたシーンの2次元のモザイクは、校正手順に基づきオフラインで導出された式及びルックアップテーブルを使用して、幾何学的且つ光度測定的に補正される。
【0008】
次いで、画像の結合に補正が適用され、(要求される画素の補間により)仮想カメラの電子的パン、チルト及びズームが実行されて、選択された視界が取得される。画像補正は、レンズの収差補正、及び1つのモザイクへの画像の線形変換、及び重なり領域での強度混合を含む。モザイクを作成するために必要な変換はオフラインで計算され、PTZ処理は実時間で実行される。これらのステップは、以下により詳細に記述される。
【0009】
入力フレームは、カメラアレイにより連続的に取得される。物体画像がカメラに非常に近くないことを保証して、ステレオ効果が回避される。個別のフレームは整合され、パノラマ式の環境マップとして共通のプレーナモザイクにワープされる(warped)。次いで、プロセッサへのPTZ制御入力を使用して、モザイクの1部分が選択され、仮想カメラの視界にワープされる。
【0010】
レンズ収差は、適切な手段により補正される。本発明の好適な実施の形態では、ワイドアングルカメラが使用され、このカメラは、長い焦点距離のレンズシステムよりも多くのレンズ収差を作る。所与の視界についてより少ない数のカメラが使用される場合があるので、かかるカメラが好ましい。後に明らかになるように、画像を整合しようとする前に、それぞれのレンズにより導入される収差を補正することが必要である。
【0011】
画像におけるある点のレンズ収差は、3つの成分である画像中央のシフト、球面収差(バレル収差とも呼ばれる)、及び中心外れ収差に分解することができる。球面収差は、フレーム整合のために最も憂慮すべき収差である。他の収差は、画像の中心がレンズの中心に近く、レンズ要素が光学軸に直交することを仮定することにより無視することができる。
【0012】
レンズ収差は、各種画像処理技法により補償される場合がある。1次の幾何学的球面補正により良好な結果を提供することが示され、これは以下に説明される。しかし、本発明の範囲内で多くの技法が採用される場合があることが理解され、以下の説明はこの点に関して限定されることを意図していないことが理解されるべきである。
【0013】
殆どのワイドアングルカメラにおける球面収差は、画像の点を光学的中心に引き寄せる。この作用は、軸的に対称であり、収差パラメータを介して光学的中心からの距離にのみ依存する。収差成分は、以下のように示される。
【数1】
3次よりも高い項は、収差に対する寄与が実際に無視することができるものとして無視することができ、上記式は以下のように簡略化することができる。
Δr=γ3・r3
x=xd+γ(xd−xc)r2
y=yd+γ(yd−yc)r2
ここで、(xc、yc)は画像の中心、(xd、yd)は観察(歪み)点、並びにr2=(xd−xc)2+(yd−yc)2及び(x,y)は非歪み点である。
【0014】
上記式は、実際に最も重要なレンズの球面収差の3次項のみをモデル化している。簡単さのために、それぞれのビデオフレームが同じレンズ収差パラメータで歪んでいるものとし、x及びyの両者はレンズ収差により同様に影響を受けるものと仮定する。この処理は、非歪み画像に対する画素強度(及び/又は色相)の補間を含むので、処理時間に対する影響は大きい。
【0015】
中間的な任意の視界を生成するために、カメラにより取得される画像は整合され、合成視界のパノラマ式のマップ、球形のマップ、パノラマ式球形のマップに合成されなければならない。このマップは、シーンの形状、好ましくは単なる形状への投影である。カメラシステムを完全に取り巻く関心のある領域について、この形状は、立方体又は球体とすることができる。新しい視界を作成するために環境マップの一部を再投影することは、環境マップのタイプに依存する。
【0016】
立方体のマップについて、再投影は、視界平面における正方形にマップされる6つのテクスチャの可視領域の表示を単に必要とし、線形である。球形のマップについて、非線形のワープが行わなければならない。パノラマ式の視界又はより小さな視界について、円筒状のマップ、半球状のマップ又はプレーナ環境のマップを使用することができる。180°よりも小さいパンを有する大きな視界について、処理時間が重要な設計上の問題であるときに、プレーナマップが好ましい。また、Intel社のProcessing Library(IPL)のような特別なソフトウェアによる有効なワープを許可するという利点を有する。
【0017】
プレーナマップは、カメラからの任意の距離に位置される平面へのシーンの仮想投影である。それぞれのレンズ収差の補正画像フレームは、(プレーナプロジェクション変換により)この平面にワープされる。実時間で実行される処理のみが実際にワープするように、変換は、それぞれのフレームについてオフラインで計算することができる。画素の補間は、主要な計算的負荷となる。
【0018】
変換は、2つのやり方で導出することができる。これは、カメラ指向性に関する所定の幾何情報、及び画像形成特性、すなわち、好ましくは画像それ自身における所定の整合点を使用した画像形成特性である。整合点は、数字的に少なくとも4であり、整合されるそれぞれのフレームのペアにおいて目に見ることができる。この処理は、2000年5月17日に出願された係属中の米国特許出願シリアル番号09/572,991号“APPRATUS AND METHOD FOR INDICATING A TARGET BY IMAGE PROCESSING WITHOUT THREE-DIMENSIONAL MODELING”に記載されており、その全体的な記載は、本明細書で十分に述べられるかのように、参照により組込まれる。
【0019】
最終的な画像を生成するために、パノラマ式のマップ又はパノラマ球形のマップは、PTZ制御信号を使用して取得されるフレームにワープされなければならない。このために、PTZコントローラにより選択されるフレームの適切な部分は、PTZ制御信号により画定される仮想カメラの視野軸に垂直な平面にワープされる。言い換えれば、このアプローチは、視界の長方形をモザイクにおける対応する長方形に写像する遠近法の変換を回復することである。これは、プレーナモザイクを生成するために使用される、全く同じタイプの変換である。なお、仮想カメラがズームインしたときに、低解像度画像が高解像度画像に写像されるように、標準的な技法を使用した補間によりズームが得られる。好ましくは、ズーム技法は、アンチエリアシングを採用して、補間からのアーチファクトを最小にする。
【0020】
フレームを整合するために、重なり領域は、強度及び/又は色が画素毎に混合される場合がある。これは、共通のマップへの重なり領域へのワープが、特定のシーン部分に対応する画素を実質的に一致される、という事実により可能となる。したがって、重なり領域からのそれぞれの画素の色相及び強度は、それぞれの画像からシーン情報を借りて、混合又は平均することができる。
【0021】
平均化は、画素毎である場合があり、代替的に、画素よりも大きなカーネルの平均化が使用され、画像間の不完全な整合を受け入れる。各種技法が可能であるが、平均に寄与する色相及び/又は強度の重みが、対応する画像の中央に対する画素の距離に比例して偏りを持たされる傾斜付きの混合である。結果は、平滑化効果となる。
【0022】
しかし、平滑化効果を適用する前に、それぞれの視界における差異を明らかにする等して、カメラにおける全体的な差異について補償するための混合の前に、(全体的なフレームについて)色相及びアルファデータの全体的な調節が行われる場合がある。
【0023】
混合処理は、遷移が重なりの中心線からどの位離れているかにより(すなわち、それぞれの画素のその画像の境界からの距離)、1つのフレーム領域(さらに、領域は画素又は大きなユニットとすることができる)の影響を重み付けする。領域が画像の境界に接近するにつれて、重なりの領域の特性への寄与が低下する。k個のフレームが重なる場合、結果的に得られる領域の特性は、特性P及び距離dに基づいて、以下のように計算される。
【数2】
この方法は、人間の観察者に対して最も顕著である空間的位置の強度差を処理するという利点を有している。また、重なり領域の形状ついて仮定することなしに機能するという点で一般的である。
【0024】
本発明は、より十分な理解のために、以下の例示的な図面を参照して、好適な実施の形態に関連して記載される。図面を参照して、図示される事項は例示、及び本発明の好適な実施の形態の例示的な説明のみのためであり、最も有効であると思われるものを提供するために与えられ、本発明の原理及び概念的な態様の記載が容易に理解されることを強調しておく。
【0025】
これに関して、本発明の基本的な理解に必要な内容よりも詳細に、本発明の構造的な詳細は示さない。添付図面を参照した記載は、どの位多くの本発明の構成が実際に実施されるかを当業者に明らかにする。
【0026】
[発明の実施の形態]
図1を参照して、プロセッサ110は、本実施の形態ではスタンドアロン型コンピュータにより表されており、それぞれの視界が重なるように配置される3つのカメラ91,92及び93に接続されている。図は、例示のみであり、いずれかの数のカメラが使用される場合がある。
【0027】
図2を参照して、3つのカメラ91,92及び93のそれぞれの視界130,135及び140における重なりは、合成視界150の到達範囲を提供する。様々な物体は、A,B,C及びDのような視界内に収まる。本発明により、それぞれの物体は、仮想カメラを使用して取得され、ズームイン又はズームアウトされる。したがって、物体Cは、カメラ92及び93の視界に部分的にのみ見ることができるが、1つのカメラが該物体Cを直接向けているかのように完全な形で見ることができる。
【0028】
ここで、好適な実施の形態による図3を参照して、それぞれのカメラにより形成される画像は、次の通り、新たな仮想カメラ画像(図示せず)を形成するためにフィルタリングに向けられる。はじめに、それぞれの画像のレンズ収差が補正される(ステップ200)。
【0029】
つぎに、画像は特徴点について分析され、共通の表面にワープされる(ステップ220)。この表面は球面、平面のセット又は他の表面とすることができる。好ましくは、処理を早くすることができるので、画像は1つの平面に写像される。180°よりも実質的に小さい全体の到達範囲を提供する実施の形態では、1つの平面が適切である。
【0030】
たとえば、カメラ92であるかかるアレイの中心である視界を有する実施の形態では、他のカメラの画像平面は、中心のカメラの画像にワープされる。これにより、画像のうちの1つの点を写像する必要が回避される。ワープに加えて、同じ特徴点が重なりの領域においてそれぞれの画像と一致するように、画像は変換により整合される。
【0031】
つぎに、重なる画像領域の画素特性は、混合される(ステップ210)。色又は強度における突然の変化により特徴付けられる結果的な輪郭が存在しないように、たとえば、画像強度、コントラスト、色相等は変更することができる。最後に、ステップ230では、合成画像の領域は、PTZ制御信号を使用して選択され、選択された領域は、仮想カメラの視界に対応する平面にワープされる。
【0032】
図4を参照して、2つの重なる領域P及びQは、領域300において重なっている。図4では、領域P及びQは、それぞれの画像における特徴が一致するように、共通の表面に既にワープされている。このように、領域は長方形として表されているが、この形状は修飾的なものであり、これらの領域は任意の重なっている画像領域を表し、混合されていないフレームではないことを理解すべきである。
【0033】
特性(たとえば、赤、緑、青及び/又は強度)の混合は、合成された画像における重なる領域の特性を重み付け平均することにより達成される。平均を達成するために、平均される領域は、シーンの同じ部分を表さなければならない。画像は共通の表面にワープすることにより合成されるので、原理的に、ワープの目標としての部分は完全に一致する。実際に、それぞれの画素の一致するペアがシーンの同じ部分を正確に表さないように、ある誤差が存在する。
【0034】
この問題に予防措置を講じるために、シーンのそれぞれの重なり領域は、存在する場合がある(及び当業者に明らかなように適用ベースに関して変化する場合がある)誤った整合の程度が、それぞれの領域における適切な差異に僅かに寄与するよりも十分大きい領域に分割される。いずれか又は他の画素特性は、領域内で重み付け平均される場合がある。1つの特性のみが整合される場合、可能性のある最も重要なものは強度である。
【0035】
ここで、図5も参照して、各種成分の平均の重みは、隣接画像の境界が一旦交差したときに、領域がその一部である画像の境界からの距離に比例している。したがって、画像Pの重み301は、画像Qの境界311が交差するまで画像領域内で1.0であり、その後、画像Pの境界312でゼロになるまで線形に下降する。同じ処理が使用され、画像Qの特性について重み302が導出される。
【0036】
なお、本実施の形態での説明は、線形の重み付けを仮定しており、好ましくは、特に差異が重要な場合に知覚に固有な利得を考慮した重み付けである。したがって、理想的には重みは、(輝度の倍増以下として強度の倍増を現す)視覚的な知覚において固有な利得を反映して変更される。小さな差異について、この調節は、必要ではなく、ルックアップテーブルアプローチを使用して計算を早くする場合があるが、高速処理のために無視することができる。図5を参照して、プロファイルは、完全に線形である必要はなく、様々な重み付けプロファイルが使用されてもよい。
【0037】
図7及び図8を参照して、それぞれのカメラからの2つの画像I1及びI2は合成されることになる。画像I1は中央のカメラに対応し、処理時間を節約する。共通のプレーナモザイクは、画像I1の平面に形成される。同じ物体に対応する少なくとも4つの特徴点のセットは、特徴点のセットに基づいたボロノイ図及びデローニー三角分割について、領域カウント又はジョイントに基づいた相関技法を使用して、それぞれの画像において識別される。
【0038】
好ましくは、特徴点の候補ペアの周りのガウスカーネルの2次元の相関は、高速且つ正確なテストを提供する。図7及び図8では、4つの点は、画像I1で見られるような物体317、及び画像I2で見られるのと同じ物体319により表されている。4つの点は、それぞれの物体画像317,319の隅として表されている。4つの点は、同じ平面であることが好ましいが、カメラから十分に離れている場合には、同じ平面に厳密に位置する必要はない。これらの点、及び画像317と関連する物体は、時間的に装置にセットアップされ、使用前にカメラを整合する。これは、整合プロセスが一旦完了すると、該プロセスはカメラが移動されるまで再び実行されることはないからである。
【0039】
プレーナプロジェクション変換は、セットアッププロセスの間に1つの時間で、画像の特徴点に基づいて計算される場合がある。言い換えれば、変換を決定する画像をワープする計算は、オフライン(一度のみ)で行われることのみを必要とし、その後、同じ変換が繰返し適用される。変換が一旦整合されると、画像I2は、図9に示されるプレーナモザイクを形成するためにワープされる。重なり領域では、画像I2から画像領域I2’になる変換の適用の結果として、物体画像317及び319の4つの整合点は、重なり領域320における321で一致する。
【0040】
プレーナモザイクが一旦形成されると、PTZ制御信号は仮想カメラの視野領域322を選択するために使用される場合がある。PTZ信号により定義される方向(方位及び偏角)に対応する角度は、プレーナモザイク画像をワープさせて、図10に示されるような仮想カメラの視界を生成する新たな平面を計算するために使用される。
【0041】
上記の例では、プレーナモザイクを採用すること提案しているが、画像をワープすることができる共通の表面であれば、いずれの表面であってもよいことが理解される。また、共通の表面は、連続的な2次微分(平滑化)を有する必要がないが、360°の鋭角視界について6面モザイクを表している立方体についてのような区分的平滑化とすることができる。平面への投影は、線形変換を通して達成される場合があり、計算の負荷が設計の要素である場合には、プレーナ共通の表面であることが好ましい。
【0042】
球面収差は、以下のように表される。
【数3】
上記式は、3次よりも高い項を無視することができるものとして、以下のように簡略化される。
Δr=γ3・r3
x=xd+r(xd−xc)r2
y=yd+r(yd−yc)r2
ここで、(xc、yc)は画像の中心、(xd、yd)は観察(歪み)点、及びr2=(xd−xc)2+(yd−yc)2及び(x,y)は非歪み点である。
【0043】
上記式は、実際に最も重要なレンズの球面収差の3次項のみをモデル化している。簡単のために、それぞれのビデオフレームは、同じレンズ収差パラメータにより歪まされ、x及びyの両者は、レンズ収差により同様に作用される。この処理は、非歪み画像に対する画素強度の補間を含むので、処理時間に関する影響は大きい。
【0044】
kフレームが重なる場合、結果的に得られる領域の特性は、特性及び距離dに基づいて、以下のように計算される場合がある。
【数4】
本方法は、人間の観察者に最も顕著である空間的な位置の差異を処理するという利点を有する。また、重なり領域に関して仮定することなしに機能することが一般的である。
【0045】
本発明は上述した例示的な実施の形態の詳細に限定されないこと、及び本発明はその精神及び本質的な属性から逸脱することなしに他の特別な構成で実現してもよいことは、当業者には明らかである。したがって、本発明の実施の形態は、例示的、且つ限定するものではない全ての点で考慮されるべきであり、本発明の範囲は、上述した記載よりはむしろ、特許請求の範囲により示される。したがって、特許請求の範囲の意味及び等価な範囲内となる全ての変更は、特許請求の範囲に包含されることが意図されている。
【0046】
上述した実施の形態では、本発明を説明するために2,3のカメラが説明されているが、カメラの数は、いずれかの数のカメラとすることができる。この場合、第1及び第2のカメラの請求項における説明は、第3、第4、第5及びそれ以上のカメラを排除せず、特許請求の範囲内になる。
【図面の簡単な説明】
【図1】 本発明の実施の形態を実現するために使用することができるコンピュータ及びカメラセットアップを例示する図である。
【図2】 カメラの視界及びその重なりを示す3つのカメラセットアップの上面図である。
【図3】 本発明による個別のカメラの画像からの仮想カメラ画像を生成するための全体的な処理のフロー図である。
【図4】 画像特性の混合技法を説明するための隣接する重なる画像を例示するための図である。
【図5】 好適な代替的な1実施の形態による適切な混合において使用するための重み付けプロファイルを例示する図である。
【図6】 好適な代替的な別の実施の形態による適切な混合において使用するための重み付けプロファイルを例示する図である。
【図7】 画像の1つのモザイクへのワープを説明するための、重なる視界を有するカメラのそれぞれの画像を示す図である。
【図8】 画像の1つのモザイクへのワープを説明するための、重なる視界を有するカメラのそれぞれの画像を示す図である。
【図9】 図7及び図8のモザイク部分を例示する図である。
【図10】 図9のモザイクから選択された仮想カメラの画像を例示する図である。
Claims (15)
- それぞれの視界が重なる第1のカメラと第2のカメラの画像を結合することにより、あるシーンからの任意のズームで、任意方向からの画像を生成する方法であって、
オフラインの前校正手順において、前記第1のカメラ及び前記第2のカメラのそれぞれから導出可能な第1の画像及び第2の画像の重なる部分にある画像サブ領域の対応するペアを、ある平面に関して定義される合成画像の実質的に同一のサブ領域に写像するプレーナプロジェクション変換を計算するステップと、
前記第1のカメラから前記第1の画像を取得し、前記第2のカメラから前記第2の画像を取得するステップと、
前記取得するステップで取得された前記第1の画像及び前記第2の画像に対して前記変換をリアルタイムで適用し、前記合成画像を定義する前記平面に前記第一の画像と前記第二の画像とをマッピングすることで、変換された前記第一の画像及び前記第二の画像を合成して合成画像を形成するステップと、
前記第1の画像及び前記第2の画像における前記画像の強度特性及び色特性の差異による突然の変化を低減するために、前記合成画像の中央までの距離に比例して前記第一の画像と前記第二の画像のそれぞれオーバラップする部分の強度特性及び色特性の少なくとも1つに偏りを持たせることで、前記合成画像のオーバラップする部分の強度特性及び色特性の少なくとも1つを空間的に混合するステップと、
前記合成画像の一部を選択し、選択された部分を前記任意の方向に対応する角度に関して新たな平面に移動させることで、前記選択された部分から新たな画像を形成するステップと、
を備える方法。 - 前記変換は線形である、
請求項1記載の方法。 - 前記任意の方向に対応する前記角度は、パン チルト ズーム制御信号により定義される、
請求項1記載の方法。 - 前記計算するステップは、前記第1の画像と前記第2の画像における特徴点を識別するステップと、前記カメラの指向性に関する情報が前記変換を計算するために必要とされないように、前記特徴点に応じて前記変換を計算するステップと、
を含む請求項1記載の方法。 - 前記混合するステップは、重み付け平均を含んでおり、前記重み付け平均の重みは、前記第1の画像と前記第2の画像を分離している境界線からの距離に応じて計算される、
請求項1記載の方法。 - 前記混合するステップは、重み付け平均を含んでおり、前記重み付け平均の重みは、前記第1の画像と前記第2の画像を分離している境界線からの距離に比例する、
請求項1記載の方法。 - 前記形成するステップは、前記第1の画像からなる平面及び前記第2の画像からなる平面のいずれとも一致しない新たな平面に、前記合成画像の一部を線形に変換することを含む、
請求項1記載の方法。 - 前記形成するステップは、適切な画素値を補間してズーム効果を生成するステップをさらに含む、
請求項6記載の方法。 - それぞれの視界が重なる第1のカメラと第2のカメラの画像を結合することにより、あるシーンからの任意のズームで、任意方向からの画像を生成する装置であって、
メモリを有し、2つのカメラからの画像データを受信するために接続可能なイメージプロセッサを備え、
前記イメージプロセッサは、オフラインの前校正手順において、前記第1のカメラ及び前記第2のカメラのそれぞれから導出可能な第1の画像及び第2の画像の重なる部分にある画像サブ領域の対応するペアを、ある平面に関して定義される合成画像の実質的に同一のサブ領域にマッピングするプレーナプロジェクション変換を計算するためにプログラムされ、前記メモリに前記変換の定義を記憶し、
前記イメージプロセッサは、前記第1のカメラ及び前記第2のカメラのそれぞれからの前記第1の画像及び前記第2の画像を受信し、前記第1の画像及び前記第2の画像に対して前記変換をリアルタイムで適用し、前記合成画像を定義する前記平面に前記第一の画像と前記第二の画像とをマッピングすることで、変換された前記第1の画像及び前記第二の画像を合成して合成画像を形成し、
前記イメージプロセッサは、前記第1の画像及び前記第2の画像における前記画像の強度特性及び色特性の差異による突然の変化を低減するために、前記合成画像の中央までの距離に比例して前記第一の画像と前記第二の画像のそれぞれオーバラップする部分の強度特性及び色特性の少なくとも1つに偏りを持たせることで、前記合成画像のオーバラップする部分の強度特性及び色特性の少なくとも1つを空間的に混合し、
前記イメージプロセッサは、前記合成画像の一部を選択し、選択された部分を前記任意の方向に対応する角度に関して新たな平面に移動させることで、前記選択された部分から新たな画像を生成する、
装置。 - 前記変換は線形である、
請求項9記載の装置。 - 前記変換は、前記第1の画像と前記第2の画像における特徴点をはじめに識別し、前記カメラの指向性に関する情報が前記変換を計算するために必要とされないように、前記特徴点に応じて前記変換を計算することにより計算される、
請求項9記載の装置。 - 前記イメージプロセッサは、重み付け平均により空間的に混合し、前記重み付け平均の重みは、前記第1の画像と前記第2の画像を分離している境界線からの距離に基づく、
請求項9記載の装置。 - 前記イメージプロセッサは、重み付け平均により空間的に混合し、前記重み付け平均の重みは、前記第1の画像と前記第2の画像を分離している境界線からの距離に比例する、
請求項9記載の装置。 - 前記イメージプロセッサは、前記第1の画像からなる平面及び前記第2の画像からなる平面のいずれとも一致しない新たな平面に、前記合成画像の一部を変換することにより、前記選択された画像を生成する、
請求項9記載の装置。 - 前記選択された画像は、適切な画素値を補間することにより、部分的に生成されてズーム効果を生成する、
請求項14記載の装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US09/633,762 US6778207B1 (en) | 2000-08-07 | 2000-08-07 | Fast digital pan tilt zoom video |
US09/633,762 | 2000-08-07 | ||
PCT/EP2001/008812 WO2002013515A2 (en) | 2000-08-07 | 2001-07-31 | Fast digital pan tilt zoom video system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004506285A JP2004506285A (ja) | 2004-02-26 |
JP4828779B2 true JP4828779B2 (ja) | 2011-11-30 |
Family
ID=24541033
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002518738A Expired - Fee Related JP4828779B2 (ja) | 2000-08-07 | 2001-07-31 | 高速デジタルパンチルトズームビデオ |
Country Status (7)
Country | Link |
---|---|
US (1) | US6778207B1 (ja) |
EP (1) | EP1310091B1 (ja) |
JP (1) | JP4828779B2 (ja) |
KR (1) | KR100799088B1 (ja) |
CN (1) | CN1213602C (ja) |
AT (1) | ATE534236T1 (ja) |
WO (1) | WO2002013515A2 (ja) |
Families Citing this family (137)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6803906B1 (en) | 2000-07-05 | 2004-10-12 | Smart Technologies, Inc. | Passive touch system and method of detecting user input |
US7095905B1 (en) | 2000-09-08 | 2006-08-22 | Adobe Systems Incorporated | Merging images to form a panoramic image |
US7006707B2 (en) * | 2001-05-03 | 2006-02-28 | Adobe Systems Incorporated | Projecting images onto a surface |
US7103236B2 (en) * | 2001-08-28 | 2006-09-05 | Adobe Systems Incorporated | Methods and apparatus for shifting perspective in a composite image |
JP2003115050A (ja) * | 2001-10-04 | 2003-04-18 | Sony Corp | 映像データ処理装置及び映像データ処理方法、データ配信装置及びデータ配信方法、データ受信装置及びデータ受信方法、記憶媒体、並びにコンピュータ・プログラム |
WO2003063513A1 (en) * | 2002-01-23 | 2003-07-31 | Tenebraex Corporation | D of creating a virtual window |
US7058237B2 (en) * | 2002-06-28 | 2006-06-06 | Microsoft Corporation | Real-time wide-angle image correction system and method for computer image viewing |
US7084904B2 (en) * | 2002-09-30 | 2006-08-01 | Microsoft Corporation | Foveated wide-angle imaging system and method for capturing and viewing wide-angle images in real time |
US7171057B1 (en) * | 2002-10-16 | 2007-01-30 | Adobe Systems Incorporated | Image blending using non-affine interpolation |
SE0300428D0 (sv) | 2003-02-17 | 2003-02-17 | Axis Ab | Digital camera having panning and/or tilting functionality |
US7525576B2 (en) | 2003-02-17 | 2009-04-28 | Axis, Ab | Method and apparatus for panning and tilting a camera |
US7532206B2 (en) | 2003-03-11 | 2009-05-12 | Smart Technologies Ulc | System and method for differentiating between pointers used to contact touch surface |
SE0302065D0 (sv) * | 2003-07-14 | 2003-07-14 | Stefan Carlsson | Video - method and apparatus |
JP2005062992A (ja) * | 2003-08-08 | 2005-03-10 | Nissan Motor Co Ltd | 画像生成装置および画角変換手法並びに画角変換プログラム |
US7411575B2 (en) | 2003-09-16 | 2008-08-12 | Smart Technologies Ulc | Gesture recognition method and touch system incorporating the same |
US7274356B2 (en) | 2003-10-09 | 2007-09-25 | Smart Technologies Inc. | Apparatus for determining the location of a pointer within a region of interest |
ATE547896T1 (de) * | 2004-02-03 | 2012-03-15 | Panasonic Corp | Detektionsbereichs-einstelleinrichtung |
US7880766B2 (en) * | 2004-02-03 | 2011-02-01 | Panasonic Corporation | Detection area adjustment apparatus |
US20050185047A1 (en) * | 2004-02-19 | 2005-08-25 | Hii Desmond Toh O. | Method and apparatus for providing a combined image |
KR100585822B1 (ko) * | 2004-04-26 | 2006-06-01 | 주식회사 일리시스 | 실시간 파노라마 비디오 영상을 이용한 감시 시스템 및 그시스템의 제어방법 |
US7460110B2 (en) | 2004-04-29 | 2008-12-02 | Smart Technologies Ulc | Dual mode touch system |
US7629995B2 (en) * | 2004-08-06 | 2009-12-08 | Sony Corporation | System and method for correlating camera views |
US7619658B2 (en) * | 2004-11-15 | 2009-11-17 | Hewlett-Packard Development Company, L.P. | Methods and systems for producing seamless composite images without requiring overlap of source images |
US8645870B2 (en) | 2005-03-31 | 2014-02-04 | Adobe Systems Incorporated | Preview cursor for image editing |
WO2006122320A2 (en) * | 2005-05-12 | 2006-11-16 | Tenebraex Corporation | Improved methods of creating a virtual window |
CN101213833A (zh) * | 2005-06-08 | 2008-07-02 | 汤姆逊许可公司 | ***替代图像/视频的方法、装置及*** |
FR2889759A1 (fr) * | 2005-08-09 | 2007-02-16 | Total Immersion Sa | Systeme permettant d'afficher un cockpit virtuel modelise integre dans un environnement video |
US7660464B1 (en) | 2005-12-22 | 2010-02-09 | Adobe Systems Incorporated | User interface for high dynamic range merge image selection |
JP4680104B2 (ja) * | 2006-03-22 | 2011-05-11 | 日本電信電話株式会社 | パノラマ画像作成方法 |
US7680633B2 (en) * | 2006-04-25 | 2010-03-16 | Hewlett-Packard Development Company, L.P. | Automated process for generating a computed design of a composite camera comprising multiple digital imaging devices |
JP4947351B2 (ja) * | 2006-07-28 | 2012-06-06 | 富士ゼロックス株式会社 | 画像処理装置、及び、プログラム |
US8446509B2 (en) * | 2006-08-09 | 2013-05-21 | Tenebraex Corporation | Methods of creating a virtual window |
DE102006039389A1 (de) * | 2006-08-22 | 2008-02-28 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren zur Reduzierung von Übergangsartefakten in einem Gesamtbild, das sich aus Teilbildern zusammensetzt |
US9442607B2 (en) | 2006-12-04 | 2016-09-13 | Smart Technologies Inc. | Interactive input system and method |
US8224122B2 (en) * | 2006-12-15 | 2012-07-17 | Microsoft Corporation | Dynamic viewing of wide angle images |
US20090102924A1 (en) * | 2007-05-21 | 2009-04-23 | Masten Jr James W | Rapidly Deployable, Remotely Observable Video Monitoring System |
GB2452041B (en) | 2007-08-20 | 2012-09-26 | Snell Ltd | Video framing control |
US20090113505A1 (en) * | 2007-10-26 | 2009-04-30 | At&T Bls Intellectual Property, Inc. | Systems, methods and computer products for multi-user access for integrated video |
US8564640B2 (en) * | 2007-11-16 | 2013-10-22 | Tenebraex Corporation | Systems and methods of creating a virtual window |
US8791984B2 (en) * | 2007-11-16 | 2014-07-29 | Scallop Imaging, Llc | Digital security camera |
US20090290033A1 (en) * | 2007-11-16 | 2009-11-26 | Tenebraex Corporation | Systems and methods of creating a virtual window |
US20090160936A1 (en) * | 2007-12-21 | 2009-06-25 | Mccormack Kenneth | Methods and apparatus for operating a video camera assembly |
CA2714492C (en) * | 2008-02-08 | 2014-07-15 | Google, Inc. | Panoramic camera with multiple image sensors using timed shutters |
US8902193B2 (en) | 2008-05-09 | 2014-12-02 | Smart Technologies Ulc | Interactive input system and bezel therefor |
US11119396B1 (en) | 2008-05-19 | 2021-09-14 | Spatial Cam Llc | Camera system with a plurality of image sensors |
US10585344B1 (en) | 2008-05-19 | 2020-03-10 | Spatial Cam Llc | Camera system with a plurality of image sensors |
US8355042B2 (en) * | 2008-10-16 | 2013-01-15 | Spatial Cam Llc | Controller in a camera for creating a panoramic image |
GB2462095A (en) | 2008-07-23 | 2010-01-27 | Snell & Wilcox Ltd | Processing of images to represent a transition in viewpoint |
US8326077B2 (en) | 2008-10-31 | 2012-12-04 | General Instrument Corporation | Method and apparatus for transforming a non-linear lens-distorted image |
US8339378B2 (en) | 2008-11-05 | 2012-12-25 | Smart Technologies Ulc | Interactive input system with multi-angle reflector |
US9479768B2 (en) * | 2009-06-09 | 2016-10-25 | Bartholomew Garibaldi Yukich | Systems and methods for creating three-dimensional image media |
JP2011015177A (ja) * | 2009-07-02 | 2011-01-20 | Sony Corp | 画像処理装置、画像表示装置、その処理方法およびプログラム |
WO2011037964A1 (en) * | 2009-09-22 | 2011-03-31 | Tenebraex Corporation | Systems and methods for correcting images in a multi-sensor system |
KR101077584B1 (ko) * | 2009-12-14 | 2011-10-27 | (주) 에투시스템 | 복수개의 카메라로부터 획득한 영상을 정합하는 영상 처리 장치 및 방법 |
JP5481203B2 (ja) * | 2010-01-05 | 2014-04-23 | Hoya株式会社 | 内視鏡装置 |
US8310549B2 (en) * | 2010-04-27 | 2012-11-13 | Ability Enterprise Co., Ltd. | Method of automatically calibrating a visual parameter for an imaging device |
TW201205180A (en) * | 2010-07-27 | 2012-02-01 | Hon Hai Prec Ind Co Ltd | Camera |
US20130250040A1 (en) * | 2012-03-23 | 2013-09-26 | Broadcom Corporation | Capturing and Displaying Stereoscopic Panoramic Images |
US9898829B2 (en) | 2012-09-18 | 2018-02-20 | Hanwha Techwin Co., Ltd. | Monitoring apparatus and system using 3D information of images and monitoring method using the same |
CN104937920A (zh) * | 2012-10-31 | 2015-09-23 | 因维萨热技术公司 | 扩展视场图像和视频捕获 |
CN113472989A (zh) | 2012-11-28 | 2021-10-01 | 核心光电有限公司 | 多孔径成像***以及通过多孔径成像***获取图像的方法 |
US9204052B2 (en) * | 2013-02-12 | 2015-12-01 | Nokia Technologies Oy | Method and apparatus for transitioning capture mode |
CN109194849B (zh) | 2013-06-13 | 2021-01-15 | 核心光电有限公司 | 双孔径变焦数字摄影机 |
WO2015001440A1 (en) | 2013-07-04 | 2015-01-08 | Corephotonics Ltd. | Miniature telephoto lens assembly |
EP3028443A2 (en) | 2013-08-01 | 2016-06-08 | Corephotonics Ltd. | Thin multi-aperture imaging system with auto-focus and methods for using same |
WO2015088229A1 (en) * | 2013-12-09 | 2015-06-18 | Cj Cgv Co., Ltd. | Method and system for generating multi-projection images |
KR20150068298A (ko) * | 2013-12-09 | 2015-06-19 | 씨제이씨지브이 주식회사 | 다면 영상 생성 방법 및 시스템 |
US9262801B2 (en) * | 2014-04-01 | 2016-02-16 | Gopro, Inc. | Image taping in a multi-camera array |
US9392188B2 (en) | 2014-08-10 | 2016-07-12 | Corephotonics Ltd. | Zoom dual-aperture camera with folded lens |
US9390487B2 (en) * | 2014-10-20 | 2016-07-12 | Microsoft Technology Licensing, Llc | Scene exposure auto-compensation for differential image comparisons |
US9940541B2 (en) | 2015-07-15 | 2018-04-10 | Fyusion, Inc. | Artificially rendering images using interpolation of tracked control points |
US10726593B2 (en) | 2015-09-22 | 2020-07-28 | Fyusion, Inc. | Artificially rendering images using viewpoint interpolation and extrapolation |
US10262426B2 (en) | 2014-10-31 | 2019-04-16 | Fyusion, Inc. | System and method for infinite smoothing of image sequences |
US10176592B2 (en) | 2014-10-31 | 2019-01-08 | Fyusion, Inc. | Multi-directional structured image array capture on a 2D graph |
US10275935B2 (en) | 2014-10-31 | 2019-04-30 | Fyusion, Inc. | System and method for infinite synthetic image generation from multi-directional structured image array |
US9787939B1 (en) * | 2014-11-19 | 2017-10-10 | Amazon Technologies, Inc. | Dynamic viewing perspective of remote scenes |
CN112327463B (zh) | 2015-01-03 | 2022-10-14 | 核心光电有限公司 | 微型长焦镜头模块和使用该镜头模块的相机 |
US9955056B2 (en) | 2015-03-16 | 2018-04-24 | Qualcomm Incorporated | Real time calibration for multi-camera wireless device |
KR101914894B1 (ko) | 2015-04-02 | 2018-11-02 | 코어포토닉스 리미티드 | 듀얼 광학 모듈 카메라의 듀얼 보이스 코일 모터 구조체 |
KR102480080B1 (ko) | 2015-04-16 | 2022-12-22 | 코어포토닉스 리미티드 | 소형 접이식 카메라의 오토 포커스 및 광학 이미지 안정화 |
WO2016189455A1 (en) | 2015-05-28 | 2016-12-01 | Corephotonics Ltd. | Bi-directional stiffness for optical image stabilization and auto-focus in a dual-aperture digital camera |
US10852902B2 (en) | 2015-07-15 | 2020-12-01 | Fyusion, Inc. | Automatic tagging of objects on a multi-view interactive digital media representation of a dynamic entity |
US10222932B2 (en) | 2015-07-15 | 2019-03-05 | Fyusion, Inc. | Virtual reality environment based manipulation of multilayered multi-view interactive digital media representations |
US11006095B2 (en) | 2015-07-15 | 2021-05-11 | Fyusion, Inc. | Drone based capture of a multi-view interactive digital media |
US11095869B2 (en) | 2015-09-22 | 2021-08-17 | Fyusion, Inc. | System and method for generating combined embedded multi-view interactive digital media representations |
US10147211B2 (en) | 2015-07-15 | 2018-12-04 | Fyusion, Inc. | Artificially rendering images using viewpoint interpolation and extrapolation |
US10242474B2 (en) | 2015-07-15 | 2019-03-26 | Fyusion, Inc. | Artificially rendering images using viewpoint interpolation and extrapolation |
EP3598737B1 (en) | 2015-08-13 | 2020-12-09 | Corephotonics Ltd. | Dual aperture zoom camera with video support and switching / non-switching dynamic control |
KR101993077B1 (ko) | 2015-09-06 | 2019-06-25 | 코어포토닉스 리미티드 | 소형의 접이식 카메라의 롤 보정에 의한 자동 초점 및 광학식 손떨림 방지 |
US11783864B2 (en) | 2015-09-22 | 2023-10-10 | Fyusion, Inc. | Integration of audio into a multi-view interactive digital media representation |
US10157452B1 (en) * | 2015-09-28 | 2018-12-18 | Amazon Technologies, Inc. | Image processing system for image rectification |
EP4254926A3 (en) | 2015-12-29 | 2024-01-31 | Corephotonics Ltd. | Dual-aperture zoom digital camera with automatic adjustable tele field of view |
US10210660B2 (en) | 2016-04-06 | 2019-02-19 | Facebook, Inc. | Removing occlusion in camera views |
WO2017205642A1 (en) * | 2016-05-25 | 2017-11-30 | Livit Media Inc. | Methods and systems for live sharing 360-degree video streams on a mobile device |
EP3518520B1 (en) | 2016-05-30 | 2020-08-26 | Corephotonics Ltd. | Rotational ball-guided voice coil motor |
EP4020958B1 (en) | 2016-06-19 | 2023-10-25 | Corephotonics Ltd. | Frame synchronization in a dual-aperture camera system |
KR102390572B1 (ko) | 2016-07-07 | 2022-04-25 | 코어포토닉스 리미티드 | 폴디드 옵틱용 선형 볼 가이드 음성 코일 모터 |
WO2018007951A1 (en) | 2016-07-07 | 2018-01-11 | Corephotonics Ltd. | Dual-camera system with improved video smooth transition by image blending |
US11202017B2 (en) | 2016-10-06 | 2021-12-14 | Fyusion, Inc. | Live style transfer on a mobile device |
EP4246993A3 (en) | 2016-12-28 | 2024-03-06 | Corephotonics Ltd. | Folded camera structure with an extended light-folding-element scanning range |
US10884321B2 (en) | 2017-01-12 | 2021-01-05 | Corephotonics Ltd. | Compact folded camera |
US10437879B2 (en) | 2017-01-18 | 2019-10-08 | Fyusion, Inc. | Visual search using multi-view interactive digital media representations |
WO2018154421A1 (en) | 2017-02-23 | 2018-08-30 | Corephotonics Ltd. | Folded camera lens designs |
KR102530535B1 (ko) | 2017-03-15 | 2023-05-08 | 코어포토닉스 리미티드 | 파노라마 스캐닝 범위를 갖는 카메라 |
US10313651B2 (en) | 2017-05-22 | 2019-06-04 | Fyusion, Inc. | Snapshots at predefined intervals or angles |
US11069147B2 (en) | 2017-06-26 | 2021-07-20 | Fyusion, Inc. | Modification of multi-view interactive digital media representation |
US10904512B2 (en) | 2017-09-06 | 2021-01-26 | Corephotonics Ltd. | Combined stereoscopic and phase detection depth mapping in a dual aperture camera |
US10951834B2 (en) | 2017-10-03 | 2021-03-16 | Corephotonics Ltd. | Synthetically enlarged camera aperture |
TW201915940A (zh) * | 2017-10-06 | 2019-04-16 | 廣達電腦股份有限公司 | 雙鏡頭影像處理裝置及方法 |
CN113075776B (zh) | 2017-11-23 | 2023-08-29 | 核心光电有限公司 | 移动电子设备 |
CN114609746A (zh) | 2018-02-05 | 2022-06-10 | 核心光电有限公司 | 折叠摄像装置 |
CN113568251B (zh) | 2018-02-12 | 2022-08-30 | 核心光电有限公司 | 数字摄像机及用于提供聚焦及补偿摄像机倾斜的方法 |
US10643386B2 (en) * | 2018-04-11 | 2020-05-05 | Zillow Group, Inc. | Presenting image transition sequences between viewing locations |
US10694168B2 (en) | 2018-04-22 | 2020-06-23 | Corephotonics Ltd. | System and method for mitigating or preventing eye damage from structured light IR/NIR projector systems |
CN114153107B (zh) | 2018-04-23 | 2024-07-02 | 核心光电有限公司 | 相机及致动器 |
US10592747B2 (en) | 2018-04-26 | 2020-03-17 | Fyusion, Inc. | Method and apparatus for 3-D auto tagging |
JP7028983B2 (ja) | 2018-08-04 | 2022-03-02 | コアフォトニクス リミテッド | カメラ上の切り替え可能な連続表示情報システム |
WO2020039302A1 (en) | 2018-08-22 | 2020-02-27 | Corephotonics Ltd. | Two-state zoom folded camera |
JP7191597B2 (ja) * | 2018-08-30 | 2022-12-19 | キヤノン株式会社 | 撮像装置及びそれを備える監視システム、制御方法並びにプログラム |
US11287081B2 (en) | 2019-01-07 | 2022-03-29 | Corephotonics Ltd. | Rotation mechanism with sliding joint |
CN111971956B (zh) | 2019-03-09 | 2021-12-03 | 核心光电有限公司 | 用于动态立体校准的方法及*** |
JP7360819B2 (ja) * | 2019-05-28 | 2023-10-13 | 池上通信機株式会社 | 撮像装置、及び撮像制御方法 |
KR102425865B1 (ko) | 2019-07-31 | 2022-07-27 | 코어포토닉스 리미티드 | 카메라 패닝 또는 모션에서 배경 블러링을 생성하는 시스템 및 방법 |
US11659135B2 (en) | 2019-10-30 | 2023-05-23 | Corephotonics Ltd. | Slow or fast motion video using depth information |
US11949976B2 (en) | 2019-12-09 | 2024-04-02 | Corephotonics Ltd. | Systems and methods for obtaining a smart panoramic image |
WO2021116851A2 (en) | 2019-12-09 | 2021-06-17 | Corephotonics Ltd. | Systems and methods for obtaining a smart panoramic image |
CN114641805A (zh) | 2020-02-22 | 2022-06-17 | 核心光电有限公司 | 用于微距摄影的分屏特征 |
CN114144898B (zh) | 2020-04-26 | 2022-11-04 | 核心光电有限公司 | 用于霍尔棒传感器校正的温度控制 |
KR102495627B1 (ko) | 2020-05-17 | 2023-02-06 | 코어포토닉스 리미티드 | 전체 시야 레퍼런스 이미지 존재 하의 이미지 스티칭 |
US11770609B2 (en) | 2020-05-30 | 2023-09-26 | Corephotonics Ltd. | Systems and methods for obtaining a super macro image |
US11637977B2 (en) | 2020-07-15 | 2023-04-25 | Corephotonics Ltd. | Image sensors and sensing methods to obtain time-of-flight and phase detection information |
CN114730064A (zh) | 2020-07-15 | 2022-07-08 | 核心光电有限公司 | 扫描折叠相机的视点像差校正 |
CN114270145B (zh) | 2020-07-31 | 2024-05-17 | 核心光电有限公司 | 用于大行程线性位置感测的霍尔传感器-磁体几何结构 |
NO346392B1 (en) * | 2020-08-05 | 2022-07-04 | Muybridge As | Multiple camera sensor system and method of providing a target image by a virtual camera |
CN116626960A (zh) | 2020-08-12 | 2023-08-22 | 核心光电有限公司 | 用于光学防抖的方法 |
EP4204885A4 (en) | 2021-06-08 | 2024-03-06 | Corephotonics Ltd. | SYSTEMS AND CAMERAS FOR TILTING A FOCAL PLANE OF A SUPER MACRO-IMAGE |
CN115065816B (zh) * | 2022-05-09 | 2023-04-07 | 北京大学 | 一种真实地理空间场景实时构建方法和实时构建装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH076227A (ja) * | 1992-12-29 | 1995-01-10 | Philips Electron Nv | 隣接する複数画像より画像を形成する画像処理方法及び装置 |
JPH08147497A (ja) * | 1994-11-25 | 1996-06-07 | Canon Inc | 画像処理方法及びその装置 |
JPH11339696A (ja) * | 1998-05-29 | 1999-12-10 | Canon Inc | 画像形成装置 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5657402A (en) * | 1991-11-01 | 1997-08-12 | Massachusetts Institute Of Technology | Method of creating a high resolution still image using a plurality of images and apparatus for practice of the method |
US5325449A (en) * | 1992-05-15 | 1994-06-28 | David Sarnoff Research Center, Inc. | Method for fusing images and apparatus therefor |
US5649032A (en) * | 1994-11-14 | 1997-07-15 | David Sarnoff Research Center, Inc. | System for automatically aligning images to form a mosaic image |
US5703961A (en) * | 1994-12-29 | 1997-12-30 | Worldscape L.L.C. | Image transformation and synthesis methods |
US5850352A (en) * | 1995-03-31 | 1998-12-15 | The Regents Of The University Of California | Immersive video, including video hypermosaicing to generate from multiple video views of a scene a three-dimensional video mosaic from which diverse virtual video scene images are synthesized, including panoramic, scene interactive and stereoscopic images |
US5657073A (en) | 1995-06-01 | 1997-08-12 | Panoramic Viewing Systems, Inc. | Seamless multi-camera panoramic imaging with distortion correction and selectable field of view |
US6389179B1 (en) * | 1996-05-28 | 2002-05-14 | Canon Kabushiki Kaisha | Image combining apparatus using a combining algorithm selected based on an image sensing condition corresponding to each stored image |
GB9625619D0 (en) * | 1996-12-10 | 1997-01-29 | Barr & Stroud Ltd | Imaging systems |
AU6515798A (en) | 1997-04-16 | 1998-11-11 | Isight Ltd. | Video teleconferencing |
US6157747A (en) * | 1997-08-01 | 2000-12-05 | Microsoft Corporation | 3-dimensional image rotation method and apparatus for producing image mosaics |
US6064399A (en) * | 1998-04-03 | 2000-05-16 | Mgi Software Corporation | Method and system for panel alignment in panoramas |
US6677981B1 (en) * | 1999-12-31 | 2004-01-13 | Stmicroelectronics, Inc. | Motion play-back of still pictures comprising a panoramic view for simulating perspective |
-
2000
- 2000-08-07 US US09/633,762 patent/US6778207B1/en not_active Expired - Lifetime
-
2001
- 2001-07-31 KR KR1020027004400A patent/KR100799088B1/ko active IP Right Grant
- 2001-07-31 CN CNB018030548A patent/CN1213602C/zh not_active Expired - Fee Related
- 2001-07-31 WO PCT/EP2001/008812 patent/WO2002013515A2/en active Application Filing
- 2001-07-31 JP JP2002518738A patent/JP4828779B2/ja not_active Expired - Fee Related
- 2001-07-31 EP EP01960590A patent/EP1310091B1/en not_active Expired - Lifetime
- 2001-07-31 AT AT01960590T patent/ATE534236T1/de active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH076227A (ja) * | 1992-12-29 | 1995-01-10 | Philips Electron Nv | 隣接する複数画像より画像を形成する画像処理方法及び装置 |
JPH08147497A (ja) * | 1994-11-25 | 1996-06-07 | Canon Inc | 画像処理方法及びその装置 |
JPH11339696A (ja) * | 1998-05-29 | 1999-12-10 | Canon Inc | 画像形成装置 |
Also Published As
Publication number | Publication date |
---|---|
WO2002013515A3 (en) | 2002-04-18 |
KR20020056895A (ko) | 2002-07-10 |
WO2002013515A2 (en) | 2002-02-14 |
EP1310091B1 (en) | 2011-11-16 |
CN1213602C (zh) | 2005-08-03 |
JP2004506285A (ja) | 2004-02-26 |
US6778207B1 (en) | 2004-08-17 |
KR100799088B1 (ko) | 2008-01-29 |
ATE534236T1 (de) | 2011-12-15 |
EP1310091A2 (en) | 2003-05-14 |
CN1393096A (zh) | 2003-01-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4828779B2 (ja) | 高速デジタルパンチルトズームビデオ | |
CN102438153B (zh) | 多摄像机图像校正方法和设备 | |
CN104246795B (zh) | 用于超广角透镜图像的自适应透视修正的方法和*** | |
US8326077B2 (en) | Method and apparatus for transforming a non-linear lens-distorted image | |
JP5739584B2 (ja) | 車両周辺視角化のための3次元映像合成装置およびその方法 | |
KR100922250B1 (ko) | 왜곡없는 실시간 이미징을 구현하는 파노라마 비디오시스템 | |
JP4153146B2 (ja) | カメラアレイの画像制御方法、及びカメラアレイ | |
CN110782394A (zh) | 全景视频快速拼接方法及*** | |
CN101363962B (zh) | 以透视投影法输出影像的方法 | |
US20040061774A1 (en) | Digital imaging system using overlapping images to formulate a seamless composite image and implemented using either a digital imaging sensor array | |
KR101915729B1 (ko) | 360도 전방향 뷰 영상 생성 장치 및 방법 | |
KR101912396B1 (ko) | 가상 카메라 기반의 임의 시점 영상 생성 장치 및 방법 | |
CN103839227B (zh) | 鱼眼图像校正方法和装置 | |
JPH076227A (ja) | 隣接する複数画像より画像を形成する画像処理方法及び装置 | |
CN111199528A (zh) | 一种鱼眼图像畸变矫正方法 | |
JP2000278602A (ja) | 画像入力方法、画像入力装置及び記録媒体 | |
KR20140090775A (ko) | 어안 렌즈를 사용하여 얻은 왜곡영상에 대한 보정방법 및 이를 구현하기 위한 영상 디스플레이 시스템 | |
JP2011070579A (ja) | 撮影画像表示装置 | |
JP5029645B2 (ja) | 画像データ変換装置 | |
KR101916419B1 (ko) | 광각 카메라용 다중 뷰 영상 생성 장치 및 영상 생성 방법 | |
Liu et al. | Head-size equalization for better visual perception of video conferencing | |
US8149260B2 (en) | Methods and systems for producing seamless composite images without requiring overlap of source images | |
JP2004228619A (ja) | プロジェクタの映像の歪み調整方法 | |
CN111860632A (zh) | 多路图像一致性融合方法 | |
Yuan et al. | A novel method for geometric correction of multi-cameras in panoramic video system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080728 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100831 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101130 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110201 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20110428 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20110511 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110728 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110823 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110915 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140922 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4828779 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |