JP2021509800A - 解像度が一定な連続的ハイブリッドズームシステム - Google Patents

Abstract

本発明は、連続的なパノモーフズーム歪みを示す単一のカメラで広角のシーンのイメージを撮影する光学機器に関する。処理ユニットと組み合わされた場合、そのハイブリッドなズームシステムは、解像度が一定の出力イメージを作成する一方、そのイメージの倍率と画角とを、デジタルズームシステムのように内挿を用いることも、光学ズームシステムのように可動部材を用いることもなく、連続的に調節可能である。

Description

この出願は、２０１８年１月９日を出願日とする米国特許仮出願第６２／６１５，２５２号（現在、審査中）に対する優先権主張を伴うものであり、それらの開示内容の全体がここには参照によって組み込まれている。

本発明の実施形態は、連続的なパノモーフズーム歪みを示す単一のカメラで広角のシーンのイメージを撮影する光電子工学機器に関する。本発明の実施形態は、最終的なイメージのピクセル数を維持する目的でピクセル間を内挿することも、倍率を変えてレンズの画角を狭める目的で光学要素を動かすことも、画角の異なる２台以上のカメラを組み合わせることもなく、観察者に連続的なズームを与えるのにある歪みを利用する。その歪みは、中心領域では一定の高倍率を示し、画角の残りでは低下する倍率を示す。その歪みは、ピクセルの内挿が減り、かつイメージの解像度がほとんど一定に維持されるように設計されている。

既存の連続的ズームシステムの中には、画角が異なる複数台のカメラを使って連続的なズーム効果を達成するものがある。２台のカメラで撮影された情報を組み合わせることにより、ピクセル間の内挿を使う必要なく、徐々に拡大されるイメージを作成することが可能である。しかし、複数台のカメラが必要であるということは、費用、消費電力、サイズの制限、重さの制限、およびイメージの中間生成物（異なるカメラで撮影されたイメージを融合させることによって作成される。）との間にトレードオフが生じることが示唆される。カメラを１台しか使わないことにすれば、これらのトレードオフからは解放されるであろう。

既存の純然たる光学ズームシステムは、光学レンズ内のいくつかの要素を動かすことによって、レンズの倍率と画角とを変えることができる。しかし、光学系内で部品を動かすことはサイズを増大させ、構造を複雑化させる。家電製品用の小型の広角レンズ等への応用ではサイズの制限が厳しすぎて、光学ズームを行う目的で光学要素を動かすことができない。

一方、既存の純然たる連続的デジタルズームは、イメージをコンピューターの処理にかけて出力対象の画角を修正する。この場合、同じ出力サイズで表示しなければならないことからの副作用として、操作中、いくつかの箇所で元のピクセルから新たなピクセルが創り出される。この処理は、アップサンプリング、オーバーサンプリング、または拡張とも呼ばれている。この処理は、外挿、内挿、またはその他の手段を通して実行可能である。デジタルズームで算出されるこれらの新たなピクセルは、シーンについての光学的情報を元のイメージよりも多く含んでいるわけではない。このコンピューター処理では追加情報を作成することができず、出力画質の向上がかなり制限される。

ズームの解像度に連続的な歪みを含み、関連するアルゴリズムに内挿を低減させて、各ピクセルに元のイメージについての情報を高品質に維持させるカメラが必要である。

これまでに述べた問題点をすべて克服する目的で次の方法が、本発明の実施形態として説明される。この方法では、広角光学レンズと撮像センサーとに処理ユニットが組み合わされた撮像装置が使用される。広角光学レンズでは倍率が、中心から端までの間で大きく変動している。撮像センサーは複数のピクセルを含む。こうして得られた連続的ハイブリッドズームシステムは、解像度が一定のイメージを出力可能であると共に、そのイメージの倍率と画角とを連続的に調節可能であり、純然たるデジタルズームシステムによる内挿と、純然たる光学ズームシステム内のような部品の移動とがいずれも制限される。本発明による好ましい実施形態では、連続的ズームシステムが撮像系に可動な光学要素を全く含まない。本発明による別の実施形態では、撮像系における唯一の動きが自動焦点機能に関するものであり、撮像センサー、光学要素、または像面に対するレンズ全体の動きを含んでいてもよい。自動焦点機能としては、設定が固定されたもの、または、シーンの構成物（出力イメージにおいては、その選択された画角に応じて見えていてもいなくてもよい。）に合わせたコンピューター制御による自動焦点機能が利用可能である。

連続的な倍率を一定の解像度で提供するには、広角レンズが特定の歪みを持たなければならない。画角の中心領域ではハイブリッドズームの倍率が最大（すなわち、画角が設計上最小）であるので、撮像センサーの利用可能なピクセルと出力イメージのピクセルとの間の比が１：１に近い一定の解像度で出力が作成されるには、歪みがほぼ一定の倍率でなければならない。次に、設計上最小の画角よりも大きい広角レンズの画角では、出力イメージの画角が増大してもその解像度が同様なレベルに維持されるように、（歪みの）倍率が低下する。広角レンズの画角の端では倍率が最小であり、連続的ハイブリッドズームシステムの設計上最大の画角を定めている。こうして、出力イメージの画角がどのように選択されても、出力イメージの端では解像度、すなわちピクセル数／角度が、撮像センサーの同じ位置でのピクセル数に対して常に、１：１に近い比を示す。

本発明の他の実施形態では、レンズが中心では高い倍率を示し、端に向かうほど低い倍率を示すのではなく、撮像装置から出力されるデジタルイメージが、中心から外れた領域に最大倍率の区域を含み、ハイブリッドズーム領域も中心から外すことができる。

本発明の他の実施形態では、中心では倍率が高く、端に向かうほど倍率が低いという特定の歪みを示す広角レンズではなく、どのような広角レンズをカメラが使ってもよい。この場合、カメラは、処理ユニット、電子機器、またはその他の適切なハードウェアおよび／またはソフトウェアによってピクセルをビニングして同様な効果、すなわち中心では高く、端に向かうほど低い倍率を生じさせる。

画角が最小の設定では、処理ユニットまたはセンサーユニットは、入力されたイメージを単に切り取って出力イメージを作成する。倍率が一定であるので、撮像センサーのピクセルと出力イメージのピクセルとの間の比がすでにほとんど１：１で与えられているからである。最小の画角を除くハイブリッドズームの設定では、出力イメージと比べて元のイメージがオーバーサンプリングされているので、はっきりとした歪みが残っている。この場合、処理ユニットはイメージの中心をデジタル処理で圧縮してオーバーサンプリングを低減させ、イメージの解像度を入力値から所望の出力値まで下げる。画像処理ユニットによるこの圧縮の程度は、画角の選択された端へ向かうほど低く下げられるので、広角レンズの歪みの分布によってピクセルの比が１：１になる。

本発明によるある実施形態では、コンピューター制御によるビニング、すなわちスマートビニングを行う処理ユニットが撮像センサーと結合していてもよい。または、イメージを処理ユニットへ送る前にそのイメージの中心部分を予め圧縮するのにスマートビニング用ハードウェアが使用されてもよい。スマートビニングを行う撮像センサーは、１×１、２×２、３×３、１×２、１×３、２×３、またはその他、イメージの選択された領域で解像度を下げるのに必要なピクセルの組み合わせでビニングを実行可能である。その一方で、この撮像センサーは元のイメージの解像度と出力イメージの解像度との間の内挿比を常に制限する。スマートビニングを行う撮像センサーはデータのバンド幅を狭め、または処理ユニットに要求される圧縮量を減らすことができる。これは、処理ユニットが同じタスクを行うのに時間と電力とを必要とする場合で特に便利である。スマートビニングを行う撮像センサーはまた、送信されるべきイメージのサイズを減らすのにも便利であり、送信される無駄な情報の量を減らすことができる。最後に、この撮像センサーはカメラのフレームレート、すなわち信号対雑音比を増大させることができる。

本発明によるある実施形態では、カメラが別のカメラと組み合わされていても、可動部分に基づく光学ズームを含んでいても、内挿またはオーバーサンプリングに基づくデジタルズームを含んでいてもよい。

上記の概要は、後述される発明の好ましい実施形態についての詳細な説明と共に、添付の図面に関連付けて読まれることで、より良く理解されるであろう。発明の説明を目的として、図面には現時点で好ましい実施形態が示されている。しかし、示されている配置および手段の詳細に発明が限定されないことは、理解されるべきである。

連続的ハイブリッドズーム処理を示すフローチャートである。 倍率が中心で一定であり、端に向かうほど低下する広角レンズで撮影されたイメージを示す模式図である。 倍率の一例を画角の関数として示すグラフである。 より一般的な倍率曲線を画角の関数として示すグラフである。 オーバーサンプリングがされたイメージの部分における解像度を圧縮して下げるのに、スマートビニングセンサーがどのように使用されるかを模式的に示す。 中心から画角の端まで高い倍率を示す光学レンズのレイアウトの一例である。

単語「ａ」、「ａｎ」は、請求の範囲および明細書の対応部分で使用される場合、「少なくとも１つ」を意味する。

図１は、本発明による連続的ハイブリッドズームシステムにおける処理の全体を説明するフローチャートである。最初のステップ１００では、ある歪み（図３を参照しながら後述する。）を示す撮像系と撮像センサーとを含む撮像装置が使用される。この撮像系は一般にプラスチック製またはガラス製の屈折要素を含む古典的な撮像レンズを備えている。この撮像系はまた、回折要素、鏡、フィルター等、他の光学要素を含んでいてもよい。この撮像装置１００は、ステップ１１０では撮像センサーを用いて、撮像系から出力される光学イメージをデジタルイメージファイルへ変換する。これにより、撮像装置１００はシーンの撮影に使用される。撮像センサーは複数のピクセルを含み、ＣＣＤ、ＣＭＯＳ、ＮＭＯＳ等のいずれの種類であってもよい。デジタルイメージファイルはある歪みを含む。この歪みは、画角の中心から設計上最小の画角まではほぼ一定の倍率であり、その設計上最小の画角から設計上最大の画角までは倍率を実質的に低下させている。好ましい実施形態ではデジタルイメージの歪みが撮像系の光学的歪みから生じる。他の実施形態では、デジタルイメージの歪みが、スマートビニングユニットの行うピクセルのスマートビニングから生じてもよく、撮像装置の撮像系における光学的歪みとスマートビニングユニットによるピクセルのスマートビニングとの両方の組み合わせから生じてもよい。スマートビニングユニットは撮像センサーの内部、または別のユニットの中に位置しており、そこではソフトウェアまたはハードウェアが撮像センサーから原画像を受信して処理をすることにより、デジタルイメージファイルを作成する。撮影されたデジタルイメージはその後、画像処理ユニット１５０へ送信され、その内部においてステップ１２０が行われる。ステップ１２０では出力画角選択ユニットを用いて、出力対象の画角が設計上最小の画角から設計上最大の画角までの間で選択される。出力対象の画角を選択するためのこの選択ユニットはどのような種類であってもよい。その種類には次のものが含まれる。処理ユニットに予め保存された値を用いるもの。ユーザーから手動で入力された値を受け付けるもの。あるアルゴリズムに従って動作するユニットがシーンの中身に基づいて、またはディスプレイ、アプリケーション、もしくはその他、出力対象の画角もしくはそれと等価なズームレベルを選択する元となる装置からの要求に基づいて自動的に入力する値を利用するもの。画像処理ユニット１５０はその後、ステップ１３０では、撮像装置１００から受信したデジタルイメージの歪み（撮像系によるものでも、スマートビニングを行う撮像センサーによるものでもよい。）に関する正確な知識を使った補正により、デジタルイメージを処理する。この補正は、選択されたズーム領域に歪みのないイメージを生成するのに利用される。ある実施形態では、デジタルイメージの補正処理によって処理済みのイメージが作成されるのに続いて、応用によっては周知の射影が行われる。この周知の射影はいかなる形のものであってもよく、たとえば球面収差を補正する射影、等距離射影、立体射影、等立体角射影、正射影、多項式係数によって定義される射影が含まれる。補正の間、処理ユニットは、選択された出力対象の画角のほぼ端に位置する領域において撮像センサーのピクセル数と処理済みのイメージのピクセル数との間の比を１：１近くに保つ。なお、ある特定の応用に際しては、この領域が画角内の他の位置にあってもよい。ステップ１４０では、選択された出力対象の画角が設計上最小の画角よりも大きい場合、画像処理ユニットが画角を選択された値に切り取ってイメージの出力解像度を調節し、最終的な処理済みのイメージを作成する。こうして得られた処理済みのイメージはその後、ステップ１６０において処理ユニットから表示装置へ、またはアルゴリズムに従って動作するユニットへ出力されてもよい。

図２は、本発明の実施形態による連続的ハイブリッドズーム用に設計された撮像装置を利用して撮像センサーが撮影したデジタルイメージの一例を示す。好ましい実施形態では撮像系が像面内にシーンの光学イメージを作成し、その像面に撮像センサーが位置している。長方形２００は、そのセンサーが撮影したデジタルイメージの全体を表し、撮像系が作成したイメージの範囲２０５を含む。この範囲２０５は、撮像センサーの水平方向と垂直方向とのサイズが撮像レンズの像のサイズよりも大きい場合、広角レンズを使うことで時には円形になり得る。しかし、デジタルイメージの全体２００におけるこの範囲２０５の正確な形は、本発明によれば、長方形、楕円形、垂直もしくは水平に切り取られた円の一部等、いかなる形にもなり得る。本発明によるある実施形態では、センサーが撮影したデジタルイメージの全体を表す長方形２００に代えて長方形２２０が、撮像センサーの有効なピクセルを含む撮像領域を表し、デジタルイメージファイルが黒い角を含まない。撮像センサーが長方形２００と長方形２２０とのいずれによって表される場合でも、好ましくは、中央領域２１０では倍率が一定であり、画角全体の中で最大の倍率に等しい。中央領域２１０の外側では画角が広がるにつれて倍率が下がる。ズームレベルが最大であるイメージ領域２１５は、倍率がほぼ一定である中央領域２１０の内側に位置する。選択された出力対象の画角が設計上最小の画角である場合、このイメージ領域では、理想的には、出力イメージのピクセルに対する元のピクセルの比が１：１に近い。シーンの中には３つの顔２２３、２２５、２３５がある。これらは、通常のカメラではほとんど同じサイズに見える。ここで、顔２２３は倍率が比較的高い領域（中央領域２１０）の中にあるので、センサーに撮影されたそのイメージは顔２２５、２３５よりも大きい。画像処理ユニットによって処理された後では最終的な出力が、選択されたズームレベルまたは出力対象の画角に依存する。出力イメージ２５０は、ズームレベルが最大である場合の出力を表す。この場合、歪みを含むレンズによって作成された元のイメージの中心では倍率が高いので、純然たるデジタルズームとは異なり、出力解像度に合うようにピクセル数を修正するのに内挿はほとんど必要がなく、顔２５５がほぼ１：１のピクセル比で表示される。一方、出力イメージ２６０は、ズームレベルが最小である場合の出力を表す。ここでは、中央領域が画像処理ユニットによって圧縮された結果、顔２７０のピクセル単位でのサイズが顔２６５、２７５のサイズとほぼ等しい。処理ユニットによって適用される圧縮は厳密には、応用に応じて選択された補正用の射影に依存する。画角の端は圧縮されることなく、ほぼ１：１のピクセル比で処理される一方、中央領域は圧縮され、表示対象の各ピクセルに対して撮影されたピクセルが複数使われる。ここでの圧縮とは次の処理を意味する。元のデジタルイメージファイルから圧縮対象の領域の中に読み込まれるピクセル数よりも、処理済みのイメージにおいて圧縮されたその領域に含まれるピクセル数を少なくする。この処理はまた、ピクセルのダウンサンプリング、サブサンプリング、または間引きとしても知られている。最大ズームと最小ズームとの間で連続するズームレベルのいずれもが同様な方法で達成可能であり、歪みがレンズに固有の形であるので、出力イメージの端領域ではピクセル比が常にほぼ１：１である。すべてのズームレベルで、入力イメージのピクセル数は画角の全体にわたって常に１：１を超えているか、１：１に近い。本発明によるある実施形態では、処理ユニットが単一のデジタルイメージ２００を、選択された出力対象の画角が異なる複数の処理済みのイメージ２５０、２６０へ同時に処理する。これは、光学要素を移動させる典型的なズームシステムでは不可能なことである。

図３は、本発明によるハイブリッドズーム歪みを示す撮像装置の倍率（すなわち歪み）を画角の関数として例示するグラフ３００を示す。好ましい実施形態では、デジタルイメージが次のような歪みを含む。イメージの中心領域では倍率が最大であり、設計上最大の画角に近い領域では倍率が最小である。画角３１０は、最大のズームレベルに相当する設計上最小の画角を表す。中心から設計上最小の画角３１０までのすべての画角では、倍率が理想的には、平坦部３３０が示すような一定値に近い。ただし、平坦部３３０は本発明にとって厳密に必要なことではなく、一定の平坦部から外れていても本発明の範囲内である。画角３２０は、最小のズームレベルに相当する設計上最大の画角を表す。この画角では倍率３５０が一般に、イメージ全体における最低値である。出力対象の画角３１５が設計上最小の画角３１０と設計上最大の画角３２０との間の領域の中に位置するいずれの値であっても、倍率３４０は最大倍率３３０と最小倍率３５０との間に位置する。本発明によるある実施形態では、設計上最小の画角３１０が設計上最大の画角３２０の分数倍として定義される。すなわち、画角の比３１０／３２０が最大倍率に対する最小倍率の比３５０／３３０と実質的に等しい。別の実施形態では、これら２つの比の間に最大±１０％の差がある。一例として、設計上最大の画角３２０が７５°であり、最大倍率３３０が５０ピクセル／度であり、最小倍率３５０が１０ピクセル／度であるレンズについては、最小倍率を最大倍率で割った比が１０／５０、すなわち１／５である。この比が設計上最大の画角に対する設計上最小の画角の比に等しくなければならないので、この例では設計上最小の画角３１０が１５°であることがわかる。本発明による別の実施形態では、設計上最小の画角を最大倍率と最小倍率との間の比で定義するのに代えて、設計上最小の画角３１０が次のように定義される。１°あたりのピクセル数として計算される倍率が画角の中心での倍率、または、関心のある領域が画角の中心から外れている場合にはその領域の中心での倍率から±１０％の範囲よりも外側にある。本発明によるある実施形態では、最大倍率と最小倍率との間の比が少なくとも２倍である。理想的には、選択された出力対象の画角の端に位置する領域では、撮像センサーのピクセル数と処理済みのイメージのピクセル数との間の比が、可能な限り、１：１に近い。ただし、本発明によるある実施形態では、選択された出力対象の画角の端に位置する領域におけるこの比が最大２：１または１：２であってもよい。連続的なズームレベルのすべてで１：１に近い比を得るには、出力対象の画角３１５（文字θで表されている。）のいずれにおいても倍率３４０が次の条件を満たさなければならない：
倍率（θ）＞設計上最小の画角／θ×最大倍率。

たとえば、設計上最小の画角３１０が１５°であり、最大倍率３３０が最小倍率３５０と比べて５倍である場合、出力対象の画角３１５である６０°における倍率３４０は、次式によって与えられる値よりも大きくなければならない：
倍率（６０°）＞１５°／６０°×５倍。
この結果、６０°での倍率は設計上最大の画角７５°での最小倍率３５０と比べて１．２５倍よりも大きい。本発明によるある実施形態では、上記の式から±２５％の誤差があってもよい。この誤差は、レンズごとの倍率の誤差、または、歪み曲線がより滑らかで製造がより簡単であるように決定された設計に基づく。この場合、設計上最小の画角と設計上最大の画角との間に位置する任意の出力対象の画角では、倍率が次式を満たす：
０．７５×設計上最小の画角／θ×最大倍率
＜倍率（θ）
＜１．２５×設計上最小の画角／θ×最大倍率。
他の実施形態では、設計上最小の画角と設計上最大の画角との間のすべての画角で±２５％の条件を満たすことに代えて、その条件が、本発明によるシステムで利用される出力対象の画角の離散的な複数の値でのみ満たされてもよい。図３が示す本発明による実施例における倍率のグラフは、平坦部３３０と曲線部３４０とが等距離補正（ｆθ射影）にとって理想的であることのみを示すが、他の倍率のグラフが使用されることも可能である。たとえば本発明による他の実施形態では、倍率が線形の倍率に代えて表面倍率として与えられる場合、必要とされる倍率が、θ分の１に比例するのではなく、θの平方根分の１に比例していなければならない。この理由により、図４はより一般的なグラフを示す。

図４は、本発明によるある実施形態に従ったより一般的な倍率曲線４００を示す。この倍率曲線には設計上最小の画角４１０が定義されている。この設計上最小の画角４１０と中心の画角との間に位置する中心領域の倍率曲線は、図３の例のような一定倍率の平坦部３３０に代えて、いかなる形状であってもよい。たとえば、球面収差補正レンズ（ｆ−ｔａｎθ射影レンズとしても知られている。）に対する形状が含まれるが、それには限定されない。この中心領域における倍率４３０は次のように設計されてもよい。選択された出力対象の画角が設計上最小の画角である場合、所望の出力画像が、図２の画像２５０のように、何の補正も受けずに直ちに出力されてもよい。処理ユニットによって除去すべき不要な歪みがないからである。設計上最小の画角４１０での倍率は撮像装置の最大倍率であってもよい。ただし、これは本発明のこの実施形態において厳密に必要とされることではない。倍率のグラフ４００はまた設計上最大の画角４２０も示す。そこでは倍率４５０がしばしば最小となる。設計上最大の画角４２０でも、設計上最小の画角４１０と設計上最大の画角４２０との間に位置する他のいずれの画角４１５でも、図２が示す画像２６０での画角と同様に処理ユニットが補正を行って補正画像を作成する。補正画像には、応用または表示に必要ないずれの射影が適用されてもよい。ただし、出力対象の画角の領域では撮像センサーのピクセル数と出力イメージのピクセル数との間の比が１：１に近い。出力対象の画角の他のいずれの位置でも、処理ユニットが元のデジタルイメージを圧縮して必要な射影を実現させる。図４の一般的な場合では、選択されたいずれの画角４１５でも倍率４４０が特定の式によっては制限されず、１：１であるというピクセル比に対する条件が選択された出力対象の画角４１５内の少なくとも１点で満たされるという、補正された出力画像に必要とされる射影方式によってのみ制限される。

図５は、本発明によるある実施形態において、オプションであるスマートビニングセンサーまたはスマートビニング処理ユニットを使用する例を示す。この撮像センサー５００では、（最小の正方形によって表される）ピクセルの数が１８×１８である。この１８×１８のセンサーはアイデアを図式化するための一例に過ぎず、多くの応用に使用されているような数メガピクセルの撮像センサーでもアイデアは同様である。このスマートビニングセンサーは、ハイブリッドズーム歪みを示すレンズと共に使用される場合、選択されたズームレベルによってはビニングを使っても使わなくてもよい。最大のズームレベルでイメージの中心部分だけが使用される場合、その部分ではレンズの倍率がほぼ一定であるので、センサーにはビニングがほとんど要求されない。したがって、元のピクセルがすべて選択された出力対象の画角によって定義される有効領域の中に読み込まれる。もう１つの極端な例として、ハイブリッドズームが最小のズームレベルである場合、これは画角が設計上最大の画角であることを意味するので、倍率が最小である画角の端ではピクセル比がほとんど１：１であり、中心領域がオーバーサンプリングされている。この場合、スマートビニングセンサーは、たとえば、オーバーサンプリングがされていない端に対しては１×１領域５３０内のピクセル５３５を使用する。オーバーサンプリングが最大である中心においては、３×３領域５１０内の９個の独立なピクセル５１５が一緒にビニングされてもよい。このようなスマートビニング処理が、撮像センサーから読み出されるピクセル数の制限、または処理ユニットへ送信されるピクセル数の制限に適用されるので、センサーからの読み出しにおけるフレームレートが上昇し、またはイメージの送信に必要なバンド幅が低減する。中心と端との間の中間領域では、２×２領域５２０内の４個の独立なピクセル５２５が一緒にビニングされてもよい。実際のセンサーまたはスマートビニングユニットではスマートビニングが、１×１、２×２、または３×３の正方領域には限られず、１×２、２×３、１×３、または他の大きさの長方形領域で行われてもよい。スマートビニングセンサーから出力される最終的なイメージがすべての位置で、選択されたズームレベルにおける出力イメージの出力解像度よりも十分に大きい解像度、またはそれに対して±２５％の範囲内で十分に近い解像度を持つものであればよい。スマートビニングは好ましくは、撮像過程においてできるだけすぐに、すなわちセンサーレベルで行われるが、本発明はスマートビニングの位置を限定しない。スマートビニングが、センサー内で行われる代わりに、撮像中のスマートビニングユニット内のいずれのハードウェアまたはソフトウェアの処理によって行われてもよく、そのタイミングはデジタルイメージが画像処理ユニットへ送られる前のいずれの時点であってもよい。

その他に、本発明の他の実施形態は、画角の端よりも中心部分でより多くのピクセルを用いる大きく歪んだイメージの生成を、歪みの大きな広角レンズを使って光学的に行うのではなく、スマートビニングセンサー自体を使って行ってもよい。その他に、光学レンズの歪みとスマートビニングセンサーとを一緒に使うことにより、元のイメージを大きく歪んだ状態で作成してもよい。このスマートビニングは、倍率の比と位置とを、要求される外部パラメータまたは内部パラメータに応じて、更にリアルタイムで変えるのに便利である。

図６は、本発明の実施形態による連続的ハイブリッドズーム歪みを示す撮像レンズのレイアウトの一例を示す。この例では広角レンズ６００が６個の光学要素６０２、６０４、６０６、６１０、６１２、６１４、開口絞り６０８、センサーカバーガラス６１６（フィルターとして作用することも可能である。）、および像面６１８を含む。ただし、この厳密な要素数は本発明にとっては必須ではなく、より多くの、またはより少ない光学要素でも、発明による同じ方法が達成可能であろう。この例では、レンズの軸に対して９０°の角度でレンズに入射する垂直光線６３８が示すように、最大の画角が１８０°である。ただし、本発明による方法は、かなり狭い画角から極端な広角まで、いずれの画角でも対応可能である。この模式的な例では、０°と９０°との間で等間隔に離れた様々な角度６３０、６３２、６３４、６３６、６３８から光線がレンズに入射する。しかし、実際のレンズには、０°と最大の画角との間で連続分布する角度のすべてから光線が入射する。角度６３０からの光線は位置６５０で撮像センサーに衝突し、角度６３２からの光線は位置６５２で撮像センサーに衝突し、角度６３４からの光線は位置６５４で撮像センサーに衝突し、角度６３６からの光線は位置６５６で撮像センサーに衝突し、角度６３８からの光線は位置６５８で撮像センサーに衝突する。入射光６３０、６３２、６３４、６３６、６３８の角度が等間隔で分布していても、それぞれが撮像センサーに到達する位置は等間隔ではない。図２に示されているように、端における倍率に比べて中心における倍率が高いので、位置６５０、６５２の間の距離は位置６５６、６５８の間の距離よりも大きい。この模式化された実施形態では、レンズ要素６０２、６１４が非球面を含むので、撮像レンズの歪みの形を整えるのに役立つ。ただし、これは本発明にとって必須ではなく、別の実施形態ではすべての表面が球面であってもよい。さらに、光学的表面として一般的な他の種類の表面、たとえば回折面、フレネル面、円錐面、円筒面、自由曲面、ホログラフィック面、メタマテリアル面がレンズの設計に使用されることにより、所望の倍率曲線が作成されても、他の光学特性が改善されてもよい。この実施形態では、光学要素がすべて、ガラス、プラスチック、または結晶から成る屈折要素である。しかし、本発明によるある実施形態では屈折面が、連続ズームにおける所望の倍率曲線を作成し、または他の光学特性を改善するのにも使用されてもよい。最後に、この実施例におけるレンズ要素６１０、６１２はダブレットを形成して、撮像系の色特性を改善している。本発明によれば、１以上のダブレットまたはトリプレットを使用することが可能であるが、必須ではない。

本発明によるある実施形態では、ハイブリッドズームシステムが複数台のカメラを使ってイメージを撮影することができる。これらのカメラのうち少なくとも１台は、連続的ハイブリッドズーム歪みを示すレンズを用いている。この場合、撮像装置は複数の撮像系と複数の撮像センサーとを含み、複数のデジタルイメージを作成する。こうして、撮像系ごとにパラメータが異なっていてもよい。これらのパラメータにはシーンの方向と位置、最大ズームが可能な最大倍率の位置、最大倍率の値、およびハイブリッドズームの最小画角と最大画角とが含まれる。続いて、画像処理ユニットが複数台のカメラから複数のイメージを受信する。各イメージはその対象とする領域で可能なハイブリッドズームを示す。本発明によるある実施形態では、必要に応じて、複数のデジタルイメージが処理ユニットによって処理される前に１つに繋ぎ合わされる。その後、処理ユニットが対象とする領域を補正して、連続的ズームシステムを含む単一のカメラの場合と同様に、出力イメージの解像度を最終的なユーザーに合わせてもよい。

本発明による他の実施形態では、連続的ズーム光学系がデジタルズームと組み合わされて、連続的なズームとデジタルズームとの両方の利点を活かした１つのハイブリッドシステムを構成してもよい。

本発明によるある実施形態では、画像処理ユニットがイメージを出力する前に光学イメージの改善法を適用してもよい。この改善法には、コントラスト、鮮明さ、ノイズ除去、ホワイトバランス、色補正等、基本的なものが含まれ得る。この改善法にはまた、より高度な改善技法が含まれてもよい。それらには、コンピューターによる画像化のようなコンピューターによる自動撮像技術を使った自動的改善法、人工的な高度のアルゴリズムによる画像処理が含まれる。この改善法は、深層学習を行うニューラルネットワークでプログラムされても、自己学習されてもよい。イメージの改善に「ＡＩ」を利用する実施例の１つには、深層学習を利用して、撮影されたイメージから３次元情報を学習し、焦点から遠い被写体の画像ぶれに適用するものがある。広角レンズは、その画角にわたって倍率を大きく変化させる歪みを示すので、カメラのどのような動きも被写体のぶれとして現れる。そのぶれの度合いは、画角の中での位置、およびレンズからの距離に依存する。イメージの変化はＡＩのアルゴリズムにより、距離の測定と３次元情報の計算とに利用されてもよい。最後に、この３次元情報は、最終的なユーザーによって要求されるいかなる方法で出力の改善に利用されてもよい。

本発明によるある実施形態では、連続的光学ズームカメラが、カメラの３Ａ補正として知られている技術である３種類の一般的な自動設定、すなわち、自動焦点（ＡＦ）、自動露光（ＡＥ）、および自動ホワイトバランス（ＡＷＢ）のいずれに利用されてもよい。これらの３Ａ補正は、カメラ内部のハードウェアレベルで適用されても、カメラの部品ではないハードウェアによる改善ユニットで適用されても、ソフトウェアアルゴリズムで適用されても、それらの２以上の組み合わせで適用されてもよい。

以上に述べたものはすべて、イメージの特定の歪みを変換するユニットとその方法とを示す図面と例とである。これらの例のすべてで撮像装置は広角には限られず、ごく狭いものから極端な広角まで、いかなる画角であってもよい。これらの例のすべてで、簡単のために、方法はピクチャーモードで提示されているが、その方法は何回も連続して適用されることにより、ビデオモードで動作することも可能である。これらの例はすべて、完全なリストを示すものではなく、本発明の範囲と精神とを限定するものでもない。発明の広い概念から外れることなく上記の実施形態に変更を加えられることは、当業者には歓迎されるであろう。それ故、本発明が開示された特定の実施形態には限定されず、添付の請求の範囲で定義されたような本発明の精神と範囲との中で行われる修正にも及ぶことは、当業者には理解される。

Claims (26)

1. １つの画角にわたって倍率が変化するデジタルイメージファイルを作成する撮像装置を利用して連続的なズーム光学系を作成する方法であって、
   選択された出力対象の画角の端に位置する領域において、撮像センサーのピクセル数と出力イメージのピクセル数との間の比を１：１に近づけることを目的としており、
   ａ．少なくとも撮像系と、複数のピクセルを含む撮像センサーとを有する撮像装置を用いて、像面内にシーンの光学イメージを作成するステップと、
   ｂ．前記撮像装置の撮像センサーによって前記光学イメージをデジタルイメージに変換するステップと、
   ｃ．出力対象の画角が設計上最小の画角と設計上最大の画角との間で選択されるのを、処理ユニットによって受け付けるステップと、
   ｄ．前記処理ユニットによって前記デジタルイメージを処理して処理済みのイメージを作成するステップと
   を備え、
   前記デジタルイメージの歪みは、画角の中心から設計上最小の画角までの範囲では実質的に一定の倍率を示し、その設計上最小の画角から設計上最大の画角までの範囲では実質的に低下する倍率を示し、
   前記処理ユニットは、前記デジタルイメージを補正することにより、前記撮像装置によって作成された歪みを除去する一方で、選択された出力対象の画角の端に位置する領域において前記撮像センサーのピクセル数と前記処理済みのイメージのピクセル数との間の比を１：１近くに保ち、
   前記処理済みのイメージは画角が前記選択された出力対象の画角に切り取られている
   ことを特徴とする方法。
2. ｅ．前記処理済みのイメージを出力するステップ
   を更に備えた、請求項１に記載の方法。
3. 最大倍率と最小倍率との間の比が設計上最小の画角と設計上最大の画角との間の比に等しいように、設計上最小の画角が定義されている、請求項１に記載の方法。
4. 前記処理済みのイメージは表示装置へ出力される、請求項２に記載の方法。
5. 前記出力対象の画角の選択をユーザーから受け付ける、請求項１に記載の方法。
6. 前記出力対象の画角の選択をアルゴリズムに従って自動的に受け付ける、請求項１に記載の方法。
7. 前記アルゴリズムは、前記選択された出力対象の画角を計算するのに、前記撮像装置の空間的な位置および／または方向を使う、請求項６に記載の方法。
8. 前記デジタルイメージの歪みは前記撮像装置の撮像系における光学的歪みから生じる、請求項１に記載の方法。
9. 前記撮像センサーによって読み出されるピクセル数、または前記処理ユニットへ送信されるピクセル数を制限するのに、コンピューター制御のビニング処理が適用される、請求項８に記載の方法。
10. 前記デジタルイメージの歪みは、前記撮像装置の撮像センサーまたはコンピューター制御のビニングユニットが行うピクセルのビニングから生じる、請求項１に記載の方法。
11. 前記デジタルイメージの歪みは、前記撮像装置の撮像系における光学的歪みと、コンピューター制御によるピクセルのビニングとの組み合わせから生じる、請求項１に記載の方法。
12. 前記デジタルイメージの歪みは、前記イメージの中心領域では最大の倍率を示し、設計上最大の画角に近い領域では最小の倍率を示す、請求項１に記載の方法。
13. 設計上最小の画角と設計上最大の画角との間の領域では、出力対象の画角θのすべてについて倍率が次式を満たす、請求項８に記載の方法。
    倍率（θ）＞設計上最小の画角／θ×最大倍率
14. 設計上最小の画角と設計上最大の画角との間の領域では、ある出力対象の画角θでの倍率が次式を満たす、請求項８に記載の方法。
    ０．７５×設計上最小の画角／θ×最大倍率
    ＜倍率（θ）
    ＜１．２５×設計上最小の画角／θ×最大倍率
15. 前記選択された出力対象の画角の端に位置する領域では、前記撮像センサーのピクセル数と前記処理済みのイメージのピクセル数との間の比が最大２：１または１：２である、請求項１に記載の方法。
16. 前記撮像装置が、複数のデジタルイメージを作成するための複数の撮像系と複数の撮像センサーとを含む、請求項１に記載の方法。
17. 前記複数のデジタルイメージが、前記処理ユニットによって処理される前に１つに繋ぎ合わされる、請求項１６に記載の方法。
18. 前記連続的なズーム光学系が可動な光学要素を含んでいない、請求項１に記載の方法。
19. 前記連続的なズーム光学系がデジタルズームと組み合わされている、請求項１に記載の方法。
20. 前記処理ユニットが単一のデジタルイメージを処理して、選択された出力対象の画角が異なる複数の処理済みのイメージへ同時に変換する、請求項１に記載の方法。
21. 前記デジタルイメージの補正により、周知の投影法に従った処理済みのイメージが作成される、請求項１に記載の方法。
22. 設計上最小の画角が前記選択された出力対象の画角として受け付けられた場合、前記処理済みのイメージが前記処理ユニットにより、歪みを除去する補正なしで作成される、請求項１に記載の方法。
23. 前記撮像装置から出力されるデジタルイメージが、その中心から外れた領域で最大の倍率を示す、請求項１に記載の方法。
24. 前記連続的なズーム光学系が、自動焦点、自動露光、または自動ホワイトバランスで使用される、請求項１に記載の方法。
25. １つの画角にわたって倍率が変化するデジタルイメージファイルの作成に撮像系を利用する連続的ズーム光学系であって、
    選択された出力対象の画角の端に位置する領域において、撮像センサーのピクセル数と出力イメージのピクセル数との間の解像度比を１：１に近づけることを目的としており、
    ａ．像面内にシーンの光学イメージを作成する撮像系と、
    ｂ．前記光学イメージをデジタルイメージに変換する、複数のピクセルを含む撮像センサーと、
    ｃ．出力対象の画角が設計上最小の画角と設計上最大の画角との間で選択されるのを受け付ける出力画角選択ユニットと、
    ｄ．前記デジタルイメージを処理して処理済みのイメージを作成する処理ユニットと
    を備え、
    前記撮像系が含む光学的歪みにより、前記光学イメージの倍率が、画角の中心から設計上最小の画角までの範囲では実質的に一定であり、その設計上最小の画角から設計上最大の画角までの範囲では実質的に低下しており、
    前記デジタルイメージが前記撮像系の光学的歪みから生じる歪みを含み、
    前記処理ユニットが、前記デジタルイメージを補正する一方で、選択された出力対象の画角の端に位置する領域において前記撮像センサーのピクセル数と前記処理済みのイメージのピクセル数との間の比を１：１近くに保ち、
    前記処理済みのイメージは画角が前記選択された出力対象の画角に切り取られている
    ことを特徴とする連続的ズーム光学系。
26. １つの画角にわたって倍率が変化するデジタルイメージファイルの作成に、撮像センサーによるコンピューター制御のビニングを利用する連続的ズーム光学系であって、
    選択された出力対象の画角の端に位置する領域において、撮像センサーのピクセル数と出力イメージのピクセル数との間の解像度比を１：１に近づけることを目的としており、
    ａ．像面内にシーンの光学イメージを作成する撮像系と、
    ｂ．前記光学イメージをデジタルイメージに変換する、複数のピクセルを含む撮像センサーと、
    ｃ．前記撮像センサーのピクセルに対してコンピューター制御のビニングを行って、前記デジタルイメージの倍率を、画角の中心から設計上最小の画角までの範囲では実質的に一定にし、その設計上最小の画角から設計上最大の画角までの範囲では実質的に低下させるスマートビニングユニットと、
    ｄ．出力対象の画角が設計上最小の画角と設計上最大の画角との間で選択されるのを受け付ける出力画角選択ユニットと、
    ｅ．前記デジタルイメージを処理して処理済みのイメージを作成する処理ユニットと
    を備え、
    前記処理ユニットが前記デジタルイメージを補正することにより、前記ビニングユニットによって作成された歪みを除去する一方で、選択された出力対象の画角の端に位置する領域において前記撮像センサーのピクセル数と前記処理済みのイメージのピクセル数との間の比を１：１近くに保ち、
    前記処理済みのイメージは画角が前記選択された出力対象の画角に切り取られている
    ことを特徴とする連続的ズーム光学系。

Images