JP2015037279A - 画像処理装置、画像処理方法、および画像通信システム - Google Patents

Abstract

【課題】広角レンズで撮像した撮像画像に歪み補正処理を施した際に、歪み補正後の撮像画像の画質が劣化する不都合を軽減する。【解決手段】撮像部１３により、超広角レンズ１１を用いて撮像された撮像画像から、注目領域の撮像画像の切り出しを行う領域切出部１４と、注目領域の撮像画像に対して、撮像画像空間から補正画像空間への座標データ変換によって、広角レンズを用いた撮像で生じた歪み補正を施す歪曲補正処理部２１と、注目領域の撮像画像の単位面積当たりの座標データ数を所定以上とする超広角レンズ１１のズーム倍率で撮像を行うように撮像部１３を制御すると共に、ズーム倍率で撮像された注目領域の撮像画像に対して歪み補正を施すように歪曲補正処理部２１を制御するズームドライバ１２および画像認識部１６とを有する。【選択図】図３

Description

本発明は、画像処理装置、画像処理方法、および画像通信システムに関する。

所望の撮像方向の撮像画像を得る手法として、機械的手法および電気的手法が知られている。機械的手法で所望の撮像方向の撮像画像を得る場合、パンチルト機構で所望の撮像方向にカメラ部を回動させて撮像を行う。これに対して、電気的手法で所望の撮像方向の撮像画像を得る場合、広角レンズを介してカメラ部で得られた撮像画像から、撮像方向に対応する領域の撮像画像を切り出す。これにより、カメラ部を回動することなく、所望の撮像方向の撮像画像を得ることができる。なお、撮像画像を電気的に拡大処理または縮小処理することも可能である。このような電気的手法は、擬似的なパンチルトズーム機能（ＰＴＺ）ということができる。

特許文献１（特開２０１０−２３９２２１号公報）には、超広角レンズを用いた撮像により生じた歪みを補正した画像の画質劣化を低減させることを目的とした画像通信システムが開示されている。この画像通信システムは、カメラが、超広角レンズを用いて生成された撮像画像から注目領域を切り出し、注目領域の符号化データを送信する。端末装置は、符号化データを復号化し、歪み補正処理を施す。この歪み補正処理は、超広角レンズの大きな歪みを補正して、通常のカメラで撮像されたような画像を生成する処理であり、撮像画像空間から補正画像空間への座標変換を行うことで、超広角レンズを用いた撮像により生じた歪みを補正する。

超広角レンズ等の広角レンズは、座標変換で参照される補正前画像の単位面積当たりの座標データの数が、撮像画像の画像中心部からの距離に応じて異なる特性を有する。符号化部は、画像中心部から注目領域内の各符号化ブロックまでの距離に応じて、各符号化ブロックへ符号量を割り当てる。これにより、歪み補正処理を施した撮像画像の画質劣化の低減を図っている。

しかし、特許文献１に開示されている画像通信システムは、超広角レンズまたは魚眼レンズの射影方式の特性を考慮しておらず、そのようなレンズ特性を考慮した領域内の符号量の割り当ても行っていない。

具体的に説明すると、超広角レンズまたは魚眼レンズの射影方式としては、例えば正射影や等距離射影が知られている。超広角レンズまたは魚眼レンズでは、こうした射影方式により、極端に大きい画角の撮像画像を得ることができる。その反面、超広角レンズまたは魚眼レンズで撮像した撮像画像には、通常のレンズを用いて撮像した撮像画像には見られない画像の歪みが現れる。

超広角レンズで撮像した撮像画像の歪み補正は、歪みのある撮像画像空間から、歪みを除去した補正画像空間への座標変換によって実現される。ところが、撮像画像は、画像中心部から遠ざかるほど、被写体が半径方向に大きく圧縮されている。そして、座標変換においては、参照される補正前の単位面積当たりの座標データ数（参照データ数）が、撮像画像空間中で均一ではなく、画像中心部から離れるほど少なくなる。このため、画像中心部から遠い部分では、元から情報量が少ないうえに、符号化処理で更に情報量が減少するため、歪み補正後の画像の画質が劣化する不都合を生ずる。

本発明は、上述の課題に鑑みてなされたものであり、広角レンズで撮像した撮像画像を歪み補正処理した際に、歪み補正後の撮像画像の画質が劣化する不都合を軽減した画像処理装置、画像処理方法、および画像通信システムの提供を目的とする。

上述した課題を解決し、目的を達成するために、本発明は、撮像部により、広角レンズを用いて撮像された撮像画像から、注目領域の注目画像を切り出す領域切出部と、注目画像に対して、撮像画像空間から補正画像空間への座標データ変換によって、広角レンズを用いた撮像で生じた歪みを補正する歪み補正部と、注目画像の単位面積当たりの座標データ数を所定数以上とする広角レンズのズーム倍率で撮像するように撮像部を制御する撮像制御部と、ズーム倍率で撮像された注目画像に対して歪みを補正するように歪み補正部を制御する歪み補正制御部とを有する。

本発明によれば、広角レンズで撮像した撮像画像を歪み補正処理した際に、歪み補正後の撮像画像の画質が劣化する不都合を軽減することができる、という効果を奏する。

図１は、通常の歪曲収差補正処理を説明するための図である。 図２は、実施の形態の画像通信システムの歪曲収差補正処理を説明するための図である。 図３は、実施の形態の画像通信システムのシステム構成図である。 図４は、実施の形態の画像通信システムの画像送信動作の流れを示すフローチャートである。 図５は、実施の形態の画像通信システムにおいて、ズーム倍率で拡大撮像を行うことで注目領域の情報量が減少する様子を示す図である。

以下に添付図面を参照して、実施の形態の画像通信システムを詳細に説明する。この実施の形態は、超広角レンズ、または魚眼レンズを利用してパンチルトズーム機能を擬似的に提供する画像通信システムの例である。なお、この発明は、画像通信システムや、カメラ、ビデオカメラ等の撮像装置を含む画像処理装置に適用可能である。ここで、画像通信システムは、画像処理装置の一例である。

（概要）
超広角レンズまたは魚眼レンズ等の広角レンズを用いて撮像を行うと、レンズ特性の影響で、図１に示す等倍撮像画像Ｔ（等倍画像ともいう）の画像中心部Ｐから離れた領域の情報量が少なくなる。そして、少ない情報量を補うように、注目領域の撮像画像Ｃに対してデジタル的な拡大処理を多用して歪曲収差補正を行うと、歪曲収差補正処理後の撮像画像Ｈに画質劣化が生ずる。

このため、実施の形態の画像通信システムは、歪曲収差補正の前処理として、撮像画像に対して光学ズーム処理を施すことで、図２に示す光学的に情報量の増量を図った撮像画像のズーム撮像画像Ｚを得る。そして、ズーム撮像画像Ｚから注目領域の切り出しを行うことで、光学的に情報量の増量を図った注目領域の撮像画像Ｃ（注目画像ともいう）を得る。切り出された注目領域の撮像画像Ｃは、光学ズーム処理により拡大している。このため、主に間引き処理を用いて、切り出された注目領域の撮像画像Ｃに対して歪曲収差補正処理を施す。これにより、デジタル的な拡大処理を極力少なくすることができ、歪曲収差補正処理後の撮像画像Ｈの画質劣化を軽減できる。

換言すると、実施の形態の画像通信システムは、元となる等倍撮像画像Ｔの情報量を可能な限り光学的に増量することで、歪曲収差補正処理時における拡大処理（拡大率）を極力少なくし、歪曲収差補正処理後の撮像画像Ｈの画質劣化を軽減させる。

図３に、実施の形態の画像通信システムのシステム構成図を示す。この図３に示す画像通信システムの各部は、ハードウェアで実現してもよいし、ソフトウェアで実現してもよい。または、ハードウェアおよびソフトウェアで実現してもよい。画像通信システムは、カメラ部１と、ネットワーク送受信部（ＮＷ送受信部）２とを有している。ネットワーク送受信部２は、後述する画像処理部１５で符号化された注目領域画像データを、例えばインターネットまたはＬＡＮ（Local Area Network）等のネットワークを介して、送信先の端末装置に転送する。なお、ＮＷ送受信部２は、送信部の一例である。

カメラ部１は、超広角レンズ１１、ズームドライバ（ズームＤ）１２、撮像部１３、領域切出部１４、画像処理部１５、画像認識部１６およびレンズ特性保持部１７を有している。ズームドライバ１２および画像認識部１６は、撮像制御部の一例である。撮像部１３は、ＣＣＤイメージセンサまたはＣＭＯＳセンサ等の固体撮像素子を有し、超広角レンズ１１によって得られる光学像から電気的な画像信号（撮像画像）を生成する。ＣＣＤは、「Charge Coupled Device」の略記である。ＣＭＯＳは、「Complementary Metal-Oxide Semiconductor」の略記である。領域切出部１４は、撮像部１３により生成された撮像画像から、例えば操作者により指定された注目領域の撮像画像を切り出す。

画像処理部１５は、歪曲補正処理部２１、符号化制御部２２および符号化部２３を有する。画像処理部１５は、符号化制御部２２が符号化部２３を制御することで、領域切出部１４によって切り出された注目領域の撮像画像を符号化する。なお、歪曲補正処理部２１は、歪み補正制御部の一例である。

画像処理部１５は、画像処理モードとして、歪曲収差補正処理および符号化処理を画像通信システム側で行う「第１のモード」を有している。また、画像処理部１５は、歪曲収差補正処理は施さずに、符号化処理のみを施した撮像画像を送信先の端末装置に送信し、歪曲収差補正は送信先の端末装置側で行う「第２のモード」を有している。

注目領域の撮像画像の情報量が、十分に確保できる場合は、第１のモードが選択される。第１のモードにおいては、以下に説明する第２のモードにおけるマクロブロック毎の符号量制御は不用とすることができる。

注目領域の情報量が不十分な場合は、第２のモードが選択される。第２のモードが選択された場合、符号化制御部２２は、例えばＭＰＥＧ等の圧縮符号化方式に従って、注目領域内の符号化ブロック（マクロブロック）毎に符号量の割り当てを制御する（符号化特性を制御する）。具体的には、符号化制御部２２は、撮像画像の中心から注目領域の各符号化ブロックまでの距離に応じて、各符号化ブロックに割り当てる符号量を制御する。ＭＰＥＧは、「Moving Picture Experts Group」の略記である。

レンズ特性保持部１７は、超広角レンズ１１のレンズ特性を記憶している。歪曲補正処理部（または歪み補正部ともいう）２１は、レンズ特性保持部１７に記憶されているレンズ特性を用いて、歪曲収差補正量を制御するためのパラメータを生成する。また、符号化制御部２２は、レンズ特性保持部１７に記憶されているレンズ特性を用いて、符号化部２３の符号量制御を行う。

画像認識部１６は、撮像部１３で撮像された撮像画像全体の情報、および操作者により指定された注目領域の情報を用いて、領域切出部１４で切り出される撮像画像が、例えば最大となるズーム倍率を算出する。画像認識部１６は、算出したズーム倍率を示す倍率制御信号をズームドライバ１２に供給する。ズームドライバ１２は、倍率制御信号を用いて超広角レンズ１１のズーム倍率を制御する。これにより、上述の算出したズーム倍率で光学的に注目領域と共に拡大した撮像画像を得ることができる。

一方、画像認識部１６は、ズーム処理を行っても、後述のように情報量の増量効果が得られないものと判断した場合、画像処理部１５に、歪曲収差補正処理は行わずに符号化処理のみを行うように指示を出す。この場合、歪曲収差補正処理は、送信先の端末装置側で行う。端末装置は、他の機器の一例である。この指示がされると、符号化制御部２２は、ズーム処理を施していない等倍の撮像画像の、画像中心部から注目領域の各符号化ブロックまでの距離に応じて、各符号化ブロックへの符号量を増大させて画質劣化を軽減させる。

図４のフローチャートに、実施の形態の画像通信システムの画像送信動作の流れを示す。まず、ステップＳ１では、画像認識部１６が、等倍率を示す倍率制御信号をズームドライバ１２に供給する。ズームドライバ１２は、超広角レンズ１１を等倍に制御する。これにより、撮像部１３で図１に示した等倍撮像画像Ｔが撮像される。撮像部１３は、等倍撮像画像Ｔを画像認識部１６に供給する。画像認識部１６は、等倍撮像画像Ｔを一旦記憶する。

次に、ステップＳ２では、画像認識部１６が、等倍撮像画像Ｔから切り出しを行う注目領域を示す情報を取得する。一例ではあるが、表示部に表示された等倍撮像画像Ｔ上に、ユーザが手入力で注目領域を設定すると、設定された注目領域に対応する座標データが領域切出部１４に設定される。領域切出部１４は、設定された注目領域に対応する座標データを保持すると共に、画像認識部１６側に送信する。画像認識部１６は、領域切出部１４から送信された注目領域に対応する座標データを取得する。なお、予め定められた一つまたは複数の領域の座標データを、注目領域の座標データとして自動的に取得してもよい。

次に、ステップＳ３では、画像認識部１６が、取得した注目領域の単位面積あたりの座標データ数を所定数以上（例えば最大）とするズーム倍率の倍率制御信号をズームドライバ１２に供給する。ズームドライバ１２は、超広角レンズ１１を上述のズーム倍率に制御する。これにより、撮像部１３で図２に示したズーム撮像画像Ｚが撮像される。撮像部１３は、ズーム撮像画像Ｚを画像認識部１６に供給する。画像認識部１６は、ズーム撮像画像Ｚを一旦記憶する。

次に、ステップＳ４では、画像認識部１６が、各座標データを参照してズーム撮像画像Ｚと注目領域の撮像画像Ｃとの位置関係を解析する。そして、画像認識部１６は、解析結果を用いて、上述のズーム倍率の撮像を行った際に、注目領域の撮像画像Ｃの情報量が所定量以上となるか否かを判別する。図２に示すように、ズーム撮像画像Ｚ内に注目領域の撮像画像Ｃが収まっていれば、注目領域の撮像画像Ｃの情報量が所定量以上となる。この場合、処理がステップＳ５に進み（ステップＳ４：Ｙｅｓ）、画像認識部１６は、歪曲収差補正を行う第１のモードに移行する。

これに対して、図５に示すように、ズーム撮像画像Ｚから注目領域の撮像画像Ｃがはみ出してしまう場合、このはみ出した分、画像データが欠損するため、注目領域の撮像画像Ｃの情報量が所定量よりも少なくなる。この場合、処理がステップＳ９に進み（ステップＳ４：Ｎｏ）、画像認識部１６は、歪曲収差補正を行わずに符号化処理を行う第２のモードに移行する。

第１のモードに移行すると、ステップＳ６において、歪曲補正処理部２１が、図２に示すように注目領域の撮像画像Ｃに対して、例えば特開２０１０−２３９２２１号公報に開示されているように、撮像画像空間から補正画像空間への座標データ変換を行う歪曲収差補正処理を施す。これにより、超広角レンズの大きな歪みを補正して、通常レンズのカメラで撮像された画像と同様の歪曲収差補正処理後の撮像画像Ｈを生成することができる。

注目領域の撮像画像Ｃは、光学ズーム処理により拡大している。このため、主に間引き処理を用いて、注目領域の撮像画像Ｃに対して歪曲収差補正処理を施すことができる。これにより、デジタル的な拡大処理を極力少なくすることができ、歪曲収差補正処理後の撮像画像Ｈの画質劣化を軽減できる。

次に、ステップＳ７では、符号化制御部２２および符号化部２３が、歪曲収差補正処理後の撮像画像Ｈに対して符号化処理を施す。符号化処理された撮像画像Ｈは、画像処理部１５からネットワーク送受信部２に供給され、ステップＳ８において、ネットワーク送受信部２によりネットワークを介して端末装置に送信される。

これに対して、上述のズーム倍率の撮像を行うことで、注目領域の撮像画像Ｃの情報量が所定量よりも少なくなると判別されて第２のモードに移行すると、画像認識部１６は、ステップＳ１０において、ズーム解除を行う。すなわち、画像認識部１６は、倍率を等倍とする倍率制御信号をズームドライバ１２に供給する。ズームドライバ１２は、超広角レンズ１１を等倍率に制御する。

また、第２のモードに移行すると、ステップＳ１１において、符号化制御部２２が、画像認識部１６に記憶されている等倍撮像画像Ｔの注目領域の撮像画像Ｃ(図１参照)の符号化ブロック（マクロブロック）毎に符号量の割り当てを制御する。具体的には、符号化制御部２２は、等倍撮像画像Ｔの画像中心部Ｐから注目領域の撮像画像Ｃの各符号化ブロックまでの距離に応じて、各符号化ブロックに割り当てる符号量を制御する。

すなわち、第２のモードに移行する場合は、光学ズーム処理を行っても注目領域の撮像画像Ｃの情報量の増量が見込めない場合である。このため、第２のモードでは、歪曲収差補正処理を行わずに、画像中心部Ｐからの距離に応じて割り当てられた符号量で、注目領域の撮像画像Ｃの各符号化ブロックを符号化する。これにより、光学ズーム処理で上述の効果が見込めない場合でも、歪曲収差補正処理後の撮像画像Ｈの画質劣化を軽減することができる。

なお、符号化された注目領域の撮像画像Ｃは、画像処理部１５からネットワーク送受信部２に供給され、ステップＳ８において、ネットワーク送受信部２によりネットワークを介して端末装置に送信される。そして、第２のモードで符号化された注目領域の撮像画像Ｃは、端末装置側において、歪曲収差補正処理が施される。

以上の説明から明らかなように、実施の形態の画像通信システムは、超広角レンズ１１で被写体を撮像した撮像画像に注目領域を設定する。そして、注目領域の単位面積あたりの座標データ数を所定数以上（例えば最大）とするズーム倍率となるように、超広角レンズ１１のズーム倍率を制御して被写体を撮像する。これにより、光学的に拡大した被写体の撮像画像を得ることができる。

次に、光学的に拡大した被写体の撮像画像に含まれる注目領域の撮像画像を検出し、注目領域の撮像画像の情報量が所定量以上となる場合は、歪曲収差補正を行う第１のモードに移行する。また、注目領域の撮像画像の情報量が所定量よりも少なくなる場合は、歪曲収差補正を行わない第２のモードに移行する。

第１のモードでは、光学的に拡大した被写体の撮像画像から注目領域の撮像画像を切り出し、切り出した注目領域の撮像画像に歪曲収差補正処理を施して、端末装置に送信する。撮像画像の画像中心部から遠い部分では、広角レンズ特性により単位面積当たりの情報量（補正後の解像度に相当）が少なくなる。このため、歪曲収差補正処理を施すと画質劣化を生ずる。しかし、光学的なズーム機能を用いて被写体を撮像し、注目領域の情報量を多くすることで、歪曲収差補正した撮像画像の解像度劣化を軽減することができる。従って、超広角レンズや魚眼レンズ等の広角レンズを用いた撮像で、歪曲収差補正を行った際に撮像画像に生ずる画質劣化を低減することができる。

これに対して、第２のモードでは、注目領域の撮像画像の情報量が所定量よりも少なくなるため、歪曲収差補正を行わない。この場合、等倍で撮像した撮像画像の画像中心部からの距離に応じて割り当てられた符号量で、注目領域の撮像画像の各符号化ブロックを符号化して端末装置に送信する。歪曲収差補正は、端末装置側で施される。これにより、光学ズーム処理とは異なる手法で、歪曲収差補正処理後の撮像画像の画質劣化を軽減することができる。

上述の各実施の形態は、例として提示したものであり、本発明の範囲を限定することは意図していない。この新規な各実施の形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことも可能である。各実施の形態および各実施の形態の変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１ カメラ部
２ ネットワーク送受信部
１１ 超広角レンズ
１２ ズームドライバ
１３ 撮像部
１４ 領域切出部
１５ 画像処理部
１６ 画像認識部
１７ レンズ特性保持部
２１ 歪曲補正処理部
２２ 符号化制御部
２３ 符号化部
Ｐ 画像中心部
Ｃ 注目領域の撮像画像
Ｔ 等倍撮像画像
Ｈ 歪曲収差補正処理後の撮像画像
Ｚ ズーム撮像画像

特開２０１０−２３９２２１号公報

Claims (7)

1. 撮像部により、広角レンズを用いて撮像された撮像画像から、注目領域の注目画像を切り出す領域切出部と、
   前記注目画像に対して、撮像画像空間から補正画像空間への座標データ変換によって、前記広角レンズを用いた撮像で生じた歪みを補正する歪み補正部と、
   前記注目画像の単位面積当たりの座標データ数を所定数以上とする前記広角レンズのズーム倍率で撮像するように前記撮像部を制御する撮像制御部と、
   前記ズーム倍率で撮像された前記注目画像に対して前記歪みを補正するように前記歪み補正部を制御する歪み補正制御部と
   を有する画像処理装置。
2. 前記歪み補正部により、歪みが補正された前記注目画像を符号化する符号化部を有すること
   を特徴とする請求項１に記載の画像処理装置。
3. 前記ズーム倍率で撮像しても、前記注目画像の単位面積当たりの座標データ数が所定数以上とならない場合、前記撮像部により等倍で撮像された等倍画像の画像中心部から前記注目画像の各符号化ブロックまでの距離に応じて、前記各符号化ブロックへの符号量を割り当てて符号化するように前記符号化部を制御する符号化制御部を有すること
   を特徴とする請求項２に記載の画像処理装置。
4. 前記撮像制御部は、前記注目画像の単位面積当たりの座標データ数を最大とする前記広角レンズのズーム倍率で撮像するように前記撮像部を制御すること
   を特徴とする請求項１〜請求項３のうち、いずれか一項に記載の画像処理装置。
5. 撮像部により、広角レンズを用いて撮像された撮像画像から、領域切出部が、注目領域の注目画像を切り出す領域切出工程と、
   歪み補正部が、前記注目画像に対して、撮像画像空間から補正画像空間への座標データ変換によって、前記広角レンズを用いた撮像で生じた歪みを補正する歪み補正工程と、
   撮像制御部が、前記注目画像の単位面積当たりの座標データ数を所定数以上とする前記広角レンズのズーム倍率で撮像するように前記撮像部を制御する撮像制御工程と、
   歪み補正制御部が、前記ズーム倍率で撮像された前記注目画像に対して前記歪みを補正するように前記歪み補正部を制御する歪み補正制御工程と
   を有する画像処理方法。
6. 広角レンズを用いて撮像画像を撮像する撮像部と、
   前記撮像画像から、注目領域の注目画像を切り出す領域切出部と、
   前記注目画像に対して、撮像画像空間から補正画像空間への座標データ変換によって、前記広角レンズを用いた撮像で生じた歪みを補正する歪み補正部と、
   前記注目画像の単位面積当たりの座標データ数を所定数以上とする前記広角レンズのズーム倍率で撮像するように前記撮像部を制御する撮像制御部と、
   前記ズーム倍率で撮像された前記注目画像に対して前記歪みを補正するように前記歪み補正部を制御する歪み補正制御部と、
   前記歪みが補正された前記注目領域の撮像画像を符号化する符号化部と、
   前記符号化された前記注目領域の撮像画像を、所定のネットワークを介して他の機器に送信する送信部と
   を有する画像通信システム。
7. 前記ズーム倍率で撮像しても、前記注目領域の撮像画像の単位面積当たりの座標データ数が所定数以上とならない場合、前記撮像部により等倍で撮像された等倍画像の画像中心部から前記注目領域の各符号化ブロックまでの距離に応じて、前記各符号化ブロックへの符号量を割り当てて符号化するように前記符号化部を制御する符号化制御部を有すること
   を特徴とする請求項６に記載の画像通信システム。

Images