WO2012081400A1 - 画像処理方法、画像処理装置及び撮像装置 - Google Patents

Abstract

　被写体の正確な認識を図ること、および、比較的小規模な回路で処理時間の短縮化を図ることが可能な画像処理方法、画像処理装置及び撮像装置を提供する。位置及びサイズが設定された仮想投影面の各画素のワールド座標系における座標を前記記憶部に記憶された歪み係数を用いてカメラ座標系に変換し、カメラ座標系に変換した座標及び前記複数の画素データに基づいて、前記仮想投影面の画像データを算出する画像処理部と、前記画像処理部で算出した画像データの表示画面用の画像信号を出力する画像信号出力部と、を有し、前記画像処理部では、前記光学系により生ずる歪みを補正するための第１歪み係数から歪みを補正しない第２歪み係数までの、歪み補正率が１００％から０％までの範囲内で設定された１つ以上の歪み係数と、前記第２歪み係数の複数の歪み係数を用いて算出した複数の画像データを、前記表示画面を分割した複数の領域それぞれに表示させる。

Description

画像処理方法、画像処理装置及び撮像装置

　本願発明は、集光レンズを含む光学系を介して撮像素子により撮像された画像の歪み補正処理を行う、画像処理方法、画像処理装置及び撮像装置に関する。

　一般に、広角レンズあるいは魚眼レンズのような焦点距離の短いレンズや画角の大きなレンズを備えた光学系により撮影した画像は歪曲を伴うので、歪曲を補正する画像処理を行う。特許文献１には従来技術の補正方法として、焦点距離の短いレンズを使用して撮像された撮像画像に生じる歪曲を、レンズの補正用のパラメータを用いて補正する方法が開示されている。

　特許文献２では、光学ズーム機構のワイド端からテレ端までレンズ位置毎の光学歪み補正パラメータの算出を補間演算により行うことは、外部情報処理機器を必要とし、撮像装置単体では処理能力的に難しいという問題に対して、光学ズームを行う範囲内で離散的なレンズ位置に対する光学歪み補正パラメータを備え、そしてズームを行う際のレンズ位置を光学歪み補正パラメータを備えるレンズ位置に制限し、制限された位置間の光学ズームを電子ズームでつないでいる。

　特許文献３では、広角側の画角の場合には歪み補正を行い、広角側でない画角の場合には歪み補正を行わない等、画角切り換え手段により切り換えた画角の違いによって歪み補正量を変更する映像処理装置が開示されている。

特開２００９－１４００６６号公報 特開２００９－１０５５４６号公報 特開２００９－６１９６９号公報

　特許文献１に開示されたように、レンズで得た撮像画像を画像処理装置としてハード化した場合に処理時間が長くなり、回路規模が増大してしまい、コストが嵩んでしまうという問題があった。

　特許文献２では、ズームの際のレンズ位置を離散的な歪み補正パラメータと対応する位置に制限することと、その間を電子ズームで繋ぐことにより、ズーム動作を歪み補正パラメータの補間処理を省略することで撮像装置単体でのズーム動作を実現している。しかし、ズーム動作のような一次元のレンズの動きにのみ適用できることであり、パン、チルト等の多様な動きには適用し難い。

　また歪み補正処理をした後の画像は、視野角が狭くなるので広い領域を一度に認識することは難しくなる。歪み補正処理をおこなわない画像では、視野角は広くなるがその反面、被写体が歪むことにより距離感や大きさの認識が難しくなる。

　特許文献３では、このような問題に対して画角に応じて歪み補正量を異ならせているが、歪み補正量を逐次変更するものではなく、被写体の歪みの改善と、距離感や大きさの正確な認識という２つの問題の双方を解決するものではない。

　本願発明はこのような問題に鑑み被写体の正確な認識を図ること、及び、比較的小規模な回路で、処理時間の短縮化を図ることが可能な、画像処理方法、画像処理装置及び撮像装置を提供することを目的とする。

　上記の目的は、下記に記載する発明により達成される。

　１．光学系を介して複数の画素を有する撮像素子に受光して得られた複数の画素データを用いて処理した画像データを得る画像処理方法において、
　ワールド座標系の仮想投影面の位置及びサイズを設定する第１ステップと、
　前記第１ステップで設定された前記仮想投影面の各画素のワールド座標系における座標を歪み係数を用いてカメラ座標系に変換し、変換したカメラ座標系における座標及び前記複数の画素データに基づいて前記第１ステップで設定された仮想投影面の画像データを算出する第２ステップと、
　前記第２ステップで算出された画像データによる表示画面を表示させる第３ステップと、
　を有し、
　前記第２ステップでは、前記光学系により生ずる歪みを補正するための第１歪み係数から歪みを補正しない第２歪み係数までの、歪み補正率が１００％から０％範囲内で設定された１つ以上の歪み係数と、前記第２歪み係数の複数の歪み係数を用いて複数の画像データを算出し、
　前記第３ステップでは、前記第２ステップで算出した複数の画像データを、前記表示画面を分割した複数の領域それぞれに表示させることを特徴とする画像処理方法。

　２．前記表示画面の分割数は２つであり、２つの前記領域のうちで、
　一方の領域の画像データの算出は、前記第２歪み係数を用いて行い、
　他方の領域画像データの算出は、前記第２歪み係数から前記第１歪み係数まで補間処理により算出した歪み係数であって、前記第２歪み係数から前記第１歪み係数までを連続的に変更した歪み係数を用いて行うことを特徴とする前記１に記載の画像処理方法。

　３．前記表示画面の分割数は２つであり、初期における２つの領域のうちの一方の領域の画面比率を他方の領域の画面比率よりも高くし、
　前記他方の領域を増加させることにより、前記表示画面を分割した２つの領域の画面比率を連続的に変更することを特徴とする前記１又は２に記載の画像処理方法。

　４．前記第１ステップで設定される仮想投影面は複数であり、
　前記第２ステップでは複数の前記仮想投影面それぞれに歪み補正率を異ならせた前記歪み係数を適用して、複数の前記画像データを算出することを特徴とする前記１から３の何れか一項に記載の画像処理方法。

　５．光学系を介して複数の画素を有する撮像素子に受光して得られた複数の画素データを用いて処理した画像データを得る画像処理方法において、
　ワールド座標系における複数の仮想投影面の位置及びサイズを設定する第１ステップと、
　前記第１ステップで設定された前記仮想投影面の各画素のワールド座標系における座標を歪み係数を用いてカメラ座標系に変換し、変換したカメラ座標系における座標及び前記複数の画素データに基づいて前記第１ステップで設定されたそれぞれの仮想投影面の画像データを算出する第２ステップと、
　表示画面を分割した複数の領域それぞれに前記第２ステップで算出された複数の画像データを表示させる第３ステップと、
　前記第３ステップで表示された複数の領域のうちの何れかの領域に対するユーザの選択指示に基づいて、選択された領域の前記表示画面の全領域に対する画面比率を連続的に増加させる、又は選択された領域に対応する前記仮想投影面の位置及びサイズを連続的に変更させる第４ステップと、を有することを特徴とする画像処理方法。

　６．光学系を介して複数の画素を有する撮像素子に受光して得られた複数の画素データを用いて処理した画像データを得る画像処理装置であって、
　歪み係数を記憶する記憶部と、
　位置及びサイズが設定された仮想投影面の各画素のワールド座標系における座標を前記記憶部に記憶された歪み係数を用いてカメラ座標系に変換し、カメラ座標系に変換した座標及び前記複数の画素データに基づいて、前記仮想投影面の画像データを算出する画像処理部と、
　前記画像処理部で算出した画像データの表示画面用の画像信号を出力する画像信号出力部と、
　を有し、
　前記画像処理部では、前記光学系により生ずる歪みを補正するための第１歪み係数から歪みを補正しない第２歪み係数までの、歪み補正率が１００％から０％の範囲内で設定された１つ以上の歪み係数と、前記第２歪み係数の複数の歪み係数を用いて算出した複数の画像データを、前記表示画面を分割した複数の領域それぞれに表示させることを特徴とする画像処理装置。

　７．前記表示画面の分割数は２つであり、２つの前記領域のうちで、
　一方の領域の画像データの算出は、前記第２歪み係数を用いて行い、
　他方の領域画像データの算出は、前記第２歪み係数から前記第１歪み係数まで補間処理により算出した歪み係数であって、前記第２歪み係数から前記第１歪み係数までを連続的に変更した歪み係数を用いて行うことを特徴とする前記６に記載の画像処理装置。

　８．前記表示画面の分割数は２つであり、初期における２つの領域のうちの一方の領域の画面比率を他方の領域の画面比率よりも高くし、
　前記他方の領域を増加させることにより、前記表示画面を分割した２つの領域の画面比率を連続的に変更することを特徴とする前記６又は７に記載の画像処理装置。

　９．前記仮想投影面は複数であり、
　前記画像処理部は、複数の前記仮想投影面それぞれに歪み補正率を異ならせた前記歪み係数を適用して、複数の前記画像データを算出することを特徴とする前記６から８の何れか一項に記載の画像処理装置。

　１０．光学系を介して複数の画素を有する撮像素子に受光して得られた複数の画素データを用いて処理した画像データを得る画像処理装置であって、
　歪み係数を記憶する記憶部と、
　位置及びサイズが設定された複数の仮想投影面の各画素のワールド座標系における座標を前記憶部に記憶された歪み係数を用いてカメラ座標系に変換し、カメラ座標系に変換した座標及び前記複数の画素データに基づいて、前記仮想投影面それぞれの画像データを算出する画像処理部と、
　表示領域を複数領域に分割し、分割した領域に対して前記画像処理部で算出した複数の画像データを配置した表示画面用の画像信号を出力する画像信号出力部と、
　を有し、
　前記画像処理部では、前記複数の領域のうちの何れかの領域に対するユーザの選択指示に基づいて、選択された領域の前記表示画面の全領域に対する画面比率を連続的に増加させる、又は選択された領域に対応する前記仮想投影面の位置及びサイズを連続的に変更させることを特徴とする画像処理装置。

　１１．光学系と、
　複数の画素を有する撮像素子と、
　前記光学系の歪み係数を記憶する記憶部と、
　位置及びサイズが設定された仮想投影面の各画素のワールド座標系における座標を前記光学系の歪み係数を用いてカメラ座標系に変換し、カメラ座標系に変換した座標及び前記撮像素子に受光して得られた複数の画素データに基づいて、前記仮想投影面の画像データを算出する画像処理部と、
　前記画像処理部で算出した画像データの表示画面用の画像信号を出力する画像信号出力部と、
　前記画像信号を表示する表示部と、
　を有し、
　前記画像処理部では、前記光学系により生ずる歪みを補正するための第１歪み係数から歪みを補正しない第２歪み係数までの、歪み補正率が１００％から０％の範囲内で設定された１つ以上の歪み係数と、前記第２歪み係数の複数の歪み係数を用いて算出した複数の画像データを、前記表示画面を分割した複数の領域それぞれに表示させることを特徴とする撮像装置。

　１２．前記表示画面の分割数は２つであり、２つの前記領域のうちで、
　一方の領域の画像データの算出は、前記第２歪み係数を用いて行い、
　他方の領域画像データの算出は、前記第２歪み係数から前記第１歪み係数まで補間処理により算出した歪み係数であって、前記第２歪み係数から前記第１歪み係数までを連続的に変更した歪み係数を用いて行うことを特徴とする前記１１に記載の撮像装置。

　１３．前記表示画面の分割数は２つであり、初期における２つの領域のうちの一方の領域の画面比率を他方の領域の画面比率よりも高くし、
　前記他方の領域を増加させることにより、前記表示画面を分割した２つの領域の画面比率を連続的に変更することを特徴とする前記１１又は１２に記載の撮像装置。

　１４．前記仮想投影面は複数であり、
　前記画像処理部は、複数の前記仮想投影面それぞれに歪み補正率を異ならせた前記歪み係数を適用して、複数の前記画像データを算出することを特徴とする前記１１から１３の何れか一項に記載の撮像装置。

　１５．光学系と、
　複数の画素を有する撮像素子と、
　前記光学系の歪み係数を記憶する記憶部と、
　位置及びサイズが設定された複数の仮想投影面の各画素のワールド座標系における座標を前記光学系の歪み係数を用いてカメラ座標系に変換し、カメラ座標系に変換した座標及び前記撮像素子に受光して得られた複数の画素データに基づいて、前記仮想投影面それぞれの画像データを算出する画像処理部と、
　表示領域を複数領域に分割し、分割した領域に対して前記画像処理部で算出した複数の画像データを配置した表示画面用の画像信号を出力する画像信号出力部と、
　前記画像信号を表示する表示部と、
　を有し、
　前記画像処理部では、前記表示部に表示した複数の領域のうちの何れかの領域に対するユーザの選択指示に基づいて、選択された領域の前記表示画面の全領域に対する画面比率を連続的に増加させる、又は選択された領域に対応する前記仮想投影面の位置及びサイズを連続的に変更させることを特徴とする撮像装置。

　本願発明の画像処理方法、画像処理装置及び撮像装置によれば、第１歪み係数から歪みを補正しない第２歪み係数までの範囲内で設定された１つ以上の歪み係数と、第２歪み係数の複数の歪み係数を用いて算出した複数の画像データを、表示画面を分割した複数の領域それぞれに表示させることにより、被写体の正確な認識を図ることが可能となり、仮想投影面を用いて歪み補正処理を行った画像データの算出を行うことにより比較的小規模な回路で、処理時間の短縮化を図ることができる。

本実施形態に係る歪み補正を説明する模式図である。 仮想投影面ＶＰの位置を移動させた例を示している。 撮像装置の概略構成を示すブロック図である。 本実施形態の制御フローを示す図である。 ユーザ操作部１３０の入力画面の例である。 ユーザ操作部１３０の入力画面の例である。 ユーザ操作部１３０の入力画面の例であり、（ａ）は表示画面全体に対する画面２の画面比率の設定を示す図、（ｂ）は画面２のスライドインの方向を設定する画面を示す図である。 表示部１２０に表示される表示画面の変化（ａ）、（ｂ）、（ｃ）、（ｄ）を示す模式図である。 画面比率０％から５０％まで変更する設定における、参照するＲＡＭ１０９の切り替えを説明するタイムチャートである。 画面比率５０％固定設定における、参照するＲＡＭ１０９の切り替えを説明するタイムチャートである。 座標系を説明する模式図である。 カメラ座標系ｘｙと撮像素子面ＩＡとの対応関係を示す図である。 像高ｈと入射角θとの関係を示す模式図である。 表示部１２０に表示させた表示画面の例である。 表示部１２０に表示させた表示画面の例である。 表示部１２０に表示させた表示画面の例である。 画面２の画面比率が０％の初期画面の表示例である。 画面２の画面比率を１０％から１００％まで１０％ごとに変更する例である。 （ａ）および（ｂ）は第２の実施形態での制御フローを示す図である。 （ａ）および（ｂ）はユーザ操作部１３０の入力画面の例である。 画面Ａの画面比率を２５％から１００％（ｂ１からｂ５）まで増加させる例である。 視点変換を連続的に行った画像の例であり、（ｃ１）から（ｃ３）は左上の画像（画面Ａ）を「右移動」させた例、（ｄ１）から（ｄ３）は「右回転」させた例である。

　本発明を実施の形態に基づいて説明するが、本発明は該実施の形態に限られない。

　図１は、本実施形態に係る歪み補正を説明する模式図である。図１において、Ｘ、Ｙ、Ｚはワールド座標系であり、原点Ｏはレンズ中心である。Ｚは光軸、ＸＹ平面はレンズ中心Ｏを通るレンズ中心面ＬＣを含んでいる。点Ｐはワールド座標系ＸＹＺにおける被写体の物点である。θは光軸（Ｚ軸に一致）に対する入射角である。

　ｘ、ｙはカメラ座標系であり、ｘｙ平面は撮像素子面ＩＡに対応する。ｏは光学中心であり光軸Ｚと撮像素子面との交点である。点ｐはカメラ座標系における撮像素子面上の点であり、物点Ｐをレンズの物理的特性に基づくパラメータ（以下、「レンズパラメータ」という）を用いて生成したＬＵＴ（歪み係数ともいう）を用いてカメラ座標系に変換したものである。

　ＶＰは仮想投影面である。仮想投影面ＶＰは光学系のレンズ位置（レンズ中心面ＬＣ）に対して撮像素子（及び撮像素子面ＩＡ）とは反対側に設定される。仮想投影面ＶＰは、ユーザによる操作部１３０（図３参照）への指示に基づいて、位置の移動及びサイズの変更を行うことが可能である。本願において「位置変更」とは、仮想投影面ＶＰをＸＹ平面上で平行移動させる場合のみならず、ＸＹ平面に対する角度変更（姿勢変更ともいう）をも含む概念である。

　初期状態（初期の位置設定のこと、以下同様）において仮想投影面ＶＰは、所定サイズでレンズ中心面ＬＣと平行（ＸＹ方向）の所定位置（Ｚ方向）に配置され、仮想投影面ＶＰの中心ｏｖはＺ軸上に位置している。Ｇｖは物点Ｐが仮想投影面ＶＰ上に投影された点であり、物点Ｐとレンズ中心Ｏを通る直線と仮想投影面ＶＰとの交点である。図２における仮想投影面ＶＰ１は、仮想投影面ＶＰ０を操作部１３０の入力に基づいてＸＺ平面上で回転させた状態を示している。

　［ブロック図］
　図３は、撮像装置の概略構成を示すブロック図である。撮影装置は、撮像ユニット１１０、画像処理部１００、表示部１２０、ユーザ操作部１３０、同期信号生成回路１５０を備えている。

　撮像ユニット１１０は、短焦点のレンズ、撮像素子等から構成される。本実施形態においては、レンズとしては例えば広角レンズ、魚眼レンズがある。

　画像処理部１００では、ユーザ操作部１３０への入力指示に基づいて仮想投影面ＶＰの位置、サイズの設定、及び歪み補正強度、歪み補正の変化速度及び変化の上下限の設定、表示画面の表示設定、等を行うことができる。また画像処理部は、表示用の画像信号の出力を行う画像信号出力部としても機能する。

　同期信号生成回路１５０では、水平同期信号（Ｈｓｙ）、垂直同期信号（Ｖｓｙ）、基準クロック（ｃｌｋ）が生成され、これらの信号は、撮像ユニット１１０、及び画像処理部１００の歪補正処理部１０１、歪補正パラメータ生成部１０２、ＬＵＴ生成部１０３、ビデオメモリ１０４の各部に送られる。

　仮想投影面ＶＰの位置、サイズの設定をすることにより、パンチ、チルトや、ズームイン、ズームアウト等のカメラの視点変更が行われることになり、これらの設定は歪補正パラメータ生成部１０２により変換されて歪補正パラメータとして歪補正処理部１０１に送られる。

　歪み補正の変化速度、変化幅の設定情報はＬＵＴ生成部１０３に送られ、これらの情報とＲＯＭ１０８に記憶されているレンズパラメータの情報によりＬＵＴが生成される。ＲＯＭ１０８には、少なくとも２つレンズパラメータが記憶されている。一つは、撮像ユニット１１０の実レンズの物理特性に基づくレンズパラメータであり、もう一つは歪み補正を行わない場合（ピンホールレンズに相当する）のレンズパラメータである。それぞれのレンズパラメータにより生成されるＬＵＴは第１ＬＵＴ、第２ＬＵＴ（それぞれ「第１歪み係数」、「第２歪み係数」ともいう）である。

　ＬＵＴ生成部１０３で生成したＬＵＴは、ＲＡＭ１０９ａ又はＲＡＭ１０９ｂ（以下、これらを総称してＲＡＭ１０９ともいう）に書き込まれる。書き込みは、同期信号生成回路１５０から送られた垂直同期信号（Ｖｓｙ）に同期したタイミングで行われる。

　歪補正処理部１０１では、撮像ユニットからの入力画像に対して、歪補正パラメータ生成部から送られた歪補正パラメータ、ＲＡＭ１０９に保存されているＬＵＴを用いて歪み補正処理を行い、出力画像を生成する。出力画像は、ビデオメモリ１０４に書き込まれ、同期信号生成回路１５０からの同期信号に合わせて１フレーム毎に表示部１２０に送られる。

　表示部１２０は、液晶ディスプレイ等の表示画面を備え、送られた出力画像を逐次、表示画面に表示させる。

　ユーザ操作部１３０は、キーボード、マウス、あるいは表示用の液晶ディスプレイに重畳して配置したタッチパネルを備え、ユーザの入力操作を受け付ける。

　［制御フロー］
　図４は、本実施形態の制御フローを示す図である。以下、図４から図１０に基づいて歪補正処理について説明する。

　ステップＳ１０では、歪補正パラメータの設定を行う。歪補正パラメータは、レンズパラメータの設定と仮想投影面ＶＰの位置設定とからなる。これらの設定はユーザ操作部１３０の入力により歪補正パラメータ生成部により行われる。

　図５は、ユーザ操作部１３０の入力画面の例である。入力画面の領域ａ５１を設定することにより、２つの画面それぞれについて初期と終期の歪み係数の設定を行う。本実施形態においては（初期と終期の設定が同一の場合を除いて）初期から終期までは画面が連続して変化するように見えるものであり、終期はその連続する区間の最後である。終期の直後は初期の状態となりその終期と初期との間は不連続に変化するように見える。後述する設定画面により設定した周期で初期から終期までの画像を変化させこれを繰り返す。

　初期と周期の歪み係数の設定は、領域ａ５１の何れかを指定することにより不図示の数値入力画面が表示されるので、その数値入力画面により行う。図５において歪み補正率０％とは歪補正を行わない第２歪み係数のことである。補正率１００％とは歪補正を行う第１歪み係数のことである。歪み補正率１００％から０％の間の歪み補正率に対応する歪み係数は、第１歪み係数から第２歪み係数までを線形補間等の補間処理により算出した歪み係数である。

　図５に示す領域ａ５２により初期から終期までの時間（周期）を設定することができる。同図の例では５ｓｅｃに設定されており、５ｓｅｃ周期で初期から終期まで変化させこれを繰り返す。

　次に他の例を図６に示す。図５に示す例では歪み係数のみを設定していたが、図６では歪み係数とともに視点変換を行う例であり、歪み係数の設定は領域ａ５１により、視点変換は領域ａ５４により行うことができる。

　図６に示す例において「正面」とは図１に示すように仮想投影面ＶＰが初期状態の位置に設けた例であり、「下方－４５ｄｅｇ」とはｐｉｔｃｈのことであり、カメラ座標系の画像中心ｏ（図１参照）を回転中心（若しくは移動中心）として仮想投影面ＶＰの位置をｘ軸回りに４５ｄｅｇ下方に回転させることである。この場合、視点位置は、初期の正面から、終期の下方を見下ろす俯瞰視点に変化させることになる。なお、同図に示す例では、仮想投影面ＶＰは２つ設定することになる。初期にのみ２つの仮想投影面ＶＰは位置、大きさが一致しているが、画面２に対応する仮想投影面ＶＰの位置は除々に移動することになる。また同図の例では画面２に対応する仮想投影面ＶＰの位置を変更する例を示しているが、両方の位置を独立に変更させるようにしてもよく、また位置変更とともにサイズ（ズームに相当）を変更するように設定してもよい。

　図４の説明に戻る。ステップＳ１１では、表示画面設定を行う。表示画面設定は、図７に示す様なユーザ操作部１３０の入力画面により行う。図７（ａ）では、画面１と画面２からなる表示画面全体に対する画面２の画面比率（＝画面２／（画面１＋画面２））の設定を、図７（ｂ）では画面２のスライドインの方向を設定する画面を示している。図７（ａ）に示す例では上から３番目が選択されており、これにより画面２の画面比率は初期０％から終期５０％までステップＳ１０で設定した周期で変更することを示している。図７（ｂ）では上向き矢印が選択されており、この設定では画面２は表示画面の下端から上方に向かってスライドインさせる。

　なお、図７（ａ）の上から４番目と５番目の設定では、画面２は初期から２５％、５０％の画面比率を占めることになり、この場合には図７（ｂ）の設定画面は、画面２の初期の配置位置を設定する画面として機能することになる。

　図８は、図７（ａ）、図７（ｂ）の設定における表示部１２０に表示される表示画面の変化を示す模式図であり、図８（ａ）は初期の表示画面、図８（ｄ）は終期の表示画面、図８（ｂ）、図８（ｃ）は初期から終期に変更する間の画面２の画面比率が１０％、３０％での表示画面を示している。

　なお、図５から図８に示す例においては、２つの画面を表示する例を示したが、２つに限られず３つ以上の画面を表示するようにしても良い。

　図４の説明に戻る。ステップＳ２１では、撮像ユニット１１０から画像信号が入力され、例えばフレームレート３０ｆｐｓで入力画像が得られる。

　ステップＳ２２では、仮想投影面ＶＰの各画素の座標をワールド座標系からカメラ座標系に変換する（ｗ２ｃ変換）。座標系の変換とはすなわち、歪み係数に基づいてワールド座標の位置がカメラ座標のどの座標位置に対応するかを当てはめる座標変換を行うものであり、この際に歪み補正及び、仮想投影面ＶＰの位置の計算にともなう回転、平行移動、拡大、縮小等の視点変換が併せて行われる。なお、本実施形態においてはステップＳ１０の設定により、歪み係数としては、（Ａ１）第２歪み係数及び第２歪み係数と第１歪み係数の間の歪み係数の２つの歪み係数（図５参照）、（Ａ２）１つの第２歪み係数及び第２歪み係数と第１歪み係数の間の複数の歪み係数の３つ以上の歪み係数の２態様があり、仮想投影面ＶＰの面数としては（Ｂ１）１つ、（Ｂ２）２つ以上（図６参照は２つの例）があり、歪みパラメータの設定としてはこれらを組み合わせが考えられる。ステップＳ２２では設定された歪みパラメータの設定に対応して座標変換を行う。

　ステップＳ２２で用いる２つあるいは３つ以上の歪み係数はＲＡＭ１０９ａ、１０９ｂに記憶されている歪み係数を参照することにより行う。そしてＲＡＭ１０９ｂに記憶されている歪み係数はフレーム毎に書き込まれ、更新されるものである。

　図９、図１０は、参照するＲＡＭ１０９の切り替えを説明するタイムチャートである。これらの図の上段は、撮像ユニット１１０の撮像素子の動作を、下段は画像処理部１００の動作を示している。同図において、垂直同期信号Ｖｓｙは同期信号生成回路１５０からの同期信号であり、１フレームの画像信号ＶＤにはそれぞれフレームの番号（ｆ１、ｆ２等）を示している。垂直同期信号Ｖｓｙの周期としては例えば３０Ｈｚあるいは６０Ｈｚであり、前者であればフレームレート３０ｆｐｓで画像データの処理を行っている。

　図９は、全体に対する画面２の画面比率を０％から５０％まで１０％／１フレームの変化率で変化させた例でありｆ０～ｆ５は、画面比率０％～５０％に対応する。図１０は同画面比率を５０％固定した例である。ｆ０～ｆ５の何れも画面比率は５０％である。なお同図に示す例は図示をわかり易くするための極端な例であり実際には、１％／３フレーム（５ｓｅｃで５０％）程度の速度で変更している。

　ＬｕｔＳｅｌは、読み込みに使用するＲＡＭを選択するスイッチであり、ＨレベルのときはＲＡＭ１０ａを、ＬレベルのときはＲＡＭ１０９ｂを選択する。同図に示す例では、ＲＡＭ１０９ａは固定の歪み係数（例えば第２歪み係数）を適用しており、ＲＡＭ１０９ｂにはフレーム毎に歪み係数（例えば第２歪み係数から第１歪み係数）を変更させている。ＲＡＭ１０９において、濃い網掛け部のｗｒは書き込みを、薄い網掛け部のｒｄは読み出しを行う期間を示している。画像処理部１００では、基準クロック（ｃｌｋ）を用いて同期信号生成回路１５０からの同期信号に対してディレイを加えている。垂直同期信号Ｖｓｙの信号がＬレベルのＶブランキング期間（符号：Ｖｂｌａｎｋ）にＲＡＭ１０９ｂへのＬＵＴの変更を行うことにより、１フレーム毎に、ＬＵＴの更新を行っている。そして画像処理部１００では、ＲＡＭ１０９ａから読み出した歪み係数により画面１（ＳＣ１）を、ＲＡＭ１０９ｂから読み出した歪み係数により画面２（ＳＣ２）の画像データの生成を行う。なお、３画面以上に対応した画像データの生成を行うために３つ以上の歪み係数を並行して用いるような場合には、歪み係数の上限数に対応した個数のＲＡＭを備える構成としても良く、ＲＡＭの内部を複数の固定メモリ領域に分割することにより複数の歪み係数に対応するようにしても良い。

　次に図１１から図１３を参照して、座標変換について説明する。図１１は、座標系を説明する模式図である。図１１に示すようにワールド座標系における仮想投影面ＶＰの４隅の点Ａ（０，０，Ｚａ）、点Ｂ（０，４７９，Ｚｂ）、点Ｃ（６３９，４７９，Ｚｃ）、点Ｄ（６３９，０，Ｚｄ）で囲まれる平面を等間隔で６４０×４８０ｐｉｘｅｌの画素Ｇ
ｖ（総画素数３０．７万）に分割し、全ての画素Ｇｖそれぞれのワールド座標系における座標を取得する。なお同図におけるＸ、Ｙ座標の値は例示であり、理解を容易にするために、Ａ点のＸ、Ｙ座標をゼロとして表示している。

　画素Ｇｖのワールド座標系での座標と、後述する歪補正パラメータ設定で設定されたレンズパラメータに基づく歪み係数から、撮像素子面ＩＡでの対応するカメラ座標系での座標Ｇｉ（ｘ’，ｙ’）を算出する。具体的には、当該歪み係数と各画素Ｇｖの座標から得られる、光軸Ｚに対する入射角度θにより算出している（参考文献：国際公開第２０１０／０３２７２０号）。

　図１２は、カメラ座標系ｘｙと撮像素子面ＩＡとの対応関係を示す図である。図１２において点ａ～ｄは、図１１の点Ａ～Ｄを、レンズパラメータに対応した歪み係数（第１歪み係数）に基づいてカメラ座標系に変換したものである。なお図１１では点Ａ～Ｄで囲まれる仮想投影面ＶＰは矩形の平面であるが、図１２においてカメラ座標系に座標変換した後の点ａ～ｄで囲まれる領域ｒａは（仮想投影面ＶＰの位置に対応して）歪んだ形状となる。なお同図においては樽型形状に歪んだ例を示しているが、光学系の特性により糸巻型、陣笠型（中央では樽型で端部では直線あるいは糸巻型に変化する形状）の歪みとなる場合もある。

　図１３は、像高ｈと入射角θとの関係を示す模式図である。被写体（物点Ｐ）の撮像素子面ＩＡ上の像高（光軸Ｚからの距離）は、入射角θと歪み係数で決定される。ｐｉは歪み補正を行わないレンズパラメータにより決定される撮像素子面ＩＡ上の物点Ｐの結像位置であり、光軸からの距離（像高）はピンホールカメラのように、入射角θの正接関数に比例する。Ｇｉは実レンズの物理特性に基づくレンズパラメータにより決定された歪み係数を用いて算出される歪み補正後の結像位置であり、その際の像高はｈである。

　このようにして撮影素子面ＩＡ上におけるカメラ座標系の座標は、レンズパラメータに基づく歪み係数、及びワールド座標系における仮想投影面ＶＰの位置により決定される。　

　ステップＳ２３では、ステップＳ２１で入力された画像信号に対して、ステップＳ２２での処理を行うことにより撮像素子の座標Ｇｉの画素データを用いて画像生成が行われる。画像生成の方法としては以下に説明するように４点補間がある。

　図１１に示したようにｗ２ｃ変換により決定される座標Ｇｉ（ｘ’，ｙ’）から参照する撮像素子の画素を決定するが、この際に撮像素子の各画素の座標（ｘ，ｙ）におけるｘ、ｙは整数であるが、ｗ２ｃ変換後の座標Ｇｉ（ｘ’，ｙ’）のｘ’、ｙ’は整数とは限らず小数部分を持つ実数値を取り得る。ｘ’、ｙ’が整数で、座標Ｇｉ（ｘ’，ｙ’）と撮像素子の画素の位置とが一致する場合には、対応する撮像素子の画素の画素データを仮想投影面ＶＰ上の画素Ｇｖ（Ｘ，Ｙ，Ｚ）に対応する出力画像の画素データとして用いることが可能である。一方で、ｘ’、ｙ’が整数でなくｘ’、ｙ’とｘ、ｙとが一致しない場合には４点補間として、画素Ｇｖに対応する出力画像の画素データとして、算出された座標Ｇｉ（ｘ’，ｙ’）周辺の画素、座標Ｇｉ（ｘ’，ｙ’）の位置に近接する上位４箇所の画素の画素データを用いて、これらの単純平均値あるいは、座標Ｇｉ（ｘ’，ｙ’）に対する距離により近接する４箇所の画素に対して重み付けをして算出した画素データを用いる。なお４点補間に限られず、周辺の箇所としては１箇所の単純補間や、１６箇所若しくはそれ以上を用いる多点補間であってもよい。

　ステップＳ２４では生成された画像に基づいて出力処理を行う。出力処理としてはデモザイク処理において、周辺画素の信号から各画素のＢＧＲデータの演算を行って出力画像を得ることができる。デモザイク処理とは、例えば撮像素子がベイヤー配列で並んだ画素で構成されることにより各画素が１色分の色情報しか持たない場合に、周辺画素の情報から補間処理することにより３色分の色情報を算出することである。

　ステップＳ２５では、「画像出力部」として機能する画像処理部１００は、ステップＳ２４で得られた出力画像をビデオメモリ１０４に送り、同期信号に同期させて表示部１２０に表示させる。これを連続して行うことにより表示部１２０には、３０ｆｐｓの動画像が表示される。

　図１４から図１６は、本実施形態における表示部１２０に表示させた表示画面の例である。図１４は、初期の画像として、第２歪み係数により処理した画像を画面１として全画面表示させた例である（図８（ａ）参照）。この際の画面２の画面比率は０％である。

　図１５は、終期の画像として画面２の画面比率を５０％で表示させた例である。画面２は、第１歪み係数により処理した画像を表示させている。

　図１６は、終期の画像として同じく画面２の画面比率を５０％で表示させた例である。画面２は、第１歪み係数により処理した画像を表示させている。そして更に、「－４５ｄｅｇ（下方）」への視点変換も併せて行っている。

　図１７、図１８は、表示部１２０表示画面において、画面２の画面比率を０％から１００％まで変更する例である。画面１の歪み補正率は０％、画面２の歪み補正率は１００％で共に固定設定である。また画面１に対応する仮想投影面ＶＰは正面に位置し、画面２に対応する仮想投影面ＶＰの位置は、図１７の赤枠の位置に対応している。図１７は初期の画面を示しており、図１８は画面比率及び歪み補正率が共に１０％～１００％まで変更した、時系列順に表示した画面ａ１（１０％）～ａ１０（１００％）を示している。

　本実施形態によれば、このように第１歪み係数から歪みを補正しない第２歪み係数までの範囲内で設定された１つ以上の歪み係数と、第２歪み係数の複数の歪み係数を用いて算出した複数の画像データを、複数画面表示することにより、被写体の正確な認識を図ることが可能となる。

　［第２の実施形態］
　図１９（ａ）、図１９（ｂ）は、第２の実施形態での制御フローを示す図である。同図のフローは図４のステップＳ１０、Ｓ１１に対応するものである。これらのフローは、図２０に示すユーザ操作部１３０の入力画面を用いて設定するものである。

　まずは図１９（ａ）を参照して説明する。ステップＳ１０１では、歪補正パラメータ設定として仮想投影面ＶＰの個数（面数）及び、設定した各仮想投影面ＶＰの位置、サイズを設定する。設定は図２０の入力画面において行う。同図において選択ボタンａ９１にカーソルＣＳを合わせることにより画面分割数（仮想投影面数）を設定することができる。同図に示す例では、４面の仮想投影面ＶＰが設定されている状態を示している。仮想投影面ＶＰの位置、及びサイズの設定は、設定領域ａ８０に示す四角枠Ａ～Ｄの位置、サイズを変更することにより行う。四角枠Ａ～Ｄの位置の移動、サイズの変更はカーソルＣＳを操作することにより行うことができる。

　領域ａ９０は表示画面の配置を示すものであり、同図の配置で表示部１２０に動画像が表示される。同図においては、領域ａ８０の四角枠Ａ～Ｄに対応したそれぞれの仮想投影面ＶＰにより得られた画像データが、画面Ａ～Ｄのように配置されることを示している。仮想投影面ＶＰの面数が４面の選択条件における仮想投影面ＶＰの位置のデフォルト設定は図２０（ａ）に示すように全体（四角枠Ａ）、左側方（四角枠Ｂ）、正面（四角枠Ｃ）、右側方（四角枠Ｄ）である。図２０（ｂ）は、４面の仮想投影面ＶＰの位置、サイズを変更した状態を示している。

　ステップＳ１０２では、表示画面設定として画面の配置、及び画面の選択を行う。図２０（ａ）に示す例では、領域ａ９０に示す領域の交点ａ９２の位置を移動することにより、各画面の大きさを変更することができる。またカーソルＣＳを操作することにより、領域ａ９０に表示しているいずれかの画面を選択することができる。図２０（ｂ）に示す例では、画面Ａが選択されており、これにより制御上は画面Ａに対応する仮想投影面ＶＰが選択されたことになる。

　ステップＳ１０３では、ステップＳ１０２で選択された選択画面（画面Ａ）の表示画面の全領域に対する画面比率を連続的に増加させる。これは、図２０（ｂ）に示す様に「画面領域拡大」ボタンａ９３を選択することにより実行されるものである。ステップＳ１０３以降は、図４のステップＳ２１以降の制御フローを実行する。これを動画像の１フレーム毎に実行することにより画面比率の変更を連続的に行った動画像を表示部１２０に表示させる。

　図２１は、選択画面（画面Ａ）の表示画面の全領域に対する画面比率を連続的に増加させる設定となっていた場合の、表示部１２０の表示画面の例である。

　図２１は、図２０（ｂ）の設定例に基づいて、（ｂ１）から（ｂ５）まで時系列順に、左上に示す画面Ａの表示画面の全領域に対する画面比率を２５％（ｂ１）から１００％（ｂ５）まで連続的に増加させた例を示している。

　このように、本実施形態によれば、設定した複数の仮想投影面に基づいて生成した複数の画像データを、４画面等の複数の分割領域にそれぞれ表示させた際に、各画像の認識性を向上させるために拡大表示することにより認識性が向上する、そして拡大表示への遷移を連続して除々に行うことにより、ユーザは混乱せずに、被写体の正確な認識を図ることが可能となる。

　［第２の実施形態の変形例］
　続いて、図１９（ｂ）の制御フローについて説明する。同図においては図１９（ａ）のステップＳ１０３に代えてステップＳ１０４の制御を実行するものである。

　前述した図２０に示すボタン群ａ９４は、視点変換の指示を入力するものでありズームや、左右移動、左右回転を行うことができる。ここで左右移動とは選択した画面に対応する仮想投影面ＶＰをワールド座標系のその位置での仮想投影面ＶＰの面の広がり方向に平行移動することであり、左右回転とは当該位置において仮想投影面ＶＰの中心を回転中心として回転させることである。仮想投影面ＶＰが正面位置（初期状態）であれば前者はワールド座標系でのＸ軸方向の移動に相当し、後者はｒｏｌｌに相当する。なお同図に示す視点変換は例示であり、この他の視点変換の例として、ｐｉｔｃｈやｙａｗの移動を選択できる様にしても良い。

　ボタン群ａ９４の何れかを選択することにより、領域ａ９０で選択されている選択画面（図２０（ｂ）の例では画面Ａ）に対応する仮想投影面ＶＰに対して選択した視点変換を連続的に行う。ステップＳ１０４以降は、図４のステップＳ２１以降の制御フローを実行する。これを動画像の１フレーム毎に実行することにより、視点変換を連続的に行った動画像を表示部１２０に表示させる。

　図２２は、視点変換を連続的に行った画像の例である。（ｃ１）から（ｃ３）は左上の画像（画面Ａ）を「右移動」させた例であり、（ｄ１）から（ｄ３）は「右回転」させた例である。

　本実施形態によれば、設定した複数の仮想投影面に基づいて生成した複数の画像データを、４画面等の複数の分割領域にそれぞれ表示させた際に、各画像の認識性を向上させるために視点変換を連続的に行うことにより認識性が向上する、そして拡大表示への遷移を連続して除々に行うことにより、ユーザは混乱せずに、被写体の正確な認識を図ることが可能となる。

　なお、本発明は、本明細書に記載の実施の形態に限定されるものではなく、他の実施の形態や変形例を含むことは、本明細書に記載された実施の形態や技術的思想から本分野の当業者にとって明らかである。

　１００　画像処理部
　１０１　歪補正処理部
　１０２　歪補正パラメータ生成部
　１０３　ＬＵＴ生成部
　１０４　ビデオメモリ
　１０８　ＲＯＭ
　１０９ａ、１０９ｂ　ＲＡＭ
　１１０　撮像ユニット
　１２０　表示部
　１３０　ユーザ操作部
　１５０　同期信号生成回路
　ＶＰ　仮想投影面
　ＬＣ　レンズ中心面
　ＩＡ　撮像素子面
　Ｏ　レンズ中心
　ｏ　光学中心

Claims (15)

1. 　光学系を介して複数の画素を有する撮像素子に受光して得られた複数の画素データを用いて処理した画像データを得る画像処理方法において、
   　ワールド座標系の仮想投影面の位置及びサイズを設定する第１ステップと、
   　前記第１ステップで設定された前記仮想投影面の各画素のワールド座標系における座標を歪み係数を用いてカメラ座標系に変換し、変換したカメラ座標系における座標及び前記複数の画素データに基づいて前記第１ステップで設定された仮想投影面の画像データを算出する第２ステップと、
   　前記第２ステップで算出された画像データによる表示画面を表示させる第３ステップと、
   　を有し、
   　前記第２ステップでは、前記光学系により生ずる歪みを補正するための第１歪み係数から歪みを補正しない第２歪み係数までの、歪み補正率が１００％から０％範囲内で設定された１つ以上の歪み係数と、前記第２歪み係数の複数の歪み係数を用いて複数の画像データを算出し、
   　前記第３ステップでは、前記第２ステップで算出した複数の画像データを、前記表示画面を分割した複数の領域それぞれに表示させることを特徴とする画像処理方法。
2. 　前記表示画面の分割数は２つであり、２つの前記領域のうちで、
   　一方の領域の画像データの算出は、前記第２歪み係数を用いて行い、
   　他方の領域画像データの算出は、前記第２歪み係数から前記第１歪み係数まで補間処理により算出した歪み係数であって、前記第２歪み係数から前記第１歪み係数までを連続的に変更した歪み係数を用いて行うことを特徴とする請求項１に記載の画像処理方法。
3. 　前記表示画面の分割数は２つであり、初期における２つの領域のうちの一方の領域の画面比率を他方の領域の画面比率よりも高くし、
   　前記他方の領域を増加させることにより、前記表示画面を分割した２つの領域の画面比率を連続的に変更することを特徴とする請求項１又は２に記載の画像処理方法。
4. 　前記第１ステップで設定される仮想投影面は複数であり、
   　前記第２ステップでは複数の前記仮想投影面それぞれに歪み補正率を異ならせた前記歪み係数を適用して、複数の前記画像データを算出することを特徴とする請求項１から３の何れか一項に記載の画像処理方法。
5. 　光学系を介して複数の画素を有する撮像素子に受光して得られた複数の画素データを用いて処理した画像データを得る画像処理方法において、
   　ワールド座標系における複数の仮想投影面の位置及びサイズを設定する第１ステップと、
   　前記第１ステップで設定された前記仮想投影面の各画素のワールド座標系における座標を歪み係数を用いてカメラ座標系に変換し、変換したカメラ座標系における座標及び前記複数の画素データに基づいて前記第１ステップで設定されたそれぞれの仮想投影面の画像データを算出する第２ステップと、
   　表示画面を分割した複数の領域それぞれに前記第２ステップで算出された複数の画像データを表示させる第３ステップと、
   　前記第３ステップで表示された複数の領域のうちの何れかの領域に対するユーザの選択指示に基づいて、選択された領域の前記表示画面の全領域に対する画面比率を連続的に増加させる、又は選択された領域に対応する前記仮想投影面の位置及びサイズを連続的に変更させる第４ステップと、を有することを特徴とする画像処理方法。
6. 　光学系を介して複数の画素を有する撮像素子に受光して得られた複数の画素データを用いて処理した画像データを得る画像処理装置であって、
   　歪み係数を記憶する記憶部と、
   　位置及びサイズが設定された仮想投影面の各画素のワールド座標系における座標を前記記憶部に記憶された歪み係数を用いてカメラ座標系に変換し、カメラ座標系に変換した座標及び前記複数の画素データに基づいて、前記仮想投影面の画像データを算出する画像処理部と、
   　前記画像処理部で算出した画像データの表示画面用の画像信号を出力する画像信号出力部と、
   　を有し、
   　前記画像処理部では、前記光学系により生ずる歪みを補正するための第１歪み係数から歪みを補正しない第２歪み係数までの、歪み補正率が１００％から０％の範囲内で設定された１つ以上の歪み係数と、前記第２歪み係数の複数の歪み係数を用いて算出した複数の画像データを、前記表示画面を分割した複数の領域それぞれに表示させることを特徴とする画像処理装置。
7. 　前記表示画面の分割数は２つであり、２つの前記領域のうちで、
   　一方の領域の画像データの算出は、前記第２歪み係数を用いて行い、
   　他方の領域画像データの算出は、前記第２歪み係数から前記第１歪み係数まで補間処理により算出した歪み係数であって、前記第２歪み係数から前記第１歪み係数までを連続的に変更した歪み係数を用いて行うことを特徴とする請求項６に記載の画像処理装置。
8. 　前記表示画面の分割数は２つであり、初期における２つの領域のうちの一方の領域の画面比率を他方の領域の画面比率よりも高くし、
   　前記他方の領域を増加させることにより、前記表示画面を分割した２つの領域の画面比率を連続的に変更することを特徴とする請求項６又は７に記載の画像処理装置。
9. 　前記仮想投影面は複数であり、
   　前記画像処理部は、複数の前記仮想投影面それぞれに歪み補正率を異ならせた前記歪み係数を適用して、複数の前記画像データを算出することを特徴とする請求項６から８の何れか一項に記載の画像処理装置。
10. 　光学系を介して複数の画素を有する撮像素子に受光して得られた複数の画素データを用いて処理した画像データを得る画像処理装置であって、
    　歪み係数を記憶する記憶部と、
    　位置及びサイズが設定された複数の仮想投影面の各画素のワールド座標系における座標を前記憶部に記憶された歪み係数を用いてカメラ座標系に変換し、カメラ座標系に変換した座標及び前記複数の画素データに基づいて、前記仮想投影面それぞれの画像データを算出する画像処理部と、
    　表示領域を複数領域に分割し、分割した領域に対して前記画像処理部で算出した複数の画像データを配置した表示画面用の画像信号を出力する画像信号出力部と、
    　を有し、
    　前記画像処理部では、前記複数の領域のうちの何れかの領域に対するユーザの選択指示に基づいて、選択された領域の前記表示画面の全領域に対する画面比率を連続的に増加させる、又は選択された領域に対応する前記仮想投影面の位置及びサイズを連続的に変更させることを特徴とする画像処理装置。
11. 　光学系と、
    　複数の画素を有する撮像素子と、
    　前記光学系の歪み係数を記憶する記憶部と、
    　位置及びサイズが設定された仮想投影面の各画素のワールド座標系における座標を前記光学系の歪み係数を用いてカメラ座標系に変換し、カメラ座標系に変換した座標及び前記撮像素子に受光して得られた複数の画素データに基づいて、前記仮想投影面の画像データを算出する画像処理部と、
    　前記画像処理部で算出した画像データの表示画面用の画像信号を出力する画像信号出力部と、
    　前記画像信号を表示する表示部と、
    　を有し、
    　前記画像処理部では、前記光学系により生ずる歪みを補正するための第１歪み係数から歪みを補正しない第２歪み係数までの、歪み補正率が１００％から０％の範囲内で設定された１つ以上の歪み係数と、前記第２歪み係数の複数の歪み係数を用いて算出した複数の画像データを、前記表示画面を分割した複数の領域それぞれに表示させることを特徴とする撮像装置。
12. 　前記表示画面の分割数は２つであり、２つの前記領域のうちで、
    　一方の領域の画像データの算出は、前記第２歪み係数を用いて行い、
    　他方の領域画像データの算出は、前記第２歪み係数から前記第１歪み係数まで補間処理により算出した歪み係数であって、前記第２歪み係数から前記第１歪み係数までを連続的に変更した歪み係数を用いて行うことを特徴とする請求項１１に記載の撮像装置。
13. 　前記表示画面の分割数は２つであり、初期における２つの領域のうちの一方の領域の画面比率を他方の領域の画面比率よりも高くし、
    　前記他方の領域を増加させることにより、前記表示画面を分割した２つの領域の画面比率を連続的に変更することを特徴とする請求項１１又は１２に記載の撮像装置。
14. 　前記仮想投影面は複数であり、
    　前記画像処理部は、複数の前記仮想投影面それぞれに歪み補正率を異ならせた前記歪み係数を適用して、複数の前記画像データを算出することを特徴とする請求項１１から１３の何れか一項に記載の撮像装置。
15. 　光学系と、
    　複数の画素を有する撮像素子と、
    　前記光学系の歪み係数を記憶する記憶部と、
    　位置及びサイズが設定された複数の仮想投影面の各画素のワールド座標系における座標を前記光学系の歪み係数を用いてカメラ座標系に変換し、カメラ座標系に変換した座標及び前記撮像素子に受光して得られた複数の画素データに基づいて、前記仮想投影面それぞれの画像データを算出する画像処理部と、
    　表示領域を複数領域に分割し、分割した領域に対して前記画像処理部で算出した複数の画像データを配置した表示画面用の画像信号を出力する画像信号出力部と、
    　前記画像信号を表示する表示部と、
    　を有し、
    　前記画像処理部では、前記表示部に表示した複数の領域のうちの何れかの領域に対するユーザの選択指示に基づいて、選択された領域の前記表示画面の全領域に対する画面比率を連続的に増加させる、又は選択された領域に対応する前記仮想投影面の位置及びサイズを連続的に変更させることを特徴とする撮像装置。

Images