JP2004289225A

JP2004289225A - 撮像装置

Info

Publication number: JP2004289225A
Application number: JP2003075568A
Authority: JP
Inventors: Tetsuya Katagiri; 哲也片桐
Original assignee: Minolta Co Ltd
Current assignee: Minolta Co Ltd
Priority date: 2003-03-19
Filing date: 2003-03-19
Publication date: 2004-10-14

Abstract

【課題】所定の歪曲収差を有する撮像画像を表示用の表示画像に変換する際に生じる変換不能領域を補正すると共に、有効に利用することができる撮像装置を提供する。
【解決手段】撮像素子２０２は、複数の画素が２次元的に配置されてなる撮像面に結像される光像を各画素で電気信号に光電変換し、結像部２０１は、撮像された画像の中心部分と周辺部分とで分解能が異なる光像を撮像面に結像し、画像生成部２０３は、撮像素子２０２から出力される電気信号に基づいて撮像画像を生成し、画像処理部２０６は、画像生成部２０３によって生成された撮像画像を表示用の表示画像に変換し、画像合成部２０７は、撮像画像から表示画像に変換する際に生じる表示画像内の変換不能な領域を、別途撮像した表示画像の一部を用いて補正する。
【選択図】図５

Description

【０００１】
【発明の属する技術分野】
本発明は、撮像された撮像画像を表示画像に変換する際に生じる表示画像内の変換不能な領域を有効利用するための撮像装置に関するものである。
【０００２】
【従来の技術】
従来、ＣＣＤ等の撮像素子を用いたデジタルカメラにおいて、複数の部分的に撮像された画像を合成してなる被写体全体の撮像画像を生成することにより解像度を高める方法が提案されている（例えば、特許文献１参照）。
【０００３】
また、近年、人間の視覚機能の一つである中心窩を模したレンズ（以下、中心窩レンズとする）が提案されている（例えば、非特許文献１参照）。この中心窩レンズを用いて撮像された画像の特徴は、中心部分の分解能が高く、周辺部分の分解能が低くなっている。
【０００４】
【特許文献１】
特開平１１−１９６３１７号公報
【非特許文献１】
「中心窩を有する新しい視覚センサの開発−広角高歪曲レンズの開発−」，計測自動制御学会論文集，１９９５年，第３１巻，第１０号，ｐ．１５５６−１５６３
【０００５】
【発明が解決しようとする課題】
ところで、上記中心窩レンズを用いて撮像した場合、レンズの特性により歪曲が生じる。そのため、撮像画像から幾何変換を行い、歪曲を除去した表示画像を作成する必要がある。図１６は、撮像素子の撮像面に対する光像の大きさを示す図である。図１６（ａ）は、撮像素子の撮像面の上辺及び下辺に円形状の光像が接する場合における撮像面に対する光像の大きさを示す図であり、図１６（ｂ）は、撮像素子の撮像面の右辺及び左辺に円形状の光像が接する場合における撮像面に対する光像の大きさを示す図であり、図１６（ｃ）は、撮像素子の撮像面の各頂点に円形状の光像が接する場合における撮像面に対する光像の大きさを示す図である。図１６（ａ）〜（ｃ）に示すように、撮像素子の撮像面は、上辺と下辺との長さが等しく、右辺と左辺との長さが等しく、上辺及び下辺の長さが右辺及び左辺の長さよりも長い長方形状であり、中心窩レンズによって撮像面に結像される光像は、撮像面の２つの対角線の交点を中心点とする円形状である。
【０００６】
図１６（ａ）に示すように、撮像面に光像全体が納まる場合、結像されない領域が大きくなるため、使用しない画素が多くなり、分解能が低下してしまう。また、図１６（ｃ）に示すように、光像に撮像面全体が収まる場合、分解能は高くなるが、光像が撮像面から大きくはみ出しているため、撮影対象物を広画角に撮像することが困難である。そこで、図１６（ｂ）に示すように、撮像面の右辺及び左辺と光像が接するように光像の位置と撮像面の位置とを設定することにより、分解能を損なうことなく、広画角に撮像することが可能となる。
【０００７】
しかしながら、上記図１６（ｂ）に示す撮像画像を表示画像に変換する際に、表示画像の上下に変換不能な領域が発生する。これは、撮像画像が、レンズの特性により樽型歪曲収差となるためであり、樽型歪曲収差を表示画像に変換した場合、撮像面の上辺部分の画像が下方に湾曲し、撮像面の下辺部分の画像が上方に湾曲して変換されるためである。
【０００８】
本発明は、上記の問題を解決するためになされたもので、所定の歪曲収差を有する撮像画像を表示用の表示画像に変換する際に生じる変換不能領域を補正すると共に、有効に利用することができる撮像装置を提供することを目的とするものである。
【０００９】
【課題を解決するための手段】
本発明に係る撮像装置は、複数の画素が２次元的に配置されてなる撮像面に結像される光像を各画素で電気信号に光電変換する撮像素子と、撮像された画像の中心部分と周辺部分とで分解能が異なる光像を前記撮像面に結像する結像部とを備える撮像部と、前記撮像素子から出力される電気信号に基づいて撮像画像を生成する撮像画像生成部と、前記撮像画像生成部によって生成された撮像画像を表示用の表示画像に変換する表示画像作成部と、前記撮像画像から前記表示画像に変換する際に生じる表示画像内の変換不能な領域を、別途撮像した表示画像の一部を用いて補正する表示画像補正部とを備える。
【００１０】
この構成によれば、撮像された画像の中心部分で解像度が高く、周辺部分で中心部分よりも解像度が低くなるように光像が撮像面に結像され、撮像素子から出力される電気信号に基づいて撮像画像が生成され、生成された撮像画像が表示用の表示画像に変換され、撮像画像から表示画像に変換する際に生じる表示画像内の変換不能な領域が、別途撮像した表示画像の一部を用いて補正されるので、表示用の画像である表示画像内の変換不能な領域を補正して表示することができ、解像度の高い表示画像を作成することができる。
【００１１】
また、上記の撮像装置において、前記撮像部を所定の方向に駆動する駆動部をさらに備え、前記表示画像補正部は、前記撮像画像から前記表示画像に変換する際に生じる表示画像内の変換不能な領域を、前記駆動部によって前記撮像部を所定の方向に駆動することで得られる表示画像の一部を用いて補正することが好ましい。
【００１２】
この構成によれば、撮像画像から表示画像に変換する際に生じる表示画像内の変換不能な領域が、駆動部によって撮像部を所定の方向に駆動することで得られる表示画像の一部を用いて補正されるので、表示用の画像である表示画像内の変換不能な領域を補正して表示することができ、解像度の高い表示画像を作成することができる。
【００１３】
また、本発明に係る撮像装置は、複数の画素が２次元的に配置されてなる撮像面に結像される光像を各画素で電気信号に光電変換する撮像素子と、撮像された画像の中心部分と周辺部分とで分解能が異なる光像を前記撮像面に結像する結像部とを備える撮像部と、前記撮像素子から出力される電気信号に基づいて撮像画像を生成する撮像画像生成部と、前記撮像画像生成部によって生成された撮像画像を表示用の表示画像に変換する表示画像作成部と、前記撮像画像から前記表示画像に変換する際に生じる表示画像内の変換不能な領域に所定の情報を合成する情報合成部とを備える。
【００１４】
この構成によれば、撮像された画像の中心部分で解像度が高く、周辺部分で中心部分よりも解像度が低くなるように光像が撮像面に結像され、撮像素子から出力される電気信号に基づいて撮像画像が生成され、生成された撮像画像が表示用の表示画像に変換され、撮像画像から表示画像に変換する際に生じる表示画像内の変換不能な領域に所定の情報が合成されるので、表示用の画像である表示画像内に変換不能な領域が含まれている場合でも、この変換不能な領域を有効に利用することができる。
【００１５】
また、上記の撮像装置において、前記情報合成部は、前記撮像画像から前記表示画像に変換する際に生じる表示画像内の変換不能な領域に文字情報を合成することが好ましい。
【００１６】
この構成によれば、撮像画像から表示画像に変換する際に生じる表示画像内の変換不能な領域に文字情報が合成されるので、表示画像と共に当該表示画像に関する文字情報を表示することができ、変換不能な領域を有効に利用することができる。
【００１７】
また、上記の撮像装置において、前記情報合成部は、前記撮像画像から前記表示画像に変換する際に生じる表示画像内の変換不能な領域に前記表示画像の一部を拡大した拡大画像を合成することが好ましい。
【００１８】
この構成によれば、撮像画像から表示画像に変換する際に生じる表示画像内の変換不能な領域に当該表示画像の一部を拡大した拡大画像が合成されるので、表示画像と共に当該表示画像の一部を拡大した拡大画像を表示することができ、変換不能な領域を有効に利用することができる。
【００１９】
【発明の実施の形態】
以下、本発明に係る実施形態を図面に基づいて説明する。
（第１の実施形態）
図１は、本実施形態の監視システムの構成図である。
【００２０】
図１に示すように、監視システム１は、所定の監視対象領域を撮影する監視カメラ（撮像装置に相当する）２とコントローラ３とが通信ネットワーク４を介して通信可能に接続されている。コントローラ３は、例えば、パーソナルコンピュータや携帯電話などであり、監視カメラ２から送信される画像を表示する画像表示部３１を備えている。画像表示部３１としては、コントローラ３がパーソナルコンピュータであれば、例えば、ＣＲＴモニタや液晶モニタで構成され、コントローラ３が携帯電話であれば、例えば、液晶モニタで構成される。また、監視カメラ２及びコントローラ３は、相互に通信可能にするための通信部（図示省略）をそれぞれ備えて構成される。
【００２１】
監視システム１においては、監視カメラ２により上記監視対象領域が撮影されると、その画像のデータが監視カメラ２から通信ネットワーク４を介してコントローラ３に送信される一方、コントローラ３において、監視カメラ２に対する何らかの要求が入力されると、その要求を示す情報（以下、要求情報という）が、コントローラ３から通信ネットワーク４を介して監視カメラ２に送信され、監視カメラ２は、その要求情報に基づき動作する。
【００２２】
なお、この要求としては、例えば、監視カメラ２との通信のコネクションを確立する要求、監視カメラ２から送信される画像データの切換えの要求、監視カメラ２の動作に関する要求等がある。
【００２３】
これにより、コントローラ３の画像表示部３１において、監視カメラ２により撮影された画像を視認することができるとともに、監視カメラ２の動作を遠隔で操作することができる。
【００２４】
監視カメラ２とコントローラ３とを通信可能に接続する通信ネットワーク４は、例えば、電波や赤外線などの伝送媒体を利用した無線ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）や、Ｅｔｈｅｒｎｅｔ（登録商標）の規格により構築されたＬＡＮ等からなる。
【００２５】
なお、本実施の形態では、監視カメラ２とコントローラ３とを通信ネットワーク４を介して接続するとしたが、本発明は特にこれに限定されず、監視カメラ２とコントローラ３とを直接有線で接続してもよく、また、通信ネットワーク４としてインターネットを用いてもよい。さらに、本実施形態では、監視カメラ２とコントローラ３とをＢｌｕｅｔｏｏｔｈ（登録商標）などの無線通信によって接続してもよい。
【００２６】
図２は、監視システム１において使用される監視カメラ２の外観図である。図２に示すように、監視カメラ２は、カメラ２１、Ｕ字型に屈曲した枠体２２、カメラ２１の光軸（監視方向）Ｌを上下方向（以下、チルト方向という）に移動させるギヤードモータ２３及びカメラ２１の光軸Ｌを左右方向（以下、パン方向という）に移動させるギヤードモータ２４を備えて構成されている。
【００２７】
カメラ２１は、左右の側面に突設されたチルト方向の回転軸２５をＵ字型の枠体２２の側面２２Ａ，２２Ａ’に穿設された孔２２Ｂに貫通させてＵ字型の枠体２２に取り付けられ、側面２２Ａを貫通して突出された回転軸２５の先端にはギヤードモータ２３の出力軸が取り付けられている。Ｕ字型の枠体２２の下面中央には、パン方向の回転軸２６が下方向に突設され、この回転軸２６の先端に上記ギヤードモータ２４の出力軸が取り付けられている。
【００２８】
ギヤードモータ２４は枠体２２に固定され、該枠体２２と一体的にパン方向に回動可能に構成され、ギヤードモータ２３はカメラ２１に固定されている。
【００２９】
上記の構成において、ギヤードモータ２４を回転駆動すると、Ｕ字型の枠体２２が回転軸２６の周りに回転し、これによりカメラ２１の光軸Ｌがパン方向に移動し、ギヤードモータ２３を回転駆動すると、カメラ２１が回転軸２５の周りに回転し、これによりカメラ２１の光軸Ｌがチルト方向に移動する。
【００３０】
なお、以下の説明において、カメラ２１の光軸Ｌがパン方向に移動する監視カメラ２の動作をパン動作、チルト方向に移動する監視カメラ２の動作をチルト動作という。
【００３１】
監視カメラ２には、監視対象領域を撮影するための光学系として、人間の視覚機能の一つである中心窩を模したレンズ（以下、中心窩レンズとする）が採用されている。そこで、以下に、監視カメラ２に用いられる中心窩レンズについて説明する。
【００３２】
図３（ａ）は、中心窩レンズの歪曲収差・画角特性を示すグラフであり、横軸は百分率で示す歪曲収差Ｘであり、縦軸は度（°）単位で示す画角θである。図３（ｂ）は、画角・像高特性を示すグラフであり、横軸は画角θであり、縦軸は像高Ｙである。
【００３３】
図３（ａ）に示すように、中心窩レンズは、画角θが小さい領域（図３では約５度までの領域）では、歪曲収差Ｘが所定値Ｘｉであり、画角θがその領域を超えると急激に大きくなるという特性を有する。
【００３４】
ここで、歪曲収差Ｘにおける所定値Ｘｉは、中心窩レンズの中心領域を透過した被写体の光像による画像を人間が見た場合において相似形の歪みのない自然な画像に見える値であり、例えばＸｉ＝３％（この時θｉ＝約８°）である。勿論、所定値Ｘｉを３％以下の値、例えば約２％や約１％に設定したとしても、人間の見た目では相似形の歪みのない自然な画像に見える。
【００３５】
なお、図３（ａ）は、約５０度の半画角で約−７０％の歪曲収差を有する中心窩レンズの特性を示している。
【００３６】
この特性により、図３（ｂ）に示すように、中心窩レンズに結像される光像の高さ（以下、像高という）Ｙは、画角θが小さい領域（図３（ｂ）に示す点線より左側の領域）では、画角θに対して像高Ｙは、略線形であって、画角θの単位変化に対する変化量は大きい。
【００３７】
一方、画角θが大きい領域（図３（ｂ）に示す点線より右側の領域）では、画角θに対して像高Ｙは、非線形であって、画角θの単位変化に対する変化量は、画角θの増大に伴って徐々に小さくなり、像高Ｙは、略一定値となる。換言すれば、画角θが小さい領域では解像度が高く、画角θが大きい領域では解像度が低くなる。
【００３８】
そして、中心窩レンズの曲率半径等を適切に設定することで、中心窩レンズは、大きな像高Ｙが得られる中心窩レンズの中心領域（「画角θが小さい領域」に相当）と同等のズーム倍率を、この中心窩レンズの代わりに通常のレンズを用いて得る場合に比して、広い視野を有するとともに、この広い視野を有する中心窩レンズの周辺領域（「画角θが大きい領域」に相当）と同等の視野を、この中心窩レンズの代わりに通常のレンズを用いて得る場合に比して、中心窩レンズの中心領域で被写体の光像を大きく投影する。
【００３９】
なお、本実施形態では、中心窩レンズとして、中心領域が３５ｍｍカメラに換算して焦点距離ｆが８０ｍｍ、周辺領域が３５ｍｍカメラに換算して焦点距離ｆが１６ｍｍに相当するレンズが採用されているが、これに限定されるものではない。
【００４０】
中心窩レンズは、視野における中心領域で画像を拡大し、その周辺領域で画像を圧縮する機能を有するレンズであり、広い視野、中心領域での高解像度及び中心領域でひずみの目立たない自然な画像が得られる等の特徴を有する。
【００４１】
なお、上記にいう通常のレンズとは、像高Ｙ、焦点距離ｆ、画角θの関係が、Ｙ＝ｆ・ｔａｎθで表されるレンズのことをいう。
【００４２】
以上のような特性を有する中心窩レンズを結像部として用いて撮影を行うことにより、撮影画像は、例えば図４に示すように、中心窩レンズの広角領域に対応する部分が、広い領域の被写体が圧縮されたものとなる一方、中心窩レンズの望遠領域に対応する部分が、中心部分に位置する被写体がその周辺部分に位置する被写体に比して拡大されたものとなる。
【００４３】
したがって、監視カメラ２は、撮影領域のうち中心部分を高い解像度で撮影しつつ、広い領域を撮影することができるものである。
【００４４】
次に、本発明に係る第１の実施形態の監視カメラについて説明する。図５は、第１の実施形態における監視システム１の構成を示すブロック図である。
【００４５】
図５に示すように、第１の実施形態における監視システム１は、監視カメラ２及びコントローラ３で構成される。第１の実施形態における監視カメラ２は、結像部２０１、撮像素子２０２、画像生成部（撮像画像生成部に相当する）２０３、画像記憶部２０４、ＣＰＵ（中央演算処理装置）２０５、画像処理部（表示画像作成部に相当する）２０６、画像合成部（表示画像補正部に相当する）２０７、Ｉ／Ｏ（入出力）部２０８及び駆動部２０９を備えて構成されている。撮像部２１０は、結像部２０１及び撮像素子２０２で構成され、制御部２２０は、画像生成部２０３、画像記憶部２０４、ＣＰＵ２０５、画像処理部２０６、画像合成部２０７及びＩ／Ｏ部２０８で構成される。
【００４６】
結像部２０１は、撮像された画像の中心部分と周辺部分とで分解能が異なる光像を撮像素子２０２の撮像面に結像するものであり、例えば、上述した中心窩レンズに相当するものである。
【００４７】
撮像素子２０２は、例えばフォトダイオード等の複数の光電変換素子がマトリックス状に２次元配列され、各光電変換素子の受光面に、それぞれＲ（赤），Ｇ（緑），Ｂ（青）の色フィルタが１：２：１の比率で配設されてなるＣＣＤカラーエリアセンサである。撮像素子２０２は、結像部２０１により結像された被写体の光像をＲ（赤），Ｇ（緑），Ｂ（青）各色成分のアナログの電気信号（画像信号）に変換し、Ｒ，Ｇ，Ｂ各色の画像信号として出力する。なお、撮像素子２０２は、モノクロの撮像素子でもよい。
【００４８】
撮像素子２０２は、図略のタイミングジェネレータ等により、撮像素子２０２の露出動作の開始及び終了や、撮像素子２０２における各画素の出力信号の読出し（水平同期、垂直同期、転送）等の撮像動作が制御される。
【００４９】
画像生成部２０３は、撮像素子２０２から出力される電気信号に基づいて撮像画像を生成する。まず、画像生成部２０３は、撮像素子２０２から出力されるアナログの画像信号に所定のアナログ信号処理を施す。具体的には、画像生成部２０３は、ＣＤＳ（相関二重サンプリング）回路により画像信号のノイズの低減を行い、ＡＧＣ（オートゲインコントロール）回路により画像信号のレベル調整を行う。そして、画像生成部２０３は、出力されたアナログのＲ，Ｇ，Ｂの画像信号を、複数のビットからなるデジタルの画像信号（以下、デジタル信号という）にそれぞれ変換する。画像生成部２０３は、Ａ／Ｄ変換されたＲ，Ｇ，Ｂの各デジタル信号に、黒レベルを基準の黒レベルに補正する黒レベル補正、光源に応じた白の基準に基づいて、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の各色成分のデジタル信号のレベル変換を行うホワイトバランス、Ｒ（赤），Ｇ（緑），Ｂ（青）の各色のデジタル信号のγ特性を補正するγ補正を行う。画像生成部２０３によって生成される撮像画像は、結像部として上述の中心窩レンズが用いられているため、図４に示すような所定の歪曲収差を有する画像となる。
【００５０】
なお、以下の説明において、画像生成部２０３による処理が施された信号を撮像画像データ、撮像画像データを構成する各画素の画素データを撮像画素データ、撮像画像データに係る画像を撮像画像とする。なお、本実施形態においては、各色の撮像画像データは、１２８０（個）×１０２４（個）の画素の画素データをそれぞれ有してなる。
【００５１】
画像記憶部２０４は、画像生成部２０３から出力される撮像画像データを一時的に記憶するとともに、この画像データに対しＣＰＵ２０５により後述の処理を行うための作業領域として用いられるメモリである。なお、画像記憶部２０４は、少なくとも１フレーム前の撮像画像データを記憶する。
【００５２】
ＣＰＵ２０５は、例えば制御プログラムを記憶するＲＯＭや一時的にデータを記憶するＲＡＭからなる記憶部が内蔵されたマイクロコンピュータからなり、上述したカメラ２１及びカメラ本体内の各部材の駆動を有機的に制御して、監視カメラ２の撮影動作を統括的に制御するものである。なお、ＣＰＵ２０５と画像記憶部２０４と画像処理部２０６と画像合成部２０７とＩ／Ｏ部２０８とは、バス２３０を介して相互に接続されており、画像記憶部２０４と画像処理部２０６と画像合成部２０７とＩ／Ｏ部２０８とは、ＣＰＵ２０５による指示に基づいて動作する。
【００５３】
画像処理部２０６は、画像記憶部２０４に記憶されている撮像画像を表示用の表示画像に変換することによって、撮像画像の歪曲を補正する。上述したように、撮像画像は全体的に歪みが生じているため、この撮像画像のデータをコントローラ３にそのまま送信するように構成すると、コントローラ３の画像表示部３１には、歪みの生じた画像が表示されるため、画像の良好な視認性（肉眼で画像を見たときの自然な見た目）が得られない。そのため、撮像画像の歪みを補正する必要があり、画像処理部２０６は、撮像画像を幾何変換することにより、通常のレンズで撮影された表示用の表示画像を作成する。画像処理部２０６は、変換された表示画像を画像記憶部２０４に記憶する。なお、本実施形態において、画像処理部２０３による処理が施された信号を表示画像データ、表示画像データに係る画像を表示画像とする。
【００５４】
ここで、中心窩レンズによって撮像された画像から、通常のレンズによって撮像された画像に変換する方法について説明する。
【００５５】
まず、撮像画像の画素数をＭ（ｐｉｘ）×Ｎ（ｐｉｘ）、表示画像の画素数をＫ（ｐｉｘ）×Ｌ（ｐｉｘ）として、表示画像における任意の画素（以下、注目画素とする）の座標（ｉ，ｊ）（０≦ｉ≦Ｋ，０≦ｊ≦Ｋ）に対応する撮像画像の対応点の座標（ｕ，ｖ）を計算する。表示画像の注目画素の座標（ｉ，ｊ）について、表示画像の中心座標（ｃｖｘ，ｃｖｙ）からの距離ｄ（ｄｘ：ｘ成分、ｄｙ：ｙ成分）は、下記の（１）〜（３）式で表される。なお、表示画像の中心座標（ｃｖｘ，ｃｖｙ）は表示画像の中央、つまり、ｃｖｘ＝Ｋ／２、ｃｖｙ＝Ｌ／２である。
ｄｘ＝（Ｋ／２−ｉ）・・・・（１）
ｄｙ＝（Ｌ／２−ｊ）・・・・（２）
ｄ＝（ｄｘ^２＋ｄｙ^２）^１／２・・・・（３）
【００５６】
また、注目画素（ｉ，ｊ）における入射角θは、下記の（４）式及び（５）式により、（６）式で表される。
ｔａｎθ＝ｄ／ｆｌ・・・・（４）
ｔａｎ（θｖ／２）＝（Ｋ／２）／ｆｌ・・・・（５）
θ＝ａｔａｎ（ｄ・ｔａｎ（θｖ／２）／（Ｋ／２））・・・・（６）
【００５７】
なお、上記（４）〜（６）式において、ｆｌは、中心窩レンズから撮像素子までの焦点距離を表し、θｖは、水平画角を表す。
【００５８】
撮像画像での像高ｈは、ｈ＝ｆ（θ）で表されるので、撮像画像における対応点の座標（ｕ，ｖ）は、撮像画像の中心座標（ｃｗｘ，ｃｗｙ）を用いて下記の（７）式及び（８）式で表される。なお、表示画像の中心座標（ｃｗｘ，ｃｗｙ）は表示画像の中央、つまり、ｃｗｘ＝Ｍ／２、ｃｗｙ＝Ｎ／２である。
ｕ＝ｃｗｘ＋ｈ×（ｄｘ／ｄ）・・・・（７）
ｖ＝ｃｗｙ＋ｈ×（ｄｙ／ｄ）・・・・（８）
【００５９】
ここで、ｕ，ｖが撮像画像内（０≦ｕ≦Ｍかつ０≦ｖ≦Ｌ）であれば、表示画像の注目画素（ｉ，ｊ）の画素値を計算する。なお、注目画素（ｉ，ｊ）の画素値は、対応する撮像画像の座標（ｕ，ｖ）の画素値が代入される。なお、ｕ，ｖが整数で表されない（小数となる）場合、小数点以下を切り捨てる整数化処理を行う。ここで、整数化処理を行うと、撮像画像における画素には、対応する表示画像の画素がない画素が生じる可能性がある。すなわち、整数化処理によって位置データに整数値で不連続となっている部分が生じ得る。そこで、撮像画像の画素に対応する表示画像の画素がない場合、表示画像における画素の画素値を生成する補間処理を行う。この補間処理は、例えば、画素値のない画素に垂直方向で隣接する画素の一方における画素の画素値をそのまま使用する。あるいは、補間処理は、例えば、画素値のない画素に垂直方向で隣接する画素の画像データを用いて、位置と輝度との関係を示す一次関数を求め、整数化処理によって画素値のない画素の画素値を算出する線形補間を行う。また、ｕ，ｖが撮像画像外であれば、変換不能な領域（以下、欠損領域とする）と判断し、画素値の計算を行わない。
【００６０】
このようにして、表示画像の各画素値が計算され、撮像画像から表示画像への変換が行われ、撮像画像から表示用に変換された表示画像が画像記憶部２０４に記憶される。
【００６１】
画像合成部２０７は、画像処理部２０６において撮像画像から表示画像に変換する際に生じる表示画像内の変換不能な領域（欠損領域）を、駆動部２０９によって撮像部を所定の方向に駆動することで得られる表示画像の一部を用いて補正する。すなわち、画像合成部２０７は、撮像画像から表示画像に変換する際に生じる表示画像内の変換不能な欠損領域を、後述する駆動部２０９によって撮像部２１０を垂直方向に駆動することで得られる第１の表示画像と、駆動部２０９によって撮像部２１０をさらに垂直方向に駆動することで得られる第２の表示画像とを合成する。
【００６２】
Ｉ／Ｏ部２０８は、コントローラ３及び駆動部２０９とのデータの入出力を制御するものであり、コントローラ３への画像データの送信や、該コントローラ３からの要求情報の受信等を行う。
【００６３】
駆動部２０９は、ギヤードモータ２３，２４を含んでなり、ＣＰＵ２０５からの指令により、監視カメラ２１の光軸Ｌをパン方向及びチルト方向に駆動するものである。
【００６４】
次に、第１の実施形態における監視カメラ２の動作について説明する。図６は、第１の実施形態における監視カメラ２の動作を示すフローチャートである。
【００６５】
ステップＳ１において、ＣＰＵ２０５は、駆動部２０９のリセットを指示する。ＣＰＵ２０５は、駆動部２０９に対して撮像部２１０の位置を初期位置に戻すよう指示する。
【００６６】
ステップＳ２において、ＣＰＵ２０５は、表示画像をコントローラ３に出力する。すなわち、ＣＰＵ２０５は、画像記憶部２０３に記憶されている表示画像を読み出し、Ｉ／Ｏ部２０８を介してコントローラ３に出力する。コントローラ３の画像表示部３１は、入力される表示画像を表示する。なお、監視カメラ２の起動時、つまり、最初に監視対象領域を撮像する場合、ステップＳ２の処理はスルーされ、ステップＳ３以降の処理が行われる。
【００６７】
ステップＳ３において、ＣＰＵ２０５は、コントローラ３から出力されるパン動作、チルト動作及びズーム動作のそれぞれの駆動量（ＰＴＺ量）ｐ、ｔ、ｚを検知したか否かを判断する。ここで、パン動作、チルト動作及びズーム動作のそれぞれの駆動量ｐ、ｔ、ｚが検知された場合（ステップＳ３でＹＥＳ）、ステップＳ４に移行し、パン動作、チルト動作及びズーム動作のそれぞれの駆動量ｐ、ｔ、ｚが検知されない場合、ステップＳ２に戻り、ステップＳ２以降の処理が行われる。なお、パン動作、チルト動作及びズーム動作のそれぞれの駆動量は、コントローラ３が備える入力部によって指示される。
【００６８】
ステップＳ４において、ＣＰＵ２０５は、駆動部２０９に対してパン方向への駆動量及びチルト方向への駆動量を指示する。ここで、ＣＰＵ２０５が指示するパン方向への駆動量は、コントローラ３から出力される駆動量ｐであり、ＣＰＵ２０５が指示するチルト方向への駆動量は、コントローラ３から出力される駆動量ｔから欠損領域の垂直方向の画角αを減算した量ｔ−αである。
【００６９】
ここで、欠損領域の垂直方向の画角αの算出方法について説明する。図７は、欠損領域の垂直方向の画角αの算出方法について説明するための図である。
【００７０】
図７に示すように、表示画像の垂直方向の画素数をＬ（ｐｉｘ）とし、表示画像の垂直方向の画角をθＨとし、焦点距離をｆｌとし、欠損領域の垂直方向の画素数をｎ（ｐｉｘ）とし、欠損領域の垂直方向の画角をαとすると、下記の（９）式が成り立つ。
ｔａｎθＨ＝Ｌ／ｆｌ・・・・（９）
【００７１】
上記（９）式は、下記の（１０）式に置き換えることができる。
ｆｌ＝Ｌ／ｔａｎθＨ・・・・（１０）
【００７２】
さらに、表示画像の垂直方向の画角θＨから欠損領域の垂直方向の画角αを減算した場合、下記の（１１）式で表される。
θＨ−α＝ａｔａｎ（（Ｌ−ｎ）／ｆｌ）・・・・（１１）
【００７３】
上記（１１）式におけるαは、ｆｌに上記（１０）式を代入することによって、下記の（１２）式で表される。
α＝θＨ−ａｔａｎ（（Ｌ−ｎ）／（Ｌ／ｔａｎθＨ））・・・・（１２）
【００７４】
このようにして求められた欠損領域の垂直方向の画角αを用いて、チルト方向への駆動量ｔ−αが算出され、ＣＰＵ２０５は、算出されたチルト方向への駆動量ｔ−αを駆動部２０９に対して指示する。駆動部２０９は、ＣＰＵ２０５から指示されるパン方向への駆動量及びチルト方向への駆動量に基づいて、撮像部２１０をそれぞれの方向に回転駆動させる。
【００７５】
図６に戻って、ステップＳ５において、ＣＰＵ２０５は、画像処理部２０６へ焦点距離ｆｌの第１の表示画像の作成を指示する。すなわち、結像部２０１は、監視対象範囲内の光像を撮像素子２０２の撮像面に結像し、撮像素子２０２は、撮像面に結像された監視対象範囲内の光像を光電変換し、画像生成部２０３は、撮像素子２０２によって光電変換された電気信号から第１の撮像画像を生成する。画像記憶部２０４は、第１の撮像画像を一時的に記憶する。画像処理部２０６は、ＣＰＵ２０５からの指示に基づいて、画像記憶部２０４に記憶されている第１の撮像画像を読み出し、第１の撮像画像から歪みを補正した焦点距離ｆｌにおける第１の表示画像を作成する。作成された第１の表示画像は、画像記憶部２０４に記憶される。
【００７６】
図８は、第１の撮像画像の一例を示す図である。図８に示す第１の撮像画像ＳＧ１は、コントローラ３から入力されるパン方向の駆動量ｐで撮像部２１０をパン方向に駆動し、コントローラ３から入力されるチルト方向の駆動量ｔから欠損領域の画角αだけ減算した駆動量ｔ−αで撮像部２１０をチルト方向に駆動することによって撮像される画像である。すなわち、画像生成部２０３は、駆動部２０９によって、パン方向へ駆動量ｐで駆動され、チルト方向へ駆動量ｔ−αで駆動された場合における第１の撮像画像ＳＧ１を生成する。図８に示すように、中心窩レンズを有する結像部２０１によって撮像された第１の撮像画像ＳＧ１は、樽型に歪曲する。
【００７７】
図９は、第１の表示画像の一例を示す図である。画像処理部２０６は、図８に示す第１の撮像画像ＳＧ１の歪みを補正することによって、第１の表示画像ＨＧ１を作成する。図９に示すように、第１の表示画像ＨＧ１は、歪み補正が行われることによって、画像の上部分及び下部分に表示されない欠損領域ＫＲが発生する。また、図９に示すように、第１の表示画像ＨＧ１は、コントローラ３から入力されるチルト方向の駆動量ｔから欠損領域の垂直方向の画角の分だけ下方にずれた画像となる。
【００７８】
図６に戻って、ステップＳ６において、ＣＰＵ２０５は、駆動部２０９に対してチルト方向への駆動量を指示する。ここで、ＣＰＵ２０５が指示するチルト方向への駆動量は、欠損領域の垂直方向の画角αを２倍した量２αである。
【００７９】
ステップＳ７において、ＣＰＵ２０５は、画像処理部２０６へ第１の表示画像と同じ焦点距離ｆｌであり、２つの欠損領域の垂直方向の画角の分だけ上方にずらした第２の表示画像の作成を指示する。すなわち、画像生成部２０３は、撮像素子２０２によって光電変換された電気信号から第２の撮像画像を生成し、生成された第２の撮像画像は、画像記憶部２０４に一時的に記憶される。画像処理部２０６は、ＣＰＵ２０５からの指示に基づいて、画像記憶部２０４に記憶されている第２の撮像画像から歪みを補正した焦点距離ｆｌにおける第２の表示画像を作成する。
【００８０】
図１０は、第２の撮像画像の一例を示す図である。図１０に示す第２の撮像画像ＳＧ２は、２つの欠損領域の垂直方向の画角αの分だけさらに上方にずらす駆動量２αで撮像部２１０をチルト方向に駆動することによって撮像される画像である。すなわち、画像生成部２０３は、駆動部２０９によって、チルト方向へ駆動量２αでさらに駆動された場合における第２の撮像画像ＳＧ２を生成する。図１０に示すように、中心窩レンズを有する結像部２０１によって撮像された第２の撮像画像ＳＧ２は、樽型に歪曲する。
【００８１】
図１１は、第２の表示画像の一例を示す図である。画像処理部２０６は、図１０に示す第２の撮像画像ＳＧ２の歪みを補正することによって、第２の表示画像ＨＧ２を作成する。図１１に示すように、第２の表示画像ＨＧ２は、歪み補正が行われることによって、画像の上部分及び下部分に表示されない欠損領域ＫＲが発生する。また、図１１に示すように、第２の表示画像ＨＧ２は、第１の表示画像ＨＧ１より２つの欠損領域の垂直方向の画角の分だけ上方にずれた画像となる。
【００８２】
図６に戻って、ステップＳ８において、ＣＰＵ２０５は、画像合成部２０７へ第１の表示画像ＨＧ１と第２の表示画像ＨＧ２との合成を指示する。画像合成部２０７は、第１の表示画像ＨＧ１の合成領域ＧＲ１（図９参照）と第２の表示画像ＨＧ２の合成領域ＧＲ２（図１１参照）とを合成することによって合成画像ＧＧを作成し、作成された合成画像を画像記憶部２０３に記憶する。合成領域ＧＲ１は、合成画像ＧＧの上半分の画像であり、起点を（０，ｎ）とし、サイズをＫ×Ｌ／２とする画像である。また、合成領域ＧＲ２は、合成画像ＧＧの下半分の画像であり、起点を（０，Ｌ／２−ｎ）とし、サイズをＫ×Ｌ／２とする画像である。なお、ｎは第１の表示画像ＨＧ１における欠損領域の垂直方向の画素数であり、Ｋは第１の表示画像ＨＧ１における水平方向の画素数であり、Ｌは第１の表示画像ＨＧ１における垂直方向の画素数である。画像記憶部２０３に記憶された合成画像は、Ｉ／Ｏ部２０８を介してコントローラ３に出力され、コントローラ３の画像表示部３１に表示される。
【００８３】
図１２は、合成画像の一例を示す図である。画像合成部２０７は、ＣＰＵ２０５の指示に基づいて、図９に示す第１の表示画像ＨＧ１における合成領域ＧＲ１と、図１１に示す第２の表示画像ＨＧ２における合成領域ＧＲ２とを合成することによって、合成画像ＧＧを作成する。この合成画像ＧＧが、パン方向に駆動量ｐだけ駆動させ、チルト方向に駆動量ｔだけ駆動させた画像となる。図１２に示すように、第１の表示画像ＨＧ１における合成領域ＧＲ１と第２の表示画像ＨＧ２における合成領域ＧＲ２とを合成した合成画像ＧＧが、表示画像としてコントローラ３の画像表示部３１に表示されるため、撮像画像を表示画像に変換することによって生じる欠損領域ＫＲを補正した画像を提供することができる。
【００８４】
図６に戻って、ステップＳ９において、ＣＰＵ２０５は、コントローラ３から送信される終了信号を検知したか否かを判断する。終了信号は、監視対象領域の撮影を終了するための信号であり、コントローラ３の入力部によって入力され、Ｉ／Ｏ部２０８を介してＣＰＵ２０５に出力される。ここで、終了信号が検知された場合（ステップＳ９でＹＥＳ）、処理は終了となり、終了信号が検知されない場合（ステップＳ９でＮＯ）、ステップＳ２に戻り、表示画像のコントローラ３への出力が行われ、ステップＳ２以降の処理が行われる。
【００８５】
なお、本実施の形態では、撮像部２１０をチルト方向に上下に駆動することによって２つの表示画像を作成し、作成された２つの表示画像を合成することによって、欠損領域のない画像を作成したが、本発明は特にこれに限定されず、撮像部２１０をパン方向に左右に駆動することによって複数の表示画像を作成し、作成された複数の表示画像のうちの欠損領域のない画像を合成することによって、欠損領域のない表示画像を作成してもよい。
【００８６】
また、撮像部２１０がチルト方向にのみ駆動する場合、前フレームの画像の一部を用いて補正してもよい。すなわち、撮像部２１０がチルト方向にのみ駆動する場合、前フレームの表示画像の欠損領域を除く画像と、次フレームの表示画像の欠損領域を除く画像とを合成することによって補正を行う。この場合、補正のために画像を取り直す必要がなくなり、高速に欠損領域の補正をすることができる。
【００８７】
このように、撮像された画像の中心部分で解像度が高く、周辺部分で中心部分よりも解像度が低くなるように光像が撮像面に結像され、撮像素子２０２から出力される電気信号に基づいて撮像画像が生成され、生成された撮像画像が表示用の表示画像に変換され、撮像画像から表示画像に変換する際に生じる表示画像内の変換不能な領域（欠損領域）が、別途撮像した表示画像の一部を用いて補正されるので、表示用の画像である表示画像内の変換不能な領域を補正して表示することができ、解像度の高い表示画像を作成することができる。
【００８８】
また、撮像画像から表示画像に変換する際に生じる表示画像内の変換不能な領域が、駆動部２０９によって撮像部２１０を所定の方向に駆動することで得られる表示画像の一部を用いて補正されるので、表示用の画像である表示画像内の変換不能な領域を補正して表示することができ、解像度の高い表示画像を作成することができる。
（第２の実施形態）
次に本発明に係る第２の実施形態の監視カメラについて説明する。第１の実施形態では、撮像画像から表示画像に変換する際に生じる表示画像内の変換不能な領域を、駆動部２０９によって撮像部２１０を所定の方向に駆動することで得られる表示画像の一部を用いて補正したが、第２の実施形態では、表示画像の変換不能な領域に様々な情報を合成して表示する。なお、第２の実施形態における監視システム１及び監視カメラ２は、図１及び図２に示す監視システム１及び監視カメラ２と同様の構成であるため、説明を省略する。図１３は、第２の実施形態における監視システム１の構成を示すブロック図である。
【００８９】
図１３に示すように、第２の実施形態における監視システム１は、監視カメラ２、コントローラ３及びＧＰＳ５で構成される。第２の実施形態における監視カメラ２は、結像部２０１、撮像素子２０２、画像生成部２０３、画像記憶部２０４、ＣＰＵ（中央演算処理装置）２０５、画像処理部２０６、Ｉ／Ｏ（入出力）部２０８、駆動部２０９、文字情報合成部２１１及び画像情報合成部２１２を備えて構成されている。撮像部２１０は、結像部２０１及び撮像素子２０２で構成され、制御部２２０は、画像生成部２０３、画像記憶部２０４、ＣＰＵ２０５、画像処理部２０６、Ｉ／Ｏ部２０８、文字情報合成部２１１及び画像情報合成部２１２で構成される。撮像情報合成部（情報合成部に相当する）２４０は、文字情報合成部２１１及び画像情報合成部２１２で構成される。なお、第２の実施形態における監視カメラ２は、図５に示す第１の実施形態における監視カメラ２とほぼ同様の構成であるので、異なる構成のみを以下に説明する。
【００９０】
撮像情報合成部２４０は、撮像装置に関する情報を、表示画像の欠損領域に合成するものであり、文字情報合成部２１１及び画像情報合成部２１２を含む。
【００９１】
文字情報合成部２１１は、画像処理部２０６によって作成された表示画像の欠損領域ＫＲに文字又は図形等のキャラクタベースで表される文字情報を合成する。文字情報とは、撮像装置に関する様々な情報であり、例えば、撮像部２１０のパン方向の駆動量、チルト方向の駆動量及びズーム量などの撮像装置の動作に関する情報、現在時刻などの情報、撮像装置が設置されている位置に関する位置情報などである。また、位置情報には、撮像装置が設置されている緯度経度に関する情報、撮像装置が向いている方位に関する情報、撮像装置が設置されている高度に関する情報などがある。なお、これら位置情報は、監視カメラ２の３次元の位置の測定するＧＰＳ（ＧｌｏｂａｌＰｏｓｉｔｉｏｎｉｎｇＳｙｓｔｅｍ）５によって測定される情報であり、Ｉ／Ｏ部２０８を介して入力される。また、欠損領域に表示する文字情報は、上記に限らず、その他ユーザが所望する種々の情報を提供してもよい。
【００９２】
画像情報合成部２１２は、画像処理部２０６によって作成された表示画像の欠損領域ＫＲに当該表示画像に含まれる画像に関する画像情報を合成する。具体的には、画像情報合成部２１２は、画像処理部２０６によって作成された表示画像の所定の領域を拡大し、拡大された拡大画像を表示画像の欠損領域ＫＲに合成する。表示画像上の拡大する所定の領域は、その範囲がコントローラ３によって指定され、指定された表示画像上の範囲内の画像が、表示画像の欠損領域に拡大されて合成される。なお、本実施の形態では、表示画像上の拡大する所定の領域は、コントローラ３によって指定される領域であるとしているが、本発明は特にこれに限定されず、あらかじめ設定されている領域、例えば、表示画像の中心部分の領域でもよい。また、画像情報としては、表示画像が撮像画像の所定の領域を切り出した画像である場合、撮像画像のうちの表示画像として切り出された領域を表す画像でもよい。
【００９３】
次に、第２の実施形態における監視カメラ２の動作について説明する。図１４は、第２の実施形態における監視カメラ２の動作を示すフローチャートである。
【００９４】
ステップＳ１１からステップＳ１３までの処理は、図６に示すステップＳ１からステップＳ３までの処理と同じであるので説明を省略する。
【００９５】
ステップＳ１４において、ＣＰＵ２０５は、駆動部２０９に対してパン方向への駆動量及びチルト方向への駆動量を指示する。ここで、ＣＰＵ２０５が指示するパン方向への駆動量は、コントローラ３から出力される駆動量ｐであり、ＣＰＵ２０５が指示するチルト方向への駆動量は、コントローラ３から出力される駆動量ｔである。ステップＳ１５において、ＣＰＵ２０５は、コントローラ３からＩ／Ｏ部２０８を介して入力されるズーム量ｚを焦点距離ｆｌに変換する。
【００９６】
ステップＳ１６において、ＣＰＵ２０５は、変換された焦点距離ｆｌの表示画像の作成を画像処理部２０６に指示する。画像処理部２０６は、ＣＰＵ２０５からの指示に基づいて、画像記憶部２０４に記憶されている撮像画像から歪みを補正した焦点距離ｆｌにおける表示画像を作成する。なお、この場合、表示画像の上方及び下方には、画像が表示されない欠損領域が含まれる。
【００９７】
ステップＳ１７において、ＣＰＵ２０５は、監視カメラ２に関する文字情報の表示画像の欠損領域への合成を文字情報合成部２１１に指示する。文字情報合成部２１１は、画像処理部２０６によって作成された表示画像の欠損領域に文字情報を合成する。
【００９８】
ステップＳ１８において、ＣＰＵ２０５は、表示画像内の所定の領域を拡大した拡大画像の当該表示画像の欠損領域への合成を画像情報合成部２１２に指示する。画像情報合成部２１２は、表示領域内の所定の領域の画像を拡大し、拡大した拡大画像を表示画像の欠損領域に合成する。
【００９９】
ステップＳ１９における処理は、図６に示すステップＳ９における処理と同じであるので説明を省略する。
【０１００】
図１５は、欠損領域に文字情報及び画像情報を表示する場合の表示画像の一例を示す図である。図１５に示すように、表示画像ＨＧ３の上部の欠損領域ＫＲＵには、文字情報が合成され、表示画像ＨＧ３の下部の欠損領域ＫＲＤには、拡大画像が合成されている。図１５に示す表示画像ＨＧ３の上部の欠損領域ＫＲＵには、撮像部２１０のパン方向の駆動量３０１、チルト方向の駆動量３０２、ズーム量３０３、現在時刻３０４、撮像装置が設置されている緯度経度３０５及び撮像装置が向いている方位３０６が文字情報として表示されている。図１５におけるパン方向の駆動量３０１には、撮像部２１０がパン方向に１０センチメートル回転しているため、「Ｐ：１０」と表示され、チルト方向の駆動量３０２には、撮像部２１０がチルト方向に２０センチメートル回転しているため、「Ｐ：２０」と表示され、ズーム量３０３には、撮像部２１０が等倍率でズーミングされているため、「Ｚ：１×」と表示されている。図１５における現在時刻には、現在の時刻が１２時３４分であるため、「１２：３４」と表示されている。図１５における緯度経度３０５には、監視カメラ２が東経１３５度、北緯２０度の位置に設置されているため、「東経１３５°北緯２０°」と表示されている。図１５における方位３０６には、撮像部２１０が北の方角の監視対象領域を撮影しているため、表示画像ＨＧ３の上方に「Ｎ」、下方に「Ｓ」と表示されている。
【０１０１】
図１５に示す表示画像ＨＧ３の下部の欠損領域ＫＲＤには、表示画像ＨＧ３内の一部分である領域ＷＲの画像を拡大した拡大画像ＷＧが表示されている。なお、拡大して表示する領域ＷＲは、コントローラ３が備える入力部（図示省略）より指示される。なお、入力部としては、例えば、コントローラ３がパーソナルコンピュータで構成される場合、キーボード及びマウス等である。
【０１０２】
なお、本実施形態では、表示画像ＨＧ３の上部の欠損領域ＫＲＵに文字情報を合成し、表示画像ＨＧ３の下部の欠損領域ＫＲＤに拡大画像を合成しているが、本発明は特にこれに限定されず、表示画像ＨＧ３の上部の欠損領域ＫＲＵに拡大画像を合成し、表示画像ＨＧ３の下部の欠損領域ＫＲＤに文字情報を合成してもよく、また、表示画像ＨＧ３の上部の欠損領域ＫＲＵ及び表示画像ＨＧ３の下部の欠損領域ＫＲＤのうちの一方にのみ文字情報及び拡大画像のうちの一方を合成してもよい。
【０１０３】
このように、撮像された画像の中心部分で解像度が高く、周辺部分で中心部分よりも解像度が低くなるように光像が撮像面に結像され、撮像素子２０２から出力される電気信号に基づいて撮像画像が生成され、生成された撮像画像が表示用の表示画像に変換され、撮像画像から表示画像に変換する際に生じる表示画像内の変換不能な領域（欠損領域）に撮像装置に関する撮像情報が合成されるので、表示用の画像である表示画像内に変換不能な領域が含まれている場合でも、この変換不能な領域を有効に利用することができる。
【０１０４】
また、撮像画像から表示画像に変換する際に生じる表示画像内の変換不能な領域に文字情報が合成されるので、表示画像と共に当該表示画像に関する文字情報を表示することができ、変換不能な領域を有効に利用することができる。
【０１０５】
さらに、画像から表示画像に変換する際に生じる表示画像内の変換不能な領域に当該表示画像の一部を拡大した拡大画像が合成されるので、表示画像と共に当該表示画像の一部を拡大した拡大画像を表示することができ、変換不能な領域を有効に利用することができる。
【０１０６】
なお、本実施形態では、撮像装置を監視カメラとして説明しているが、本発明は特にこれに限定されず、例えば、ＷＥＢカメラや車載カメラなどでもよい。
【０１０７】
なお、上述した具体的実施形態には以下の構成を有する発明が主に含まれている。
【０１０８】
（１）複数の画素が２次元的に配置されてなる撮像面に結像される光像を各画素で電気信号に光電変換する撮像素子と、撮像された画像の中心部分と周辺部分とで分解能が異なる光像を前記撮像面に結像する結像部とを備える撮像部と、前記撮像素子から出力される電気信号に基づいて、所定の歪曲収差を有する撮像画像を生成する撮像画像生成部と、前記撮像画像生成部によって生成された撮像画像を歪曲のない表示用の表示画像に変換する表示画像作成部と、前記撮像画像から前記表示画像に変換する際に生じる表示画像内の変換不能な領域を、別途撮像した表示画像の一部を用いて補正する表示画像補正部とを備えることを特徴とする撮像装置。
【０１０９】
この構成によれば、撮像された画像の中心部分で解像度が高く、周辺部分で中心部分よりも解像度が低くなるように光像が撮像面に結像され、撮像素子から出力される電気信号に基づいて、所定の歪曲収差を有する撮像画像が生成され、生成された撮像画像が歪曲のない表示用の表示画像に変換され、撮像画像から表示画像に変換する際に生じる表示画像内の変換不能な領域が、別途撮像した表示画像の一部を用いて補正される。
【０１１０】
（２）前記撮像部を垂直方向及び水平方向に駆動する駆動部をさらに備え、前記表示画像補正部は、前記撮像画像から前記表示画像に変換する際に生じる表示画像内の変換不能な領域を、前記駆動部によって前記撮像部を垂直方向に駆動することで得られる第１の表示画像と、前記駆動部によって前記撮像部をさらに垂直方向に駆動することで得られる第２の表示画像とを合成することによって補正することを特徴とする上記（１）記載の撮像装置。
【０１１１】
この構成によれば、撮像画像から表示画像に変換する際に生じる表示画像内の変換不能な領域が、駆動部によって撮像部を垂直方向に駆動することで得られる第１の表示画像と、駆動部によって撮像部をさらに垂直方向に駆動することで得られる第２の表示画像とを合成することによって補正される。
【０１１２】
（３）前記撮像部を垂直方向及び水平方向に駆動する駆動部をさらに備え、前記表示画像補正部は、前記撮像画像から前記表示画像に変換する際に表示画像内の上部及び下部に生じる変換不能な領域を、前記駆動部によって前記撮像部を垂直下方向に駆動することで得られる第１の表示画像の変換不能な領域が含まれない画像と、前記駆動部によって前記撮像部を垂直上方向に駆動することで得られる第２の表示画像の変換不能な領域が含まれない画像とを合成することによって補正することを特徴とする上記（１）記載の撮像装置。
【０１１３】
この構成によれば、撮像画像から表示画像に変換する際に表示画像内の上部及び下部に生じる変換不能な領域が、駆動部によって撮像部を垂直下方向に駆動することで得られる第１の表示画像の変換不能な領域が含まれない画像と、駆動部によって撮像部を垂直上方向に駆動することで得られる第２の表示画像の変換不能な領域が含まれない画像とを合成することによって補正される。
【０１１４】
（４）前記撮像部を垂直方向及び水平方向に駆動する駆動部をさらに備え、前記表示画像補正部は、前記撮像画像から前記表示画像に変換する際に生じる表示画像内の変換不能な領域を、前記駆動部によって前記撮像部を垂直方向に駆動することで得られる複数の表示画像の変換不能な領域が含まれない画像を合成することによって補正することを特徴とする上記（１）記載の撮像装置。
【０１１５】
この構成によれば、撮像画像から表示画像に変換する際に生じる表示画像内の変換不能な領域が、駆動部によって撮像部を垂直方向に駆動することで得られる複数の表示画像の変換不能な領域が含まれない画像を合成することによって補正される。
【０１１６】
（５）複数の画素が２次元的に配置されてなる撮像面に結像される光像を各画素で電気信号に光電変換する撮像素子と、撮像された画像の中心部分と周辺部分とで分解能が異なる光像を前記撮像面に結像する結像部とを備える撮像部と、前記撮像素子から出力される電気信号に基づいて、所定の歪曲収差を有する撮像画像を生成する撮像画像生成部と、前記撮像画像生成部によって生成された撮像画像を歪曲のない表示用の表示画像に変換する表示画像作成部と、前記撮像画像から前記表示画像に変換する際に生じる表示画像内の変換不能な領域に撮像装置に関する撮像情報を合成する撮像情報合成部とを備えることを特徴とする撮像装置。
【０１１７】
この構成によれば、撮像された画像の中心部分で解像度が高く、周辺部分で中心部分よりも解像度が低くなるように光像が撮像面に結像され、撮像素子から出力される電気信号に基づいて撮像画像が生成され、生成された撮像画像が表示用の表示画像に変換され、撮像画像から表示画像に変換する際に生じる表示画像内の変換不能な領域に撮像装置に関する撮像情報が合成される。
【０１１８】
（６）上記（１）〜（５）のいずれかに記載の撮像装置と、画像を表示する画像表示部を備えたコントローラとが、それぞれ備えられた通信部により通信ネットワークを介して互いに通信可能に構成されてなり、前記撮像装置からコントローラに前記表示画像が送信されると、この表示画像を前記コントローラの画像表示部に表示することを特徴とする撮像システム。
【０１１９】
この構成によれば、撮像装置において作成された表示画像は、該カメラの通信部によりコントローラに送信される。一方、コントローラにおいては、撮像装置から表示画像が送信されると、該表示画像が通信部により受信され、画像表示部にその表示画像が表示される。
【０１２０】
【発明の効果】
請求項１に記載の発明によれば、撮像された画像の中心部分で解像度が高く、周辺部分で中心部分よりも解像度が低くなるように光像が撮像面に結像され、撮像素子から出力される電気信号に基づいて撮像画像が生成され、生成された撮像画像が表示用の表示画像に変換され、撮像画像から表示画像に変換する際に生じる表示画像内の変換不能な領域が、別途撮像した表示画像の一部を用いて補正されるので、表示用の画像である表示画像内の変換不能な領域を補正して表示することができ、解像度の高い表示画像を作成することができる。
【０１２１】
請求項２に記載の発明によれば、撮像画像から表示画像に変換する際に生じる表示画像内の変換不能な領域が、駆動部によって撮像部を所定の方向に駆動することで得られる表示画像の一部を用いて補正されるので、表示用の画像である表示画像内の変換不能な領域を補正して表示することができ、解像度の高い表示画像を作成することができる。
【０１２２】
請求項３に記載の発明によれば、撮像された画像の中心部分で解像度が高く、周辺部分で中心部分よりも解像度が低くなるように光像が撮像面に結像され、撮像素子から出力される電気信号に基づいて撮像画像が生成され、生成された撮像画像が表示用の表示画像に変換され、撮像画像から表示画像に変換する際に生じる表示画像内の変換不能な領域に所定の情報が合成されるので、表示用の画像である表示画像内に変換不能な領域が含まれている場合でも、この変換不能な領域を有効に利用することができる。
【０１２３】
請求項４に記載の発明によれば、撮像画像から表示画像に変換する際に生じる表示画像内の変換不能な領域に文字情報が合成されるので、表示画像と共に当該表示画像に関する文字情報を表示することができ、変換不能な領域を有効に利用することができる。
【０１２４】
請求項５に記載の発明によれば、撮像画像から表示画像に変換する際に生じる表示画像内の変換不能な領域に当該表示画像の一部を拡大した拡大画像が合成されるので、表示画像と共に当該表示画像の一部を拡大した拡大画像を表示することができ、変換不能な領域を有効に利用することができる。
【図面の簡単な説明】
【図１】本実施形態の監視システムの構成図である。
【図２】監視システムにおいて使用される監視カメラの外観図である。
【図３】監視カメラに採用されるレンズの特性を示す図である。
【図４】監視カメラで撮影を行って得られた画像の一例を示す図である。
【図５】第１の実施形態における監視システムの構成を示すブロック図である。
【図６】第１の実施形態における監視カメラの動作を示すフローチャートである。
【図７】欠損領域の垂直方向の画角の算出方法について説明するための図である。
【図８】第１の撮像画像の一例を示す図である。
【図９】第１の表示画像の一例を示す図である。
【図１０】第２の撮像画像の一例を示す図である。
【図１１】第２の表示画像の一例を示す図である。
【図１２】合成画像の一例を示す図である。
【図１３】第２の実施形態における監視システムの構成を示すブロック図である。
【図１４】第２の実施形態における監視カメラの動作を示すフローチャートである。
【図１５】欠損領域に文字情報及び画像情報を表示する場合の表示画像の一例を示す図である。
【図１６】撮像素子の撮像面に対する光像の大きさを示す図である。
【符号の説明】
１監視システム
２監視カメラ
３コントローラ
４通信ネットワーク
５ＧＰＳ
３１画像表示部
２０１結像部
２０２撮像素子
２０３画像生成部
２０４画像記憶部
２０５ＣＰＵ
２０６画像処理部
２０７画像合成部
２０８Ｉ／Ｏ部
２０９駆動部
２１０撮像部
２２０制御部

Claims

複数の画素が２次元的に配置されてなる撮像面に結像される光像を各画素で電気信号に光電変換する撮像素子と、
撮像された画像の中心部分と周辺部分とで分解能が異なる光像を前記撮像面に結像する結像部とを備える撮像部と、
前記撮像素子から出力される電気信号に基づいて撮像画像を生成する撮像画像生成部と、
前記撮像画像生成部によって生成された撮像画像を表示用の表示画像に変換する表示画像作成部と、
前記撮像画像から前記表示画像に変換する際に生じる表示画像内の変換不能な領域を、別途撮像した表示画像の一部を用いて補正する表示画像補正部とを備えることを特徴とする撮像装置。
前記撮像部を所定の方向に駆動する駆動部をさらに備え、
前記表示画像補正部は、前記撮像画像から前記表示画像に変換する際に生じる表示画像内の変換不能な領域を、前記駆動部によって前記撮像部を所定の方向に駆動することで得られる表示画像の一部を用いて補正することを特徴とする請求項１記載の撮像装置。
複数の画素が２次元的に配置されてなる撮像面に結像される光像を各画素で電気信号に光電変換する撮像素子と、
撮像された画像の中心部分と周辺部分とで分解能が異なる光像を前記撮像面に結像する結像部とを備える撮像部と、
前記撮像素子から出力される電気信号に基づいて撮像画像を生成する撮像画像生成部と、
前記撮像画像生成部によって生成された撮像画像を表示用の表示画像に変換する表示画像作成部と、
前記撮像画像から前記表示画像に変換する際に生じる表示画像内の変換不能な領域に所定の情報を合成する情報合成部とを備えることを特徴とする撮像装置。
前記情報合成部は、前記撮像画像から前記表示画像に変換する際に生じる表示画像内の変換不能な領域に文字情報を合成することを特徴とする請求項３記載の撮像装置。
前記情報合成部は、前記撮像画像から前記表示画像に変換する際に生じる表示画像内の変換不能な領域に前記表示画像の一部を拡大した拡大画像を合成することを特徴とする請求項３又は４記載の撮像装置。