JP2015014672A - カメラ制御装置、カメラシステム、カメラ制御方法、及びプログラム - Google Patents

Abstract

【課題】従来のオートフォーカスではピントが合わせづらい環境下であっても、適切なフォーカス制御を行えるようにする。
【解決手段】本発明は、ＰＴＺカメラ１０によって撮像される撮像対象物の位置に関する情報を検出する検出・追跡部３９と、撮像対象物の位置に関する情報と、ＰＴＺカメラ１０のズーム値に関する情報と、ＰＴＺカメラ１０のフォーカス値と、の対応関係が記憶されている記憶部４３と、ＰＴＺカメラ１０を制御するＰＴＺカメラ制御部４０と、を備え、ＰＴＺカメラ制御部４０は、検出・追跡部３９によって検出された撮像対象物の位置に関する情報及びＰＴＺカメラ１０のズーム値に関する情報に基づいて、前記対応関係を参照してフォーカス値を得て、得られたフォーカス値を用いて、ＰＴＺカメラ１０のフォーカス制御を行うカメラ制御装置３０である。
【選択図】図７

Description

本発明は、カメラ制御装置、カメラ制御装置を備えたカメラシステム、及びカメラ制御方法に関する。

特許文献１には、侵入物体を自動追尾しながら撮像する侵入物体追尾画像処理システムが開示されている。この画像処理システムは、画像処理装置において広角カメラから入力された画像情報を画像処理して侵入物体を検出し、侵入物体の位置・大きさ情報からＰＴＺカメラを侵入物体の方向へ回動するように制御するとともにＰＴＺカメラをズーム制御して、侵入物体を自動追尾する。

撮像対象物をＰＴＺカメラで自動追尾する際に常に良質な画像を得るには、パン・チルト制御やズーム制御を行う毎にカメラのピントを合わせるフォーカス制御を行わなければならない。

特開平１１−６９３４２号公報 特開２００６−３３２２４号公報

ここで、カメラには、オートフォーカス機能を有し、自動でフォーカス制御をすることができるものがある。カメラがオートフォーカス機能を有する場合、カメラで撮像対象物を自動追尾しつつ、オートフォーカスでピントを合わせることができる。
しかし、オートフォーカスは、低照度下では性能が低下するためピントを合わせづらい。また、カメラによっては、明るい場合であっても、オートフォーカスによるピント合わせに時間がかかることがある。さらに、近赤外線照明など可視光以外の光による照明が存在すると、可視光での焦点と可視光以外の光での焦点とが混在し、オートフォーカスが困難になる場合がある。

そこで、本発明は、従来のオートフォーカスではピントが合わせづらい環境下であっても、適切なフォーカス制御を行うことを目的とする。

本発明は、ズーム機能を有するカメラによって撮像される撮像対象物の位置に関する情報を検出する検出部と、前記撮像対象物の位置に関する情報と、前記カメラのズーム値に関する情報と、前記カメラのフォーカス値と、の対応関係が記憶されている記憶部と、前記カメラを制御する制御部と、を備え、前記制御部は、前記検出部によって検出された前記撮像対象物の位置に関する情報及び前記カメラのズーム値に関する情報に基づいて、前記対応関係を参照してフォーカス値を得て、得られた前記フォーカス値を用いて、前記カメラのフォーカス制御を行うカメラ制御装置である。

本発明によれば、従来のオートフォーカスではピントが合わせづらい環境下であっても、適切なフォーカス制御を行うことができる。

カメラシステムの外観図である。 カメラシステムの構成図である。 広角画像上の部分領域の説明図である。 輝度値分布、及び輝度値平均と閾値との関係の説明図である。 移動している人物を撮像した広角画像及び拡大画像の説明図である。 座っている人物を撮像した広角画像及び拡大画像の説明図である。 フォーカステーブルの一例の説明図である。 フォーカステーブルの他の例の説明図である。 カメラ制御装置による撮像対象物追跡処理のフローチャートである。 輝度値の取得対象領域の変形例の説明図である。 逆光補正を行う輝度値分布の例の説明図である。

［本発明の実施形態の説明］
最初に本発明の実施形態の内容を列記して説明する。
（１）本発明は、ズーム機能を有するカメラによって撮像される撮像対象物の位置に関する情報を検出する検出部と、前記撮像対象物の位置に関する情報と、前記カメラのズーム値に関する情報と、前記カメラのフォーカス値と、の対応関係が記憶されている記憶部と、前記カメラを制御する制御部と、を備え、前記制御部は、前記検出部によって検出された前記撮像対象物の位置に関する情報及び前記カメラのズーム値に関する情報に基づいて、前記対応関係を参照してフォーカス値を得て、得られた前記フォーカス値を用いて、前記カメラのフォーカス制御を行うカメラ制御装置である。
ここで、フォーカス値とはフォーカス制御のためのパラメータであり、例えばカメラのレンズの光軸方向の位置を表す値のことである。

上記本発明によれば、検出された撮像対象物の位置に関する情報及びカメラのズーム値に関する情報に基づいて、前記対応関係を参照してフォーカス値を得て、得られた前記フォーカス値を用いて、カメラのフォーカス制御を行うことができる。このため、従来のオートフォーカスではピントを合わせづらい環境下であっても、フォーカス値を得ることができるため、適切なフォーカス制御を行うことができる。

（２）前記制御部は、前記対応関係を参照して得られた前記フォーカス値を用いて前記カメラのフォーカス制御を行う第１モードと、オートフォーカスによって前記カメラのフォーカス制御を行う第２モードと、を切替可能であることが好ましい。この場合、前記対応関係を参照して得られたフォーカス値を用いてカメラのフォーカス制御を行う第１モードと、オートフォーカスによってカメラのフォーカス制御を行う第２モードと、を切り替えることができる。

（３）前記制御部は、前記オートフォーカスによるフォーカス制御の適否を判定する判定処理を行い、オートフォーカスによるフォーカス制御が不適切であると判定された場合に、前記第１モードでのフォーカス制御を行うことが好ましい。この場合、オートフォーカスによるフォーカス制御が不適切であると判定されると、第１モードでのフォーカス制御を行うことができる。

（４）前記制御部は、前記撮像対象物が撮像された画像の輝度値に基づいて、前記判定処理を行うことが好ましい。この場合、撮像対象物が撮像された画像の輝度値に基づいて、判定処理を行うことができる。

（５）前記制御部は、前記撮像対象物が撮像された画像のうち前記撮像対象物を含む部分領域画像の輝度値に基づいて、前記判定処理を行うことが好ましい。この場合、撮像対象物が撮像された画像のうち撮像対象物を含む部分領域の画像の輝度値に基づいて、判定処理を行うことができる。

（６）前記検出部は、前記撮像対象物が撮像された画像上の前記撮像対象物の領域を検出するように構成され、前記部分領域は、前記検出部によって検出された前記撮像対象物の領域を含み、この領域の外方にまで広がっている領域であることが好ましい。この場合、検出部によって検出された撮像対象物の領域を含み、この領域の外方にまで広がっている領域の輝度値に基づいて、判定処理を行うことができる。

（７）前記検出部は、前記撮像対象物の速度を検出するよう構成され、前記制御部は、前記検出部によって検出された前記撮像対象物の速度に基づいて、前記カメラのズーム制御を行うことが好ましい。この場合、検出された撮像対象物の速度に基づいて、カメラのズーム制御を行うことができる。

（８）前記検出部は、前記撮像対象物の速度を検出するように構成され、前記制御部は、前記検出部によって検出された前記撮像対象物の速度に基づいて、前記カメラのシャッタースピードを制御することが好ましい。この場合、検出された撮像対象物の速度に基づいて、カメラのシャッタースピードを制御することができる。

（９）前記制御部は、前記部分領域画像の輝度値分布に基づいて、逆光補正の要否を判定し、逆光補正が必要と判定された場合、前記カメラによって撮像された画像の逆光補正を行うことが好ましい。この場合、部分領域画像の輝度値分布に基づいて、逆光補正の要否を判定することができる。また、逆光補正が必要と判定された場合、カメラによって撮像された画像の逆光補正を行うことができる。

（１０）他の観点からみた本発明は、ズーム機能を有する第１カメラと、第２カメラと、カメラ制御装置と、を備え、前記カメラ制御装置は、第２カメラによって撮像された画像に基づいて、撮像対象物の位置に関する情報を検出する検出部と、前記撮像対象物の位置に関する情報及びズーム値に関する情報の組み合わせと、前記第１カメラのフォーカス値と、の対応関係が記憶されている記憶部と、前記第１カメラを制御する制御部と、を備え、前記制御部は、前記検出部によって検出された前記撮像対象物の位置に関する情報及び前記第１カメラのズーム値に関する情報に基づいて、前記対応関係を参照してフォーカス値を得て、得られた前記フォーカス値を用いて、前記第１カメラのフォーカス制御を行うカメラシステムである。
上記本発明のカメラシステムによれば、上記（１）記載のカメラ制御装置と同様の効果を奏する。

（１１）他の観点からみた本発明は、ズーム機能を有するカメラによって撮像される撮像対象物の位置に関する情報を検出し、検出された前記撮像対象物の位置に関する情報及び前記カメラのズーム値に関する情報に基づいて、前記撮像対象物の位置に関する情報と、前記カメラのズーム値に関する情報と、前記カメラのフォーカス値と、の対応関係を参照してフォーカス値を得て、得られた前記フォーカス値を用いて、前記カメラのフォーカス制御を行うカメラ制御方法である。
上記本発明のカメラ制御方法によれば、上記（１）記載のカメラ制御装置と同様の効果を奏する。

（１２）他の観点からみた本発明は、ズーム機能を有するカメラによって撮像される撮像対象物の位置に関する情報と、前記カメラのズーム値に関する情報と、前記カメラのフォーカス値と、の対応関係が記憶されている記憶部を有するコンピュータを、前記撮像対象物の位置に関する情報を検出する検出部、前記検出部によって検出された前記撮像対象物の位置に関する情報及び前記カメラのズーム値に関する情報に基づいて、前記対応関係を参照してフォーカス値を得て、得られた前記フォーカス値を用いて、前記カメラのフォーカス制御を行う制御部、として機能させるためのプログラムである。
上記本発明のプログラムによれば、上記（１）記載のカメラ制御装置と同様の効果を奏する。

［本発明の実施形態の詳細］
本発明の実施形態に係るカメラ制御装置３０及びカメラシステム１の具体例を、以下に図面を参照しつつ説明する。
〔カメラ制御装置・カメラシステム〕
図１は、カメラ制御装置３０を含むカメラシステム１の外観を示す図である。
カメラシステム１は、ＰＴＺカメラ１０と広角カメラ２０とカメラ制御装置３０と外部モニタ５０とを備えている。

ＰＴＺカメラ１０は、カメラ制御装置３０のパン・チルト制御によって上下左右に向きを変更できる。また、ＰＴＺカメラ１０は、カメラ制御装置３０のズーム制御によって画角を調整でき、例えば特定の領域を小さな画角で撮像することにより当該特定の領域の拡大画像を得ることができる。
具体的には、ＰＴＺカメラ１０は、通常、所定領域のうち人の出入りが多い場所などを撮像しているが、カメラ制御装置３０により、例えば特定の人物Ａを撮像対象物として、この撮像対象物の拡大画像を撮像するように調整されると、撮像方向を変更して当該特定の人物の拡大画像を撮像する。

また、ＰＴＺカメラ１０は、カメラ制御装置３０の後述するソフトウェアフォーカス制御、又はＰＴＺカメラ１０自身によるオートフォーカス制御によってカメラのピントを合わせることができる。更に、ＰＴＺカメラ１０は、カメラ制御装置３０のシャッタースピード制御によってシャッタースピードを調整できる。

広角カメラ２０は、所定領域全体を大きな画角で常時撮像することにより、当該所定領域全体の広角画像を得る。そして、広角カメラ２０は、撮像した広角画像のデータをカメラ制御装置３０へ出力する。
ＰＴＺカメラ１０及び広角カメラ２０は、それぞれ並行して画像の撮像を行う。なお、図１に示すＰＴＺカメラ１０及び広角カメラ２０は、カメラ制御装置３０と一体型に形成されているが、ＰＴＺカメラ１０及び広角カメラ２０のうち少なくとも一方がカメラ制御装置３０から分離され、カメラ制御装置３０に対して外付けされる構成であってもよい。また、広角画像は、広角カメラ２０が撮像した画像の代わりに、低倍率に設定されたＰＴＺカメラ１０が撮像した画像であってもよい。更に、広角カメラ２０の代わりに、ＰＴＺカメラ１０よりも最大画角が大きなＰＴＺカメラを備え、低倍率に設定された当該ＰＴＺカメラによって広角画像を撮像するようにしてもよい。

外部モニタ５０は、ＰＴＺカメラ１０により撮像される拡大画像、および広角カメラ２０（又は低倍率に設定されたＰＴＺカメラ１０）により撮像される広角画像を表示する。例えば、外部モニタ５０は、ＰＴＺカメラ１０により撮像された拡大画像と広角カメラ２０により撮像された広角画像とを１画面に表示する。また、外部モニタ４０は、ユーザによる任意の設定等により、拡大画像又は広角画像のいずれか一方を表示してもよい。

図２は、フォーカス機能を有するカメラ制御装置３０を含むカメラシステム１の構成説明図である。
ＰＴＺカメラ１０は、オートフォーカス制御を行うオートフォーカス制御部１０ａを備えている。
カメラ制御装置３０は、映像入力部３１と、Ａ／Ｄ変換部３２と、画像メモリ３３と、映像入力部３４と、Ａ／Ｄ変換部３５と、Ｄ／Ａ変換部３６と、出力部３７と、制御部３８と、検出・追跡部３９と、ＰＴＺカメラ制御部４０と、記憶部４１と、通信部４２とを備えている。

映像入力部３１は、広角カメラ２０により撮像された広角画像のアナログ信号を受けて、このアナログ信号をＡ／Ｄ変換部３２へ出力する。Ａ／Ｄ変換部３２は、映像入力部３１から受けた広角画像のアナログ信号をデジタル信号に変換し、画像メモリ３３へ出力する。このように、画像メモリ３３には、広角カメラ２０により撮像される広角画像のデジタル信号が順次記録され、上書きされる。

映像入力部３４は、ＰＴＺカメラ１０により撮像された拡大画像（又は広角画像）のアナログ信号を受けて、このアナログ信号をＡ／Ｄ変換部３５に出力する。Ａ／Ｄ変換部３５は、映像入力部３４から受けた拡大画像（又は広角画像）のアナログ信号をデジタル信号に変換し、画像メモリ３３に出力する。このように、画像メモリ３３には、ＰＴＺカメラ１０により撮像される拡大画像のデジタル信号が順次記録され、上書きされる。

Ｄ／Ａ変換部３６は、画像メモリ３３から広角画像および拡大画像のデジタル信号を取得して、このデジタル信号をアナログ信号に変換し、出力部３７に出力する。出力部３７は、Ｄ／Ａ変換部３６から出力された広角画像および拡大画像のアナログ信号を外部モニタ５０に出力する。これにより、例えば、広角画像と拡大画像とが１画面で外部モニタ５０により表示される。なお、出力部３７は、外部モニタ５０に広角画像又は拡大画像のいずれか一方が表示されるように、広角画像又は拡大画像のいずれか一方のアナログ信号を外部モニタ５０に出力してもよい。制御部３８は、カメラ制御装置３０の制御を統括する。

図３は、広角画像上における人物Ａの領域（以下「第１部分領域Ｘ」という。）の説明図である。また、図４は、第１部分領域Ｘの輝度値分布、及び輝度値平均と閾値との関係の説明図である。
検出・追跡部３９は、画像メモリ３３に記録された広角画像のデジタル信号を取得し、例えば背景差分法を用いることにより、広角画像に含まれる被写体、すなわち人物Ａの検出を行う。そして、検出・追跡部３９は、広角画像上において人物Ａが写っている第１部分領域Ｘを検出する。第１部分領域Ｘは、例えば、図３に示すような人物Ａが丁度収まる程度の広がりをもった方形の領域である。そして、検出・追跡部３９は、人物Ａの広角画像上の位置（ｘ，ｙ）を算出する。検出・追跡部３９は、例えば上記のようにして、撮像対象物が撮像された画像に基づいて撮像対象物の位置に関する情報を検出する。

また、検出・追跡部３９は、例えばテンプレートマッチング法を用いて、広角画像における人物Ａの移動先を特定して当該人物Ａの追跡を行い、当該人物Ａの移動距離と移動に要した時間とに基づいて広角画像上の人物Ａの移動速度ｖを算出する。
更に、検出・追跡部３９は、人物Ａが写っている第１部分領域Ｘ内の各画素の輝度値を取得する。そして、検出・追跡部３９は、図４に示すような第１部分領域Ｘの画素の輝度値分布及び平均輝度値を算出する。
そして、検出・追跡部３９は、広角画像上の人物Ａの位置（ｘ，ｙ）、移動速度ｖ、及び第１部分領域Ｘの輝度値分布と平均輝度値とを含む輝度値情報をＰＴＺカメラ制御部４０に出力する。

ＰＴＺカメラ制御部４０は、パン・チルト制御部４０ａと、ズーム制御部４０ｂと、ソフトウェアフォーカス制御部４０ｃと、シャッタースピード制御部４０ｄとを備えている。
パン・チルト制御部４０ａは、検出・追跡部３９により検出された人物Ａの拡大画像が撮像されるように、人物Ａの位置に基づいてＰＴＺカメラ１０の向きを制御する。
ズーム制御部４０ｂは、人物Ａの移動速度ｖに基づいてＰＴＺカメラ１０のズーム値Ｚを制御する。ズーム値Ｚを制御するとは、拡大画像の画角を制御することを意味する。

ソフトウェアフォーカス制御部４０ｃは、先ず、平均輝度値が閾値未満であるか或いは閾値以上であるかを判定する。ソフトウェアフォーカス制御部４０ｃは、平均輝度値が閾値未満であると判定した場合、例えば、人物Ａの位置及び設定されたＰＴＺカメラ１０のズーム値Ｚに基づいてＰＴＺカメラ１０のフォーカス値Ｆを制御する。ソフトウェアフォーカス制御部４０ｃは、ズーム値Ｚの代わりに人物Ａの移動速度ｖに基づいてＰＴＺカメラ１０のフォーカス値Ｆを制御してもよい。

一方、ソフトウェアフォーカス制御部４０ｃは、平均輝度値が閾値以上である場合、制御部３８及び通信部４２を介してＰＴＺカメラ１０のオートフォーカス制御部１０ａにオートフォーカスによりフォーカス値ｆを制御するように指示を出す。オートフォーカス制御部１０ａは、指示を受けると従来のオートフォーカスによるフォーカス制御を行う。なお、ＰＴＺカメラ１０のオートフォーカス制御部１０ａの機能は、ＰＴＺカメラ制御部４０に包摂されていてもよい。

シャッタースピード制御部４０ｄは、人物Ａの移動速度ｖに基づいてシャッタースピードを制御する。シャッタースピード制御部４０ｄは、人物Ａの位置及び移動速度ｖに基づいてシャッタースピードを制御してもよい。また、シャッタースピード制御部４０ｄは、人物Ａの移動速度ｖ及び輝度値に基づいてシャッタースピードを制御してもよい。

ここで、カメラ制御装置３０により行われる制御に関して、「ＰＴＺカメラのパン・チルト制御」、「ＰＴＺカメラのズーム制御」、「ＰＴＺカメラのフォーカス制御」及び「ＰＴＺカメラのシャッタースピード制御」に分けて説明する。

（ａ）ＰＴＺカメラのパン・チルト制御
パン・チルト制御部４０ａは、広角画像上における人物Ａの位置（ｘ，ｙ）に基づいて、拡大画像の使用用途に応じて予めユーザが設定した部分が拡大画像のおよそ中心に位置するように、ＰＴＺカメラ１０の向きを制御する。例えば、撮像対象物が人物Ａである場合に、人物Ａの顔が拡大画像のおよそ中心に位置するように制御する。パン・チルト制御部４０ａは、広角画像上における人物Ａの２次元的な位置（ｘ，ｙ）を３次元的な位置（Ｘ，Ｙ，Ｚ）に変換して、この３次元的な位置（Ｘ，Ｙ，Ｚ）に基づいてＰＴＺカメラ１０の向きを制御してもよい。

（ｂ）ＰＴＺカメラのズーム制御
図５（ａ）及び図６（ａ）は、広角カメラ２０（又は低倍率に設定されたＰＴＺカメラ１０）により撮像された広角画像の一例を示す図であり、図５（ｂ）及び図６（ｂ）は、ＰＴＺカメラ１０により撮像された拡大画像の一例を示す図である。

例えば、図５（ａ）に示すような所定領域の広角画像が広角カメラ２０（又は低倍率に設定されたＰＴＺカメラ１０）により撮像された場合、検出・追跡部３９は、この広角画像に写る人物Ａ１を検出して移動している人物Ａ１を撮像対象物として選択する。ズーム制御部４０ｂは、検出・追跡部３９から人物Ａ１の移動速度ｖを取得し、取得した人物Ａ１の移動速度ｖに基づいてＰＴＺカメラ１０のズーム値Ｚを制御する。

また、図６（ａ）に示すような広角画像が広角カメラ２０により撮像された場合も同様に、検出・追跡部３９は、この広角画像に写る人物Ａ２を検出して座っている人物Ａ２を撮像対象物として選択する。そして、ズーム制御部４０ｂは、検出・追跡部３９から人物Ａ２の移動速度ｖを取得し、取得した人物Ａ２の移動速度ｖに基づいてＰＴＺカメラ１０のズーム値Ｚを制御する。

ズーム制御部４０ｂは、撮像対象物の移動速度ｖが速いほどズーム値を低倍率に制御する。これにより、例えば、移動している人物Ａ１については全身が写った拡大画像が撮像され、座っている人物Ａ２については人物Ａ１よりもズーム値Ｚが高倍率に設定されて、上半身のみが写った拡大画像が撮像される。

なお、ズーム制御部４０ｂは、上述した場合とは逆に、人物Ａの移動速度ｖが遅いほどズーム値Ｚを低倍率に制御してもよい。
また、ズーム制御部４０ｂは、上記のように撮像対象物の移動速度ｖに応じて連続的にズーム値Ｚの制御を行う他、検出・追跡部３９により算出された撮像対象物の移動速度ｖが所定の閾値以上の場合と、当該移動速度ｖが所定の閾値未満である場合とで異なるズーム値Ｚになるように制御してもよい。

（ｃ）ＰＴＺカメラのフォーカス制御
ソフトウェアフォーカス制御部４０ｃは、検出・追跡部３９から入力された第１部分領域Ｘの平均輝度値が所定の閾値未満であるか或いは閾値以上であるかを判定する。ソフトウェアフォーカス制御部４０ｄは、平均輝度値が閾値未満であると判定した場合、以下に述べるソフトウェアフォーカス制御を行う。

図７は、ソフトウェアフォーカス制御に用いられるフォーカステーブルの一例の説明図である。図７に示す第１フォーカステーブルは、広角画像における撮像対象物の位置（ｘ，ｙ）、及びＰＴＺカメラ１０のズーム値Ｚの様々な組み合わせごとにフォーカス値Ｆが定められているテーブルである。ソフトウェアフォーカス制御部４０ｃは、例えば、この第１フォーカステーブルを参照して、検出・追跡部３９から取得した広角画像における撮像対象物の位置（ｘ，ｙ）、及びズーム制御で設定したズーム値Ｚに対応するフォーカス値Ｆを算出し、ＰＴＺカメラ１０のフォーカス値Ｆとして設定する。

図８は、フォーカステーブルの他の例の説明図である。図８に示す第２フォーカステーブルは、ＰＴＺカメラ１０から撮像対象物までの距離ｄ及びＰＴＺカメラ１０のズーム値Ｚの様々な組み合わせごとにフォーカス値Ｆが定められているテーブルである。ソフトウェアフォーカス制御部４０ｃは、予め、広角画像における撮像対象物の位置（ｘ，ｙ）に基づいてＰＴＺカメラ１０から撮像対象物までの実際の距離ｄを算出してもよい。そして、ソフトウェアフォーカス制御部４０ｃは、この第２フォーカステーブルを参照して、ＰＴＺカメラ１０から撮像対象物までの実際の距離ｄ、及びズーム制御で設定したズーム値Ｚに対応するフォーカス値Ｆを算出し、ＰＴＺカメラ１０のフォーカス値Ｆとして設定してもよい。

また、フォーカステーブルは、撮像対象物の３次元的な位置（Ｘ，Ｙ，Ｚ）及びズーム値Ｚの様々な組み合わせごとにフォーカス値Ｆが定められているテーブル（第３フォーカステーブル）であってもよい。パン・チルト制御部４０ａが２次元的な位置（ｘ，ｙ）を３次元的な位置（Ｘ，Ｙ，Ｚ）に変換する場合、この第３フォーカステーブルを参照してフォーカス値Ｆを算出し、ＰＴＺカメラ１０のフォーカス値Ｆを設定してもよい。
なお、ズーム値Ｚは、上述のように撮像対象物の移動速度ｖに基づいて定められる。このため、フォーカステーブルは、撮像対象物の位置（ｘ，ｙ）又はＰＴＺカメラ１０から撮像対象物までの距離ｄ、及び撮像対象物の移動速度ｖの様々な組み合わせごとにフォーカス値Ｆが定められているテーブルであってもよい。

一方、ソフトウェアフォーカス制御部４０ｃは、平均輝度値が閾値以上であると判定した場合、制御部３８及び通信部４２を介してＰＴＺカメラ１０のオートフォーカス制御部１０ａにオートフォーカスによりフォーカス値ｆを制御するように指示を出す。オートフォーカス制御部１０ａは、指示を受けると従来のオートフォーカスによるフォーカス制御を行う。

オートフォーカスによるフォーカス制御とは、例えばコントラスト検出法や位相差検出法によるフォーカス制御のことである。コントラスト検出法とは、ＣＣＤイメージセンサのような撮像素子に映った画像をもとに、レンズを動かしながら当該画像の明暗差（コントラスト）が大きな位置を探してピントを合わせる方法である。また、位相差検出法とは、レンズから入った光をセパレータレンズで２つに分けてＣＣＤイメージセンサなどの撮像素子へ導き、結像した２つの画像の間隔からピントが合うレンズの移動方向と移動量を判断してピントを合わせる方法である。
オートフォーカス制御部１０ａは、例えば、コントラスト検出法によりＰＴＺカメラ１０の撮像した拡大画像における撮像対象物の端部が鮮明になるようにカメラのレンズ位置を移動させてフォーカス値ｆを設定する。

ソフトウェアフォーカス制御部４０ｃは、平均輝度値の判定結果が閾値未満から閾値以上に変更されると、フォーカステーブルを参照して得られたフォーカス値を用いてフォーカス制御を行う第１モードを、オートフォーカスによってフォーカス制御を行う第２モードに切り替える。逆に、ソフトウェアフォーカス制御部４０ｃは、平均輝度値の判定結果が閾値以上から閾値未満に変更されると、前記第２モードを前記第１モードに切り替える。

（ｄ）シャッタースピード制御
また、シャッタースピード制御部４０ｄは、検出・追跡部３９から取得した撮像対象物の移動速度ｖに基づいてＰＴＺカメラ１０のシャッタースピード（露光時間）を制御する。シャッタースピード制御部４０ｄは、例えば、撮像対象物の移動速度ｖが速い程、シャッタースピードが速く（露光時間が短く）なるように制御する。

シャッタースピード制御部４０ｄは、広角画像上における撮像対象物の位置（ｘ，ｙ）及び移動速度ｖに基づいてＰＴＺカメラ１０のシャッタースピードを制御してもよい。この場合、広角画像上においてシャッタースピードが遅くなければならない暗い場所、及び速くても良い明るい場所を予め指定して記憶部４３に記憶しておく。

また、シャッタースピード制御部４０ｄは、検出・追跡部３９から取得した撮像対象物の移動速度ｖ及び輝度値情報に基づいてシャッタースピードを制御してもよい。例えば、シャッタースピード制御部４０ｄは、第１部分領域Ｘの平均輝度値が所定の閾値以上であれば撮像対象物の移動速度ｖに依らない一定のシャッタースピードに維持し、平均輝度値が閾値未満であれば撮像対象物の移動速度ｖが遅い程、シャッタースピードが遅くなるように制御してもよい。

図２に戻って、記憶部４３は、例えば画像メモリ３３に記憶された拡大画像及び広角画像のデジタル信号を記憶する。また、記憶部４３は、上述のフォーカステーブルを記憶している。
更に、記憶部４３は、広角画像における撮像対象物の位置（ｘ，ｙ）、移動速度ｖ、及び第１部分領域Ｘの輝度値分布や平均輝度値といった輝度値情報を記憶する。また、記憶部４３は、設定されたＰＴＺカメラ１０の向き、ズーム値、フォーカス値、及びシャッタースピードの情報を記憶することも可能である。
通信部４４は、ＰＴＺカメラ制御部４０で設定されたＰＴＺカメラ１０の向き、ズーム値、フォーカス値、及びシャッタースピードを制御するための情報をＰＴＺカメラ１０に出力する。

なお、本発明の実施形態に係るカメラ制御装置３０では、検出・追跡部３９が撮像対象物の位置情報、移動速度情報、及び輝度値情報を算出する。そして、ＰＴＺカメラ制御部４０は、取得したこれらの情報に基づいてＰＴＺカメラ１の向き、ズーム値、フォーカス値、及びシャッタースピードを制御する。しかしながら、本発明はこのような実施形態に限定されない。例えば、ＰＴＺカメラ制御部４０は、画像処理以外の方法で広角画像の所定領域に存在する撮像対象物の位置（ｘ，ｙ）及び移動速度ｖの算出を行うことが可能な他の装置から、位置（ｘ，ｙ）及び移動速度ｖを取得してもよい。

本発明の実施形態は、このようなカメラ制御装置３０として実現することができるだけでなく、カメラ制御装置３０が行う処理の方法として実現することができる。また、かかる処理をコンピュータに実行させるためのプログラムとして実現したり、カメラ制御装置３０の一部又は全部を構成する半導体集積回路として実現することができる。

カメラ制御装置３０は、コンピュータを備えて構成され、カメラ制御装置３０の各機能は、前記コンピュータのメモリに記憶されたコンピュータプログラムが前記コンピュータのＣＰＵによって実行されることで発揮される。前記コンピュータプログラムは、ＣＤ−ＲＯＭなどの記録媒体に記憶させることができる。

〔撮像対象物追跡処理〕
次に、カメラ制御装置３０による撮像対象物追跡処理のフローを説明する。図９は、カメラ制御装置３０による撮像対象物追跡処理のフローチャートである。
図９を参照して、まず、広角カメラ２０（又は低倍率に設定されたＰＴＺカメラ１０）は、所定領域の広角画像を撮像し、この広角画像のデータを、映像入力部３１（３５）（及びアナログカメラの場合Ａ／Ｄ変換部３２（３４））を介して画像メモリ３３へ出力する（ステップＳ１０）。
次に、検出・追跡部３９は、画像メモリ３３に記憶されている広角画像のデジタル信号に基づいて、広角画像に含まれている撮像対象物の検出を行う。更に、検出・追跡部３９は、検出した撮像対象物の追跡を行う（ステップＳ２０）。

ステップＳ１０において撮像対象物が検出できた場合（ステップＳ３０でＹｅｓ）、検出・追跡部３９は、検出された撮像対象物の広角画像における位置（ｘ，ｙ）を算出する（ステップＳ４０）。また、追跡の結果得られた撮像対象物の移動距離と移動に要した時間とに基づいて、撮像対象物の広角画像における移動速度ｖを算出する（ステップＳ４０）。

更に、検出・追跡部３９は、第１部分領域Ｘ内の各画素の輝度値を取得して第１部分領域Ｘの輝度値分布及び平均輝度値を算出する（ステップＳ４０）。そして、検出・追跡部３９は、広角画像における撮像対象物の位置（ｘ，ｙ）、移動速度ｖ、及び第１部分領域Ｘの輝度値分布及び平均輝度値をＰＴＺカメラ制御部４０へ出力する（ステップＳ４０）。

次に、ＰＴＺカメラ制御部４０は、広角画像における撮像対象物の位置（ｘ，ｙ）に基づいて、ＰＴＺカメラ１０をパン・チルト制御する（ステップＳ５０）。例えば、ＰＴＺカメラ制御部４０は、人物の顔など、撮像対象物の一部であって、拡大画像の使用用途に応じて予め設定された部分が拡大画像のおよそ中心に位置するように、パン・チルト制御する（ステップＳ５０）。ＰＴＺカメラ制御部４０は、２次元的な位置（ｘ，ｙ）を実際の３次元的な位置（Ｘ，Ｙ，Ｚ）に変換して、３次元的な位置（Ｘ，Ｙ，Ｚ）に基づいてＰＴＺカメラ１０をパン・チルト制御してもよい（ステップＳ５０）。

次に、ＰＴＺカメラ制御部４０は、広角画像における撮像対象物の移動速度ｖに基づいてＰＴＺカメラ１０のズーム値Ｚを制御する（ステップＳ６０）。例えば、ＰＴＺカメラ制御部４０は、撮像対象物の移動速度ｖが速いほど低倍率となるように制御する。

次に、ＰＴＺカメラ制御部４０は、平均輝度値が閾値未満であるか否かを判定する（ステップＳ７０）。ＰＴＺカメラ制御部４０は、平均輝度値が閾値未満であると判定すると（ステップＳ７０でＹｅｓ）、ソフトウェアフォーカス制御を行う（ステップＳ８０）。 ＰＴＺカメラ制御部４０は、例えば、第１フォーカステーブルを参照して、検出・追跡部３９で検出された撮像対象物の位置（ｘ，ｙ）及び設定されたズーム値Ｚに対応するフォーカス値Ｆを算出し、ＰＴＺカメラ１０のフォーカス値Ｆとして設定する（ステップＳ８０）。

ＰＴＺカメラ制御部４０は、撮像対象物の位置（ｘ，ｙ）からＰＴＺカメラ１０から撮像対象物までの距離ｄを算出して、第２フォーカステーブルを参照して、当該距離ｄ及びズーム値Ｚに対応するフォーカス値Ｆを算出し、ＰＴＺカメラ１０のフォーカス値Ｆとして設定してもよい（ステップＳ８０）。また、パン・チルト制御部４０ａが２次元的な位置（ｘ，ｙ）を３次元的な位置（Ｘ，Ｙ，Ｚ）に変換する場合、第３フォーカステーブルを参照してフォーカス値Ｆを算出し、ＰＴＺカメラ１０のフォーカス値Ｆとして設定してもよい（ステップＳ８０）。更に、ＰＴＺカメラ制御部４０は、ズーム値Ｚの代わりに撮像対象物の速度ｖに基づいてフォーカス値Ｆを設定してもよい（ステップＳ８０）。

一方、ＰＴＺカメラ制御部４０は、平均輝度値が閾値以上であると判定すると（ステップＳ７０でＮｏ）、制御部３８を介してオートフォーカス制御を行うようにＰＴＺカメラ１０に指示を出す（ステップＳ８５）。ＰＴＺカメラ１０のオートフォーカス制御部１０ａは、例えば、拡大画像における撮像対象物の端部が鮮明になるようにＰＴＺカメラ１０のレンズ位置を移動させてフォーカス値ｆを設定する（ステップＳ８５）。

カメラ制御装置３０は、平均輝度値の判定結果が変わる度にソフトウェアフォーカス制御を行う第１モードとオートフォーカス制御を行う第２モードの間でモードの切替処理を行う。
次に、ＰＴＺカメラ制御部４０は、検出・追跡部３９から取得した撮像対象物の位置（ｘ，ｙ）及び移動速度ｖに基づいてＰＴＺカメラ１０のシャッタースピードを制御する（ステップＳ９０）。

ＰＴＺカメラ制御部４０は、例えば、撮像対象物の移動速度ｖが速い程シャッタースピードが速く（露光時間が短く）なるように制御する（ステップＳ９０）。また、ＰＴＺカメラ制御部４０は、例えば、撮像対象物の位置（ｘ，ｙ）が広角画像上において常時暗い位置であればシャッタースピードが遅くなるように制御し、逆に、撮像対象物の位置（ｘ，ｙ）が広角画像上において常時明るい位置であればシャッタースピードが速くなるように制御する（ステップＳ９０）。

次に、ＰＴＺカメラ１０は、撮像対象物の拡大画像を撮像し、この拡大画像のデータが映像入力部３４（及びアナログカメラの場合Ａ／Ｄ変換部３５）を介して画像メモリ３３に出力される（ステップＳ１００）。これにより、画像メモリ３３に記憶された拡大画像のデータが、（アナログ出力の場合Ｄ／Ａ変換部３６および）出力部３７を介して外部モニタ５０に出力されることにより、外部モニタ５０に拡大画像が表示される。また、画像メモリ３３に記憶された拡大画像のデジタル信号が記憶部４３に出力され、記憶部４３は、この当該拡大画像のデジタル信号を記憶する。

そして、ＰＴＺカメラ１０及び広角カメラ２０は、それぞれ並行して画像の撮像を行い、カメラ制御装置３０は、上述のステップＳ１０からステップＳ１００に示す動作を繰り返し行う。このため、ＰＴＺカメラ１０は、カメラ制御装置３０による向き、ズーム値Ｚ、フォーカス値Ｆ、及びシャッタースピードの調整が繰り返されて、移動する撮像対象物を追跡して撮像することができる。

〔変形例〕
図１０は、輝度値の取得対象領域の変形例の説明図である。上述の実施形態では人物Ａと同程度の広がりを有し人物Ａが丁度収まっている方形の第１部分領域Ｘ内の各画素の輝度値を取得する。そして、第１部分領域Ｘの輝度値分布及び平均輝度値を算出する。しかし、図１０に示すように、輝度値の取得対象領域は、例えば第１部分領域Ｘを含み、第１部分領域Ｘより幅ｗだけ四方に広がる方形の第２部分領域Ｙであってもよい。ここで、幅ｗは広角カメラ２０の撮像範囲の環境によって適宜設定される値である。

この場合、検出・追跡部３９は、第１部分領域Ｘを含み、第１部分領域Ｘよりも幅ｗだけ外方にまで広がっている第２部分領域Ｙの輝度値分布を計算する。ＰＴＺカメラ制御部４０は、第２部分領域Ｙの平均輝度値が閾値未満であるのか或いは閾値以上であるのかを判定する。そして、ＰＴＺカメラ制御部４０は、第２部分領域Ｙの平均輝度値が前記閾値未満であれば前記ソフトウェアフォーカス制御を行う。

このように、輝度値の取得対象領域が、例えば第１部分領域Ｘより幅ｗだけ外側にある第２部分領域Ｙ内であると、図１０に示すように、人物Ａと同程度の広がりを有し人物Ａが丁度収まっている第１部分領域Ｘには照明Ｂが存在しないが、第２部分領域Ｙには照明Ｂが存在することもある。この場合の第２部分領域Ｙ内の輝度値分布は、例えば図１１に示すように、人物Ａの領域の輝度値である低い輝度値の山と照明Ｂの領域の輝度値である高い輝度値の山とが連なる形状となる。輝度値分布がこのような２つの山が連なる形状になれば、第１部分領域Ｘ内の人物Ａは実は照明Ｂに照らされていると推定できる。そこで、ＰＴＺカメラ制御部４０は、輝度値分布が２つの山が連なる形状であるか否かを判定し、当該形状であると判断すれば、逆光補正を行う構成であってもよい。

本発明の上記実施形態に係るカメラ制御装置３０によれば、検出された撮像対象物の位置に関する情報及びカメラのズーム値に関する情報に基づいて、フォーカステーブルを参照してフォーカス値を得て、得られたフォーカス値を用いて、ＰＴＺカメラ１０のフォーカス制御を行うことができる。このため、従来のオートフォーカスではピントを合わせづらい環境下であっても、フォーカス値を得ることができるため、適切なフォーカス制御を行うことができる。

また、ＰＴＺカメラ制御部４０は、フォーカステーブルを参照して得られたフォーカス値を用いてＰＴＺカメラ１０のフォーカス制御を行う第１モードと、オートフォーカスによってＰＴＺカメラ１０のフォーカス制御を行う第２モードと、を切り替えることができる。

また、ＰＴＺカメラ制御部４０は、オートフォーカスによるフォーカス制御の適否を判定する判定処理を行い、オートフォーカスによるフォーカス制御が不適切であると判定された場合に、第１モードでのフォーカス制御を行う。このため、オートフォーカスによるフォーカス制御が不適切であると判定されると、第１モードでのフォーカス制御を行うことができる。
また、ＰＴＺカメラ制御部４０は、撮像対象物が撮像された画像の輝度値に基づいて、前記判定処理を行う。このため、撮像対象物が撮像された画像の輝度値に基づいて、判定処理を行うことができる。

また、ＰＴＺカメラ制御部４０は、広角画像のうち撮像対象物を含む部分領域Ｘ，Ｙの画像の輝度値に基づいて、前記判定処理を行う。このため、撮像対象物が撮像された画像のうち撮像対象物を含む部分領域Ｘ，Ｙの画像の輝度値に基づいて、判定処理を行うことができる。
また、第２部分領域Ｙは、検出・追跡部３９によって検出された撮像対象物の領域Ｘを含み、この領域Ｘの外方にまで広がっている領域である。このため、検出・追跡部３９によって検出された撮像対象物の領域Ｘを含み、この領域Ｘの外方にまで広がっている第２部分領域Ｙの輝度値に基づいて、判定処理を行うことができる。

また、検出・追跡部３９は、撮像対象物の速度ｖを検出するよう構成され、ＰＴＺカメラ制御部４０は、検出・追跡部３９によって検出された撮像対象物の速度ｖに基づいて、ＰＴＺカメラ１０のズーム制御を行う。このため、検出された撮像対象物の速度ｖに基づいて、ＰＴＺカメラ１０のズーム制御を行うことができる。

また、ＰＴＺカメラ制御部４０は、検出・追跡部３９によって検出された撮像対象物の速度ｖに基づいて、ＰＴＺカメラ１０のシャッタースピードを制御する。このため、検出された撮像対象物の速度ｖに基づいて、ＰＴＺカメラ１０のシャッタースピードを制御できる。

また、ＰＴＺカメラ制御部４０は、第２部分領域Ｙの画像の輝度値分布に基づいて、逆光補正の要否を判定し、逆光補正が必要と判定された場合、ＰＴＺカメラ１０によって撮像された画像の逆光補正を行う。このため、第２部分領域Ｙの画像の輝度値分布に基づいて、逆光補正の要否を判定することができる。また、逆光補正が必要と判定された場合、カメラによって撮像された画像の逆光補正を行うことができる。

本発明は上述の実施形態に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内での全ての変更が含まれることが意図されている。

１ カメラシステム
１０ ＰＴＺカメラ（カメラ，第１カメラ）
１０ａ オートフォーカス制御部
２０ 広角カメラ（第２カメラ）
３０ カメラ制御装置
３１ 映像入力部
３２ Ａ／Ｄ変換部
３３ 画像メモリ
３４ 映像入力部
３５ Ａ／Ｄ変換部
３６ Ｄ／Ａ変換部
３７ 出力部
３８ 制御部
３９ 検出・追跡部（検出部）
４０ ＰＴＺカメラ制御部（制御部）
４０ａ パン・チルト制御部
４０ｂ ズーム制御部
４０ｃ ソフトウェアフォーカス制御部
４０ｄ シャッタースピード制御部
４１ 記憶部
４２ 通信部
５０ 外部モニタ
Ａ 人物（撮像対象物）
Ｂ 照明
Ｘ 第１部分領域（部分領域）
Ｙ 第２部分領域（部分領域）
ｄ 距離
Ｚ ズーム値
Ｆ フォーカス値
ｆ フォーカス値
ｗ 幅

Claims (12)

1. ズーム機能を有するカメラによって撮像される撮像対象物の位置に関する情報を検出する検出部と、
   前記撮像対象物の位置に関する情報と、前記カメラのズーム値に関する情報と、前記カメラのフォーカス値と、の対応関係が記憶されている記憶部と、
   前記カメラを制御する制御部と、を備え、
   前記制御部は、前記検出部によって検出された前記撮像対象物の位置に関する情報及び前記カメラのズーム値に関する情報に基づいて、前記対応関係を参照してフォーカス値を得て、得られた前記フォーカス値を用いて、前記カメラのフォーカス制御を行う
   カメラ制御装置。
2. 前記制御部は、前記対応関係を参照して得られた前記フォーカス値を用いて前記カメラのフォーカス制御を行う第１モードと、オートフォーカスによって前記カメラのフォーカス制御を行う第２モードと、を切替可能である
   請求項１記載のカメラ制御装置。
3. 前記制御部は、前記オートフォーカスによるフォーカス制御の適否を判定する判定処理を行い、オートフォーカスによるフォーカス制御が不適切であると判定された場合に、前記第１モードでのフォーカス制御を行う
   請求項２記載のカメラ制御装置。
4. 前記制御部は、前記撮像対象物が撮像された画像の輝度値に基づいて、前記判定処理を行う
   請求項３記載のカメラ制御装置。
5. 前記制御部は、前記撮像対象物が撮像された画像のうち前記撮像対象物を含む部分領域の画像の輝度値に基づいて、前記判定処理を行う
   請求項４記載のカメラ制御装置。
6. 前記検出部は、前記撮像対象物が撮像された画像上の前記撮像対象物の領域を検出するように構成され、
   前記部分領域は、前記検出部によって検出された前記撮像対象物の領域を含み、この領域の外方にまで広がっている領域である
   請求項５記載のカメラ制御装置。
7. 前記検出部は、前記撮像対象物の速度を検出するように構成され、
   前記制御部は、前記検出部によって検出された前記撮像対象物の速度に基づいて、前記カメラのズーム制御を行う
   請求項１〜請求項６のいずれか１項に記載のカメラ制御装置。
8. 前記検出部は、前記撮像対象物の速度を検出するように構成され、
   前記制御部は、前記検出部によって検出された前記撮像対象物の速度に基づいて、前記カメラのシャッタースピードを制御する
   請求項１〜請求項７のいずれか１項に記載のカメラ制御装置。
9. 前記制御部は、前記撮像対象物が撮像された画像の前記部分領域における輝度値分布に基づいて、逆光補正の要否を判定し、逆光補正が必要と判定された場合、前記カメラによって撮像された画像の逆光補正を行う
   請求項１〜請求項８のいずれか１項に記載のカメラ制御装置。
10. ズーム機能を有する第１カメラと、
    第２カメラと、
    カメラ制御装置と、
    を備え、
    前記カメラ制御装置は、
    第２カメラによって撮像された画像に基づいて、撮像対象物の位置に関する情報を検出する検出部と、
    前記撮像対象物の位置に関する情報と、前記第１カメラのズーム値に関する情報と、前記第１カメラのフォーカス値と、の対応関係が記憶されている記憶部と、
    前記第１カメラを制御する制御部と、を備え、
    前記制御部は、前記検出部によって検出された前記撮像対象物の位置に関する情報及び前記第１カメラのズーム値に関する情報に基づいて、前記対応関係を参照してフォーカス値を得て、得られた前記フォーカス値を用いて、前記第１カメラのフォーカス制御を行う
    カメラシステム。
11. ズーム機能を有するカメラによって撮像される撮像対象物の位置に関する情報を検出し、検出された前記撮像対象物の位置に関する情報及び前記カメラのズーム値に関する情報に基づいて、前記撮像対象物の位置に関する情報と、前記カメラのズーム値に関する情報と、前記カメラのフォーカス値と、の対応関係を参照してフォーカス値を得て、得られた前記フォーカス値を用いて、前記カメラのフォーカス制御を行う
    カメラ制御方法。
12. ズーム機能を有するカメラによって撮像される撮像対象物の位置に関する情報と、前記カメラのズーム値に関する情報と、前記カメラのフォーカス値と、の対応関係が記憶されている記憶部を有するコンピュータを、
    前記撮像対象物の位置に関する情報を検出する検出部、
    前記検出部によって検出された前記撮像対象物の位置に関する情報及び前記カメラのズーム値に関する情報に基づいて、前記対応関係を参照してフォーカス値を得て、得られた前記フォーカス値を用いて、前記カメラのフォーカス制御を行う制御部、として機能させるための
    プログラム。

Images