JP3544215B2

JP3544215B2 - ビデオカメラシステム

Info

Publication number: JP3544215B2
Application number: JP19704093A
Authority: JP
Inventors: 潤永井; 忠房富高
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1993-07-13
Filing date: 1993-07-13
Publication date: 2004-07-21
Anticipated expiration: 2019-07-21
Also published as: JPH0730795A

Description

【０００１】
【目次】
以下の順序で本発明を説明する。
産業上の利用分野
従来の技術（図１）
発明が解決しようとする課題
課題を解決するための手段（図２〜図１４）
作用（図２〜図１４）
実施例
（１）全体の構成（図２〜図１６）
（２）自動追従処理動作（図７〜図１０）
（３）被写体存在確認処理動作（図１１〜図１４）
（４）他の実施例
発明の効果
【０００２】
【産業上の利用分野】
本発明はビデオカメラシステムに関し、特にビデオカメラの視野内にある被写体を常時表示画面の中央部に表示させるようにしたビデオカメラの被写体追尾システムに適用して好適なものである。
【０００３】
【従来の技術】
従来、パン駆動機構及びチルト駆動機構を用いてビデオカメラを被写体に自動追尾させることにより、常時表示画面の中央部に被写体を表示させるように自動追尾させるビデオカメラシステムが提案されている（特願平４−３２２６５２号）。
このビデオカメラシステムにおいて適用される従来の被写体追尾システムの制御量演算部においては、画面中心に対する被写体の表示位置のずれと、モータ制御量との関係を、図１に示すように、ずれ量に対してモータを戻す方向に駆動制御することにより、被写体を画面中心に引き戻すようにカメラを追尾動作させる手法が用いられている。
【０００４】
【発明が解決しようとする課題】
しかしながらこの従来の手法を用いて被写体が常時画面中心にあるように自動追尾制御するようにした場合、被写体を見失つて画面内に被写体を映出させることができない状態になつたときには、画面中心に対する被写体のずれ量を算出することができなくなるために、自動追尾動作をし得なくなる。
【０００５】
実際上従来のビデオカメラシステムにおいては、このような状態になつたときにはモータの制御量を０にすることによりビデオカメラを停止状態に維持するような構成が用いられている。
従つて例えば被写体が物体の背後を通過するような状況になつて瞬時的に被写体を見失つたような場合や、被写体が急激に加速したためにビデオカメラシステムが追尾しきれなくなつて被写体が画面外に逸脱するような状態になつた場合には、ビデオカメラが停止したまま追尾動作できないような状態になることがある。このような場合ユーザは、被写体の動きに委せて被写体が再度画面内に映出されるのを待つか、又はビデオカメラ位置のそばにまで行つて手でビデオカメラをパンニング又はチルテイング動作させることにより被写体を画面内に引き込むような煩雑な操作をしなければならないような問題があつた。
【０００６】
本発明は以上の点を考慮してなされたもので、被写体が画面に映出されない状態になつたために被写体追尾動作をなし得なくなつたとき、ビデオカメラシステムの当該動作状態をユーザが容易に確認できるようにすると共に、画面外に出た被写体を自動的に捕捉できるようにすることにより、一段と使い易くしたビデオカメラシステムを提案しようとするものである。
【０００７】
【課題を解決するための手段】
かかる課題を解決するために本発明においては、表示画面上の被写体の映像の位置を検出して、視野映像をパンニング及びチルテイング駆動することにより被写体を自動追尾する点を基本構成として、表示画面上、検出計測枠について、基準計測枠に対する輝度並びに色相ほ類似度を表す情報の和に基づいて被写体の映像の位置を検出すると共に、被写体存在検出情報の内容が「不存在」であることを表しているとき、補捉するように追尾手段を駆動し、また、被写体存在検出情報に内容が「不存在」であることを表しているとき、ズーミング手段のズーム倍率を変更し、さらに、被写体存在検出情報の内容が「不存在」であることを表しているとき、これを被写体不存在表示手段に表示してユーザに知らせる。
【０００８】
【作用】
自動追尾制御動作をしている間に被写体を見失つたような場合には、これを直ちに検出してユーザに知らせるようにし、又は当該見失つた画像を、パンニング及びチルテイング、並びにズーミング駆動することによつて自動的に補捉し直すような処理を実行するようにしたことにより、例えば被写体が急激に加速したために自動追尾しきれなくなつたような場合にも、ユーザに過大な負担をかけることなく容易に対応処置をなし得るようにしたビオデオカメラシステムを実現できる。かくするにつき、輝度及び色相の類似度を表す情報の和に基づいて被写体の映像の位置を検出するようにしたことにより、光源の影響を受けずに自動追尾をなし得る。
【０００９】
【実施例】
以下図面について、本発明の一実施例を詳述する。
【００１０】
（１）全体の構成
図２において、ＶＣＳは全体としてビデオカメラシステムを示し、被写体から到来する撮像光ＬＡをレンズブロツク部１のレンズ２、アイリス３を通つて例えばＣＣＤ（ｃｈａｒｇｅｃｏｕｐｌｅｄｄｅｖｉｃｅ）でなる撮像素子４に受けて被写体映像を含む視野映像に対応する撮像出力信号Ｓ１を信号分離／自動利得調整回路部５に与える。
信号分離／自動利得調整回路部５は撮像出力信号Ｓ１をサンプルホールドすると共に、オートアイリス（ＡＥ）（図示せず）からの制御信号によつて撮像出力信号Ｓ１が所定のゲインをもつように利得制御し、かくして得られる所定ゲインの撮像出力信号Ｓ２をアナログ／デイジタル変換回路部６を介してデイジタルカメラ処理回路７に供給する。
【００１１】
デイジタルカメラ処理回路７は撮像出力信号Ｓ２に基づいて輝度信号Ｙ、クロマ信号Ｃを形成し、輝度信号Ｙ及びクロマ信号Ｃをデイジタル／アナログ変換回路８を介してビデオ信号Ｓ３として送出する。
これに加えてデイジタルカメラ処理回路７は被写体追従用検出信号Ｓ４として輝度信号Ｙ並びに色差信号Ｒ−Ｙ及びＢ−Ｙを追従制御回路部１１に供給し、追従制御回路部１１はこの被写体追従用検出信号Ｓ４に基づいて、レンズブロツク部１に対して設けられたパンニング駆動モータ１２Ａ、チルテイング駆動モータ１２Ｂ及びズーミング駆動モータ１２Ｃに対する追従制御信号Ｓ５を発生すると共に、レンズブロツク部１の外筐に取り付けられた警報表示手段、例えばタリーランプ９を表示駆動するタリーランプ駆動回路１３に対して駆動制御信号Ｓ６を発生する。
【００１２】
追従制御回路部１１は色差信号Ｒ−Ｙ及びＢ−Ｙを飽和度／色相検出回路１４に与えて色相（Ｈｕｅ）信号ＨＵＥ及び飽和度（Ｓａｔｕｒａｔｉｏｎ）信号ＳＡＴを形成し、これを輝度信号Ｙと共に例えばフイールドメモリで構成された画像メモリ１５に各画素単位で記憶する。
飽和度／色相検出回路１４は色差信号Ｒ−Ｙ及びＢ−Ｙを直交座標／極座標変換することにより色相信号ＨＵＥ及び飽和度信号ＳＡＴを形成し、かくして輝度信号Ｙ、色相信号ＨＵＥ及び飽和度信号ＳＡＴによつて人間が知覚できる視覚刺激に基づいて被写体の認識を実行する。
【００１３】
因に一般に人間が知覚できる視覚刺激は図３に示すように、Ｌ軸とこれに直交するＳＨ平面を有するいわゆるＨＬＳ系と呼ばれる色座標系によつて表現される。
Ｌ軸は明るさ（Ｌｉｇｈｔｎｅｓｓ）を表し、輝度信号Ｙに相当する。ＳＨ平面はＬ軸に直交する極座標で表現される。ＳＨ平面において、Ｓは飽和度（Ｓａｔｕｒａｔｉｏｎ）を表し、Ｌ軸からの距離によつて表現される。またＨは色相（Ｈｕｅ）を表し、色差信号Ｒ−Ｙの方向を０°としたときの角度によつて表現される。
【００１４】
このＨＬＳ系の立体は、光源が明るくなると、色座標すなわちＳＨ平面がＬ軸に沿つて上方方向に行くと共にすべての色が白になる。そのとき飽和度Ｓが減少して行く。これに対して光源が暗くなると、色座標すなわちＳＨ平面がＬ軸に沿つて下方方向に行くと共に、すべての色が黒になる。このとき同時に飽和度Ｓも減少して行く。
このようなＨＬＳ色座標系の特徴に基づいて、飽和度Ｓ及び輝度Ｙは光源の明るさの影響を受け易く、従つて被写体の特徴量を表すパラメータとしては最適とは言い難いことが分る。これとは逆に色相Ｈは被写体個有の特徴量を表現するものとして、光源の影響を受け難いものであることが分る。
【００１５】
しかしそうであると言つても、被写体の色がＬ軸上の近傍にあるような場合、すなわち白、黒及び灰色の場合は、色相Ｈの信号が情報としての意味をもたなくなり、最悪の場合、Ｓ／Ｎが悪い画像では白であるにもかかわらず様々な色相Ｈのベクトルをもつている可能性があることが分る。
かかるＨＬＳ色座標系の性質を利用して追従制御回路部１１は、被写体の特徴を抽出し、特徴の変化が生じたときこれに追従するようにパンニング駆動モータ１２Ａ及びチルテイング駆動モータ１２Ｂを駆動することにより、結果としてビデオ信号Ｓ３として被写体の動きに適応してその映像を常時表示画面の中央位置に映出するような映像信号を得ることができるようにする。
【００１６】
すなわち画像メモリ１５に記憶された被写体追従用検出信号Ｓ４を構成する画素情報は、マイクロプロセツサ構成の追従信号処理回路１６から送出されるブロツク指定信号Ｓ６をアドレス発生回路１７に与えることにより、図４に示すように、実質上画像メモリ１５内に形成されている表示画面ＰＩＣをｘｙ直交座標（ｘ、ｙ）に基づいて所定の大きさの小領域ＡＲでなるブロツクに分割するようなアドレス信号Ｓ７をアドレス回路１７から画像メモリ１５に供給させる。
かくして画像メモリ１５の表示画面ＰＩＣを構成する各画素のデータは、小領域ＡＲごとに読み出されて各小領域ＡＲごとに１つのブロツク画像情報として処理される。
【００１７】
この実施例の場合、表示画面ＰＩＣはｘ方向及びｙ方向にそれぞれ１６個の小領域ＡＲに分割され、かくして１６×１６（＝２５６）個の小領域ＡＲについて直交座標（ｘ、ｙ）の座標ｘ＝ｉ、ｙ＝ｊ（例えば左上隅の座標）を指定することにより、当該指定された小領域ＡＲ内に含まれる画素から得た画像情報Ｉ（ｘ＝ｉ、ｙ＝ｊ）を読み出すことができる。
このようにして画像メモリ１５から小領域ＡＲごとに読み出される画像情報Ｉ（ｘ＝ｉ、ｙ＝ｊ）のうち、色相信号ＨＵＥ成分がゲート回路１８を通つて色相ヒストグラム発生回路１９に与えられるのに対して、輝度信号Ｙ成分が直接輝度ヒストグラム発生回路２０に与えられる。
【００１８】
色相ヒストグラム発生回路１９は、表示画面ＰＩＣの中央位置上に設定された基準計測枠ＦＭＲ内の画素の色相について、図５に示すように、色相角０°〜３５９°について各色相角をもつ画素の画素数の分布（すなわち頻度分布）を表す色相頻度特性ＨｕｅＳｔｄ（ｉ）を求め、これを色相ヒストグラム信号Ｓ１１として追従信号処理回路１６に送出する。
かくして色相ヒストグラム発生回路１９は、基準計測枠ＦＭＲ内の画像がもつ色相についての特徴を、色相頻度特性ＨｕｅＳｔｄ（ｉ）によつて表される色相特徴パターンに変換して、追従信号処理回路１６に供給することになる。
【００１９】
また輝度ヒストグラム発生回路２０は、同様にして表示画面ＰＩＣ上に設定された基準計測枠ＦＭＲ内の画素についての輝度信号Ｙに基づいて、図６に示すように、輝度レベル０〜２５５について各輝度レベルをもつ画素の画素数の分布（すなわち頻度分布）を表す輝度頻度特性ＹＳｔｄ（ｉ）を求め、これを輝度ヒストグラム信号Ｓ１２として追従信号処理回路１６に供給する。
かくして輝度ヒストグラム発生回路２０は、基準計測枠ＦＭＲ内の画像がもつ輝度についての特徴を、輝度頻度特性ＹＳｔｄ（ｉ）によつて表される輝度特徴パターンに変換して、追従信号処理回路１６に供給することになる。
【００２０】
この実施例の場合、ゲート回路１８に対してコンパレータ構成の色相ノイズゲート信号形成回路２５が設けられ、画像メモリ１５から各画素ごとに読み出される飽和度信号ＳＡＴを追従信号処理回路１６から送出されるノイズ判定信号Ｓ１４と比較し、飽和度信号ＳＡＴが所定レベル以下のときゲート回路１８を閉動作させるゲート信号Ｓ１５をゲート回路１８に与えることにより、当該画素の色相信号ＨＵＥを色相ヒストグラム発生回路１９に入力させないようになされている。
因に飽和度／色相検出回路１４において検出された飽和度信号ＳＡＴがＬ軸の近傍（図３）にあるとき、このことは当該色相信号ＨＵＥは飽和度が小さいためにノイズに埋もれて情報としての意味をもつていないおそれがあるので、このような意味をもたない色相信号ＨＵＥをゲート回路１８において除去する。
【００２１】
（２）自動追従処理動作
以上の構成において、追従信号処理回路１６は図７に示す自動追従処理手順ＲＴ１を実行することにより、たとえカメラの視野内において被写体が移動した場合にも、基準計測枠ＦＭＲ内の画像に対して最も類似性が大きい画像を常に基準計測枠ＦＭＲ内に映出することができるように、被写体の移動に応じてレンズブロツク部１を適応制御させる。
追従信号処理回路１６は、自動追従処理手順ＲＴ１に入るとまずステツプＳＰ１においてフレーム番号ＦＮをＦＮ＝０に初期設定すると共に、ユーザが記録ポーズボタンＲＥＣＰＡＵＳＥを操作することにより記録ポーズ状態を解除するのを待ち受ける状態になる。
【００２２】
その状態においてユーザが記録を開始すると、追従信号処理回路１６はステツプＳＰ２に移つて図４〜図６について上述したように、表示画面ＰＩＣの中央にある基準計測枠ＦＭＲをアドレス発生回路１７によつて指定することにより当該基準計測枠ＦＭＲ内の画素に対応する輝度信号Ｙ及び色相信号ＨＵＥを輝度ヒストグラム発生回路２０及び色相ヒストグラム発生回路１９に送出させ、これにより基準輝度頻度特性ＹＳｔｄ（ｉ）（図６）及び基準色相頻度特性ＨｕｅＳｔｄ（ｉ）（図５）を基準特徴パターンとする輝度ヒストグラム信号Ｓ１２及び色相ヒストグラム信号Ｓ１１によつて記録するような処理を実行する。
【００２３】
続いて追従信号処理回路１６はステツプＳＰ３に移つて、第１にフレーム番号ＦＮをＦＮ＋１に歩進させ、第２に、図８に示すように、アドレス発生回路１７によつて検出計測枠ＦＭＤの位置をスキヤンさせることにより、検出計測枠ＦＭＤによつて表示画面ＰＩＣ上の画像情報を検出計測枠ＦＭＤを単位として抽出して行く。
この実施例の場合、検出計測枠ＦＭＤは、基準計測枠ＦＭＲと同様に、４×４個の小領域ＡＲで構成され、アドレス発生回路１７は検出計測枠ＦＭＤの左上隅の小領域アドレスを左側から右側方向にかつ上側から下側方向に順次指定して行くことによりスキヤンをする。
その結果検出計測枠ＦＭＤはアドレス（ｘ、ｙ）＝（０、０）、（１、０）……（１２、０）、（０、１）、（１、１）……（１２、１）、…………、（０、１２）、（１、１２）……（１２、１２）のように順次シフトするようにスキヤンされる。
【００２４】
このようなスキヤンをする間に、追従信号処理回路１６はアドレス（ｘ、ｙ）位置に移動された検出計測枠ＦＭＤの画像について、その色相情報及び輝度情報に基づいて図９及び図１０に示すような検出色相頻度特性Ｈｕｅ（ｘ、ｙ）（ｉ）及び検出輝度頻度特性Ｙ（ｘ、ｙ）（ｉ）を求める。
ここで検出色相頻度特性Ｈｕｅ（ｘ、ｙ）（ｉ）は検出計測枠ＦＭＤに含まれるすべての画素がもつている色相角度ｙ＝０°〜３５９°の画素の発生頻度により、当該検出計測枠ＦＭＤの色相検出パターンを表している。
これに対して検出輝度頻度特性Ｙ（ｘ、ｙ）（ｉ）は、検出計測枠ＦＭＤに含まれるすべての画素がもつている輝度レベル＝０〜２５５の画素の発生頻度によつて検出特徴パターンを表している。
【００２５】
続いて追従信号処理回路１６はステツプＳＰ４において、輝度信号について次式、
【数１】

のように、検出計測枠ＦＭＤについて、検出輝度頻度特性Ｙ（ｘ、ｙ）（ｉ）と、基準輝度頻度特性ＹＳｔｄ（ｉ）との差の絶対値を輝度レベルｙ＝０〜２５５について合計することによりユークリツド距離Ｊ１（ｘ、ｙ）を求め、これを基準計測枠ＦＭＲ内の画像の輝度情報に対するアドレス（ｘ、ｙ）位置にある検出計測枠ＦＭＤ内の輝度情報の類似度を表す情報として得る。
【００２６】
また検出計測枠ＦＭＤの色相情報について、追従信号処理回路１６は次式、
【数２】

のように、アドレス（ｘ、ｙ）位置にある検出計測枠ＦＭＤの検出色相頻度特性Ｈｕｅ（ｘ、ｙ）（ｉ）と、基準色相頻度特性ＨｕｅＳｔｄ（ｉ）との差の絶対値を、色相角ｉ＝０°〜３５９°について合計することによりユークリツド距離Ｊ２（ｘ、ｙ）を求め、これにより基準計測枠ＦＭＲの画像がもつている基準色相パターンに対して位置（ｘ、ｙ）にある検出計測枠ＦＭＤがもつている画像の検出特徴パターンに対する類似度を表す情報を形成する。
【００２７】
追従信号処理回路１６はこのようにして輝度及び色相について求めたユークリツド距離Ｊ１（ｘ、ｙ）及びＪ２（ｘ、ｙ）に基づいて次式、
【数３】

のように、その和を演算することにより評価値Ｊ（ｘ、ｙ）を求める。
【００２８】
かくして追従信号処理回路１６は検出計測枠ＦＭＤのスキヤン位置（ｘ、ｙ）（ｘ＝０、１……１２、ｙ＝０、１……１２）にあるすべての検出計測枠ＦＭＤについての評価値Ｊ（ｘ、ｙ）（ｘ＝０、１……１２、ｙ＝０、１……１２）を得た状態において次のステツプＳＰ５に移つて、評価値Ｊ（ｘ、ｙ）が最小になる検出計測枠ＦＭＤの位置を現在の計測時における被写体の位置であると決定し、当該最小になる評価値Ｊ（ｘ、ｙ）が不存在確認用スレシヨルドレベル以下であること、従つて表示画面ＰＩＣ内に被写体の映像が存在することを確認して、次のステツプＳＰ６において当該新しい被写体の中央位置（ｘ、ｙ）が画面中央位置に設定されている基準計測枠ＦＭＲ（図４）位置に来るような追従制御信号Ｓ５をパンニング駆動モータ１２Ａ及びチルテイング駆動モータ１２Ｂに与える。
【００２９】
ここで、最小になる評価値が、大きければ、このことは検出計測枠から検出された新しい被写体の位置Ｊ（ｘ、ｙ）が表示画面ＰＩＣの中央部から遠い位置にあることを意味し、従つて追従信号処理回路１６は、当該最小になる評価値が所定の不存在確認用スレシヨルドレベル以上になつたときは、被写体の映像が表示画面ＰＩＣの外側にある（従つて被写体の映像が表示画面ＰＩＣには存在しない）と判断する。
【００３０】
続いて追従信号処理回路１６は、ステツプＳＰ７に移つて、新しく基準計測枠ＦＭＲに来た画像についての輝度信号及び色相信号の基準頻度特性データ（図５及び図６）を、基準特徴パターンとして更新した後、上述のステツプＳＰ３に戻つて次の測定サイクルに入る。
かくして追従信号処理回路１６はテレビジヨンカメラに対して被写体が移動した場合、表示画面ＰＩＣ全体について基準計測枠ＦＭＲの画像情報に対して最も類似性が大きい画像情報を有する検出計測枠ＦＭＤの位置を求め、当該最も類似性が大きい検出計測枠ＦＭＤの映像が基準計測枠ＦＭＲの位置に来るようにテレビジヨンカメラのレンズブロツク部１をパンニング及びチルテイング制御するようにしたことにより、被写体が移動したときこれに応動して表示画面ＰＩＣの中央位置に被写体の映像を戻すようにビデオカメラシステムＶＣＳを適応動作させることができる。
【００３１】
これに対して基準計測枠ＦＭＲ位置にある被写体が移動しなかつた場合には、基準計測枠ＦＭＲと同じ位置にある検出計測枠ＦＭＤから得られた検出特徴パターンについてこれが最も基準特徴パターンに対して類似性が大きいという評価をステツプＳＰ４において得ることができることにより、追従信号処理回路１６は追従制御信号Ｓ５によつて新しい被写体が引き続き検出計測枠ＦＭＲ内にある状態を保持させるようにビデオカメラシステムＶＣＳを制御する。
図７に示す自動追従処理手順によれば、ユーザが最初に被写体を画面中央の基準計測枠ＦＭＲに入るようにカメラ操作をした後記録を開始しさえすれば、その後被写体の映像が表示画面ＰＩＣ内を移動しても、追従信号処理回路１６が当該移動位置を輝度信号及び色相信号の頻度特性データに基づいて得られる検出特徴パターンと基準検出パターンとの比較によつて確実に検出することにより、ビデオカメラシステムを被写体の移動に適応動作させながら自動追尾させることができる。
【００３２】
（３）被写体存在確認処理動作
追従信号処理回路１６は、自動追従処理手順ＲＴ１のステツプＳＰ５において被写体の映像が表示画面ＰＩＣ内にあるか否かの存在確認処理に入ると、以下に述べるような被写体存在確認処理サブルーチンを実行する。
【００３３】
（３−１）第１の実施例
図１１は、第１の実施例を示すもので、追従信号処理回路１６は被写体存在確認処理ルーチンＲＴ２に入ると、先ずステツプＳＰ１１に移つて表示画面ＰＩＣ内に被写体が存在するか否かの判断をし、肯定結果が得られることにより被写体の存在が確認できたとき（すなわち内容が「存在」の被写体存在検出情報が得られたとき）にはステツプＳＰ１２を通つてメインルーチン、すなわち図７の自動追従処理手順ＲＴ１のステツプＳＰ５にリターンして自動追従処理手順ＲＴ１の処理を続ける。
【００３４】
これに対して表示画面ＰＩＣ内に被写体が存在しない場合には、追従信号処理回路１６はステツプＳＰ１１において否定結果が得られることにより（すなわち内容が「不存在」の被写体検出情報が得られることにより）ステツプＳＰ１３に移つてタリーランプ駆動回路１３に駆動制御信号Ｓ６を送出することにより、タリーランプ９を点灯表示させる。
この実施例の場合図１２に示すように、タリーランプ９はテレビジヨンカメラ２５のケースの天板上に突出するように設けられており、かくして表示画面ＰＩＣに映出された視野映像内に被写体の映像が映出されない状態になつたとき、ユーザはこの被写体の不存在をタリーランプ９が点灯したことにより容易に知ることができる。
【００３５】
かくしてユーザは被写体が不存在の状態になつたときにはこれを放置せずに、例えば手でビデオカメラ２５をパン及びチルト操作することにより被写体の映像を表示画面ＰＩＣ内に捕捉し直すような処理を、必要に応じて直ちに実施することができる。
このようにしてユーザが手でビデオカメラ２５をパン及びチルト操作をすることにより、被写体の映像を表示画面内に捕捉し直した状態になると、追従信号処理回路１６はステツプＳＰ１１において肯定結果を得、これによりステツプＳＰ１３のタリーランプ９の点灯処理を実行することなく（従つてタリーランプ９を消灯して）ステツプＳＰ１２を通してメインルーチンに戻るような処理を実行する。
【００３６】
図１２において、２５Ａはパンニング／チルテイング駆動部、２５Ｂはレンズ系、２５Ｃはビユーフアインダ系、２５Ｄはマイクロホンである。
図１１及び図１２の構成によれば、表示画面ＰＩＣ内に被写体の映像が存在しなくなつたとき、この状態の発生をユーザに直ちに知らせることができ、その結果一段と使い易いビデオカメラシステムを容易に実現し得る。
【００３７】
（３−２）第２の実施例
図１３は第２の実施例を示すもので、この場合追従信号処理回路１６は被写体存在確認処理ルーチンＲＴ３に入ると、先ずステツプＳＰ２１において被写体が存在するか否かを判断し、肯定結果が得られたとき（すなわち「存在」の被写体検出情報が得られたとき）ステツプＳＰ２２を通つてメインルーチン、すなわち自動追従処理手順ＲＴ１のステツプＳＰ５にリターンし、これにより自動追従処理手順ＲＴ１の処理を続ける。
これに対してステツプＳＰ２１において否定結果が得られると（すなわち「不存在」の被写体検出情報が得られると）、このことは表示画面ＰＩＣ内に被写体の映像が存在しないことを意味し、そのとき追従信号処理回路１６はステツプＳＰ２３に移つて現在のレンズ２のズーム位置を内蔵のメモリに記憶した後、ステツプＳＰ２４において追従制御信号Ｓ５によつてズーミング駆動モータ１２Ｃを駆動することによりレンズ２をワイド方向に駆動する。
【００３８】
この実施例の場合、レンズ２はズーミング駆動モータ１２Ｃによつて駆動されるズームレンズを有し、このズームレンズと関連して動作するポテンシヨメータによつてズームレンズのズーム位置を表すズーム位置検出信号を追従信号処理回路１６に供給するようになされている。
この結果レンズブロツク部１のレンズ２に到来する撮像光ＬＡ２をＣＣＤ撮像素子４に取り込むことにより得られる映像の視野がズーム位置従つてズーム倍率をワイド方向に引くことにより拡大することができる。
続いて追従信号処理回路１６はステツプＳＰ２５に移つて被写体を発見できるか否かの判断を実行し、否定結果が得られたときにはステツプＳＰ２５において肯定結果が得られるまでステツプＳＰ２５の処理を続ける。
【００３９】
やがてステツプＳＰ２５において肯定結果が得られると、このことは表示画面ＰＩＣに映出された視野映像内に被写体が存在することにより自動追従処理をなし得る状態になつたことを意味し、このとき追従信号処理回路１６はステツプＳＰ２６に移つて被写体を表示画面ＰＩＣ内に補捉しながらズーミング駆動モータ１２Ｃを駆動することによりズーム位置をステツプＳＰ２３において記憶したズーム位置にまで復帰させた後、上述のステツプＳＰ２１に戻る。
かくして追従信号処理回路１６はレンズ２のズームレンズを元のズーム位置に戻した状態における表示画面ＰＩＣ内に被写体の映像が存在するような状態にレンズブロツク部１を自動的に制御し、その結果ステツプＳＰ２１における判断において肯定結果が得られることにより、ステツプＳＰ２２を通つてメインルーチン、すなわち自動追従処理手順ＲＴ１のステツプＳＰ５にリターンする。
【００４０】
図１３の構成において、追従信号処理回路１６は自動追従処理手順ＲＴ１を実行することにより表示画面ＰＩＣの中心位置に被写体の映像を映出する状態に自動追従動作している状態において、被写体を見失つて当該被写体の映像が画面内に存在しない状態になると、追従信号処理回路１６はこれを被写体存在確認処理ルーチンＲＴ３のステツプＳＰ２１において否定結果が得られることにより検出し、ステツプＳＰ２３においてレンズ２のズーム倍率をワイド側に引くことによつて撮像素子４に結像する映像内に被写体の映像を存在させるような状態にする。
この状態において追従信号処理回路１６は、ステツプＳＰ２４及びＳＰ２５によつて被写体を発見した後、被写体を画面内に捕捉しながらレンズ２のズーム倍率を元に戻してステツプＳＰ２１、ＳＰ２２を順次通つて自動追従処理手順ＲＴ１の処理に戻る。
【００４１】
かくして図１３の構成によれば、テレビジヨンカメラシステムが一旦被写体を見失つたような状態になつたときには、自動的に被写体を捕捉し直すようにレンズ２をズーミング制御するようにしたことにより、ビデオカメラシステムが被写体を見失つたような場合にもこれを直ちに検出すると共に、ユーザがその都度ビデオカメラ２５のそばまで来てパン及びチルト操作をし直すような煩雑な手間を不必要にできる分、一段と使い易いビデオカメラシステムが実現できる。
【００４２】
（３−３）第３の実施例
図１４は第３の実施例を示すもので、被写体を見失つたとき追従信号処理回路１６は先ず予測追尾処理を実行し、その結果被写体を発見できないとき次にスキヤン捕捉処理を実行する。
すなわち追従信号処理回路１６は被写体存在確認処理ルーチンＲＴ４に入ると、先ずステツプＳＰ３１において被写体が存在するか否かの判断をし、肯定結果が得られたとき（すなわち「存在」の被写体検出情報が得られたとき）ステツプＳＰ３２を通つてメインルーチン、すなわち自動追従処理手順ＲＴ１のステツプＳＰ５に戻つて画面の中央に被写体が来るような自動追尾処理を実行する。
【００４３】
これに対してステツプＳＰ３１において否定結果が得られる（すなわち「不存在」の被写体存在検出情報が得られる）と、このことはレンズブロツク部１が被写体を見失つたことを意味し、このとき追従信号処理回路１６はステツプＳＰ３３に移つて予測追尾処理をするか否かの判断をする。
追従信号処理回路１６はステツプＳＰ３３において肯定結果を得ると、ステツプＳＰ３４から予測追尾モードに入る。
ここで追従信号処理回路１６は、表示画面ＰＩＣから被写体を見失つたとき所定時間の間（例えば１画面分の表示時間の間）被写体を見失う前の制御量を用いて被写体の自動追尾処理を続ける。
【００４４】
かくしてビデオカメラシステムは、例えば被写体が物体の背後を通過した場合のように被写体を瞬時的に見失つたときに、当該被写体を見失う前のパン及びチルト駆動条件を用いて予測的に自動追尾処理を続けることができ、かくして被写体が物体の背後を移動し終つて同じ速度で移動して行くとき、ビデオカメラのパン及びチルト動作を連続的にかつ円滑に続行させることができる。
かかる予測追尾モードの処理を実行した後、追従信号処理回路１６はステツプＳＰ３５に移つて被写体を発見できるか否かの判断をし、肯定結果が得られたとき上述のステツプＳＰ３１、ＳＰ３２を通つてメインルーチンに戻る。
【００４５】
これに対してステツプＳＰ３５において否定結果が得られると、このことは、ステツプＳＰ３４の予測追尾処理だけでは被写体を補捉し直すことができなかつたことを意味し、このとき追従信号処理回路１６は上述のステツプＳＰ３３に戻る。
ところがこの状態においては、予測追尾処理が既に終了しているので、追従信号処理回路１６はステツプＳＰ３３において否定結果を得ることになり、このとき追従信号処理回路１６はステツプＳＰ３６からスキヤン補捉モードに入る。
【００４６】
このステツプＳＰ３６はスキヤン処理をするか否かを判断するステツプで、追従信号処理回路１６はステツプＳＰ３３からＳＰ３６に移つたとき肯定結果を得ることによりステツプＳＰ３７においてレンズブロツク部１をスキヤン制御する。
この実施例の場合追従信号処理回路１６はスキヤン制御処理として、先ずズーミング駆動モータ１２Ｃを介してレンズ２を構成するズームレンズを所定のズーム位置にワイド方向にズーム動作させた後、パンニング駆動モータ１２Ａ及びチルテイング駆動モータ１２Ｂをパンニング方向及びチルテイング方向に１画面幅に相当する画面範囲に亘つて原画面の周囲をスキヤン駆動することにより、表示画面ＰＩＣに映出する視野映像の視野を拡大して見失つた被写体をビデオカメラ２５の表示画面ＰＩＣの視野映像内に映出させると共に、表示画面ＰＩＣ内に被写体が存在するか否かの判断をするような処理を実行する。
【００４７】
この実施例の場合、表示画面ＰＩＣに映出される視野映像は、左上位置から順次左右方向にほぼジグザグ状にカメラの視野を移動させることによりスキヤンされる。
これに続いて追従信号処理回路１６はステツプＳＰ３８に移つて被写体を発見したか否かの判断をし、肯定結果が得られたとき上述のステツプＳＰ３１、ＳＰ３２を通つてメインルーチンに戻る。
これに対して当該スキヤン動作を実行しても被写体を発見できないとき、追従信号処理回路１６はステツプＳＰ３６において否定結果を得てステツプＳＰ３９に移る。
【００４８】
このようにステツプＳＰ３６において否定結果が得られると、このことは予測追尾処理及びスキヤン捕捉処理をしたにもかかわらず、被写体を捕捉し直すことができなかつたことを意味し、このとき追従信号処理回路１６はステツプＳＰ３９において初期位置復帰モードに入つてパンニング駆動モータ１２Ａ及びチルテイング駆動モータ１２Ｂを予測追尾する前の初期位置に移動させる。
この状態において追従信号処理回路１６はステツプＳＰ４０において被写体が発見できたか否かの判断をし、否定結果が得られたとき、上述のステツプＳＰ３９に戻つて以後ステツプＳＰ３９−ＳＰ４０−ＳＰ３９のループの処理を実行することにより、被写体が発見できない限り初期位置にパンニング駆動モータ１２Ａ及びチルテイング駆動モータ１２Ｂを移動させた状態を維持する。
【００４９】
かくして被写体を見失つた状態になつた後、予測追尾処理及びスキヤン処理によつて被写体が発見できない状態が続くと、追従信号処理回路１６はその後ユーザが手でビデオカメラをパンニング及びチルテイング操作することにより被写体を画面内に捕捉する際に、初期位置から操作できることにより手での被写体の捕捉を一段と容易になし得る。
これに対して初期位置に移動したとき被写体を発見できれば、追従信号処理回路１６はステツプＳＰ４０において肯定結果が得られることによりステツプＳＰ３１、ＳＰ３２を通つてメインルーチンにリターンする。
【００５０】
図１４の構成によれば、被写体が例えば急激に加速することにより画面から逸脱した不存在状態になつたとき、追従信号処理回路１６がステツプＳＰ３３−ＳＰ３４−ＳＰ３５−ＳＰ３３のループによつて予測追尾処理を実行した後、ステツプＳＰ３６−ＳＰ３７−ＳＰ３８−ＳＰ３６のループのスキヤン捕捉処理を実行することにより、ビデオカメラシステムがたとえ被写体が急激な加速により画面から逸脱したような場合にも、その都度ユーザがカメラのそばに来てビデオカメラ位置を任意に設定する煩雑な手間を必要とすることなく、自動的に被写体を画面内に捕捉し直すような処理を実行できる。
かくして一段と使い易いビデオカメラシステムを得ることができる。
【００５１】
（４）他の実施例
上述の実施例においては、表示画面ＰＩＣを構成する画素情報をレンズブロツク部１において形成し、レンズブロツク部１をパンニング及びチルテイング動作させることにより表示画像を被写体の動きに追従させるようにしたが、これに代え、レンズブロツク部１から送出された映像出力信号Ｓ１を画像メモリ１５に記憶させ、当該画像をパンニング及びチルテイング処理することにより表示画面を形成するようにしても、上述の場合と同様の効果を得ることができる。
【００５２】
また上述の実施例においては、基準計測枠及び検出計測枠内の輝度信号及び色相信号の頻度特性データに基づいて被写体の位置を検出するようにした場合について述べたが、被写体の位置の検出手段としては、これに限らず、例えば赤外線センサ、超音波センサなどを用いて被写***置を検出する自動追尾システムに本発明を適用するようにしても、上述の場合と同様の効果を得ることができる。
【００５３】
また図１４の実施例においては、スキヤン捕捉モードにおけるスキヤン動作として、視野映像を左上位置から順次左右方向にほぼジグザグ状に移動させるようにしたが、スキヤン動作はこれに限らず、例えば中心位置からうず巻状に外側に移動させて行く方法など、種々の方法を採用し得る。
【００５４】
さらに、図１４の実施例においては、スキヤン捕捉モードのスキヤン動作を、先ずズーミング手段によつて視野映像をズーム倍率を拡大する方向に引いた後、実行するようにしたが、これに代え、ズーム倍率を変更しないようにしても、上述の場合と同様の効果を得ることができる。
【００５５】
【発明の効果】
上述のように本発明によれば、例えば自動追尾制御動作をしている間に被写体を見失つたような場合には、これを直ちに検出してユーザに知らせるようにし、又は当該見失つた画像を、パンニング及びチルテイング、並びにズーミング駆動することによつて自動的に補捉し直すような処理を実行するようにしたことにより、例えば被写体が急激に加速したために自動追尾しきれなくなつたような場合にも、ユーザに過大な負担をかけることなく容易に対応処置をなし得るようにしたビオデオカメラシステムを実現できる。かくするにつき、輝度及び色相の類似度を表す情報の和に基づいて被写体の映像の位置を検出するようにしたことにより、光源の影響を受けずに自動追尾をなし得る。
【図面の簡単な説明】
【図１】従来の制御量算出方法を示す特性曲線図である。
【図２】本発明によるビデオカメラシステムの全体構成を示すブロツク図である。
【図３】視覚刺激を表すＨＬＳ色座標系の説明に供する略線図である。
【図４】基準計測枠ＦＭＲの説明に供する略線図である。
【図５】図４の基準計測枠ＦＭＲから得られる基準色相頻度特性を示す特性曲線図である。
【図６】図４の基準計測枠ＦＭＲから得られる基準輝度頻度特性を示す特性曲線図である。
【図７】自動追従処理手順を示すフローチヤートである。
【図８】検出計測枠によるスキヤン動作の説明に供する略線図である。
【図９】検出色相頻度特性を示す特性曲線図である。
【図１０】検出輝度頻度特性を示す特性曲線図である。
【図１１】第１の実施例における被写体存在確認処理ルーチンを示すフローチヤートである。
【図１２】警報表示を有するビデオカメラの外観を示す斜視図である。
【図１３】第２の実施例における被写体存在確認処理ルーチンを示すフローチヤートである。
【図１４】第３の実施例における被写体存在確認処理ルーチンを示すフローチヤートである。
【符号の説明】
ＶＣＳ……ビデオカメラシステム、１……レンズブロツク部１、２……レンズ、３……アイリス、４……撮像素子、５……信号分離／自動利得調整回路部、７……デイジタルカメラ処理回路、１１……追従制御回路部、１２Ａ……パンニング駆動モータ、１２Ｂ……チルテイング駆動モータ、１２Ｃ……ズーミング駆動モータ、１３……タリーランプ駆動回路、１４……飽和度／色相検出回路、１５……画像メモリ、１６……追従信号処理回路、１７……アドレス発生回路、１８……ゲート回路、１９……色相ヒストグラム発生回路、２０……輝度ヒストグラム発生回路、ＲＴ１……自動追従処理手順、ＲＴ２〜ＲＴ４……被写体存在確認処理ルーチン。

Claims

検出計測枠について基準計測枠に対する輝度並びに色相の類似度を表す情報を得て、その和を演算した評価値を求めることにより表示画面内に映出される被写体の映像の位置を検出する被写***置検出手段と、
上記被写***置検出手段の検出位置情報に基づいてパンニング及びチルテイング追尾駆動量情報を求める追尾駆動量演算手段と、
上記パンニング及びチルテイング追尾駆動量情報に相当する量だけ上記表示画面内の視野映像をパンニング及びチルテイング駆動することにより被写体を自動追尾する追尾手段と、
被写体の映像が表示画面内に存在するか否かを検出して被写体存在検出情報を得る被写体存在検出手段と
を具え、上記被写体存在検出手段の被写体存在検出情報に基づいて、当該被写体存在検出情報に内容が「不存在」であることを表しているとき、被写体の映像を上記表示画面内の視野映像として補捉するように上記追尾手段を駆動すべきことを指令することを特徴とするビデオカメラシステム。
さらに、
上記被写体存在検出手段の被写体存在検出情報に基づいて、当該被写体存在検出情報の内容が「不存在」のとき、予測追尾モードに入つて所定の時間の間上記予測追尾モードに入る直前の上記パンニング及びチルテイング追尾駆動量情報を用いて上記追尾手段を予測追尾動作させる予測追尾指令手段と、
上記予測追尾指令手段によつて上記追尾手段を予測追尾動作させた結果、上記被写体存在検出情報の内容が引き続き「不存在」のとき、スキヤン補捉モードに入つて上記追尾手段を所定の範囲に亘つてパンニング及びチルテイング駆動するようにスキヤン補捉動作させるスキヤン補捉指令手段と、
上記スキヤン補捉指令手段によつて上記追尾手段をスキヤン補捉動作させた結果、上記被写体存在検出情報の内容が引続き「不存在」のとき、初期位置復帰モードに入つて上記追尾手段を上記予測追尾モードに入る直前の初期位置に復帰させる初期位置復帰指令手段と
を具えることを特徴とする請求項１に記載のビデオカメラシステム。
表示画面内に映出される被写体の映像の位置を検出する被写***置検出手段と、
上記被写***置検出手段の検出位置情報に基づいてパンニング及びチルテイング追尾駆動量情報を求める追尾駆動量演算手段と、
上記パンニング及びチルテイング追尾駆動量情報に相当する量だけ上記表示画面内の視野映像をパンニング及びチルテイング駆動することにより被写体を自動追尾する追尾手段と、
被写体の映像が表示画面内に存在するか否かを検出して被写体存在検出情報を得る被写体存在検出手段と
上記表示画面に映出される視野映像のズーム倍率を変更するズーミング手段とを具え、上記被写体存在検出手段の被写体存在検出情報に基づいて、当該被写体存在検出情報の内容が「不存在」であることを表しているとき、被写体の映像を上記表示画面内の視野映像として補捉するように上記ズーミング手段のズーム倍率を変更することを特徴とするビデオカメラシステム。
さらに、
上記被写体存在検出情報の内容が「不存在」であることを表しているとき、ズーム倍率をワイド方向に引くように上記ズーミング手段を制御することにより上記表示画面内の視野映像の視野を拡大する視野拡大手段と、
当該視野を拡大した状態において、上記被写体存在検出情報の内容が「存在」であることを表しているとき、上記追尾手段によつて上記被写体を自動追尾しながら上記ズーム倍率の視野を拡大する前の値に戻す被写体補捉手段と
を具えることを特徴とする請求項３に記載のビデオカメラシステム。
表示画面内に映出される被写体の映像の位置を検出する被写***置検出手段と、
上記被写***置検出手段の検出位置情報に基づいてパンニング及びチルテイング追尾駆動量情報を求める追尾駆動量演算手段と、
上記パンニング及びチルテイング追尾駆動量情報に相当する量だけ表示画面内の視野映像をパンニング及びチルテイング駆動することにより被写体を自動追尾する追尾手段と、
上記被写体の映像が表示画面内に存在するか否かを検出して被写体存在検出情報を得る被写体存在検出手段と、
上記被写体存在検出手段の被写体存在検出情報の内容が「不存在」であることを表しているとき、これを表示してユーザに知らせる被写体不存在表示手段と
を具えることを特徴とするビデオカメラシステム。