JP3544215B2 - ビデオカメラシステム - Google Patents
ビデオカメラシステム Download PDFInfo
- Publication number
- JP3544215B2 JP3544215B2 JP19704093A JP19704093A JP3544215B2 JP 3544215 B2 JP3544215 B2 JP 3544215B2 JP 19704093 A JP19704093 A JP 19704093A JP 19704093 A JP19704093 A JP 19704093A JP 3544215 B2 JP3544215 B2 JP 3544215B2
- Authority
- JP
- Japan
- Prior art keywords
- subject
- tracking
- image
- display screen
- presence detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【目次】
以下の順序で本発明を説明する。
産業上の利用分野
従来の技術(図1)
発明が解決しようとする課題
課題を解決するための手段(図2〜図14)
作用(図2〜図14)
実施例
(1)全体の構成(図2〜図16)
(2)自動追従処理動作(図7〜図10)
(3)被写体存在確認処理動作(図11〜図14)
(4)他の実施例
発明の効果
【0002】
【産業上の利用分野】
本発明はビデオカメラシステムに関し、特にビデオカメラの視野内にある被写体を常時表示画面の中央部に表示させるようにしたビデオカメラの被写体追尾システムに適用して好適なものである。
【0003】
【従来の技術】
従来、パン駆動機構及びチルト駆動機構を用いてビデオカメラを被写体に自動追尾させることにより、常時表示画面の中央部に被写体を表示させるように自動追尾させるビデオカメラシステムが提案されている(特願平4−322652号)。
このビデオカメラシステムにおいて適用される従来の被写体追尾システムの制御量演算部においては、画面中心に対する被写体の表示位置のずれと、モータ制御量との関係を、図1に示すように、ずれ量に対してモータを戻す方向に駆動制御することにより、被写体を画面中心に引き戻すようにカメラを追尾動作させる手法が用いられている。
【0004】
【発明が解決しようとする課題】
しかしながらこの従来の手法を用いて被写体が常時画面中心にあるように自動追尾制御するようにした場合、被写体を見失つて画面内に被写体を映出させることができない状態になつたときには、画面中心に対する被写体のずれ量を算出することができなくなるために、自動追尾動作をし得なくなる。
【0005】
実際上従来のビデオカメラシステムにおいては、このような状態になつたときにはモータの制御量を0にすることによりビデオカメラを停止状態に維持するような構成が用いられている。
従つて例えば被写体が物体の背後を通過するような状況になつて瞬時的に被写体を見失つたような場合や、被写体が急激に加速したためにビデオカメラシステムが追尾しきれなくなつて被写体が画面外に逸脱するような状態になつた場合には、ビデオカメラが停止したまま追尾動作できないような状態になることがある。このような場合ユーザは、被写体の動きに委せて被写体が再度画面内に映出されるのを待つか、又はビデオカメラ位置のそばにまで行つて手でビデオカメラをパンニング又はチルテイング動作させることにより被写体を画面内に引き込むような煩雑な操作をしなければならないような問題があつた。
【0006】
本発明は以上の点を考慮してなされたもので、被写体が画面に映出されない状態になつたために被写体追尾動作をなし得なくなつたとき、ビデオカメラシステムの当該動作状態をユーザが容易に確認できるようにすると共に、画面外に出た被写体を自動的に捕捉できるようにすることにより、一段と使い易くしたビデオカメラシステムを提案しようとするものである。
【0007】
【課題を解決するための手段】
かかる課題を解決するために本発明においては、表示画面上の被写体の映像の位置を検出して、視野映像をパンニング及びチルテイング駆動することにより被写体を自動追尾する点を基本構成として、表示画面上、検出計測枠について、基準計測枠に対する輝度並びに色相ほ類似度を表す情報の和に基づいて被写体の映像の位置を検出すると共に、被写体存在検出情報の内容が「不存在」であることを表しているとき、補捉するように追尾手段を駆動し、また、被写体存在検出情報に内容が「不存在」であることを表しているとき、ズーミング手段のズーム倍率を変更し、さらに、被写体存在検出情報の内容が「不存在」であることを表しているとき、これを被写体不存在表示手段に表示してユーザに知らせる。
【0008】
【作用】
自動追尾制御動作をしている間に被写体を見失つたような場合には、これを直ちに検出してユーザに知らせるようにし、又は当該見失つた画像を、パンニング及びチルテイング、並びにズーミング駆動することによつて自動的に補捉し直すような処理を実行するようにしたことにより、例えば被写体が急激に加速したために自動追尾しきれなくなつたような場合にも、ユーザに過大な負担をかけることなく容易に対応処置をなし得るようにしたビオデオカメラシステムを実現できる。かくするにつき、輝度及び色相の類似度を表す情報の和に基づいて被写体の映像の位置を検出するようにしたことにより、光源の影響を受けずに自動追尾をなし得る。
【0009】
【実施例】
以下図面について、本発明の一実施例を詳述する。
【0010】
(1)全体の構成
図2において、VCSは全体としてビデオカメラシステムを示し、被写体から到来する撮像光LAをレンズブロツク部1のレンズ2、アイリス3を通つて例えばCCD(charge coupled device )でなる撮像素子4に受けて被写体映像を含む視野映像に対応する撮像出力信号S1を信号分離/自動利得調整回路部5に与える。
信号分離/自動利得調整回路部5は撮像出力信号S1をサンプルホールドすると共に、オートアイリス(AE)(図示せず)からの制御信号によつて撮像出力信号S1が所定のゲインをもつように利得制御し、かくして得られる所定ゲインの撮像出力信号S2をアナログ/デイジタル変換回路部6を介してデイジタルカメラ処理回路7に供給する。
【0011】
デイジタルカメラ処理回路7は撮像出力信号S2に基づいて輝度信号Y、クロマ信号Cを形成し、輝度信号Y及びクロマ信号Cをデイジタル/アナログ変換回路8を介してビデオ信号S3として送出する。
これに加えてデイジタルカメラ処理回路7は被写体追従用検出信号S4として輝度信号Y並びに色差信号R−Y及びB−Yを追従制御回路部11に供給し、追従制御回路部11はこの被写体追従用検出信号S4に基づいて、レンズブロツク部1に対して設けられたパンニング駆動モータ12A、チルテイング駆動モータ12B及びズーミング駆動モータ12Cに対する追従制御信号S5を発生すると共に、レンズブロツク部1の外筐に取り付けられた警報表示手段、例えばタリーランプ9を表示駆動するタリーランプ駆動回路13に対して駆動制御信号S6を発生する。
【0012】
追従制御回路部11は色差信号R−Y及びB−Yを飽和度/色相検出回路14に与えて色相(Hue )信号HUE及び飽和度(Saturation)信号SATを形成し、これを輝度信号Yと共に例えばフイールドメモリで構成された画像メモリ15に各画素単位で記憶する。
飽和度/色相検出回路14は色差信号R−Y及びB−Yを直交座標/極座標変換することにより色相信号HUE及び飽和度信号SATを形成し、かくして輝度信号Y、色相信号HUE及び飽和度信号SATによつて人間が知覚できる視覚刺激に基づいて被写体の認識を実行する。
【0013】
因に一般に人間が知覚できる視覚刺激は図3に示すように、L軸とこれに直交するSH平面を有するいわゆるHLS系と呼ばれる色座標系によつて表現される。
L軸は明るさ(Lightness )を表し、輝度信号Yに相当する。SH平面はL軸に直交する極座標で表現される。SH平面において、Sは飽和度(Saturation)を表し、L軸からの距離によつて表現される。またHは色相(Hue )を表し、色差信号R−Yの方向を0°としたときの角度によつて表現される。
【0014】
このHLS系の立体は、光源が明るくなると、色座標すなわちSH平面がL軸に沿つて上方方向に行くと共にすべての色が白になる。そのとき飽和度Sが減少して行く。これに対して光源が暗くなると、色座標すなわちSH平面がL軸に沿つて下方方向に行くと共に、すべての色が黒になる。このとき同時に飽和度Sも減少して行く。
このようなHLS色座標系の特徴に基づいて、飽和度S及び輝度Yは光源の明るさの影響を受け易く、従つて被写体の特徴量を表すパラメータとしては最適とは言い難いことが分る。これとは逆に色相Hは被写体個有の特徴量を表現するものとして、光源の影響を受け難いものであることが分る。
【0015】
しかしそうであると言つても、被写体の色がL軸上の近傍にあるような場合、すなわち白、黒及び灰色の場合は、色相Hの信号が情報としての意味をもたなくなり、最悪の場合、S/Nが悪い画像では白であるにもかかわらず様々な色相Hのベクトルをもつている可能性があることが分る。
かかるHLS色座標系の性質を利用して追従制御回路部11は、被写体の特徴を抽出し、特徴の変化が生じたときこれに追従するようにパンニング駆動モータ12A及びチルテイング駆動モータ12Bを駆動することにより、結果としてビデオ信号S3として被写体の動きに適応してその映像を常時表示画面の中央位置に映出するような映像信号を得ることができるようにする。
【0016】
すなわち画像メモリ15に記憶された被写体追従用検出信号S4を構成する画素情報は、マイクロプロセツサ構成の追従信号処理回路16から送出されるブロツク指定信号S6をアドレス発生回路17に与えることにより、図4に示すように、実質上画像メモリ15内に形成されている表示画面PICをxy直交座標(x、y)に基づいて所定の大きさの小領域ARでなるブロツクに分割するようなアドレス信号S7をアドレス回路17から画像メモリ15に供給させる。
かくして画像メモリ15の表示画面PICを構成する各画素のデータは、小領域ARごとに読み出されて各小領域ARごとに1つのブロツク画像情報として処理される。
【0017】
この実施例の場合、表示画面PICはx方向及びy方向にそれぞれ16個の小領域ARに分割され、かくして16×16(= 256)個の小領域ARについて直交座標(x、y)の座標x=i、y=j(例えば左上隅の座標)を指定することにより、当該指定された小領域AR内に含まれる画素から得た画像情報I(x=i、y=j)を読み出すことができる。
このようにして画像メモリ15から小領域ARごとに読み出される画像情報I(x=i、y=j)のうち、色相信号HUE成分がゲート回路18を通つて色相ヒストグラム発生回路19に与えられるのに対して、輝度信号Y成分が直接輝度ヒストグラム発生回路20に与えられる。
【0018】
色相ヒストグラム発生回路19は、表示画面PICの中央位置上に設定された基準計測枠FMR内の画素の色相について、図5に示すように、色相角0°〜 359°について各色相角をもつ画素の画素数の分布(すなわち頻度分布)を表す色相頻度特性HueStd(i)を求め、これを色相ヒストグラム信号S11として追従信号処理回路16に送出する。
かくして色相ヒストグラム発生回路19は、基準計測枠FMR内の画像がもつ色相についての特徴を、色相頻度特性HueStd(i)によつて表される色相特徴パターンに変換して、追従信号処理回路16に供給することになる。
【0019】
また輝度ヒストグラム発生回路20は、同様にして表示画面PIC上に設定された基準計測枠FMR内の画素についての輝度信号Yに基づいて、図6に示すように、輝度レベル0〜 255について各輝度レベルをもつ画素の画素数の分布(すなわち頻度分布)を表す輝度頻度特性YStd(i)を求め、これを輝度ヒストグラム信号S12として追従信号処理回路16に供給する。
かくして輝度ヒストグラム発生回路20は、基準計測枠FMR内の画像がもつ輝度についての特徴を、輝度頻度特性YStd(i)によつて表される輝度特徴パターンに変換して、追従信号処理回路16に供給することになる。
【0020】
この実施例の場合、ゲート回路18に対してコンパレータ構成の色相ノイズゲート信号形成回路25が設けられ、画像メモリ15から各画素ごとに読み出される飽和度信号SATを追従信号処理回路16から送出されるノイズ判定信号S14と比較し、飽和度信号SATが所定レベル以下のときゲート回路18を閉動作させるゲート信号S15をゲート回路18に与えることにより、当該画素の色相信号HUEを色相ヒストグラム発生回路19に入力させないようになされている。
因に飽和度/色相検出回路14において検出された飽和度信号SATがL軸の近傍(図3)にあるとき、このことは当該色相信号HUEは飽和度が小さいためにノイズに埋もれて情報としての意味をもつていないおそれがあるので、このような意味をもたない色相信号HUEをゲート回路18において除去する。
【0021】
(2)自動追従処理動作
以上の構成において、追従信号処理回路16は図7に示す自動追従処理手順RT1を実行することにより、たとえカメラの視野内において被写体が移動した場合にも、基準計測枠FMR内の画像に対して最も類似性が大きい画像を常に基準計測枠FMR内に映出することができるように、被写体の移動に応じてレンズブロツク部1を適応制御させる。
追従信号処理回路16は、自動追従処理手順RT1に入るとまずステツプSP1においてフレーム番号FNをFN=0に初期設定すると共に、ユーザが記録ポーズボタンRECPAUSEを操作することにより記録ポーズ状態を解除するのを待ち受ける状態になる。
【0022】
その状態においてユーザが記録を開始すると、追従信号処理回路16はステツプSP2に移つて図4〜図6について上述したように、表示画面PICの中央にある基準計測枠FMRをアドレス発生回路17によつて指定することにより当該基準計測枠FMR内の画素に対応する輝度信号Y及び色相信号HUEを輝度ヒストグラム発生回路20及び色相ヒストグラム発生回路19に送出させ、これにより基準輝度頻度特性YStd(i)(図6)及び基準色相頻度特性HueStd(i)(図5)を基準特徴パターンとする輝度ヒストグラム信号S12及び色相ヒストグラム信号S11によつて記録するような処理を実行する。
【0023】
続いて追従信号処理回路16はステツプSP3に移つて、第1にフレーム番号FNをFN+1に歩進させ、第2に、図8に示すように、アドレス発生回路17によつて検出計測枠FMDの位置をスキヤンさせることにより、検出計測枠FMDによつて表示画面PIC上の画像情報を検出計測枠FMDを単位として抽出して行く。
この実施例の場合、検出計測枠FMDは、基準計測枠FMRと同様に、4×4個の小領域ARで構成され、アドレス発生回路17は検出計測枠FMDの左上隅の小領域アドレスを左側から右側方向にかつ上側から下側方向に順次指定して行くことによりスキヤンをする。
その結果検出計測枠FMDはアドレス(x、y)=(0、0)、(1、0)……(12、0)、(0、1)、(1、1)……(12、1)、…………、(0、12)、(1、12)……(12、12)のように順次シフトするようにスキヤンされる。
【0024】
このようなスキヤンをする間に、追従信号処理回路16はアドレス(x、y)位置に移動された検出計測枠FMDの画像について、その色相情報及び輝度情報に基づいて図9及び図10に示すような検出色相頻度特性Hue(x、y)(i)及び検出輝度頻度特性Y(x、y)(i)を求める。
ここで検出色相頻度特性Hue(x、y)(i)は検出計測枠FMDに含まれるすべての画素がもつている色相角度y=0°〜 359°の画素の発生頻度により、当該検出計測枠FMDの色相検出パターンを表している。
これに対して検出輝度頻度特性Y(x、y)(i)は、検出計測枠FMDに含まれるすべての画素がもつている輝度レベル=0〜 255の画素の発生頻度によつて検出特徴パターンを表している。
【0025】
続いて追従信号処理回路16はステツプSP4において、輝度信号について次式、
【数1】
のように、検出計測枠FMDについて、検出輝度頻度特性Y(x、y)(i)と、基準輝度頻度特性YStd(i)との差の絶対値を輝度レベルy=0〜 255について合計することによりユークリツド距離J1(x、y)を求め、これを基準計測枠FMR内の画像の輝度情報に対するアドレス(x、y)位置にある検出計測枠FMD内の輝度情報の類似度を表す情報として得る。
【0026】
また検出計測枠FMDの色相情報について、追従信号処理回路16は次式、
【数2】
のように、アドレス(x、y)位置にある検出計測枠FMDの検出色相頻度特性Hue(x、y)(i)と、基準色相頻度特性HueStd(i)との差の絶対値を、色相角i=0°〜 359°について合計することによりユークリツド距離J2(x、y)を求め、これにより基準計測枠FMRの画像がもつている基準色相パターンに対して位置(x、y)にある検出計測枠FMDがもつている画像の検出特徴パターンに対する類似度を表す情報を形成する。
【0027】
追従信号処理回路16はこのようにして輝度及び色相について求めたユークリツド距離J1(x、y)及びJ2(x、y)に基づいて次式、
【数3】
のように、その和を演算することにより評価値J(x、y)を求める。
【0028】
かくして追従信号処理回路16は検出計測枠FMDのスキヤン位置(x、y)(x=0、1……12、y=0、1……12)にあるすべての検出計測枠FMDについての評価値J(x、y)(x=0、1……12、y=0、1……12)を得た状態において次のステツプSP5に移つて、評価値J(x、y)が最小になる検出計測枠FMDの位置を現在の計測時における被写体の位置であると決定し、当該最小になる評価値J(x、y)が不存在確認用スレシヨルドレベル以下であること、従つて表示画面PIC内に被写体の映像が存在することを確認して、次のステツプSP6において当該新しい被写体の中央位置(x、y)が画面中央位置に設定されている基準計測枠FMR(図4)位置に来るような追従制御信号S5をパンニング駆動モータ12A及びチルテイング駆動モータ12Bに与える。
【0029】
ここで、最小になる評価値が、大きければ、このことは検出計測枠から検出された新しい被写体の位置J(x、y)が表示画面PICの中央部から遠い位置にあることを意味し、従つて追従信号処理回路16は、当該最小になる評価値が所定の不存在確認用スレシヨルドレベル以上になつたときは、被写体の映像が表示画面PICの外側にある(従つて被写体の映像が表示画面PICには存在しない)と判断する。
【0030】
続いて追従信号処理回路16は、ステツプSP7に移つて、新しく基準計測枠FMRに来た画像についての輝度信号及び色相信号の基準頻度特性データ(図5及び図6)を、基準特徴パターンとして更新した後、上述のステツプSP3に戻つて次の測定サイクルに入る。
かくして追従信号処理回路16はテレビジヨンカメラに対して被写体が移動した場合、表示画面PIC全体について基準計測枠FMRの画像情報に対して最も類似性が大きい画像情報を有する検出計測枠FMDの位置を求め、当該最も類似性が大きい検出計測枠FMDの映像が基準計測枠FMRの位置に来るようにテレビジヨンカメラのレンズブロツク部1をパンニング及びチルテイング制御するようにしたことにより、被写体が移動したときこれに応動して表示画面PICの中央位置に被写体の映像を戻すようにビデオカメラシステムVCSを適応動作させることができる。
【0031】
これに対して基準計測枠FMR位置にある被写体が移動しなかつた場合には、基準計測枠FMRと同じ位置にある検出計測枠FMDから得られた検出特徴パターンについてこれが最も基準特徴パターンに対して類似性が大きいという評価をステツプSP4において得ることができることにより、追従信号処理回路16は追従制御信号S5によつて新しい被写体が引き続き検出計測枠FMR内にある状態を保持させるようにビデオカメラシステムVCSを制御する。
図7に示す自動追従処理手順によれば、ユーザが最初に被写体を画面中央の基準計測枠FMRに入るようにカメラ操作をした後記録を開始しさえすれば、その後被写体の映像が表示画面PIC内を移動しても、追従信号処理回路16が当該移動位置を輝度信号及び色相信号の頻度特性データに基づいて得られる検出特徴パターンと基準検出パターンとの比較によつて確実に検出することにより、ビデオカメラシステムを被写体の移動に適応動作させながら自動追尾させることができる。
【0032】
(3)被写体存在確認処理動作
追従信号処理回路16は、自動追従処理手順RT1のステツプSP5において被写体の映像が表示画面PIC内にあるか否かの存在確認処理に入ると、以下に述べるような被写体存在確認処理サブルーチンを実行する。
【0033】
(3−1)第1の実施例
図11は、第1の実施例を示すもので、追従信号処理回路16は被写体存在確認処理ルーチンRT2に入ると、先ずステツプSP11に移つて表示画面PIC内に被写体が存在するか否かの判断をし、肯定結果が得られることにより被写体の存在が確認できたとき(すなわち内容が「存在」の被写体存在検出情報が得られたとき)にはステツプSP12を通つてメインルーチン、すなわち図7の自動追従処理手順RT1のステツプSP5にリターンして自動追従処理手順RT1の処理を続ける。
【0034】
これに対して表示画面PIC内に被写体が存在しない場合には、追従信号処理回路16はステツプSP11において否定結果が得られることにより(すなわち内容が「不存在」の被写体検出情報が得られることにより)ステツプSP13に移つてタリーランプ駆動回路13に駆動制御信号S6を送出することにより、タリーランプ9を点灯表示させる。
この実施例の場合図12に示すように、タリーランプ9はテレビジヨンカメラ25のケースの天板上に突出するように設けられており、かくして表示画面PICに映出された視野映像内に被写体の映像が映出されない状態になつたとき、ユーザはこの被写体の不存在をタリーランプ9が点灯したことにより容易に知ることができる。
【0035】
かくしてユーザは被写体が不存在の状態になつたときにはこれを放置せずに、例えば手でビデオカメラ25をパン及びチルト操作することにより被写体の映像を表示画面PIC内に捕捉し直すような処理を、必要に応じて直ちに実施することができる。
このようにしてユーザが手でビデオカメラ25をパン及びチルト操作をすることにより、被写体の映像を表示画面内に捕捉し直した状態になると、追従信号処理回路16はステツプSP11において肯定結果を得、これによりステツプSP13のタリーランプ9の点灯処理を実行することなく(従つてタリーランプ9を消灯して)ステツプSP12を通してメインルーチンに戻るような処理を実行する。
【0036】
図12において、25Aはパンニング/チルテイング駆動部、25Bはレンズ系、25Cはビユーフアインダ系、25Dはマイクロホンである。
図11及び図12の構成によれば、表示画面PIC内に被写体の映像が存在しなくなつたとき、この状態の発生をユーザに直ちに知らせることができ、その結果一段と使い易いビデオカメラシステムを容易に実現し得る。
【0037】
(3−2)第2の実施例
図13は第2の実施例を示すもので、この場合追従信号処理回路16は被写体存在確認処理ルーチンRT3に入ると、先ずステツプSP21において被写体が存在するか否かを判断し、肯定結果が得られたとき(すなわち「存在」の被写体検出情報が得られたとき)ステツプSP22を通つてメインルーチン、すなわち自動追従処理手順RT1のステツプSP5にリターンし、これにより自動追従処理手順RT1の処理を続ける。
これに対してステツプSP21において否定結果が得られると(すなわち「不存在」の被写体検出情報が得られると)、このことは表示画面PIC内に被写体の映像が存在しないことを意味し、そのとき追従信号処理回路16はステツプSP23に移つて現在のレンズ2のズーム位置を内蔵のメモリに記憶した後、ステツプSP24において追従制御信号S5によつてズーミング駆動モータ12Cを駆動することによりレンズ2をワイド方向に駆動する。
【0038】
この実施例の場合、レンズ2はズーミング駆動モータ12Cによつて駆動されるズームレンズを有し、このズームレンズと関連して動作するポテンシヨメータによつてズームレンズのズーム位置を表すズーム位置検出信号を追従信号処理回路16に供給するようになされている。
この結果レンズブロツク部1のレンズ2に到来する撮像光LA2をCCD撮像素子4に取り込むことにより得られる映像の視野がズーム位置従つてズーム倍率をワイド方向に引くことにより拡大することができる。
続いて追従信号処理回路16はステツプSP25に移つて被写体を発見できるか否かの判断を実行し、否定結果が得られたときにはステツプSP25において肯定結果が得られるまでステツプSP25の処理を続ける。
【0039】
やがてステツプSP25において肯定結果が得られると、このことは表示画面PICに映出された視野映像内に被写体が存在することにより自動追従処理をなし得る状態になつたことを意味し、このとき追従信号処理回路16はステツプSP26に移つて被写体を表示画面PIC内に補捉しながらズーミング駆動モータ12Cを駆動することによりズーム位置をステツプSP23において記憶したズーム位置にまで復帰させた後、上述のステツプSP21に戻る。
かくして追従信号処理回路16はレンズ2のズームレンズを元のズーム位置に戻した状態における表示画面PIC内に被写体の映像が存在するような状態にレンズブロツク部1を自動的に制御し、その結果ステツプSP21における判断において肯定結果が得られることにより、ステツプSP22を通つてメインルーチン、すなわち自動追従処理手順RT1のステツプSP5にリターンする。
【0040】
図13の構成において、追従信号処理回路16は自動追従処理手順RT1を実行することにより表示画面PICの中心位置に被写体の映像を映出する状態に自動追従動作している状態において、被写体を見失つて当該被写体の映像が画面内に存在しない状態になると、追従信号処理回路16はこれを被写体存在確認処理ルーチンRT3のステツプSP21において否定結果が得られることにより検出し、ステツプSP23においてレンズ2のズーム倍率をワイド側に引くことによつて撮像素子4に結像する映像内に被写体の映像を存在させるような状態にする。
この状態において追従信号処理回路16は、ステツプSP24及びSP25によつて被写体を発見した後、被写体を画面内に捕捉しながらレンズ2のズーム倍率を元に戻してステツプSP21、SP22を順次通つて自動追従処理手順RT1の処理に戻る。
【0041】
かくして図13の構成によれば、テレビジヨンカメラシステムが一旦被写体を見失つたような状態になつたときには、自動的に被写体を捕捉し直すようにレンズ2をズーミング制御するようにしたことにより、ビデオカメラシステムが被写体を見失つたような場合にもこれを直ちに検出すると共に、ユーザがその都度ビデオカメラ25のそばまで来てパン及びチルト操作をし直すような煩雑な手間を不必要にできる分、一段と使い易いビデオカメラシステムが実現できる。
【0042】
(3−3)第3の実施例
図14は第3の実施例を示すもので、被写体を見失つたとき追従信号処理回路16は先ず予測追尾処理を実行し、その結果被写体を発見できないとき次にスキヤン捕捉処理を実行する。
すなわち追従信号処理回路16は被写体存在確認処理ルーチンRT4に入ると、先ずステツプSP31において被写体が存在するか否かの判断をし、肯定結果が得られたとき(すなわち「存在」の被写体検出情報が得られたとき)ステツプSP32を通つてメインルーチン、すなわち自動追従処理手順RT1のステツプSP5に戻つて画面の中央に被写体が来るような自動追尾処理を実行する。
【0043】
これに対してステツプSP31において否定結果が得られる(すなわち「不存在」の被写体存在検出情報が得られる)と、このことはレンズブロツク部1が被写体を見失つたことを意味し、このとき追従信号処理回路16はステツプSP33に移つて予測追尾処理をするか否かの判断をする。
追従信号処理回路16はステツプSP33において肯定結果を得ると、ステツプSP34から予測追尾モードに入る。
ここで追従信号処理回路16は、表示画面PICから被写体を見失つたとき所定時間の間(例えば1画面分の表示時間の間)被写体を見失う前の制御量を用いて被写体の自動追尾処理を続ける。
【0044】
かくしてビデオカメラシステムは、例えば被写体が物体の背後を通過した場合のように被写体を瞬時的に見失つたときに、当該被写体を見失う前のパン及びチルト駆動条件を用いて予測的に自動追尾処理を続けることができ、かくして被写体が物体の背後を移動し終つて同じ速度で移動して行くとき、ビデオカメラのパン及びチルト動作を連続的にかつ円滑に続行させることができる。
かかる予測追尾モードの処理を実行した後、追従信号処理回路16はステツプSP35に移つて被写体を発見できるか否かの判断をし、肯定結果が得られたとき上述のステツプSP31、SP32を通つてメインルーチンに戻る。
【0045】
これに対してステツプSP35において否定結果が得られると、このことは、ステツプSP34の予測追尾処理だけでは被写体を補捉し直すことができなかつたことを意味し、このとき追従信号処理回路16は上述のステツプSP33に戻る。
ところがこの状態においては、予測追尾処理が既に終了しているので、追従信号処理回路16はステツプSP33において否定結果を得ることになり、このとき追従信号処理回路16はステツプSP36からスキヤン補捉モードに入る。
【0046】
このステツプSP36はスキヤン処理をするか否かを判断するステツプで、追従信号処理回路16はステツプSP33からSP36に移つたとき肯定結果を得ることによりステツプSP37においてレンズブロツク部1をスキヤン制御する。
この実施例の場合追従信号処理回路16はスキヤン制御処理として、先ずズーミング駆動モータ12Cを介してレンズ2を構成するズームレンズを所定のズーム位置にワイド方向にズーム動作させた後、パンニング駆動モータ12A及びチルテイング駆動モータ12Bをパンニング方向及びチルテイング方向に1画面幅に相当する画面範囲に亘つて原画面の周囲をスキヤン駆動することにより、表示画面PICに映出する視野映像の視野を拡大して見失つた被写体をビデオカメラ25の表示画面PICの視野映像内に映出させると共に、表示画面PIC内に被写体が存在するか否かの判断をするような処理を実行する。
【0047】
この実施例の場合、表示画面PICに映出される視野映像は、左上位置から順次左右方向にほぼジグザグ状にカメラの視野を移動させることによりスキヤンされる。
これに続いて追従信号処理回路16はステツプSP38に移つて被写体を発見したか否かの判断をし、肯定結果が得られたとき上述のステツプSP31、SP32を通つてメインルーチンに戻る。
これに対して当該スキヤン動作を実行しても被写体を発見できないとき、追従信号処理回路16はステツプSP36において否定結果を得てステツプSP39に移る。
【0048】
このようにステツプSP36において否定結果が得られると、このことは予測追尾処理及びスキヤン捕捉処理をしたにもかかわらず、被写体を捕捉し直すことができなかつたことを意味し、このとき追従信号処理回路16はステツプSP39において初期位置復帰モードに入つてパンニング駆動モータ12A及びチルテイング駆動モータ12Bを予測追尾する前の初期位置に移動させる。
この状態において追従信号処理回路16はステツプSP40において被写体が発見できたか否かの判断をし、否定結果が得られたとき、上述のステツプSP39に戻つて以後ステツプSP39−SP40−SP39のループの処理を実行することにより、被写体が発見できない限り初期位置にパンニング駆動モータ12A及びチルテイング駆動モータ12Bを移動させた状態を維持する。
【0049】
かくして被写体を見失つた状態になつた後、予測追尾処理及びスキヤン処理によつて被写体が発見できない状態が続くと、追従信号処理回路16はその後ユーザが手でビデオカメラをパンニング及びチルテイング操作することにより被写体を画面内に捕捉する際に、初期位置から操作できることにより手での被写体の捕捉を一段と容易になし得る。
これに対して初期位置に移動したとき被写体を発見できれば、追従信号処理回路16はステツプSP40において肯定結果が得られることによりステツプSP31、SP32を通つてメインルーチンにリターンする。
【0050】
図14の構成によれば、被写体が例えば急激に加速することにより画面から逸脱した不存在状態になつたとき、追従信号処理回路16がステツプSP33−SP34−SP35−SP33のループによつて予測追尾処理を実行した後、ステツプSP36−SP37−SP38−SP36のループのスキヤン捕捉処理を実行することにより、ビデオカメラシステムがたとえ被写体が急激な加速により画面から逸脱したような場合にも、その都度ユーザがカメラのそばに来てビデオカメラ位置を任意に設定する煩雑な手間を必要とすることなく、自動的に被写体を画面内に捕捉し直すような処理を実行できる。
かくして一段と使い易いビデオカメラシステムを得ることができる。
【0051】
(4)他の実施例
上述の実施例においては、表示画面PICを構成する画素情報をレンズブロツク部1において形成し、レンズブロツク部1をパンニング及びチルテイング動作させることにより表示画像を被写体の動きに追従させるようにしたが、これに代え、レンズブロツク部1から送出された映像出力信号S1を画像メモリ15に記憶させ、当該画像をパンニング及びチルテイング処理することにより表示画面を形成するようにしても、上述の場合と同様の効果を得ることができる。
【0052】
また上述の実施例においては、基準計測枠及び検出計測枠内の輝度信号及び色相信号の頻度特性データに基づいて被写体の位置を検出するようにした場合について述べたが、被写体の位置の検出手段としては、これに限らず、例えば赤外線センサ、超音波センサなどを用いて被写***置を検出する自動追尾システムに本発明を適用するようにしても、上述の場合と同様の効果を得ることができる。
【0053】
また図14の実施例においては、スキヤン捕捉モードにおけるスキヤン動作として、視野映像を左上位置から順次左右方向にほぼジグザグ状に移動させるようにしたが、スキヤン動作はこれに限らず、例えば中心位置からうず巻状に外側に移動させて行く方法など、種々の方法を採用し得る。
【0054】
さらに、図14の実施例においては、スキヤン捕捉モードのスキヤン動作を、先ずズーミング手段によつて視野映像をズーム倍率を拡大する方向に引いた後、実行するようにしたが、これに代え、ズーム倍率を変更しないようにしても、上述の場合と同様の効果を得ることができる。
【0055】
【発明の効果】
上述のように本発明によれば、例えば自動追尾制御動作をしている間に被写体を見失つたような場合には、これを直ちに検出してユーザに知らせるようにし、又は当該見失つた画像を、パンニング及びチルテイング、並びにズーミング駆動することによつて自動的に補捉し直すような処理を実行するようにしたことにより、例えば被写体が急激に加速したために自動追尾しきれなくなつたような場合にも、ユーザに過大な負担をかけることなく容易に対応処置をなし得るようにしたビオデオカメラシステムを実現できる。かくするにつき、輝度及び色相の類似度を表す情報の和に基づいて被写体の映像の位置を検出するようにしたことにより、光源の影響を受けずに自動追尾をなし得る。
【図面の簡単な説明】
【図1】従来の制御量算出方法を示す特性曲線図である。
【図2】本発明によるビデオカメラシステムの全体構成を示すブロツク図である。
【図3】視覚刺激を表すHLS色座標系の説明に供する略線図である。
【図4】基準計測枠FMRの説明に供する略線図である。
【図5】図4の基準計測枠FMRから得られる基準色相頻度特性を示す特性曲線図である。
【図6】図4の基準計測枠FMRから得られる基準輝度頻度特性を示す特性曲線図である。
【図7】自動追従処理手順を示すフローチヤートである。
【図8】検出計測枠によるスキヤン動作の説明に供する略線図である。
【図9】検出色相頻度特性を示す特性曲線図である。
【図10】検出輝度頻度特性を示す特性曲線図である。
【図11】第1の実施例における被写体存在確認処理ルーチンを示すフローチヤートである。
【図12】警報表示を有するビデオカメラの外観を示す斜視図である。
【図13】第2の実施例における被写体存在確認処理ルーチンを示すフローチヤートである。
【図14】第3の実施例における被写体存在確認処理ルーチンを示すフローチヤートである。
【符号の説明】
VCS……ビデオカメラシステム、1……レンズブロツク部1、2……レンズ、3……アイリス、4……撮像素子、5……信号分離/自動利得調整回路部、7……デイジタルカメラ処理回路、11……追従制御回路部、12A……パンニング駆動モータ、12B……チルテイング駆動モータ、12C……ズーミング駆動モータ、13……タリーランプ駆動回路、14……飽和度/色相検出回路、15……画像メモリ、16……追従信号処理回路、17……アドレス発生回路、18……ゲート回路、19……色相ヒストグラム発生回路、20……輝度ヒストグラム発生回路、RT1……自動追従処理手順、RT2〜RT4……被写体存在確認処理ルーチン。
Claims (5)
- 検出計測枠について基準計測枠に対する輝度並びに色相の類似度を表す情報を得て、その和を演算した評価値を求めることにより表示画面内に映出される被写体の映像の位置を検出する被写***置検出手段と、
上記被写***置検出手段の検出位置情報に基づいてパンニング及びチルテイング追尾駆動量情報を求める追尾駆動量演算手段と、
上記パンニング及びチルテイング追尾駆動量情報に相当する量だけ上記表示画面内の視野映像をパンニング及びチルテイング駆動することにより被写体を自動追尾する追尾手段と、
被写体の映像が表示画面内に存在するか否かを検出して被写体存在検出情報を得る被写体存在検出手段と
を具え、上記被写体存在検出手段の被写体存在検出情報に基づいて、当該被写体存在検出情報に内容が「不存在」であることを表しているとき、被写体の映像を上記表示画面内の視野映像として補捉するように上記追尾手段を駆動すべきことを指令することを特徴とするビデオカメラシステム。 - さらに、
上記被写体存在検出手段の被写体存在検出情報に基づいて、当該被写体存在検出情報の内容が「不存在」のとき、予測追尾モードに入つて所定の時間の間上記予測追尾モードに入る直前の上記パンニング及びチルテイング追尾駆動量情報を用いて上記追尾手段を予測追尾動作させる予測追尾指令手段と、
上記予測追尾指令手段によつて上記追尾手段を予測追尾動作させた結果、上記被写体存在検出情報の内容が引き続き「不存在」のとき、スキヤン補捉モードに入つて上記追尾手段を所定の範囲に亘つてパンニング及びチルテイング駆動するようにスキヤン補捉動作させるスキヤン補捉指令手段と、
上記スキヤン補捉指令手段によつて上記追尾手段をスキヤン補捉動作させた結果、上記被写体存在検出情報の内容が引続き「不存在」のとき、初期位置復帰モードに入つて上記追尾手段を上記予測追尾モードに入る直前の初期位置に復帰させる初期位置復帰指令手段と
を具えることを特徴とする請求項1に記載のビデオカメラシステム。 - 表示画面内に映出される被写体の映像の位置を検出する被写***置検出手段と、
上記被写***置検出手段の検出位置情報に基づいてパンニング及びチルテイング追尾駆動量情報を求める追尾駆動量演算手段と、
上記パンニング及びチルテイング追尾駆動量情報に相当する量だけ上記表示画面内の視野映像をパンニング及びチルテイング駆動することにより被写体を自動追尾する追尾手段と、
被写体の映像が表示画面内に存在するか否かを検出して被写体存在検出情報を得る被写体存在検出手段と
上記表示画面に映出される視野映像のズーム倍率を変更するズーミング手段とを具え、上記被写体存在検出手段の被写体存在検出情報に基づいて、当該被写体存在検出情報の内容が「不存在」であることを表しているとき、被写体の映像を上記表示画面内の視野映像として補捉するように上記ズーミング手段のズーム倍率を変更することを特徴とするビデオカメラシステム。 - さらに、
上記被写体存在検出情報の内容が「不存在」であることを表しているとき、ズーム倍率をワイド方向に引くように上記ズーミング手段を制御することにより上記表示画面内の視野映像の視野を拡大する視野拡大手段と、
当該視野を拡大した状態において、上記被写体存在検出情報の内容が「存在」であることを表しているとき、上記追尾手段によつて上記被写体を自動追尾しながら上記ズーム倍率の視野を拡大する前の値に戻す被写体補捉手段と
を具えることを特徴とする請求項3に記載のビデオカメラシステム。 - 表示画面内に映出される被写体の映像の位置を検出する被写***置検出手段と、
上記被写***置検出手段の検出位置情報に基づいてパンニング及びチルテイング追尾駆動量情報を求める追尾駆動量演算手段と、
上記パンニング及びチルテイング追尾駆動量情報に相当する量だけ表示画面内の視野映像をパンニング及びチルテイング駆動することにより被写体を自動追尾する追尾手段と、
上記被写体の映像が表示画面内に存在するか否かを検出して被写体存在検出情報を得る被写体存在検出手段と、
上記被写体存在検出手段の被写体存在検出情報の内容が「不存在」であることを表しているとき、これを表示してユーザに知らせる被写体不存在表示手段と
を具えることを特徴とするビデオカメラシステム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP19704093A JP3544215B2 (ja) | 1993-07-13 | 1993-07-13 | ビデオカメラシステム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP19704093A JP3544215B2 (ja) | 1993-07-13 | 1993-07-13 | ビデオカメラシステム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH0730795A JPH0730795A (ja) | 1995-01-31 |
JP3544215B2 true JP3544215B2 (ja) | 2004-07-21 |
Family
ID=16367729
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP19704093A Expired - Fee Related JP3544215B2 (ja) | 1993-07-13 | 1993-07-13 | ビデオカメラシステム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3544215B2 (ja) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4844073B2 (ja) * | 2005-10-03 | 2011-12-21 | 株式会社ニコン | 撮像装置 |
KR101180160B1 (ko) * | 2006-05-22 | 2012-09-10 | 엑시스 에이비 | 비디오 감시 카메라에 의해 검출되는 물체의 특성을 식별하는 방법 및 장치 |
JP4697810B2 (ja) * | 2007-03-05 | 2011-06-08 | パナソニック株式会社 | 自動追尾装置及び自動追尾方法 |
JP2009077321A (ja) * | 2007-09-25 | 2009-04-09 | Casio Comput Co Ltd | 画像記録装置及び画像記録処理方法 |
JP5079549B2 (ja) | 2008-03-03 | 2012-11-21 | パナソニック株式会社 | 撮像装置および撮像装置本体 |
JP5418010B2 (ja) * | 2009-06-19 | 2014-02-19 | 株式会社ニコン | 撮像装置および追尾方法 |
GB2489454A (en) * | 2011-03-29 | 2012-10-03 | Sony Corp | A method of annotating objects in a displayed image |
JP6084026B2 (ja) | 2012-12-17 | 2017-02-22 | オリンパス株式会社 | 撮像装置、告知方法、告知プログラム、及び記録媒体 |
JP6574645B2 (ja) | 2015-08-28 | 2019-09-11 | キヤノン株式会社 | 撮像装置を制御する制御装置、撮像装置の制御方法、及びプログラム |
JP7204356B2 (ja) * | 2018-06-28 | 2023-01-16 | セコム株式会社 | 監視装置 |
JP2022032206A (ja) * | 2020-08-11 | 2022-02-25 | コベルコ建機株式会社 | 作業支援装置 |
CN116567417A (zh) * | 2023-05-29 | 2023-08-08 | 影石创新科技股份有限公司 | 视频采集方法、装置、计算机设备和存储介质 |
-
1993
- 1993-07-13 JP JP19704093A patent/JP3544215B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH0730795A (ja) | 1995-01-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US5355163A (en) | Video camera that automatically maintains size and location of an image within a frame | |
KR100276681B1 (ko) | 비디오 카메라 시스템 | |
US5434617A (en) | Automatic tracking camera control system | |
US5631697A (en) | Video camera capable of automatic target tracking | |
US6323898B1 (en) | Tracking apparatus and tracking method | |
JP3544215B2 (ja) | ビデオカメラシステム | |
US20060078162A1 (en) | System and method for stabilized single moving camera object tracking | |
JPH0730796A (ja) | ビデオ信号追従処理システム | |
JP2006295350A (ja) | 撮像装置及び撮像結果の処理方法 | |
JP4789695B2 (ja) | カメラ、合成画像撮影方法およびプログラム | |
KR100623835B1 (ko) | 물체 검출 방법 및 물체 검출 장치 | |
JP4594197B2 (ja) | 自動追尾装置 | |
JP4572190B2 (ja) | 物体検出装置 | |
JPH10294890A (ja) | 自動/手動撮影カメラシステム | |
JPH08116485A (ja) | ビデオカメラの被写体追尾装置及び追尾方法 | |
JPH0815315B2 (ja) | 自動焦点調節装置 | |
JP2667885B2 (ja) | 移動物体の自動追尾装置 | |
JPH06153047A (ja) | ビデオカメラシステム | |
JPH0698232A (ja) | 画像認識装置及び撮像装置 | |
JP3610604B2 (ja) | ビデオカメラの被写体追尾装置及び追尾方法 | |
JP2000175101A (ja) | 自動追尾装置 | |
JP3116422B2 (ja) | カメラ制御装置 | |
JPH09322047A (ja) | ビデオカメラ制御方法、ビデオカメラ制御システム、ビデオカメラ制御装置、およびビデオカメラ | |
JP3757403B2 (ja) | 被写体検出装置および被写体検出方法 | |
JPH06149227A (ja) | 拡大表示装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040319 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040401 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080416 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090416 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090416 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100416 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100416 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110416 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120416 Year of fee payment: 8 |
|
LAPS | Cancellation because of no payment of annual fees |