JP2589469B2

JP2589469B2 - 自動追尾ビデオカメラ

Info

Publication number: JP2589469B2
Application number: JP61050608A
Authority: JP
Inventors: 龍志西村; 裕之小松; 宅哉今出; 敏郎衣笠
Original assignee: Hitachi Image Information Systems Inc; Hitachi Ltd
Current assignee: Hitachi Image Information Systems Inc; Hitachi Ltd
Priority date: 1986-03-10
Filing date: 1986-03-10
Publication date: 1997-03-12
Anticipated expiration: 2012-03-12
Also published as: JPS62208783A

Description

【発明の詳細な説明】［産業上の利用分野］本発明は自動追尾ビデオカメラに関し、特に、赤外光
を利用して自動追尾を行うビデオカメラに関する。

［従来の技術］近年、産業用、家庭用ともにビデオカメラの普及が目
ざましい。家庭用ビデオカメラにおいては、LSI技術の
進歩に伴い高性能の固定撮像素子の量産が可能となった
ことから、該カメラの小型軽量化、低価格化が進み、使
用者層も特定のユーザから一般のユーザへ広がってきて
いる。

このように、ビデオカメラの一般層への普及が進むに
従い、誰でも簡単に操作できることが重要となる。この
ため、必須機能の自動化が進み、自動白バランス調整や
自動焦点機能などは既に一般的になってきており、さら
に操作性を向上させることが望まれている。

そこで、次に、自動かすべき機能の一つとして、従来
ビデオカメラの撮影者に委ねられていた撮影そのものを
自動化し、カメラ方向を自動的に被写体に追随させる自
動追尾機能がある。この自動追尾機能は、家庭用以外に
も監視を目的とする監視用カメラに期待されており、カ
メラ方向を固定したものに比べて大きな効果が得られ
る。なお、従来から提案されている自動追尾機能を備え
たビデオカメラとしては、例えば特開昭59−208983号公
報に記載のものなどがある。

［発明が解決しようとする問題点］前記した特開昭59−208983号公報に記載の自動追尾カ
メラ等は、映像信号から被写体の動きを検出して、動く
物を撮像する目標となる被写体であると認識し、その動
きに応じて自動追尾を行う。

しかし、このような従来技術では、撮影者が目標とす
る映像信号中の被写体以外の物体が動いた場合、目標被
写体とその他の物体との区別ができず、目標被写体の適
正な自動追尾が不可能となる場合があった。

また、動く物を被写体として正確に認識するには複雑
なパターン認識が必要であり、ひの為に回路規模が大形
化してしまうという欠点もあった。

本発明の目的は、前記した従来技術の欠点をなくし、
複雑なパターン認識を必要とせず、したがって簡単な回
路構成によって、最も一般的な被写体である人物を自動
追尾することができるビデオカメラを提供することにあ
る。

［問題点を解決するための手段］上記目的は、可視光を光電変換する可視光光電変換部
と赤外光を光電変換する赤外光光電変換部とを同一基板
上に形成した撮像手段と、光電変換した赤外光映像信号
から被写***置を検出する検出手段と、該検出手段の被
写***置を示す信号に応じてカメラを被写***置方向に
向くように制御する制御手段と、該検出手段で被写体の
重心位置が検出できない時に、カメラのズームをワイド
とする信号を発生する手段とを設けることにより達成さ
れる。

［作用］赤外光光電変換部は、人体が赤外線を放出しているこ
とを利用して、人を認識するセンサとして働く。すなわ
ち、撮像素子において人物が撮像された場合には、該素
子の赤外光光電変換部からは、赤外光に相応する電気信
号が得られる。本発明は、この電気信号に基づいて検出
手段で人物の位置を検出する。こうして検出した被写体
である人物の位置に応じて、制御手段で常にカメラが被
写体方向へ向くようにカメラ方向を制御する。これによ
って、人物の動きに対して常にカメラの向きを、人物方
向へ自動追尾させることが可能となる。また、該検出手
段で被写体である人物の重心位置が検出できない時に、
カメラのズームをワイドとすることにより、被写体を画
角内に自動的に復帰させることができ、人物方向へ自動
追尾の性能を向上させることができる。

［実施例］以下、本発明を図面を用いて説明する。

第１図は本発明の一実施例である自動追尾ビデオカメ
ラのブロック図である。同図において、１はズームレン
ズ、13は単一の撮像素子、12は分離回路、５は可視光映
像信号処理回路、６は赤外光映像信号処理回路、７は制
御回路、８は制御装置、９′は撮像素子駆動回路であ
る。

前記単一の撮像素子13には可視光受光部と赤外光受光
部とが設けられており、ズームレンズ１を通して入射し
た可視光と赤外光を同一撮像素子で受光し、その後、分
離回路12によって可視光受光部で得た映像信号（以下、
単に可視光映像信号という）と赤外光受光部で得た映像
信号（以下、単に赤外光映像信号という）とを分離し、
可視光映像信号は可視光映像信号処理回路５へ、赤外光
映像信号は赤外光映像信号処理回路６へそれぞれ入力す
る。

可視光映像信号処理回路５では、通常のビデオカメラ
と同様の信号処理が行われて、出力端子10からビデオ信
号として出力される。一方、赤外光映像信号処理回路６
では、まず、増幅、クランプ等の信号処理が行われる。
その後、該赤外光映像信号処理回路６では、前記赤外光
映像信号に基づいて、被写体の重心あるいは中心位置を
演算によって求める。先に述べたように、赤外光映像信
号は人物の認識信号とみなすことができるから、こうし
て赤外光映像信号から検出した被写体の重心あるいは中
心位置は、人物の自動追尾にそのまま利用することがで
きる。

被写体すなわち人物の重心あるいは中心位置の検出信
号は制御回路７に入力される。制御回路７では、前記検
出信号に基づいて例えば被写体の重心を画面中央に合わ
せるようなカメラ方向の変位量を算出し、これに相応す
る制御信号を出力する。こうして得られた制御信号によ
って制御装置８はカメラ方向を左右または上下に動か
し、人物の自動追尾を行う。

制御回路７は、また、ズームレンズ１のズームの制御
も合わせて行う。すなわち、被写体が視野内からそれた
場合、つまり赤外光映像信号処理回路６から被写体の重
心位置の検出信号が得られない場合、これに応じて制御
回路７からズームレンズ１へズームをワイド側（広角
端）に変化させる信号を出力する。これによって、被写
体が視野内からそれた場合にも、再び被写体を視野内に
入れることができるようになり、被写体の重心位置を検
出できるようになる。この結果、自動追尾を適正に行う
ことができるようになる。

第２図は、第１図における赤外光映像信号処理回路６
の一例を示したもので、6₁は増幅器、6₂はアナログ−デ
ジタル変換器、6₃はフレームメモリ、6₄は演算回路であ
る。

分離回路12から得られた赤外光映像信号は、増幅器6₁
で増幅され、アナログ−デジタル変換器6₂によってアナ
ログ−デジタル変換される。アナログ−デジタル変換さ
れた信号は、フレームメモリ6₃に蓄積される。こうして
フレームメモリ6₃に蓄積されたデジタル値に基づいて演
算回路6₄では、演算を行い、被写体の重心を求める。被
写体の重心（x_G，y_G）は、下記の（１）、（２）式によ
り算出される。

ただし、Ｍ、Ｎは水平、垂直の標本点の個数、ｘ、ｙ
は座標、ｆ（x.y）は各座標における赤外光映像信号を
２値化（１または０）して表した値である。座標は、撮
像素子上、例えば左下隅の標本化点を（1,1）、右上隅
の標本化点を（M,N）としたものである。

こうして追尾目標の重心位置が検出されると、制御回
路７および制御装置８によってカメラ方向を被写体重心
方向に向けて自動追尾する。

第11図および第12図を用いて演算回路6₄および制御回
路７をさらに詳しく説明する。

第11図は第２図の演算回路6₄の具体例であり、6₄₁、6
₄₆はタイミング発生器、6₄₂、6₄₇は乗算器、6₄₃、6₄₈は
積分器、6₄₄、6₄₉は除算器、6₄₅は積分器である。

タイミング発生器6₄₁から座標ｘが、またタイミング
発生器6₄₆から座標ｙが出力される。この座標ｘおよび
ｙは、それぞれ乗算器6₄₂および6₄₇においてフレームメ
モリ6₃からの信号ｆ（x.y）と乗算され、その後、積分
器6₄₃および6₄₈で積分される。これにより、前記の
（１）、（２）式の分子が得られる。また、信号ｆ（x.
y）は積分器6₄₅で積分される。この結果、（１）、
（２）式の分母が得られる。

除算器6₄₄では、積分器6₄₃の出力信号と積分器6₄₅の
出力信号とを除算、すなわち、（信号量×座標）を信郷
量で規格化することにより、重心x_Gを求める。また、除
算器6₄₉では、積分器6₄₈の出力信号と積分器6₄₅の出力
信号とを除算して、重心y_Gを求める。

第12図は第１図の制御回路７の一具体例であり、7₁は
基準座標発生器、7₂は比較器である。基準座標発生器7₁
はモニタ画面中で被写体の写る位置を指定する座標デー
タ（x0,y0）を出力する。この座標データと前記演算回
路6₄の出力信号である被写体重心x_G、y_Gとは比較器7₂で
比較される。この結果、比較器7₂は、被写体重心と座標
データとの偏差に応じた制御信号を出力する。例えば、
x_G＞x0であれば、被写体重心はモニタ画面右寄りにある
と判断し、ビデオカメラを右側方向に動かすような制御
信号を出力する。したがって、例えばモニタ画面中央の
座標をx0、y0とすれば、制御装置８を介して被写体重心
は常にモニタ画面中央に写るように自動追尾される。ま
た、該制御回路７は前記演算回路6₄から被写体重心が入
力されてこない時には、ズームレンズ１へズームをワイ
ド側に変化させる信号を出力する。

第３図は、第１図の撮像素子13の受光面を模式的に示
した図であり、11は一絵素を示している。

絵素Ａは赤外光受光用の絵素である。他の絵素は可視
光受光用の絵素であり、該絵素は通常の単管あるいは単
板撮像素子と同様に、原色あるいは補色の色フィルタを
各絵素の上に規則的に配列してなる。

赤外光受光用の絵素Ａは、例えば長波長感度を高く設
定した分光特性を有する色フィルタを、該絵素Ａ上に配
列することで容易に実現できる。また、後述するよう
に、撮像素子13において、フォトダイオード下部のＰ型
ウェル層を深くすることによっても、長波長感度を向上
させることができるので、前記絵素Ａの実現が可能であ
る。

第４図は、第３図のａ−ｂ線に沿う撮像素子13の断面
構造の概略図である。同図において、14はＰ型ウェル、
15はＮ型基板、22は保護膜（絶縁膜）を示している。第
４図に示す撮像素子13は、赤外光受光用絵素Ａの下部の
Ｐ型ウェル層のみを深くして、前記したように、長波長
感度を向上させた構造となっている。この結果、基板深
部で光電変換した赤外光映像信号成分を適正に得ること
ができる。詳細については後述する。

第５図は、第１図の撮像素子13の受光面の他の例を示
した模式図である。この第５図が前記した第３図の撮像
素子と異なるのは、赤外光受光用絵素Ａを受光面の周辺
部のみに配置した点である。このような絵素Ａの配列と
すれば、画面中央での可視光映像信号の解像度を高くす
ることができる。ただし、第３図のものに比べて、自動
追尾の機能は多少劣化することになる。

第６図は、第１図の分離回路12の構成を示すブロック
図である。同図において、12₁、12₂はサンプルホールド
回路である。分離回路12に入力された撮像素子13からの
映像信号Ｓは、サンプルホールド回路12₁、12₂にそれぞ
れ供給される。また、サンプルホールド回路12₁、12₂に
は、それぞれ駆動回路９′からクロックφ１、φ２が供
給されている。クロックφ１は、前記映像信号Ｓの可視
光映像信号成分のみをサンプルホールドするための信号
であり、クロックφ２は、赤外光映像信号成分のみをサ
ンプルホールドするための信号である。この結果、サン
プルホールド回路12₁、12₂からは、映像信号Ｓから分離
された可視光映像信号S1と赤外光映像信号S2とがそれぞ
れ出力される。

第７図は、第６図のサンプルホールド回路12₁、12₂の
動作時の映像信号S,該映像信号Ｓから分離された可視光
映像信号S1および赤外光映像信号S2と、サンプルホール
ド用のクロック（サンプルホールドパルス）φ１、φ２
の関係を示す波形図（タイムチャート）である。映像信
号Ｓにおける符号17は可視光映像信号成分を示し、斜線
を付して示した符号18は赤外光映像信号成分を示す。

可視光映像信号S1を分離するサンプルホールドパルス
φ１は、赤外光映像信号成分18が出力するタイミングに
はパルスがないため、この期間は一つ前の可視光映像信
号成分17がホールドされている。このように可視光受光
部がない箇所（赤外光受光部のある箇所）は、隣接する
同受光部で得た映像信号成分によって補間する。

赤外光映像信号S2も同様の動作によって、隣接する赤
外光映像信号成分18をホールドすることによって得られ
る。

第８図は、第４図に示した撮像素子13の断面図におけ
る破線16で囲んだ部分の拡大図である。同図において、
19は赤外光光電変換部、19′は可視光光電変換部、20は
アルミ線、21はゲート、40、41はＮ型拡散層を示す。な
お、赤外光受光用絵素の下部のＰ型ウェル層のみを深く
して、長波長感度（赤外感度）を向上させていることは
前述した通りである。

赤外光は長波長光であるから、基板深部でキャリア
（電子）を生成する。一方、可視光は比較的に浅部でキ
ャリアを生成する。したがって、可視光光電変換部19′
の基板深部で生成された赤外光のキャリアは、Ｎ型基板
15に集められて該基板15のバイアス電圧を供給する外部
電源に流れる。この結果、可視光光電変換部19′では、
基板浅部で生成された可視光のキャリアのみがＮ型拡散
層40に集められる。

一方、赤外光光電変換部19では、基板深部で生成され
た赤外光のキャリアと基板浅部で生成された可視光のキ
ャリアとが共に、Ｎ型拡散層41に集められる。そこで、
ゲート21に電圧が印加されると、赤外光光電変換部19か
らはアルミ線20などを介して赤外光映像信号成分（第７
図の18に相当する）が得られる。また、可視光光電変換
部19′からは同じくアルミ線20などを介して可視光映像
信号成分（第７図の17に相当する）が得られる。

第９図は、第１図に示す撮像素子13の他の例の断面構
造を示した図である。同図において、23はＮ型基板、24
はＰ型ウェル、25、26はＮ型拡散層、Ａは赤外および可
視光光電変換部、Ｂは可視光光電変換部である。

赤外光27、28は、長波長光であるから基板深部でキャ
リア31、32（電子）を生成する。可視光29、30は、比較
的浅部でキャリア33、34を生成する。キャリア33、34
は、拡散層25に集められて、既知の適宜の手段によって
外部に読み出され、通常のビデオ信号となる。一方、キ
ャリア31は拡散層26に集められるので、これを既知の手
段によって外部に読み出すことにより、赤外光映像信号
を得ることができる。なお、キャリア32はＮ型基板23に
集められ、該基板23のバイアス電圧を供給する外部電源
に流れる。第10図を用いて、赤外光のキャリアがＮ型拡
散層26に集められ、可視光のキャリアがＮ型拡散層25に
集められる原理を更に詳しく説明する。同図（ａ）、
（ｂ）はそれぞれ第９図におけるイ−ロ間とハ−ニ間の
ポテンシャルを示すものである。

Ｐ型ウェル24には最も低い電圧が印加されるので、第
10図（ａ）、（ｂ）に示すようにＰ型ウェル24の部分で
最もポテンシャルが高くなる。さて、キャリア33、34は
ポテンシャルが最大になる所より表面（受光面）に近い
所で生成するので、ポテンシャルの低い方、すなわち表
面に向かう。一方、キャリア31、32はポテンシャルが最
大になる所より裏面に近い所で生成するので、ポテンシ
ャルの低い方、すなわち裏面に向かう。

したがって、第９図に示す撮像素子においては、赤外
光のキャリアをＮ型拡散層26に集められると共に、可視
光のキャリアをＮ型拡散層25に集められる。この結果、
第９図に示す構造の撮像素子を用いれば、赤外光映像信
号と可視光映像信号とを撮像素子において分離すること
ができる。したがって、赤外光受光用絵素Ａを第３図お
よび第５図のようにまばらに配置することはもとより、
全ての絵素に配置することもできる。

次に、本発明の他の実施例を説明する。この実施例
は、照度が低く映像信号の信号対雑音比（S/N比）が低
下した時に、図１の分離回路12から分離された赤外光映
像信号の一部を図示されていない増幅度可変増幅回路に
よって増幅し、可視光映像信号処理回路５に入力して、
撮像素子13から得る可視光映像信号と加算して輝度信号
を生成するようにしたものである。このようにして輝度
信号を生成すると、照度が低い場合にも高い信号対雑音
比の輝度信号を得ることができ、感度（S/N比）の大幅
な向上が可能となる。

例えば、分離回路12から得た可視光映像信号中、信号
電圧で規格化した雑音電圧をN1、同様に分離回路12から
得た赤外光映像信号中の雑音電圧を信号電圧で規格化し
た値をN2とし、可視光映像信号の加算係数をN2²／N1²＋
N2²、赤外光映像信号の加算係数をN1²／N1²＋N2²と設定
すれば、それぞれ相関性のないランダム雑音の場合、可
視光映像信号と赤外光映像信号とを加算して得られる輝
度信号のS/N比は最も良い状態となる。

［発明の効果］以上の説明から明らかなように、本発明によれば、従
来のように複雑なパターン認識を必要とせず、したがっ
て、比較的簡単な回路構成によって最も一般的な被写体
である人物の自動追尾を適正に行うことができる効果が
ある。また、同一基板上に、可視光を光電変換する可視
光光電変換部と赤外光を光電変換する赤外光光電変換部
とを同一基板上に形成したので、小型、軽量化が大いに
図れるという効果がある。さらに、被写体の重心を検出
できない場合、すなわち被写体を見失った場合に、ズー
ムレンズをワイドにすることにより、被写体を画角内に
自動的に復帰させることができ、自動追尾の性能を向上
させることができるという効果がある。

【図面の簡単な説明】

第１図は本発明の一実施例のブロック図、第２図は第１
図の赤外光映像信号処理回路の一例を示すブロック図、
第３、第５図は、それぞれ第１図に示す撮像素子の受光
部の模式図、第４図は第３図のａ−ｂ線に沿う撮像素子
の断面図、第６図は、第１図の分離回路の一例を示すブ
ロック図、第７図は前記分離回路り動作を説明するため
の信号波形図、第８図は、第４図の破線16で囲んだ部分
の拡大図、第９図は撮像素子の他の例を示す断面図、第
10図は第９図のキャリアの動きを説明するための図、第
11図は第２図の演算回路の一具体例を示すブロック図、
第12図は第１図の制御回路の一例を示すブロック図であ
る。１……ズームレンズ、５……可視光映像信号処理回路、
６……赤外光映像信号処理回路、７……制御回路、８…
…制御装置、12……分離回路、13……撮像素子。

───────────────────────────────────────────────────── フロントページの続き (72)発明者小松裕之横浜市戸塚区吉田町292番地日立ビデオエンジニアリング株式会社内 (72)発明者今出宅哉横浜市戸塚区吉田町292番地株式会社日立製作所家電研究所内 (72)発明者衣笠敏郎横浜市戸塚区吉田町292番地株式会社日立製作所家電研究所内 (56)参考文献特開昭51−834（ＪＰ，Ａ) 特開昭59−208983（ＪＰ，Ａ) 特開昭60−224033（ＪＰ，Ａ) 実開昭58−186478（ＪＰ，Ｕ)

Claims

(57)【特許請求の範囲】

【請求項１】可視光を光電変換する可視光光電変換部と
赤外光を光電変換する赤外光光電変換部とを同一基板上
に形成した撮像手段と、該可視光光電変換部で光電変換した電気信号から可視光
映像信号を生成する可視光映像信号処理回路と、該赤外光光電変換部で光電変換した電気信号から被写体
の重心位置を検出する検出手段と、該検出手段で検出した被写体の重心位置に応じてカメラ
方向を制御する制御手段と、該検出手段で被写体の重心位置が検出できない時に、カ
メラのズームをワイドとする信号を発生する手段とから
構成されたことを特徴とする自動追尾ビデオカメラ。
【請求項２】前記赤外光光電変換部で光電変換した電気
信号と、前記可視光光電変換部で光電変換した電気信号
とを加算して、低照度時の輝度信号を生成するようにし
たことを特徴とする前記特許請求の範囲第１項記載の自
動追尾ビデオカメラ。