JP2589469B2 - Automatic tracking video camera - Google Patents
Automatic tracking video cameraInfo
- Publication number
- JP2589469B2 JP2589469B2 JP61050608A JP5060886A JP2589469B2 JP 2589469 B2 JP2589469 B2 JP 2589469B2 JP 61050608 A JP61050608 A JP 61050608A JP 5060886 A JP5060886 A JP 5060886A JP 2589469 B2 JP2589469 B2 JP 2589469B2
- Authority
- JP
- Japan
- Prior art keywords
- infrared light
- visible light
- subject
- signal
- center
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Closed-Circuit Television Systems (AREA)
Description
【発明の詳細な説明】 ［産業上の利用分野］ 本発明は自動追尾ビデオカメラに関し、特に、赤外光
を利用して自動追尾を行うビデオカメラに関する。Description: TECHNICAL FIELD The present invention relates to an automatic tracking video camera, and more particularly, to a video camera that performs automatic tracking using infrared light.
［従来の技術］ 近年、産業用、家庭用ともにビデオカメラの普及が目
ざましい。家庭用ビデオカメラにおいては、LSI技術の
進歩に伴い高性能の固定撮像素子の量産が可能となった
ことから、該カメラの小型軽量化、低価格化が進み、使
用者層も特定のユーザから一般のユーザへ広がってきて
いる。[Related Art] In recent years, video cameras have become remarkably popular for both industrial use and home use. In home video cameras, the advancement of LSI technology has made it possible to mass-produce high-performance fixed imaging devices, which has led to smaller, lighter, and less expensive cameras. It is spreading to general users.
このように、ビデオカメラの一般層への普及が進むに
従い、誰でも簡単に操作できることが重要となる。この
ため、必須機能の自動化が進み、自動白バランス調整や
自動焦点機能などは既に一般的になってきており、さら
に操作性を向上させることが望まれている。As described above, it is important that anyone can easily operate the video camera as the video camera spreads to the general layer. For this reason, automation of essential functions has progressed, and automatic white balance adjustment, automatic focus functions, and the like have already become common, and it is desired to further improve operability.
そこで、次に、自動かすべき機能の一つとして、従来
ビデオカメラの撮影者に委ねられていた撮影そのものを
自動化し、カメラ方向を自動的に被写体に追随させる自
動追尾機能がある。この自動追尾機能は、家庭用以外に
も監視を目的とする監視用カメラに期待されており、カ
メラ方向を固定したものに比べて大きな効果が得られ
る。なお、従来から提案されている自動追尾機能を備え
たビデオカメラとしては、例えば特開昭59−208983号公
報に記載のものなどがある。Then, next, as one of the functions to be automatically performed, there is an automatic tracking function that automates the photographing itself, which has been conventionally entrusted to the video camera photographer, and automatically follows the camera direction to the subject. This automatic tracking function is expected to be used for surveillance cameras other than for home use for surveillance purposes, and provides a great effect as compared with a camera having a fixed camera direction. A video camera provided with an automatic tracking function that has been conventionally proposed is, for example, one described in Japanese Patent Application Laid-Open No. Sho 59-208983.
［発明が解決しようとする問題点］ 前記した特開昭59−208983号公報に記載の自動追尾カ
メラ等は、映像信号から被写体の動きを検出して、動く
物を撮像する目標となる被写体であると認識し、その動
きに応じて自動追尾を行う。[Problems to be Solved by the Invention] The automatic tracking camera and the like described in JP-A-59-208983 described above detect the movement of a subject from a video signal and detect the movement of a subject as a target for imaging a moving object. It recognizes that there is, and performs automatic tracking according to the movement.
しかし、このような従来技術では、撮影者が目標とす
る映像信号中の被写体以外の物体が動いた場合、目標被
写体とその他の物体との区別ができず、目標被写体の適
正な自動追尾が不可能となる場合があった。However, in such a conventional technique, when an object other than the subject in the video signal targeted by the photographer moves, the target subject cannot be distinguished from other objects, and proper automatic tracking of the target subject is not possible. In some cases it became possible.
また、動く物を被写体として正確に認識するには複雑
なパターン認識が必要であり、ひの為に回路規模が大形
化してしまうという欠点もあった。Further, in order to accurately recognize a moving object as a subject, complicated pattern recognition is necessary, and there is a disadvantage that the circuit scale is enlarged because of this.
本発明の目的は、前記した従来技術の欠点をなくし、
複雑なパターン認識を必要とせず、したがって簡単な回
路構成によって、最も一般的な被写体である人物を自動
追尾することができるビデオカメラを提供することにあ
る。An object of the present invention is to eliminate the above-mentioned disadvantages of the prior art,
It is an object of the present invention to provide a video camera which does not require complicated pattern recognition and therefore can automatically track a person, which is the most common subject, with a simple circuit configuration.
［問題点を解決するための手段］ 上記目的は、可視光を光電変換する可視光光電変換部
と赤外光を光電変換する赤外光光電変換部とを同一基板
上に形成した撮像手段と、光電変換した赤外光映像信号
から被写***置を検出する検出手段と、該検出手段の被
写***置を示す信号に応じてカメラを被写***置方向に
向くように制御する制御手段と、該検出手段で被写体の
重心位置が検出できない時に、カメラのズームをワイド
とする信号を発生する手段とを設けることにより達成さ
れる。[Means for Solving the Problems] An object of the present invention is to provide an imaging unit in which a visible light photoelectric conversion unit for photoelectrically converting visible light and an infrared light photoelectric conversion unit for photoelectrically converting infrared light are formed on the same substrate. Detecting means for detecting a subject position from a photoelectrically converted infrared light image signal; control means for controlling a camera to face the subject position direction in accordance with a signal indicating the subject position of the detecting means; and Means for generating a signal to widen the zoom of the camera when the position of the center of gravity of the subject cannot be detected.
［作用］ 赤外光光電変換部は、人体が赤外線を放出しているこ
とを利用して、人を認識するセンサとして働く。すなわ
ち、撮像素子において人物が撮像された場合には、該素
子の赤外光光電変換部からは、赤外光に相応する電気信
号が得られる。本発明は、この電気信号に基づいて検出
手段で人物の位置を検出する。こうして検出した被写体
である人物の位置に応じて、制御手段で常にカメラが被
写体方向へ向くようにカメラ方向を制御する。これによ
って、人物の動きに対して常にカメラの向きを、人物方
向へ自動追尾させることが可能となる。また、該検出手
段で被写体である人物の重心位置が検出できない時に、
カメラのズームをワイドとすることにより、被写体を画
角内に自動的に復帰させることができ、人物方向へ自動
追尾の性能を向上させることができる。[Operation] The infrared light photoelectric conversion unit functions as a sensor for recognizing a person by utilizing the fact that the human body emits infrared light. That is, when a person is imaged by the imaging device, an electrical signal corresponding to infrared light is obtained from the infrared light photoelectric conversion unit of the device. According to the present invention, the position of the person is detected by the detecting means based on the electric signal. According to the position of the person who is the subject detected in this way, the control unit controls the camera direction so that the camera always faces the subject. This makes it possible to always automatically track the direction of the camera in the direction of the person with respect to the movement of the person. Further, when the detection means cannot detect the position of the center of gravity of the person who is the subject,
By setting the zoom of the camera to wide, the subject can be automatically returned to the angle of view, and the performance of automatic tracking in the direction of the person can be improved.
［実施例］ 以下、本発明を図面を用いて説明する。EXAMPLES Hereinafter, the present invention will be described with reference to the drawings.
第１図は本発明の一実施例である自動追尾ビデオカメ
ラのブロック図である。同図において、１はズームレン
ズ、13は単一の撮像素子、12は分離回路、５は可視光映
像信号処理回路、６は赤外光映像信号処理回路、７は制
御回路、８は制御装置、９′は撮像素子駆動回路であ
る。FIG. 1 is a block diagram of an automatic tracking video camera according to an embodiment of the present invention. In the figure, 1 is a zoom lens, 13 is a single image sensor, 12 is a separation circuit, 5 is a visible light image signal processing circuit, 6 is an infrared light image signal processing circuit, 7 is a control circuit, and 8 is a control device. , 9 'are imaging element driving circuits.
前記単一の撮像素子13には可視光受光部と赤外光受光
部とが設けられており、ズームレンズ１を通して入射し
た可視光と赤外光を同一撮像素子で受光し、その後、分
離回路12によって可視光受光部で得た映像信号（以下、
単に可視光映像信号という）と赤外光受光部で得た映像
信号（以下、単に赤外光映像信号という）とを分離し、
可視光映像信号は可視光映像信号処理回路５へ、赤外光
映像信号は赤外光映像信号処理回路６へそれぞれ入力す
る。The single image pickup device 13 is provided with a visible light receiving portion and an infrared light receiving portion, and receives the visible light and the infrared light incident through the zoom lens 1 with the same image pickup device. The video signal obtained by the visible light receiving unit by
(Hereinafter simply referred to as a visible light image signal) and an image signal obtained by the infrared light receiving unit (hereinafter simply referred to as an infrared light image signal).
The visible light video signal is input to a visible light video signal processing circuit 5 and the infrared light video signal is input to an infrared light video signal processing circuit 6.
可視光映像信号処理回路５では、通常のビデオカメラ
と同様の信号処理が行われて、出力端子10からビデオ信
号として出力される。一方、赤外光映像信号処理回路６
では、まず、増幅、クランプ等の信号処理が行われる。
その後、該赤外光映像信号処理回路６では、前記赤外光
映像信号に基づいて、被写体の重心あるいは中心位置を
演算によって求める。先に述べたように、赤外光映像信
号は人物の認識信号とみなすことができるから、こうし
て赤外光映像信号から検出した被写体の重心あるいは中
心位置は、人物の自動追尾にそのまま利用することがで
きる。In the visible light video signal processing circuit 5, signal processing similar to that of a normal video camera is performed and output from the output terminal 10 as a video signal. On the other hand, the infrared light image signal processing circuit 6
First, signal processing such as amplification and clamping is performed.
Thereafter, the infrared light image signal processing circuit 6 calculates the center of gravity or the center position of the subject by calculation based on the infrared light image signal. As described above, since the infrared light image signal can be regarded as a person recognition signal, the center of gravity or the center position of the subject detected from the infrared light image signal in this manner should be used as it is for automatic tracking of the person. Can be.
被写体すなわち人物の重心あるいは中心位置の検出信
号は制御回路７に入力される。制御回路７では、前記検
出信号に基づいて例えば被写体の重心を画面中央に合わ
せるようなカメラ方向の変位量を算出し、これに相応す
る制御信号を出力する。こうして得られた制御信号によ
って制御装置８はカメラ方向を左右または上下に動か
し、人物の自動追尾を行う。The detection signal of the center of gravity or the center position of the subject, that is, the person, is input to the control circuit 7. The control circuit 7 calculates the amount of displacement in the camera direction such that, for example, the center of gravity of the subject is adjusted to the center of the screen based on the detection signal, and outputs a corresponding control signal. The control device 8 moves the camera direction left and right or up and down by the control signal thus obtained, and performs automatic tracking of the person.
制御回路７は、また、ズームレンズ１のズームの制御
も合わせて行う。すなわち、被写体が視野内からそれた
場合、つまり赤外光映像信号処理回路６から被写体の重
心位置の検出信号が得られない場合、これに応じて制御
回路７からズームレンズ１へズームをワイド側（広角
端）に変化させる信号を出力する。これによって、被写
体が視野内からそれた場合にも、再び被写体を視野内に
入れることができるようになり、被写体の重心位置を検
出できるようになる。この結果、自動追尾を適正に行う
ことができるようになる。The control circuit 7 also controls the zoom of the zoom lens 1. That is, when the subject deviates from the field of view, that is, when the detection signal of the position of the center of gravity of the subject is not obtained from the infrared light image signal processing circuit 6, the control circuit 7 responds to this by moving the zoom to the zoom lens 1 on the wide side. (Wide-angle end). Thus, even when the subject deviates from the field of view, the subject can be brought into the field of view again, and the position of the center of gravity of the subject can be detected. As a result, the automatic tracking can be properly performed.
第２図は、第１図における赤外光映像信号処理回路６
の一例を示したもので、61は増幅器、62はアナログ−デ
ジタル変換器、63はフレームメモリ、64は演算回路であ
る。FIG. 2 shows the infrared light image signal processing circuit 6 shown in FIG.
Shows an example of a 6 1 amplifier, 6 2 analog - digital converter, 6 3 frame memory, 6 4 are arithmetic circuit.
分離回路12から得られた赤外光映像信号は、増幅器61
で増幅され、アナログ−デジタル変換器62によってアナ
ログ−デジタル変換される。アナログ−デジタル変換さ
れた信号は、フレームメモリ63に蓄積される。こうして
フレームメモリ63に蓄積されたデジタル値に基づいて演
算回路64では、演算を行い、被写体の重心を求める。被
写体の重心（xG，yG）は、下記の（１）、（２）式によ
り算出される。Infrared video signal obtained from the separation circuit 12, an amplifier 61
In amplified, analog - digitally converted - analog by the digital converter 6 2. Analog - digital converted signal is stored in the frame memory 6 3. Thus the arithmetic circuit 6 4 based on the digital values stored in the frame memory 6 3 performs a calculation to determine the centroid of the object. The center of gravity (x G , y G ) of the subject is calculated by the following equations (1) and (2).
ただし、Ｍ、Ｎは水平、垂直の標本点の個数、ｘ、ｙ
は座標、ｆ（x.y）は各座標における赤外光映像信号を
２値化（１または０）して表した値である。座標は、撮
像素子上、例えば左下隅の標本化点を（1,1）、右上隅
の標本化点を（M,N）としたものである。 Here, M and N are the number of horizontal and vertical sample points, x, y
Is a coordinate, and f (xy) is a value obtained by binarizing (1 or 0) the infrared light image signal at each coordinate. The coordinates are such that, for example, the sampling point at the lower left corner on the image sensor is (1, 1), and the sampling point at the upper right corner is (M, N).
こうして追尾目標の重心位置が検出されると、制御回
路７および制御装置８によってカメラ方向を被写体重心
方向に向けて自動追尾する。When the position of the center of gravity of the tracking target is thus detected, the control circuit 7 and the control device 8 automatically track the camera in the direction of the center of gravity of the subject.
第11図および第12図を用いて演算回路64および制御回
路７をさらに詳しく説明する。Described in more detail an arithmetic circuit 6 4 and the control circuit 7 using Figure 11 and Figure 12.
第11図は第２図の演算回路64の具体例であり、641、6
46はタイミング発生器、642、647は乗算器、643、648は
積分器、644、649は除算器、645は積分器である。FIG. 11 is a specific example of the arithmetic circuit 6 4 of FIG. 2, 6 41, 6
46 timing generator, 6 42, 6 47 multiplier, 6 43, 6 48 integrator, 6 44, 6 49 divider, 6 45 is an integrator.
タイミング発生器641から座標ｘが、またタイミング
発生器646から座標ｙが出力される。この座標ｘおよび
ｙは、それぞれ乗算器642および647においてフレームメ
モリ63からの信号ｆ（x.y）と乗算され、その後、積分
器643および648で積分される。これにより、前記の
（１）、（２）式の分子が得られる。また、信号ｆ（x.
y）は積分器645で積分される。この結果、（１）、
（２）式の分母が得られる。Coordinate x from the timing generator 6 41, also coordinate y is output from the timing generator 6 46. The coordinates x and y is multiplied signal f and (xy) from the frame memory 6 3 in each multiplier 6 42 and 6 47, then, is integrated by the integrator 6 43 and 6 48. Thereby, the molecules of the above formulas (1) and (2) are obtained. Further, the signal f (x.
y) is integrated by the integrator 6 45. As a result, (1),
The denominator of the equation (2) is obtained.
除算器644では、積分器643の出力信号と積分器645の
出力信号とを除算、すなわち、（信号量×座標）を信郷
量で規格化することにより、重心xGを求める。また、除
算器649では、積分器648の出力信号と積分器645の出力
信号とを除算して、重心yGを求める。The divider 6 44, divides the output signals of the integrator 6 45 of the integrator 6 43, i.e., by normalizing with Shinsato quantity (signal amount × coordinates), obtaining the center of gravity x G. Further, the divider 6 49, by dividing the output signal of the integrator 6 48 and the output signal of the integrator 6 45 obtains the center of gravity y G.
第12図は第１図の制御回路７の一具体例であり、71は
基準座標発生器、72は比較器である。基準座標発生器71
はモニタ画面中で被写体の写る位置を指定する座標デー
タ（x0,y0）を出力する。この座標データと前記演算回
路64の出力信号である被写体重心xG、yGとは比較器72で
比較される。この結果、比較器72は、被写体重心と座標
データとの偏差に応じた制御信号を出力する。例えば、
xG＞x0であれば、被写体重心はモニタ画面右寄りにある
と判断し、ビデオカメラを右側方向に動かすような制御
信号を出力する。したがって、例えばモニタ画面中央の
座標をx0、y0とすれば、制御装置８を介して被写体重心
は常にモニタ画面中央に写るように自動追尾される。ま
た、該制御回路７は前記演算回路64から被写体重心が入
力されてこない時には、ズームレンズ１へズームをワイ
ド側に変化させる信号を出力する。FIG. 12 is a specific example of the control circuit 7 of FIG. 1, 7 1 reference frame generator, 7 2 is a comparator. Reference coordinate generator 7 1
Outputs coordinate data (x0, y0) specifying the position where the subject appears on the monitor screen. Subject center of gravity x G and the coordinate data which is the output signal of the arithmetic circuit 6 4, and y G are compared in the comparator 7 2. As a result, the comparator 7 2 outputs a control signal corresponding to the deviation of the subject center of gravity and the coordinate data. For example,
If x G> x0, subject center of gravity is determined to be in the monitor screen right side, and outputs a control signal to move the video camera in the right direction. Therefore, if the coordinates at the center of the monitor screen are x0 and y0, for example, the center of gravity of the subject is automatically tracked via the control device 8 so as to always appear at the center of the monitor screen. Further, the control circuit 7 when the subject center of gravity from the arithmetic circuit 6 4 does not come inputted, outputs a signal for changing a zoom to zoom lens 1 in the wide side.
第３図は、第１図の撮像素子13の受光面を模式的に示
した図であり、11は一絵素を示している。FIG. 3 is a diagram schematically showing the light receiving surface of the image sensor 13 in FIG. 1, and 11 indicates one picture element.
絵素Ａは赤外光受光用の絵素である。他の絵素は可視
光受光用の絵素であり、該絵素は通常の単管あるいは単
板撮像素子と同様に、原色あるいは補色の色フィルタを
各絵素の上に規則的に配列してなる。The picture element A is a picture element for receiving infrared light. The other picture elements are those for receiving visible light, and the picture elements are arranged with primary or complementary color filters regularly on each picture element, similarly to a normal single tube or single plate image sensor. It becomes.
赤外光受光用の絵素Ａは、例えば長波長感度を高く設
定した分光特性を有する色フィルタを、該絵素Ａ上に配
列することで容易に実現できる。また、後述するよう
に、撮像素子13において、フォトダイオード下部のＰ型
ウェル層を深くすることによっても、長波長感度を向上
させることができるので、前記絵素Ａの実現が可能であ
る。The picture element A for receiving infrared light can be easily realized by, for example, arranging color filters having spectral characteristics with high long-wavelength sensitivity on the picture element A. Further, as will be described later, in the image pickup device 13, the long-wavelength sensitivity can also be improved by making the P-type well layer below the photodiode deep, so that the picture element A can be realized.
第４図は、第３図のａ−ｂ線に沿う撮像素子13の断面
構造の概略図である。同図において、14はＰ型ウェル、
15はＮ型基板、22は保護膜（絶縁膜）を示している。第
４図に示す撮像素子13は、赤外光受光用絵素Ａの下部の
Ｐ型ウェル層のみを深くして、前記したように、長波長
感度を向上させた構造となっている。この結果、基板深
部で光電変換した赤外光映像信号成分を適正に得ること
ができる。詳細については後述する。FIG. 4 is a schematic diagram of a cross-sectional structure of the image sensor 13 along the line ab in FIG. In the figure, 14 is a P-type well,
Reference numeral 15 denotes an N-type substrate, and reference numeral 22 denotes a protective film (insulating film). The imaging device 13 shown in FIG. 4 has a structure in which only the P-type well layer below the infrared light receiving picture element A is deepened to improve the long wavelength sensitivity as described above. As a result, an infrared light image signal component photoelectrically converted in the deep part of the substrate can be properly obtained. Details will be described later.
第５図は、第１図の撮像素子13の受光面の他の例を示
した模式図である。この第５図が前記した第３図の撮像
素子と異なるのは、赤外光受光用絵素Ａを受光面の周辺
部のみに配置した点である。このような絵素Ａの配列と
すれば、画面中央での可視光映像信号の解像度を高くす
ることができる。ただし、第３図のものに比べて、自動
追尾の機能は多少劣化することになる。FIG. 5 is a schematic diagram showing another example of the light receiving surface of the image sensor 13 of FIG. FIG. 5 differs from the image pickup device of FIG. 3 in that the picture element A for receiving infrared light is arranged only in the peripheral portion of the light receiving surface. With such an arrangement of the picture elements A, the resolution of the visible light video signal at the center of the screen can be increased. However, the function of automatic tracking is slightly deteriorated as compared with that of FIG.
第６図は、第１図の分離回路12の構成を示すブロック
図である。同図において、121、122はサンプルホールド
回路である。分離回路12に入力された撮像素子13からの
映像信号Ｓは、サンプルホールド回路121、122にそれぞ
れ供給される。また、サンプルホールド回路121、122に
は、それぞれ駆動回路９′からクロックφ１、φ２が供
給されている。クロックφ１は、前記映像信号Ｓの可視
光映像信号成分のみをサンプルホールドするための信号
であり、クロックφ２は、赤外光映像信号成分のみをサ
ンプルホールドするための信号である。この結果、サン
プルホールド回路121、122からは、映像信号Ｓから分離
された可視光映像信号S1と赤外光映像信号S2とがそれぞ
れ出力される。FIG. 6 is a block diagram showing the configuration of the separation circuit 12 of FIG. In the figure, reference numerals 12 1 and 12 2 denote sample and hold circuits. Video signal S from the image sensor 13 is input to a separation circuit 12 is supplied to the sample hold circuit 12 1, 12 2. Further, clocks φ1 and φ2 are supplied to the sample and hold circuits 12 1 and 12 2 from the drive circuit 9 ′, respectively. The clock φ1 is a signal for sampling and holding only the visible light video signal component of the video signal S, and the clock φ2 is a signal for sampling and holding only the infrared light video signal component. Consequently, from the sample hold circuit 12 1, 12 2, and the visible light image signal S1 and the infrared light image signal S2 separated from the video signal S is outputted.
第７図は、第６図のサンプルホールド回路121、122の
動作時の映像信号S,該映像信号Ｓから分離された可視光
映像信号S1および赤外光映像信号S2と、サンプルホール
ド用のクロック（サンプルホールドパルス）φ１、φ２
の関係を示す波形図（タイムチャート）である。映像信
号Ｓにおける符号17は可視光映像信号成分を示し、斜線
を付して示した符号18は赤外光映像信号成分を示す。FIG. 7 shows a video signal S during operation of the sample and hold circuits 12 1 and 12 2 of FIG. 6, a visible light video signal S1 and an infrared light video signal S2 separated from the video signal S, Clock (sample hold pulse) φ1, φ2
FIG. 6 is a waveform chart (time chart) showing the relationship of FIG. Reference numeral 17 in the video signal S indicates a visible light video signal component, and reference numeral 18 shown with diagonal lines indicates an infrared light video signal component.
可視光映像信号S1を分離するサンプルホールドパルス
φ１は、赤外光映像信号成分18が出力するタイミングに
はパルスがないため、この期間は一つ前の可視光映像信
号成分17がホールドされている。このように可視光受光
部がない箇所（赤外光受光部のある箇所）は、隣接する
同受光部で得た映像信号成分によって補間する。The sample and hold pulse φ1 for separating the visible light image signal S1 has no pulse at the timing at which the infrared light image signal component 18 is output, and thus the immediately preceding visible light image signal component 17 is held during this period. . As described above, the portion having no visible light receiving portion (the portion having the infrared light receiving portion) is interpolated by the video signal component obtained by the adjacent light receiving portion.
赤外光映像信号S2も同様の動作によって、隣接する赤
外光映像信号成分18をホールドすることによって得られ
る。The infrared light image signal S2 is obtained by holding the adjacent infrared light image signal component 18 by the same operation.
第８図は、第４図に示した撮像素子13の断面図におけ
る破線16で囲んだ部分の拡大図である。同図において、
19は赤外光光電変換部、19′は可視光光電変換部、20は
アルミ線、21はゲート、40、41はＮ型拡散層を示す。な
お、赤外光受光用絵素の下部のＰ型ウェル層のみを深く
して、長波長感度（赤外感度）を向上させていることは
前述した通りである。FIG. 8 is an enlarged view of a portion surrounded by a broken line 16 in the cross-sectional view of the image sensor 13 shown in FIG. In the figure,
Reference numeral 19 denotes an infrared light photoelectric conversion unit, 19 'denotes a visible light photoelectric conversion unit, 20 denotes an aluminum wire, 21 denotes a gate, and 40 and 41 denote N-type diffusion layers. As described above, the long wavelength sensitivity (infrared sensitivity) is improved by deepening only the P-type well layer below the infrared light receiving picture element.
赤外光は長波長光であるから、基板深部でキャリア
（電子）を生成する。一方、可視光は比較的に浅部でキ
ャリアを生成する。したがって、可視光光電変換部19′
の基板深部で生成された赤外光のキャリアは、Ｎ型基板
15に集められて該基板15のバイアス電圧を供給する外部
電源に流れる。この結果、可視光光電変換部19′では、
基板浅部で生成された可視光のキャリアのみがＮ型拡散
層40に集められる。Since infrared light is long-wavelength light, carriers (electrons) are generated deep in the substrate. On the other hand, visible light generates carriers in a relatively shallow part. Therefore, the visible light photoelectric conversion unit 19 '
The infrared light carrier generated in the deep part of the substrate is an N-type substrate
It is collected at 15 and flows to an external power supply that supplies a bias voltage for the substrate 15. As a result, in the visible light photoelectric conversion unit 19 ',
Only visible light carriers generated in the shallow portion of the substrate are collected in the N-type diffusion layer 40.
一方、赤外光光電変換部19では、基板深部で生成され
た赤外光のキャリアと基板浅部で生成された可視光のキ
ャリアとが共に、Ｎ型拡散層41に集められる。そこで、
ゲート21に電圧が印加されると、赤外光光電変換部19か
らはアルミ線20などを介して赤外光映像信号成分（第７
図の18に相当する）が得られる。また、可視光光電変換
部19′からは同じくアルミ線20などを介して可視光映像
信号成分（第７図の17に相当する）が得られる。On the other hand, in the infrared light photoelectric conversion unit 19, both the infrared light carrier generated in the deep part of the substrate and the visible light carrier generated in the shallow part of the substrate are collected in the N-type diffusion layer 41. Therefore,
When a voltage is applied to the gate 21, an infrared light video signal component (the seventh
(Corresponding to 18 in the figure) is obtained. Further, a visible light video signal component (corresponding to 17 in FIG. 7) is obtained from the visible light photoelectric converter 19 'via the aluminum wire 20 or the like.
第９図は、第１図に示す撮像素子13の他の例の断面構
造を示した図である。同図において、23はＮ型基板、24
はＰ型ウェル、25、26はＮ型拡散層、Ａは赤外および可
視光光電変換部、Ｂは可視光光電変換部である。FIG. 9 is a diagram showing a cross-sectional structure of another example of the image sensor 13 shown in FIG. In the figure, 23 is an N-type substrate, 24
Is a P-type well, 25 and 26 are N-type diffusion layers, A is an infrared and visible light photoelectric conversion unit, and B is a visible light photoelectric conversion unit.
赤外光27、28は、長波長光であるから基板深部でキャ
リア31、32（電子）を生成する。可視光29、30は、比較
的浅部でキャリア33、34を生成する。キャリア33、34
は、拡散層25に集められて、既知の適宜の手段によって
外部に読み出され、通常のビデオ信号となる。一方、キ
ャリア31は拡散層26に集められるので、これを既知の手
段によって外部に読み出すことにより、赤外光映像信号
を得ることができる。なお、キャリア32はＮ型基板23に
集められ、該基板23のバイアス電圧を供給する外部電源
に流れる。第10図を用いて、赤外光のキャリアがＮ型拡
散層26に集められ、可視光のキャリアがＮ型拡散層25に
集められる原理を更に詳しく説明する。同図（ａ）、
（ｂ）はそれぞれ第９図におけるイ−ロ間とハ−ニ間の
ポテンシャルを示すものである。Since the infrared lights 27 and 28 are long-wavelength lights, they generate carriers 31 and 32 (electrons) deep in the substrate. The visible lights 29 and 30 generate carriers 33 and 34 at relatively shallow portions. Carrier 33, 34
Are collected in the diffusion layer 25 and read out to the outside by an appropriate known means to become a normal video signal. On the other hand, since the carriers 31 are collected in the diffusion layer 26, an infrared light image signal can be obtained by reading this out to the outside by a known means. The carriers 32 are collected on the N-type substrate 23 and flow to an external power supply that supplies a bias voltage for the substrate 23. The principle that infrared light carriers are collected in the N-type diffusion layer 26 and visible light carriers are collected in the N-type diffusion layer 25 will be described in more detail with reference to FIG. FIG.
(B) shows the potential between the yellow and the honey in FIG. 9 respectively.
Ｐ型ウェル24には最も低い電圧が印加されるので、第
10図（ａ）、（ｂ）に示すようにＰ型ウェル24の部分で
最もポテンシャルが高くなる。さて、キャリア33、34は
ポテンシャルが最大になる所より表面（受光面）に近い
所で生成するので、ポテンシャルの低い方、すなわち表
面に向かう。一方、キャリア31、32はポテンシャルが最
大になる所より裏面に近い所で生成するので、ポテンシ
ャルの低い方、すなわち裏面に向かう。Since the lowest voltage is applied to the P-type well 24,
10 As shown in FIGS. 10A and 10B, the potential is highest in the P-type well 24 portion. Now, the carriers 33 and 34 are generated closer to the surface (light receiving surface) than where the potential is maximum, and therefore go to the lower potential, that is, toward the surface. On the other hand, the carriers 31 and 32 are generated at a position closer to the back surface than at a position where the potential is maximum, and therefore go to the lower potential, that is, toward the back surface.
したがって、第９図に示す撮像素子においては、赤外
光のキャリアをＮ型拡散層26に集められると共に、可視
光のキャリアをＮ型拡散層25に集められる。この結果、
第９図に示す構造の撮像素子を用いれば、赤外光映像信
号と可視光映像信号とを撮像素子において分離すること
ができる。したがって、赤外光受光用絵素Ａを第３図お
よび第５図のようにまばらに配置することはもとより、
全ての絵素に配置することもできる。Therefore, in the imaging device shown in FIG. 9, carriers of infrared light can be collected in the N-type diffusion layer 26 and carriers of visible light can be collected in the N-type diffusion layer 25. As a result,
If an image sensor having the structure shown in FIG. 9 is used, an infrared light image signal and a visible light image signal can be separated in the image sensor. Therefore, in addition to sparsely disposing the infrared light receiving picture elements A as shown in FIGS. 3 and 5,
It can be placed on all picture elements.
次に、本発明の他の実施例を説明する。この実施例
は、照度が低く映像信号の信号対雑音比（S/N比）が低
下した時に、図１の分離回路12から分離された赤外光映
像信号の一部を図示されていない増幅度可変増幅回路に
よって増幅し、可視光映像信号処理回路５に入力して、
撮像素子13から得る可視光映像信号と加算して輝度信号
を生成するようにしたものである。このようにして輝度
信号を生成すると、照度が低い場合にも高い信号対雑音
比の輝度信号を得ることができ、感度（S/N比）の大幅
な向上が可能となる。Next, another embodiment of the present invention will be described. In this embodiment, when the illuminance is low and the signal-to-noise ratio (S / N ratio) of the video signal is reduced, a part of the infrared video signal separated from the separation circuit 12 in FIG. Amplified by a variable degree amplification circuit and input to the visible light video signal processing circuit 5,
The luminance signal is generated by adding the luminance signal to the visible light video signal obtained from the image sensor 13. When the luminance signal is generated in this manner, a luminance signal having a high signal-to-noise ratio can be obtained even when the illuminance is low, and the sensitivity (S / N ratio) can be significantly improved.
例えば、分離回路12から得た可視光映像信号中、信号
電圧で規格化した雑音電圧をN1、同様に分離回路12から
得た赤外光映像信号中の雑音電圧を信号電圧で規格化し
た値をN2とし、可視光映像信号の加算係数をN22／N12＋
N22、赤外光映像信号の加算係数をN12／N12＋N22と設定
すれば、それぞれ相関性のないランダム雑音の場合、可
視光映像信号と赤外光映像信号とを加算して得られる輝
度信号のS/N比は最も良い状態となる。For example, in the visible light video signal obtained from the separation circuit 12, the noise voltage normalized by the signal voltage is N1, and similarly, the noise voltage in the infrared light video signal obtained from the separation circuit 12 is a value normalized by the signal voltage. Is N2, and the addition coefficient of the visible light video signal is N2 2 / N1 2 +
By setting the addition coefficient of N2 2 and infrared light video signal to N1 2 / N1 2 + N2 2 , in the case of random noise with no correlation, the visible light video signal and the infrared light video signal are added. The S / N ratio of the obtained luminance signal is in the best state.
［発明の効果］ 以上の説明から明らかなように、本発明によれば、従
来のように複雑なパターン認識を必要とせず、したがっ
て、比較的簡単な回路構成によって最も一般的な被写体
である人物の自動追尾を適正に行うことができる効果が
ある。また、同一基板上に、可視光を光電変換する可視
光光電変換部と赤外光を光電変換する赤外光光電変換部
とを同一基板上に形成したので、小型、軽量化が大いに
図れるという効果がある。さらに、被写体の重心を検出
できない場合、すなわち被写体を見失った場合に、ズー
ムレンズをワイドにすることにより、被写体を画角内に
自動的に復帰させることができ、自動追尾の性能を向上
させることができるという効果がある。[Effects of the Invention] As is apparent from the above description, according to the present invention, a complicated pattern recognition is not required unlike the related art, and therefore, a person who is the most common subject can be formed by a relatively simple circuit configuration. There is an effect that the automatic tracking can be appropriately performed. In addition, since a visible light photoelectric conversion unit for photoelectrically converting visible light and an infrared light photoelectric conversion unit for photoelectrically converting infrared light are formed on the same substrate, the size and weight can be greatly reduced. effective. Furthermore, when the center of gravity of the subject cannot be detected, that is, when the subject is lost, the subject can be automatically returned to the angle of view by widening the zoom lens, thereby improving the performance of automatic tracking. There is an effect that can be.
第１図は本発明の一実施例のブロック図、第２図は第１
図の赤外光映像信号処理回路の一例を示すブロック図、
第３、第５図は、それぞれ第１図に示す撮像素子の受光
部の模式図、第４図は第３図のａ−ｂ線に沿う撮像素子
の断面図、第６図は、第１図の分離回路の一例を示すブ
ロック図、第７図は前記分離回路り動作を説明するため
の信号波形図、第８図は、第４図の破線16で囲んだ部分
の拡大図、第９図は撮像素子の他の例を示す断面図、第
10図は第９図のキャリアの動きを説明するための図、第
11図は第２図の演算回路の一具体例を示すブロック図、
第12図は第１図の制御回路の一例を示すブロック図であ
る。 １……ズームレンズ、５……可視光映像信号処理回路、
６……赤外光映像信号処理回路、７……制御回路、８…
…制御装置、12……分離回路、13……撮像素子。FIG. 1 is a block diagram of one embodiment of the present invention, and FIG.
Block diagram showing an example of the infrared light video signal processing circuit of the figure,
3 and 5 are schematic views of a light receiving portion of the imaging device shown in FIG. 1, respectively. FIG. 4 is a cross-sectional view of the imaging device along the line ab in FIG. 3, and FIG. FIG. 7 is a block diagram showing an example of the separation circuit shown in FIG. 7, FIG. 7 is a signal waveform diagram for explaining the operation of the separation circuit, FIG. 8 is an enlarged view of a portion surrounded by a broken line 16 in FIG. The figure is a sectional view showing another example of the image sensor,
FIG. 10 is a diagram for explaining the movement of the carrier in FIG. 9, and FIG.
FIG. 11 is a block diagram showing a specific example of the arithmetic circuit of FIG. 2,
FIG. 12 is a block diagram showing an example of the control circuit of FIG. 1 ... zoom lens, 5 ... visible light image signal processing circuit,
6 ... infrared light image signal processing circuit, 7 ... control circuit, 8 ...
... Control device, 12 Separation circuit, 13 Image sensor.
───────────────────────────────────────────────────── フロントページの続き (72)発明者 小松 裕之 横浜市戸塚区吉田町292番地 日立ビデ オエンジニアリング株式会社内 (72)発明者 今出 宅哉 横浜市戸塚区吉田町292番地 株式会社 日立製作所家電研究所内 (72)発明者 衣笠 敏郎 横浜市戸塚区吉田町292番地 株式会社 日立製作所家電研究所内 (56)参考文献 特開 昭51−834（ＪＰ，Ａ) 特開 昭59−208983（ＪＰ，Ａ) 特開 昭60−224033（ＪＰ，Ａ) 実開 昭58−186478（ＪＰ，Ｕ) ──────────────────────────────────────────────────続 き Continuing on the front page (72) Inventor Hiroyuki Komatsu 292 Yoshidacho, Totsuka-ku, Yokohama-shi Inside Hitachi Video Engineering Co., Ltd. (72) Takuya Imade 292 Yoshidacho, Totsuka-ku, Yokohama Hitachi, Ltd. Inside the Home Appliance Research Laboratory (72) Inventor Toshiro Kinugasa 292 Yoshida-cho, Totsuka-ku, Yokohama-shi Inside the Home Appliance Research Laboratory, Hitachi, Ltd. (56) References JP-A-51-834 (JP, A) JP-A-59-208983 (JP, A) JP-A-60-224033 (JP, A) JP-A-58-186478 (JP, U)
Claims (2)
赤外光を光電変換する赤外光光電変換部とを同一基板上
に形成した撮像手段と、 該可視光光電変換部で光電変換した電気信号から可視光
映像信号を生成する可視光映像信号処理回路と、 該赤外光光電変換部で光電変換した電気信号から被写体
の重心位置を検出する検出手段と、 該検出手段で検出した被写体の重心位置に応じてカメラ
方向を制御する制御手段と、 該検出手段で被写体の重心位置が検出できない時に、カ
メラのズームをワイドとする信号を発生する手段とから
構成されたことを特徴とする自動追尾ビデオカメラ。1. An imaging means in which a visible light photoelectric conversion part for photoelectrically converting visible light and an infrared light photoelectric conversion part for photoelectric conversion of infrared light are formed on the same substrate, and the visible light photoelectric conversion part A visible light image signal processing circuit for generating a visible light image signal from the converted electric signal; a detecting means for detecting the position of the center of gravity of the subject from the electric signal photoelectrically converted by the infrared light photoelectric conversion unit; Control means for controlling the camera direction according to the position of the center of gravity of the subject, and means for generating a signal for widening the zoom of the camera when the position of the center of gravity of the subject cannot be detected by the detection means. Automatic tracking video camera.
信号と、前記可視光光電変換部で光電変換した電気信号
とを加算して、低照度時の輝度信号を生成するようにし
たことを特徴とする前記特許請求の範囲第１項記載の自
動追尾ビデオカメラ。2. An electric signal photoelectrically converted by the infrared light photoelectric converter and an electric signal photoelectrically converted by the visible light photoelectric converter are added to generate a luminance signal at low illuminance. The automatic tracking video camera according to claim 1, wherein:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP61050608A JP2589469B2 (en) | 1986-03-10 | 1986-03-10 | Automatic tracking video camera |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP61050608A JP2589469B2 (en) | 1986-03-10 | 1986-03-10 | Automatic tracking video camera |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPS62208783A JPS62208783A (en) | 1987-09-14 |
| JP2589469B2 true JP2589469B2 (en) | 1997-03-12 |
Family
ID=12863681
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP61050608A Expired - Fee Related JP2589469B2 (en) | 1986-03-10 | 1986-03-10 | Automatic tracking video camera |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2589469B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011239259A (en) * | 2010-05-12 | 2011-11-24 | Sony Corp | Image processing device, image processing method, and program |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS51834A (en) * | 1974-06-21 | 1976-01-07 | Natsuku Kk | |
| JPS58186478U (en) * | 1982-06-04 | 1983-12-10 | 三菱電機株式会社 | Infrared imaging tracking device |
| JPH0614698B2 (en) * | 1983-05-13 | 1994-02-23 | 株式会社日立製作所 | Automatic tracking camera |
| JPS60224033A (en) * | 1984-04-20 | 1985-11-08 | Fujitsu Ltd | Infrared-ray image display system |
-
1986
- 1986-03-10 JP JP61050608A patent/JP2589469B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPS62208783A (en) | 1987-09-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106954008B (en) | Image pickup device and image pickup module | |
| Yadid-Pecht | Wide-dynamic-range sensors | |
| US8704933B2 (en) | Focus detection apparatus | |
| US20100157094A1 (en) | Focus detection apparatus, focus detection method, and image sensing apparatus | |
| US20060244843A1 (en) | Illumination flicker detection | |
| JP2000501919A (en) | Color image sensor for short exposure | |
| KR100566731B1 (en) | Interline transfer ccd driven with enhanced frame transfer frequency for high speed profiling | |
| JP3820087B2 (en) | 3D image detection device | |
| US11451715B2 (en) | Imaging apparatus, exposure controlling method, and imaging device | |
| JP2003116056A (en) | Photographing and memory apparatus | |
| Oike et al. | A 120/spl times/110 position sensor with the capability of sensitive and selective light detection in wide dynamic range for robust active range finding | |
| US20040012711A1 (en) | Image pickup apparatus and photometer | |
| JP2589469B2 (en) | Automatic tracking video camera | |
| TWI766411B (en) | Imaging sensor and electronic device | |
| KR20220156242A (en) | Image Processing Device | |
| JP4660086B2 (en) | Solid-state image sensor | |
| US6765960B1 (en) | Method and device for detecting a change between pixel signals which chronologically follow one another | |
| JP2022522952A (en) | Time-of-flight device and 3D optical detector | |
| JP3147952B2 (en) | Photometric device | |
| WO2021131431A1 (en) | Light-receiving device, method for controlling light-receiving device, and electronic apparatus | |
| JP2001186535A (en) | Image detection system | |
| JPS5841486B2 (en) | Object image clarity detection method | |
| JP2762059B2 (en) | CCD solid-state imaging device and signal processing method thereof | |
| JP2024070310A (en) | Autofocus control device, imaging device, autofocus control method, and program | |
| JPS60121882A (en) | Focusing detection method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |