JP5224683B2 - Target detection device - Google Patents

Target detection device Download PDF

Info

Publication number
JP5224683B2
JP5224683B2 JP2006323750A JP2006323750A JP5224683B2 JP 5224683 B2 JP5224683 B2 JP 5224683B2 JP 2006323750 A JP2006323750 A JP 2006323750A JP 2006323750 A JP2006323750 A JP 2006323750A JP 5224683 B2 JP5224683 B2 JP 5224683B2
Authority
JP
Japan
Prior art keywords
light
target
pixel
pixel unit
intensity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006323750A
Other languages
Japanese (ja)
Other versions
JP2008139084A (en
Inventor
稔 菊池
克之 舛田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2006323750A priority Critical patent/JP5224683B2/en
Publication of JP2008139084A publication Critical patent/JP2008139084A/en
Application granted granted Critical
Publication of JP5224683B2 publication Critical patent/JP5224683B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)

Description

本発明は、移動体等の検出目標物をイメージセンサにより検出する目標検出装置に関し、特に、検出目標物から検出妨害があったときにもその検出目標物を見失うことなく検出するための対妨害性を改善した目標検出装置に関する。   The present invention relates to a target detection apparatus that detects a detection target such as a moving object with an image sensor, and in particular, when a detection disturbance occurs from a detection target, the counter interference for detecting the detection target without losing sight. The present invention relates to a target detection device with improved performance.

移動体等の所定の目標物を検出し追尾する装置として、撮像機により濃淡画像を得て、これを二値化することによって得られた画面中の領域から有意な領域を目標として選択し、その領域の重心位置を追尾位置として出力する装置が知られており、目標物の撮像には一般的にＣＣＤが用いられている（例えば、特許文献１参照）。   As a device for detecting and tracking a predetermined target such as a moving object, a grayscale image is obtained by an image pickup device, and a significant region is selected as a target from the region in the screen obtained by binarizing this, A device that outputs the position of the center of gravity of the area as a tracking position is known, and a CCD is generally used for imaging a target (see, for example, Patent Document 1).

ＣＣＤの画素の受光感度は、通常状態において、目標物に対する最大検出性能が得られる高いレベル、つまり少ない光量でも目標物を検出することができるレベルに設定されている。そのため、目標物からレーザ光等の強い光が撮像器へと照射された場合には、ＣＣＤの全ての画素が許容される受光感度を超えた強度の光を受けてしまうこととなる。その際には、濃淡のない画像が得られて目標物を判別するための有意な領域を画像から選択することができなくなり、目標物を見失うこととなる。
特開平６−１７４８１８号公報（段落［００１５］、図１等） The light receiving sensitivity of the CCD pixels is set to a high level at which the maximum detection performance for the target can be obtained in a normal state, that is, a level at which the target can be detected even with a small amount of light. Therefore, when strong light such as laser light is irradiated from the target onto the image pickup device, all pixels of the CCD receive light with an intensity exceeding the allowable light receiving sensitivity. In that case, an image having no shading is obtained, and a significant region for discriminating the target cannot be selected from the image, and the target is lost.
JP-A-6-174818 (paragraph [0015], FIG. 1 etc.)

本発明はかかる事情に鑑みてなされたものであり、検出目標物から検出妨害があったときにもその検出目標物を見失うことなく検出するための対妨害性を改善した目標検出装置を提供することを目的とする。   The present invention has been made in view of the above circumstances, and provides a target detection apparatus with improved anti-interference for detecting a detection target without losing sight even when the detection target is detected. For the purpose.

本発明の第１の観点に係る目標検出装置は、所定の目標物を撮像するための複数の画素部が二次元マトリックス状に所定のパターンで配置されてなるイメージセンサと、
前記目標物より受光された光の強さに応じた大きさで前記複数の画素部からそれぞれ出力された電圧信号に基づいて前記目標物の位置情報を求める信号処理装置とを具備し、
前記複数の画素部は、検出可能な光の強さの範囲が異なる複数の光検出レベルに分けられて所定のパターンで配置されており、
前記信号処理装置は、前記複数の画素部の内、ある光検出レベルに設定された画素部の全てにおいて前記受光された光の強さがその光検出レベルの上限を超えた状態にあるときに、それよりも強い光を検出可能な他の光検出レベルに設定された他の画素部からの前記電圧信号の大きさの比較結果及び前記他の画素部の中での位置関係に基づいて前記所定の目標物を検出することを特徴としている。 A target detection apparatus according to a first aspect of the present invention includes an image sensor in which a plurality of pixel units for imaging a predetermined target are arranged in a predetermined pattern in a two-dimensional matrix;
A signal processing device for obtaining position information of the target based on voltage signals respectively output from the plurality of pixel units with a magnitude corresponding to the intensity of light received from the target;
The plurality of pixel portions are arranged in a predetermined pattern divided into a plurality of light detection levels having different detectable light intensity ranges,
The signal processing device among the plurality of pixel portions, in a state in which the intensity of the received light in all of the pixel portion is set to a light detection level exceeds the upper limit of the light detection level , Based on the comparison result of the magnitude of the voltage signal from another pixel unit set to another light detection level capable of detecting light stronger than that and the positional relationship in the other pixel unit It is characterized by detecting a predetermined target.

本発明の第２の観点に係る目標検出装置は、所定の目標物を撮像するために検出する光の強さの範囲が異なる２つの光検出レベルに分けられ、それぞれ複数設けられた第１画素部と第２画素部とが二次元マトリックス状に所定のパターンで配置され、前記第２画素部の光検出レベルが前記第１画素部の光検出レベルの光よりも強い光を検出するように設定されたイメージセンサと、
前記目標物より受光された光の強さに応じた大きさで前記複数の第１，第２画素部からそれぞれ出力された電圧信号に基づいて前記目標物の位置情報を求める信号処理装置とを具備し、
前記信号処理装置は、前記複数の第１画素部の全てにおいて前記受光された光の強さが設定されている光検出レベルの上限を超えた状態にあるときに、前記複数の第２画素部からの前記電圧信号の大きさの比較結果及び前記第２画素部の中での位置関係に基づいて前記所定の目標物を検出することを特徴としている。 A target detection apparatus according to a second aspect of the present invention is divided into two light detection levels having different light intensity ranges to be detected for imaging a predetermined target, and a plurality of first pixels are provided. And the second pixel unit are arranged in a predetermined pattern in a two-dimensional matrix so as to detect light whose light detection level of the second pixel unit is stronger than light of the light detection level of the first pixel unit. The configured image sensor,
A signal processing device for obtaining position information of the target based on voltage signals respectively output from the plurality of first and second pixel units with a magnitude corresponding to the intensity of light received from the target. Equipped,
The signal processing device, when in the state where all the Oite the intensity of the received light of the plurality of first pixel unit exceeds the upper limit of the light detection level is set, the plurality of second The predetermined target is detected based on the comparison result of the magnitude of the voltage signal from the pixel portion and the positional relationship in the second pixel portion .

この第２の観点に係る目標検出装置において、第１画素部と第２画素部の光検出レベルの設定には、フィルタに透光率の異なる領域を設ける方法が好適に用いられる。目標物を、目標物から妨害等のための光が照射されていない状態において精度よく検出するために、第１画素部の数を第２画素部の数よりも多くすることが好ましい。   In the target detection device according to the second aspect, for setting the light detection levels of the first pixel portion and the second pixel portion, a method of providing regions with different light transmittances in the filter is preferably used. In order to accurately detect the target in a state where light for interference or the like is not irradiated from the target, it is preferable that the number of the first pixel units is larger than the number of the second pixel units.

本発明によれば、検出目標物から妨害光の強い照射等の検出妨害があったときにも、目標物を見失うことなく検出することができ、これにより目標物の追尾（追跡）を良好に行うことができる。   According to the present invention, even when there is a detection disturbance such as strong irradiation of interference light from a detection target, it is possible to detect the target without losing sight, thereby improving the tracking (tracking) of the target. It can be carried out.

以下、本発明の実施形態について図面を参照しながら詳細に説明する。図１に目標検出装置の概略構成を示すブロック図を示す。この目標検出装置１００は、所定の目標物を検出するためのイメージセンサ１０と、イメージセンサ１０からの出力信号に基づいて目標物の位置情報を求める信号処理装置２０とを備えている。   Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. FIG. 1 is a block diagram showing a schematic configuration of the target detection apparatus. The target detection device 100 includes an image sensor 10 for detecting a predetermined target, and a signal processing device 20 that obtains position information of the target based on an output signal from the image sensor 10.

図２Ａにイメージセンサ１０の概略構成を示す平面図を示し、図２Ｂに図２Ａ中の矢視ＡＡ断面図を示す。イメージセンサ１０は、二次元マトリックス状に並べられた複数の受光素子１３と、これらの受光素子１３への入射光量を受光素子ごとに調整するフィルタ１４とを有している。   2A is a plan view showing a schematic configuration of the image sensor 10, and FIG. 2B is a sectional view taken along line AA in FIG. 2A. The image sensor 10 includes a plurality of light receiving elements 13 arranged in a two-dimensional matrix, and a filter 14 that adjusts the amount of light incident on these light receiving elements 13 for each light receiving element.

受光素子１３は、具体的には、目標物を撮像するための所定波長の光（例えば、目標物から放射される赤外線）を受けるとその光の強さに応じた電気を発生させる光電変換素子（フォトダイオード）を有し、この光電変換素子に隣接した電極下のキャパシタに一定時間内に蓄積された信号電荷を半導体内に形成したアナログシフトレジスタで転送し、順次読み出す、電荷結合素子（ＣＣＤ）である。全ての受光素子１３は実質的に同じ光電変換特性を有している。なお、図２Ｂでは受光素子１３の詳細な構造の描画は省略している。   Specifically, the light receiving element 13 receives a light having a predetermined wavelength for imaging a target (for example, infrared rays emitted from the target) and generates electricity corresponding to the intensity of the light. A charge coupled device (CCD) that has a (photodiode), transfers signal charges accumulated in a certain time to a capacitor under an electrode adjacent to the photoelectric conversion device by an analog shift register formed in a semiconductor, and sequentially reads out ). All the light receiving elements 13 have substantially the same photoelectric conversion characteristics. In FIG. 2B, drawing of the detailed structure of the light receiving element 13 is omitted.

フィルタ１４は、複数の受光素子１３の大きさ，形状，配置に対応して、受光素子１３が検知可能な一定波長域の光の透光率が大きい領域１５とその光の透光率が小さい領域１６とが所定のパターンで配置された構造を有しており、透光率が大きい領域１５とこの領域１５下の受光素子から第１画素部１１が構成され、透光率が小さい領域１６とこの領域１６下の受光素子より第２画素部１２が構成されている。図２Ａ，２Ｂでは、領域１５と領域１６とを区別するために、領域１６にドットを分散させた表記としている。   The filter 14 corresponds to the size, shape, and arrangement of the plurality of light receiving elements 13, and the region 15 has a large light transmittance of light in a certain wavelength range that can be detected by the light receiving element 13, and the light transmittance of the light is small. The region 16 has a structure arranged in a predetermined pattern, and the first pixel portion 11 is composed of a region 15 having a high light transmittance and a light receiving element under the region 15, and a region 16 having a low light transmittance. The second pixel portion 12 is composed of the light receiving elements below the region 16. 2A and 2B, in order to distinguish the region 15 and the region 16, the notation in which dots are dispersed in the region 16 is used.

図３に、第１画素部１１と第２画素部１２に入射する光の強さと受光により受光素子から出力される電圧信号の大きさとの関係を対比して示す。第１画素部１１に強さＬ１の光が入射すると、この光の強さは光の透光率が大きい領域１５を通過しても実質的に変わらないようになっており、第１画素部１１の受光素子はこの強さＬ１の光を受けることによって電圧値Ｖ１の電気を発生させるようになっている。また、第１画素部１１に強さＬ２（Ｌ２＞Ｌ１）の光が入射すると、この光の強さは光の透光率が大きい領域１５を通過しても実質的に変わらず、第１画素部１１の受光素子はこの強さＬ２の光を受けることによって電圧値Ｖ２（Ｖ２＞Ｖ１）の電気を発生させるようになっている。 FIG. 3 shows a comparison between the intensity of light incident on the first pixel portion 11 and the second pixel portion 12 and the magnitude of the voltage signal output from the light receiving element upon reception. When light having an intensity L 1 is incident on the first pixel unit 11, the intensity of the light does not substantially change even when it passes through the region 15 having a high light transmittance. The light receiving element of the section 11 receives the light having the intensity L 1 and generates electricity having the voltage value V 1 . Further, when light having an intensity L 2 (L 2 > L 1 ) is incident on the first pixel unit 11, the intensity of the light does not substantially change even when passing through the region 15 having a high light transmissivity. The light receiving element of the first pixel unit 11 generates light having a voltage value V 2 (V 2 > V 1 ) by receiving light of this intensity L 2 .

第２画素部１２に強さＬ２の光が入射すると、この光の強さは光の透光率が小さい領域１６を通過することにより、強さＬ２ｆ（Ｌ２ｆ＜Ｌ２）の光となるように領域１６の透光率が設定されている。第２画素部１２の受光素子は、この強さＬ２ｆの光を受けると、第１画素部１１の受光素子と同様に、電圧値Ｖ１の電気を発生させるようになっている。また、第２画素部１２に強さＬ３（Ｌ３＞Ｌ２）の光が入射すると、この光の強さは光の透光率が小さい領域１６を通過することにより、強さＬ３ｆ（Ｌ３ｆ＜Ｌ３）の光となる。第２画素部１２の受光素子は強さＬ３ｆの光を受けると、第１画素部１１の受光素子と同様に、電圧値Ｖ２の電気を発生させる。 When light having an intensity L 2 is incident on the second pixel unit 12, the intensity of the light passes through the region 16 having a small light transmissivity, whereby light having an intensity L 2f (L 2f <L 2 ). The transmissivity of the region 16 is set so that When the light receiving element of the second pixel unit 12 receives the light having the intensity L 2f , the light receiving element of the first pixel unit 11 generates electricity having the voltage value V 1 as in the case of the light receiving element of the first pixel unit 11. In addition, when light having an intensity L 3 (L 3 > L 2 ) is incident on the second pixel unit 12, the intensity of the light passes through the region 16 where the light transmissivity is small, so that the intensity L 3f The light becomes (L 3f <L 3 ). When the light receiving element of the second pixel unit 12 receives light of intensity L 3f , the light of the voltage value V 2 is generated in the same manner as the light receiving element of the first pixel unit 11.

信号処理装置２０は、電圧値がＶ１以上Ｖ２未満の電圧信号を検出した場合に、そのような電圧信号を発生させた画素部が所定の目標物を検出している、と判断する。したがって、目標物からそれ自体が目標検出装置１００により検出されることを妨害するための強い光が目標検出装置１００へ向けて照射されていない状態（以下「通常検出状態」という）において、第１画素部１１が目標物を検出するために用いる光の強さの範囲、すなわち第１画素部１１の光検出レベルは、Ｌ１以上Ｌ２未満であり、目標物からそれ自体が目標検出装置１００により検出されることを妨害するための強い光が目標検出装置１００へ向けて照射されている状態（以下「妨害状態」という）において、第２画素部１２が目標物を検出するために用いる光の強さの範囲、すなわち第２画素部１２の光検出レベルは、Ｌ２以上Ｌ３未満である。このように第１画素部１１が目標物を検出することができる強さの光よりも強い光において第２画素部１２は目標物を検出することができるようになっている。 When the signal processing device 20 detects a voltage signal having a voltage value of V 1 or more and less than V 2 , the signal processing device 20 determines that the pixel unit that has generated such a voltage signal has detected a predetermined target. Therefore, in a state where the target detection device 100 is not irradiated with strong light for preventing the target itself from being detected by the target detection device 100 (hereinafter referred to as “normal detection state”), the first The range of light intensity used by the pixel unit 11 to detect the target, that is, the light detection level of the first pixel unit 11 is not less than L 1 and less than L 2 , and the target detection device 100 itself from the target. Light used by the second pixel unit 12 to detect the target in a state where the target detection apparatus 100 is irradiated with strong light for preventing detection by the target (hereinafter referred to as “interference state”). In other words, the light detection level of the second pixel unit 12 is not less than L 2 and less than L 3 . In this way, the second pixel unit 12 can detect the target in light that is stronger than the intensity of light with which the first pixel unit 11 can detect the target.

なお、全ての第１画素部１１が強さＬ１未満の光しか検出していない状況があり、その状況とは、イメージセンサ１０が目標物を捉えていない状態である。 Incidentally, there are circumstances that are not only detect all of the first pixel part 11 is intensity L 1 less than the light, and the situation is a state of the image sensor 10 does not capture the target.

イメージセンサ１０は、このような複数の第１画素部１１と複数の第２画素部１２とが、フィルタ１４における透光率が大きい領域１５と透光率が小さい領域１６に対応して、二次元マトリックス状に所定のパターンで配置された構造を有している。   In the image sensor 10, the plurality of first pixel portions 11 and the plurality of second pixel portions 12 correspond to the region 15 having a high light transmittance and the region 16 having a low light transmittance in the filter 14. It has a structure arranged in a predetermined pattern in a dimensional matrix.

通常検出状態において、目標物から放射される光が弱くてもそれを検出し続けて目標物を追尾するためには、第１画素部１１をイメージセンサ１０の中心部に配置し、目標物をイメージセンサ１０の中心部に追い込んで検知することができる構造とすることが好ましい。一方、妨害状態においては、目標物から照射される光は一定の範囲に拡がった光であることから、第２画素部１２はイメージセンサ１０における周辺部分に配置することが好ましい。   In the normal detection state, even if the light emitted from the target is weak, in order to continue to detect the light and track the target, the first pixel unit 11 is arranged at the center of the image sensor 10, and the target is It is preferable to have a structure that can be detected by driving into the center of the image sensor 10. On the other hand, in the disturbing state, the light emitted from the target is light that spreads over a certain range. Therefore, it is preferable that the second pixel unit 12 is disposed in the peripheral portion of the image sensor 10.

なお、図２Ａに示されるように、ここではイメージセンサ１０として、第１画素部１１と第２画素部１２とが縦５×横５の二次元マトリックス状に所定パターンで配置された構成のものを示したが、これは目標検出装置１００の機能を以下に理解しやすいように説明するためのものであって、実際のイメージセンサは縦５１２×横５１２等のより多くの受光素子から構成され、フィルタ１４はこれに対応して領域１５・１６が所定パターンで配置された構造を有している。   As shown in FIG. 2A, here, the image sensor 10 has a configuration in which the first pixel portion 11 and the second pixel portion 12 are arranged in a predetermined pattern in a two-dimensional matrix of 5 × 5. This is for explaining the function of the target detection apparatus 100 so that it can be easily understood, and an actual image sensor is composed of more light receiving elements such as 512 × 512 in the vertical direction. The filter 14 has a structure in which the regions 15 and 16 are arranged in a predetermined pattern correspondingly.

イメージセンサ１０からの出力信号とは、イメージセンサ１０を構成する第１画素部１１と第２画素部１２からの出力信号を指し、さらに第１画素部１１からの出力信号とは第１画素部１１を構成している受光素子からの出力信号すなわち電圧信号であり、第２画素部１２からの出力信号とは第２画素部１２を構成している受光素子からの出力信号すなわち電圧信号である。これらの電圧信号は全ての第１画素部１１および第２画素部１２から個々に出力される。したがって、イメージセンサ１０の構成では、図２Ａに示される通り、２５個の電圧信号が得られることになる。   The output signal from the image sensor 10 refers to the output signals from the first pixel unit 11 and the second pixel unit 12 constituting the image sensor 10, and the output signal from the first pixel unit 11 refers to the first pixel unit. 11 is an output signal, that is, a voltage signal from the light receiving element that constitutes 11, and an output signal from the second pixel portion 12 is an output signal, that is, a voltage signal, from the light receiving element that constitutes the second pixel portion 12. . These voltage signals are individually output from all of the first pixel unit 11 and the second pixel unit 12. Therefore, in the configuration of the image sensor 10, as shown in FIG. 2A, 25 voltage signals are obtained.

信号処理装置２０が、イメージセンサ１０からの出力信号に基づいて目標物の位置情報（例えば、目標物までの距離、方位（座標）等）を求める方法としては、電圧値Ｖ１以上Ｖ２未満の電気を発生させた一群の画素部と、電圧値Ｖ１未満の電気を発生させた画素部および電気を発生させていない画素部からなる一群の画素部とに分けて、前者一群の画素部をマッピングしてその重心位置を求める方法や、電圧値Ｖ１以上Ｖ２未満の電気を発生させた画素部の中で最も大きな電圧を発生させた画素部の位置を求める方法、電圧値Ｖ１以上Ｖ２未満の電気を発生させた画素部に対して電圧値に応じた明暗を設けたマッピング（例えば、電圧値Ｖ１側は暗く、電圧値Ｖ２側で明るくする電光表示）を行い、そのマッピング結果から目標物の位置を求める方法等がある。 Signal processing apparatus 20, position information of the target object based on the output signal from the image sensor 10 (e.g., the distance to the target, azimuth (coordinates), etc.) As a method for obtaining the the voltage value V 1 or V less than 2 a group of pixel unit electrically was allowed to occur while divided into a group of pixel portion comprising a pixel portion which is not to generate a voltage value V 1 lower than the pixel portion and electricity electrical caused the former group of pixels section The method of determining the position of the center of gravity by mapping the above, the method of determining the position of the pixel portion that has generated the largest voltage among the pixel portions that have generated the voltage of V 1 or more and less than V 2 , and the voltage value V 1 a mapping in which a brightness corresponding to the voltage value (e.g., dark voltage value V 1 side, electronic display to brighten a voltage value V 2 side) with respect to a pixel portion which caused the least V 2 less electricity, From the mapping result, There is a method to determine the location.

次に、目標検出装置１００による目標物の検出方法について説明する。ここでは、電圧値Ｖ１以上Ｖ２未満の電気を発生させた画素部に対して電圧値に応じた明暗を設けたマッピングを行い、その結果から目標物の位置を求める場合について説明する。図４にこの検出方法のフローチャートを示し、図５に第１画素部１１と第２画素部１２から出力される電圧信号の変化の一例を示す。 Next, a method for detecting a target by the target detection apparatus 100 will be described. Here, a mapping in which a brightness corresponding to the voltage value to the pixel portion that caused the voltage value V 1 or V 2 less electricity will be described for determining the position of the target from the result. FIG. 4 shows a flowchart of this detection method, and FIG. 5 shows an example of changes in voltage signals output from the first pixel unit 11 and the second pixel unit 12.

最初に検出すべき目標物を捉えるためにイメージセンサ１０の向きを変える等する目標物探索を行う（ＳＴ１）。この目標物探索においては、イメージセンサ１０を構成する第１画素部１１が目標物を検知する。イメージセンサ１０が目標物を捉えたときには、通常は、複数の第１画素部１１のうちの一部が目標物を検知している状態となるため、信号処理装置２０は電圧値がＶ１以上Ｖ２未満の電圧信号を出力している第１画素部を検出し（ＳＴ２）、そこから出力された電圧値に基づいてマッピングを行い、目標物の位置情報を求める（ＳＴ３）。通常検出状態においては、第２画素部１２からの出力は常に電圧値Ｖ１未満となっており、いずれの第２画素部１２からの電圧信号も目標物の検出には用いられない。 A target search such as changing the direction of the image sensor 10 is performed to capture the target to be detected first (ST1). In this target object search, the first pixel unit 11 constituting the image sensor 10 detects the target object. When the image sensor 10 captures the target is usually to become a state in which a part of the plurality of first pixel unit 11 is detecting a target, the signal processing device 20, the voltage value V 1 or more detecting a first pixel portion that outputs a voltage signal less than V 2 (ST2), a mapping based on the voltage value output therefrom, obtains the position information of the target (ST3). In the normal detection condition, output from the second pixel unit 12 is always a voltage value V 1, less than any of the voltage signal from the second pixel section 12 is also not used for the detection of the target.

なお、信号処理装置２０が求めた位置情報は、所定の装置、例えば、目標検出装置１００を搭載している追尾装置の制御部等に送信され、追尾装置はこの位置情報にしたがって、イメージセンサ１０の中央部の画素部で目標物を検出することができるように、追尾装置そのものが目標物に対して移動したり、またはイメージセンサ１０の向きを変えたりして、目標物を追尾する。   The position information obtained by the signal processing device 20 is transmitted to a predetermined device, for example, a control unit of a tracking device equipped with the target detection device 100, and the tracking device according to the position information. The tracking device itself moves relative to the target or changes the direction of the image sensor 10 so that the target can be detected by the pixel portion at the center of the target.

信号処理装置２０は一定時間ごとに目標物の位置情報を更新する。そのために、信号処理装置２０は、複数の第１画素部１１のうち、電圧値がＶ１以上Ｖ２未満の電圧信号を出力しているものがあるか否かを判断する（ＳＴ４）。このＳＴ４の判断が“ＹＥＳ”の場合には、ＳＴ２に戻って、電圧値がＶ１以上Ｖ２未満の電圧信号を出力している第１画素部を検出し（ＳＴ２）、目標物の位置情報を求める（ＳＴ３）。これに対して、ＳＴ４の判断が“ＮＯ”の場合には、さらに、全ての第１画素部１１から個々に出力されている電圧信号の電圧値がＶ１未満であるか否かを判断する（ＳＴ５）。 The signal processing device 20 updates the position information of the target at regular time intervals. Therefore, the signal processing unit 20, among the plurality of first pixel unit 11 determines whether there is the voltage value and outputs a voltage signal less than V 1 or V 2 (ST4). In the case of this ST4 judgment is "YES", the process returns to ST2, and detects the first pixel portion to which the voltage value and outputs a voltage signal less than V 1 or V 2 (ST2), the position of the target Information is obtained (ST3). On the contrary, when the determination in ST4 is "NO", the further the voltage value of the voltage signal output from all of the first pixel unit 11 individually determines whether it is less than V 1 (ST5).

ＳＴ５の判断が“ＹＥＳ”となる場合には、イメージセンサ１０は目標物を捉えていないことになるので、ＳＴ１に戻って目標物探索が行われることになる。一方、ＳＴ５の判断が“ＮＯ”となる場合とは、全ての第１画素部１１から出力される電圧信号の電圧値がＶ２となっていることと同じである。このことは、目標物から検出妨害等のための光がイメージセンサ１０に向けて照射されて、全ての第１画素部１１にその光検出レベルを超える光が入射した状態となっていることを示している。すなわち図５に示されるように、目標物からイメージセンサ１０に向けて照射された光により、全ての第１画素部１１から出力される電圧信号の電圧値がＶ２に跳ね上がり、これと同時に複数の第２画素部１２のうちの一部または全部からの出力電圧が電圧値Ｖ１未満から電圧値Ｖ１以上Ｖ２未満に跳ね上がった状態となっている。 If the determination in ST5 is “YES”, the image sensor 10 does not capture the target, so the process returns to ST1 and the target search is performed. On the other hand, the case where the determination in ST5 becomes "NO", the same as the voltage value of the voltage signal output from all of the first pixel portion 11 is in the V 2. This means that light for detection interference or the like is emitted from the target toward the image sensor 10 and light exceeding the light detection level is incident on all the first pixel units 11. Show. That is, as shown in FIG. 5, the voltage value of the voltage signal output from all the first pixel units 11 jumps to V 2 due to the light emitted from the target toward the image sensor 10, and at the same time, a plurality of voltage signals are output. In this state, the output voltage from a part or all of the second pixel portion 12 jumps from less than the voltage value V 1 to more than the voltage value V 1 and less than V 2 .

そこで、ＳＴ５の判断が“ＮＯ”の場合には、全ての第２画素部１２の中に、電圧値がＶ１以上Ｖ２未満の電圧信号を出力している第２画素部があるか否かが判断される（ＳＴ６）。このＳＴ６の判断が“ＹＥＳ”の場合には、信号処理装置２０は、電圧値がＶ１以上Ｖ２未満の電圧信号を出力している第２画素部を検出し（ＳＴ７）、その結果に基づいて目標物の位置情報を求める（ＳＴ８）。 Therefore, either in the case of the determination at ST5 is "NO", the inside of all the second pixel portion 12, there is a second pixel portion to which the voltage value and outputs a voltage signal less than V 1 or V 2 not Is determined (ST6). In the case of this ST6 judgment is "YES", the signal processing unit 20 detects the second pixel portion to which a voltage value and outputs a voltage signal less than V 1 or V 2 (ST7), the result Based on this, the position information of the target is obtained (ST8).

これに対して、ＳＴ６の判断が“ＮＯ”となる場合とは、目標物からイメージセンサ１０への光照射が行われていない状況となった場合である。すなわち、信号処理装置２０は一定時間ごとに目標物の位置情報を更新するために、ＳＴ８の終了から所定時間が経過すると、ＳＴ６へ戻ってその判断が行われることになるが、ここで、目標物からイメージセンサ１０への光照射が継続している場合には、ＳＴ６の判断は“ＹＥＳ”となる。しかし、目標物からイメージセンサ１０への光照射が行われていない状況になると、全ての第２画素部１２から出力される電圧信号の電圧値はＶ１未満となり、ＳＴ６の判断が“ＮＯ”となる。このとき、第１画素部１１が再び目標物を検出している状態となるので、ＳＴ６の判断が“ＮＯ”の場合には、ＳＴ４の判断、すなわち、複数の第１画素部１１の中に電圧値がＶ１以上Ｖ２未満の電圧信号を出力しているものがあるか否かが判断されることになる。 On the other hand, the case where the determination of ST6 is “NO” is a case where light irradiation from the target to the image sensor 10 is not performed. That is, since the signal processing device 20 updates the position information of the target object at regular intervals, when a predetermined time has elapsed from the end of ST8, the process returns to ST6 and the determination is made. If light irradiation from the object to the image sensor 10 continues, the determination in ST6 is “YES”. However, when the light irradiation from the target to the image sensor 10 is a situation that is not done, the voltage value of the voltage signal output from all of the second pixel section 12 becomes less than V 1, ST6 judgment is "NO" It becomes. At this time, since the first pixel unit 11 is detecting the target again, when the determination of ST6 is “NO”, the determination of ST4, that is, among the plurality of first pixel units 11 is performed. so that whether the voltage value is what is outputting a voltage signal less than V 1 or V 2 is determined.

上述した一連の処理は、目標物の追尾の必要がなくなった場合に終了し、例えば、ＳＴ５の判断が“ＹＥＳ”となってＳＴ１に戻る際に終了する。   The series of processes described above ends when it is no longer necessary to track the target, and ends when the determination in ST5 is “YES” and the process returns to ST1, for example.

このように、目標検出装置１００は、目標物から検出妨害等のための光がイメージセンサ１０に照射されたとしても、目標物を見失うことなく検出して追尾することができる。   As described above, the target detection apparatus 100 can detect and track the target without losing sight of the target even if the image sensor 10 is irradiated with light for detection interference or the like from the target.

目標物の検出方法として、電圧値Ｖ１以上Ｖ２未満の電気を発生させた画素部の中で最も大きな電圧を発生させた画素部の位置を求める方法を用いる場合の処理フローは上述した処理フローと同様である。 Detection methods of the target, the process flow in the case of using the method for determining the position of the pixel portion that caused the largest voltage in the pixel portion that caused the voltage value V 1 or V 2 less electrical described above treated It is the same as the flow.

また、目標物の検出方法として、電圧値Ｖ１以上Ｖ２未満の電気を発生させた一群の画素部と、電圧値Ｖ１未満の電気を発生させた画素部および電気を発生させていない画素部とからなる一群の画素部とに分けて、前者一群の画素部をマッピングしてその重心位置を求める方法を用いる場合には、全ての第１画素部１１から電圧値Ｖ１以上の電気が出力された時点で、第１画素部１１による目標物検出が不可能となる。 Further, as a method of detecting target is not generated and a group of pixel portions that caused the voltage value V 1 or V 2 less electricity, the pixel portion and electricity to generate electricity less than the voltage value V 1 pixel In the case of using a method of mapping the former group of pixel portions and obtaining the center of gravity position by dividing the group of pixel portions into a group of pixel portions, the electricity from all the first pixel portions 11 has a voltage value V 1 or more. At the time of output, target detection by the first pixel unit 11 becomes impossible.

このとき、第２画素部１２から出力される電圧信号の電圧値はＶ１以上となっているとは限らない。そこで、全ての第１画素部１１から電圧値Ｖ１以上の電気が出力された時点で、全ての第２画素部１２から出力されている電圧信号の電圧値を対比して、最も大きな電圧値の電圧信号を出力している第２画素部の位置から目標物の位置情報を求めることができ、全ての第２画素部１２から出力される電圧信号の大きさをマッピングしてそこから目標物の位置情報を求めることができる。 At this time, the voltage value of the voltage signal output from the second pixel portion 12 is not necessarily has a V 1 or more. Therefore, when the voltage value V 1 or more electricity from all of the first pixel unit 11 is output, by comparing the voltage value of the voltage signal output from all of the second pixel section 12, the largest voltage value The position information of the target can be obtained from the position of the second pixel unit that is outputting the voltage signal of the target, and the magnitude of the voltage signal output from all the second pixel units 12 is mapped and the target is obtained therefrom. Position information can be obtained.

上記実施の形態においては、目標検出装置として、第１画素部と第２画素部にそれぞれ異なる光検出レベルを設けたもの、すなわち２つの光検出レベルを有するイメージセンサを用いたものについて説明したが、より多くの光検出レベルに分けられた画素部から構成されたイメージセンサを用いることもできる。その場合、所定の光検出レベルに設定された画素部が受光する光の強さがその光検出レベルの上限を超えた状態にあるときに、それよりも強い光を検出可能な光検出レベルに設定された画素部からの出力信号に基づいて目標物を検出することができる。   In the above embodiment, the target detection device has been described in which the first pixel unit and the second pixel unit are provided with different light detection levels, that is, using an image sensor having two light detection levels. It is also possible to use an image sensor composed of pixel portions divided into more light detection levels. In that case, when the intensity of light received by the pixel unit set to a predetermined light detection level is in a state exceeding the upper limit of the light detection level, the light detection level is such that stronger light can be detected. The target can be detected based on the output signal from the set pixel unit.

以上、本発明の実施の形態について説明してきたが、本発明はこのような形態に限られるものではない。例えば、受光素子としてＣＣＤを取り上げたが、これに代えて、ＣＭＯＳを用いることもできる。また、受光素子としてのＣＣＤから出力される電圧値から目標物を検出したが、ＣＣＤから出力される電流値を用いて目標物を検出してもよい。さらに、複数の受光素子はそれ単体では光電変換特性は全て同じとしたが、ＣＣＤを製造する過程で、所定位置の画素の構造を他の殆どの画素とは異なる構造とする（例えば、部分的に絶縁膜や電極として特性の異なるものを用いることでその部分の受光性能を変える等する）ことによって、同じ強さの光を受光したときにその構造に起因した所定電圧値の信号が出力されるものを用いることもでき、この場合は、別途、フィルタ１４や出力調整部１７を設ける必要がない。   As mentioned above, although embodiment of this invention has been described, this invention is not limited to such a form. For example, a CCD is taken up as a light receiving element, but a CMOS may be used instead. Further, although the target is detected from the voltage value output from the CCD as the light receiving element, the target may be detected using the current value output from the CCD. Furthermore, although the photoelectric conversion characteristics of a plurality of light receiving elements are all the same, the structure of a pixel at a predetermined position is different from that of most other pixels in the process of manufacturing a CCD (for example, partially By using the insulation film or electrode having different characteristics, the light receiving performance of the portion is changed, etc.), and when a light of the same intensity is received, a signal of a predetermined voltage value resulting from the structure is output. In this case, it is not necessary to provide the filter 14 and the output adjustment unit 17 separately.

上記説明においては、イメージセンサ１０を構成する全ての第１画素部１１へ検出可能な光検出レベルを超える光が入射した場合について説明したが、これに限られず、イメージセンサがより多くの画素部が二次元マトリックス状に配置された構造を有し（例えば、縦５１２×横５１２の画素）、かつ、第１画素部１１と第２画素部１２が分散配置されており、その内の一定範囲（例えば、縦１０×横１０の画素範囲）に検出可能な信号レベルを超える光が入射した場合には、大凡、この範囲に目標物があることは判断できるが、この範囲内に設けられた第２画素部１２からの出力信号を解析することにより、この範囲内においてさらに正確な目標物の位置を検出することができる。   In the above description, the case where light exceeding the detectable light detection level is incident on all the first pixel units 11 constituting the image sensor 10 is described. However, the present invention is not limited to this, and the image sensor has more pixel units. Are arranged in a two-dimensional matrix (for example, vertical 512 × horizontal 512 pixels), and the first pixel portion 11 and the second pixel portion 12 are dispersedly arranged within a certain range. When light exceeding a detectable signal level is incident on (for example, vertical 10 × horizontal 10 pixel range), it can be generally determined that there is a target in this range, but it is provided within this range. By analyzing the output signal from the second pixel unit 12, a more accurate position of the target can be detected within this range.

目標検出装置の概略構成を示すブロック図。The block diagram which shows schematic structure of a target detection apparatus. 目標検出装置を構成するイメージセンサにおける画素部の構成および配置を示す平面図。The top view which shows the structure and arrangement | positioning of the pixel part in the image sensor which comprises a target detection apparatus. 図２Ａ中の矢視ＡＡ断面図。FIG. 2B is a cross-sectional view taken along line AA in FIG. 2A. イメージセンサの第１画素部と第２画素部に入射する光の強さとフィルタにより調整された光の強さと受光素子から出力される電圧信号の大きさとの関係を対比して示す図。The figure which contrasts and shows the relationship between the intensity of the light which injects into the 1st pixel part and 2nd pixel part of an image sensor, the intensity of the light adjusted with the filter, and the magnitude | size of the voltage signal output from a light receiving element. 目標物検出方法のフローチャート。The flowchart of the target object detection method. 第１画素部と第２画素部から出力される電圧信号の変化の一例を示すグラフ。The graph which shows an example of the change of the voltage signal output from a 1st pixel part and a 2nd pixel part.

符号の説明Explanation of symbols

１０…イメージセンサ、１１…第１画素部、１２…第２画素部、１３…受光素子、１４…フィルタ、１５…光の透光率の大きい領域、１６…光の透光率の小さい領域、１７…電圧調整部、１８…第１電圧調整素子、１９…第２電圧調整素子、２０…信号処理装置。   DESCRIPTION OF SYMBOLS 10 ... Image sensor, 11 ... 1st pixel part, 12 ... 2nd pixel part, 13 ... Light receiving element, 14 ... Filter, 15 ... Area | region with large light transmittance, 16 ... Area | region with small light transmittance, DESCRIPTION OF SYMBOLS 17 ... Voltage adjustment part, 18 ... 1st voltage adjustment element, 19 ... 2nd voltage adjustment element, 20 ... Signal processing apparatus.

Claims (4)

所定の目標物を撮像するための複数の画素部が二次元マトリックス状に所定のパターンで配置されてなるイメージセンサと、
前記目標物より受光された光の強さに応じた大きさで前記複数の画素部からそれぞれ出力された電圧信号に基づいて前記目標物の位置情報を求める信号処理装置とを具備し、
前記複数の画素部は、検出可能な光の強さの範囲が異なる複数の光検出レベルに分けられて所定のパターンで配置されており、
前記信号処理装置は、前記複数の画素部の内、所定の光検出レベルに設定された画素部の全てにおいて前記受光された光の強さがその光検出レベルの上限を超えた状態にあるときに、それよりも強い光を検出可能な他の光検出レベルに設定された他の画素部からの前記電圧信号の大きさの比較結果及び前記他の画素部の中での位置関係に基づいて前記所定の目標物を検出することを特徴とする目標検出装置。 An image sensor in which a plurality of pixel portions for imaging a predetermined target are arranged in a predetermined pattern in a two-dimensional matrix;
A signal processing device for obtaining position information of the target based on voltage signals respectively output from the plurality of pixel units with a magnitude corresponding to the intensity of light received from the target;
The plurality of pixel portions are arranged in a predetermined pattern divided into a plurality of light detection levels having different detectable light intensity ranges,
The signal processing device among the plurality of pixel portions, when in the predetermined state in which the intensity of the received light in all light detection pixel unit set in the level exceeds the upper limit of the light detection level In addition, based on the comparison result of the magnitude of the voltage signal from another pixel unit set to another light detection level capable of detecting light stronger than that and the positional relationship in the other pixel unit. A target detection apparatus for detecting the predetermined target. 所定の目標物を撮像するために検出する光の強さの範囲が異なる２つの光検出レベルに分けられ、それぞれ複数設けられた第１画素部と第２画素部とが二次元マトリックス状に所定のパターンで配置され、前記第２画素部の光検出レベルが前記第１画素部の光検出レベルの光よりも強い光を検出するように設定されたイメージセンサと、
前記目標物より受光された光の強さに応じた大きさで前記複数の第１，第２画素部からそれぞれ出力された電圧信号に基づいて前記目標物の位置情報を求める信号処理装置とを具備し、
前記信号処理装置は、前記複数の第１画素部の全てにおいて前記受光された光の強さが設定されている光検出レベルの上限を超えた状態にあるときに、前記複数の第２画素部からの前記電圧信号の大きさの比較結果及び前記第２画素部の中での位置関係に基づいて前記所定の目標物を検出することを特徴とする目標検出装置。 The light intensity level to be detected for imaging a predetermined target is divided into two different light detection levels, and a plurality of first pixel portions and a plurality of second pixel portions, which are respectively provided in a two-dimensional matrix form, are predetermined. An image sensor arranged to detect light having a light detection level of the second pixel unit that is stronger than light having a light detection level of the first pixel unit;
A signal processing device for obtaining position information of the target based on voltage signals respectively output from the plurality of first and second pixel units with a magnitude corresponding to the intensity of light received from the target. Equipped,
The signal processing device, when in the state where all the Oite the intensity of the received light of the plurality of first pixel unit exceeds the upper limit of the light detection level is set, the plurality of second A target detection apparatus for detecting the predetermined target based on a comparison result of magnitudes of the voltage signals from a pixel unit and a positional relationship in the second pixel unit . 前記イメージセンサは、二次元マトリックス状に並べられた複数の受光素子と、これらの受光素子への入射光の強さを受光素子ごとに調整可能に構成されたフィルタとを有し、
前記フィルタには、前記複数の受光素子の配置に対応して透光率が大きい領域と透光率が小さい領域とが、前記第１画素部と前記第２画素部の配置パターンに対応させて設けられており、
前記第１画素部は前記フィルタにおける透光率が大きい領域とこの領域下の受光素子よりなり、
前記第２画素部は前記フィルタにおける透光率が小さい領域とその領域下の受光素子よりなることを特徴とする請求項２に記載の目標検出装置。 The image sensor includes a plurality of light receiving elements arranged in a two-dimensional matrix, and a filter configured to be able to adjust the intensity of incident light to these light receiving elements for each light receiving element,
In the filter, a region having a high light transmittance and a region having a low light transmittance corresponding to the arrangement of the plurality of light receiving elements correspond to the arrangement pattern of the first pixel portion and the second pixel portion. Provided,
The first pixel unit includes a region having a high light transmittance in the filter and a light receiving element under the region,
The target detection apparatus according to claim 2, wherein the second pixel unit includes a region having a low translucency in the filter and a light receiving element under the region. 前記第１画素部の数が前記第２画素部の数よりも多いことを特徴とする請求項２または請求項３に記載の目標検出装置。   The target detection apparatus according to claim 2, wherein the number of the first pixel units is larger than the number of the second pixel units.
JP2006323750A 2006-11-30 2006-11-30 Target detection device Expired - Fee Related JP5224683B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006323750A JP5224683B2 (en) 2006-11-30 2006-11-30 Target detection device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006323750A JP5224683B2 (en) 2006-11-30 2006-11-30 Target detection device

Publications (2)

Publication Number Publication Date
JP2008139084A JP2008139084A (en) 2008-06-19
JP5224683B2 true JP5224683B2 (en) 2013-07-03

Family

ID=39600721

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006323750A Expired - Fee Related JP5224683B2 (en) 2006-11-30 2006-11-30 Target detection device

Country Status (1)

Country Link
JP (1) JP5224683B2 (en)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07115643A (en) * 1993-10-19 1995-05-02 Toyota Motor Corp On-vehicle image pickup device
JPH11295408A (en) * 1998-04-13 1999-10-29 Mitsubishi Electric Corp Target tracking apparatus
JP4703206B2 (en) * 2004-05-31 2011-06-15 東芝モバイルディスプレイ株式会社 Display device with image capture function

Also Published As

Publication number Publication date
JP2008139084A (en) 2008-06-19

Similar Documents

Publication Publication Date Title
US11422256B2 (en) Distance measurement system and solid-state imaging sensor used therefor
KR101900173B1 (en) Fingerprint sensing apparatus
CN107615485B (en) Solid-state imaging device and electronic apparatus
KR100675723B1 (en) Image capturing function-equipped display device
US9741193B2 (en) Paper currency number recognition apparatus and recognition method
US9720148B2 (en) Camera system, in particular for a vehicle, and method for ascertaining pieces of image information of a detection area
JP4466260B2 (en) Image processing device
JP2014059302A (en) Photoelectric sensor and object detection method
KR20130123412A (en) Detection of raindrops on a pane by means of a camera and lighting
CN111366941A (en) TOF depth measuring device and method
JP5950196B2 (en) Imaging apparatus, and image analysis apparatus and moving apparatus using the same
WO2009001903A1 (en) Imager and image signal processing program
JP3906859B2 (en) Distance image sensor
RU2009119259A (en) DEVICE FOR EASY FOCUSING AND RELATED METHOD
US20190369216A1 (en) Providing dynamic field of view for light received from a dynamic position
CN109346492B (en) Linear array image sensor pixel array and object surface defect detection method
US20050266603A1 (en) Image sensor comprising a pixel array having an optical element positioned relative to each pixel
US20050061951A1 (en) Optimization of alignment among elements in an image sensor
JP5224683B2 (en) Target detection device
CN111261649A (en) Image detector
KR101068326B1 (en) Optical sensing device
JP2010283631A (en) Image sensing device and method for processing image in the same
CN104019906B (en) A kind of infrared focal plane array seeker and its infrared imaging system
JP4534670B2 (en) Camera device and television intercom slave using the same
JP4543830B2 (en) Anomaly detector

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090204

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120117

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120319

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130312

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160322

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees