JP2006153772A - Surveying equipment - Google Patents

Surveying equipment Download PDF

Info

Publication number
JP2006153772A
JP2006153772A JP2004347714A JP2004347714A JP2006153772A JP 2006153772 A JP2006153772 A JP 2006153772A JP 2004347714 A JP2004347714 A JP 2004347714A JP 2004347714 A JP2004347714 A JP 2004347714A JP 2006153772 A JP2006153772 A JP 2006153772A
Authority
JP
Japan
Prior art keywords
light
distance
sensor
charge
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004347714A
Other languages
Japanese (ja)
Inventor
Yuji Takada
裕司 高田
Yusuke Hashimoto
裕介 橋本
Fumi Tsunesada
扶美 常定
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Electric Works Co Ltd
Original Assignee
Matsushita Electric Works Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Works Ltd filed Critical Matsushita Electric Works Ltd
Priority to JP2004347714A priority Critical patent/JP2006153772A/en
Publication of JP2006153772A publication Critical patent/JP2006153772A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Instructional Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a surveying equipments for specifying the coordinates position of an object for saving power at one location even if there are a plurality of objects. <P>SOLUTION: An emission source 2 applies light modulated with a modulation signal with a prescribed period to a target space, and a photodetector 1 images the target space. An image generation section 4 obtains the distance to the object Ob according to the phase difference between light applied to the target space from the emission source 2 and reflection light received by the photodetector 1 after being reflected by the object Ob in the target space. A distance image generated by the image generation section 4 is given to a coordinates operation section 54 along with a position in the reference coordinates system in a distance image sensor 10 detected by a position sensor 51 and a direction in the reference coordinates system in the distance image sensor 10 detected by a direction sensor 52. A coordinates operation section 54 obtains the coordinates position of the object Ob in the reference coordinates system and a map creation section 55 records the coordinates position of the object Ob on an electronic map. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、規定の基準座標系における対象物の座標位置を求める測量装置に関するものである。   The present invention relates to a surveying apparatus that obtains the coordinate position of an object in a prescribed reference coordinate system.

一般に、対象物の位置を緯度および経度で特定しようとすれば、対象物の存在する位置の緯度および経度を太陽や恒星の高度および方位に基づいて計測するか、緯度および経度が既知である地点と対象物との相対位置を測量によって計測しなければならない。これらの技術は、トランシットなどを用いて人手によって計測するものであるから、多くの労力および時間を要し、とくに地図作製などを目的として道路標識のような多数の対象物の位置を特定しようとすれば、膨大な手間を要することになる。さらに、地球上での位置を計測する技術として、時刻毎の位置が既知である人工衛星との相対位置を計測するＧＰＳのような測位技術も知られている（たとえば、特許文献１参照）。
特開２０００−２６６５５２号公報 In general, if you want to specify the position of an object by latitude and longitude, you can measure the latitude and longitude of the position where the object exists based on the altitude and direction of the sun or stars, or a point where the latitude and longitude are known. The relative position between the object and the object must be measured by surveying. Since these techniques are performed manually using transits, etc., they require a lot of labor and time. In particular, they are trying to identify the position of many objects such as road signs for the purpose of mapping. If this is done, enormous effort will be required. Further, as a technique for measuring a position on the earth, a positioning technique such as GPS for measuring a relative position with an artificial satellite whose position at each time is known is also known (see, for example, Patent Document 1).
JP 2000-266552 A

ところで、ＧＰＳのような測位技術を対象物の位置の計測に用いる場合でも、太陽や恒星の高度および緯度を用いる場合と同様に、各対象物ごとに対象物の存在する位置で測位することになるから、対象物の個数が多ければ依然として膨大な手間がかかるという問題が残る。   By the way, even when a positioning technique such as GPS is used to measure the position of an object, positioning is performed at the position where the object exists for each object, as in the case of using the altitude and latitude of the sun and stars. Therefore, there is still a problem that if the number of objects is large, it takes a lot of time and effort.

本発明は上記事由に鑑みて為されたものであり、その目的は、対象物との相対位置を計測可能な場所であれば対象物が複数個存在していても１箇所で対象物の座標位置を特定することを可能とし、結果的に省力化を可能とした測量装置を提供することにある。   The present invention has been made in view of the above reasons, and its purpose is to coordinate the object in one place even if there are a plurality of objects as long as the relative position with the object can be measured. An object of the present invention is to provide a surveying apparatus that can specify a position and consequently can save labor.

請求項１の発明は、対象空間に光を照射するとともに対象空間に照射した光の反射光を含む光を受光し照射光と反射光との関係により対象物までの距離を測定する距離センサと、距離センサを移動させる空間を規定する基準座標系において距離センサで距離を測定する方向を検出する方向センサと、基準座標系において距離センサの座標位置を特定する位置センサと、位置センサと方向センサと距離センサとにより得られる座標位置と方向と距離とから基準座標系における対象物の座標位置を決定する座標演算部とを備えることを特徴とする。   The invention according to claim 1 is a distance sensor that irradiates light to the target space and receives light including reflected light of the light irradiated to the target space, and measures the distance to the object according to the relationship between the irradiated light and the reflected light; A direction sensor that detects a direction in which the distance sensor measures the distance in a reference coordinate system that defines a space for moving the distance sensor, a position sensor that specifies a coordinate position of the distance sensor in the reference coordinate system, and a position sensor and a direction sensor And a coordinate calculation unit for determining the coordinate position of the object in the reference coordinate system from the coordinate position, direction and distance obtained by the distance sensor.

この構成によれば、対象物までの距離を測定する距離センサの基準座標系における座標位置および距離を測定する方向を位置センサおよび方向センサにより検出するから、絶対座標系における距離センサの座標位置に対する対象物の相対位置を特定することができ、座標演算部によって絶対座標系における対象物の座標位置を求めることが可能になる。すなわち、距離センサによって距離を測定することができる範囲内に複数個の対象物が存在する場合には、１箇所で複数個の対象物の座標位置を特定することが可能になり、複数個の対象物について個々に対象物の場所で座標位置を測定する場合に比較すると、座標位置を特定する際の手間を大幅に削減することができる。   According to this configuration, the coordinate position in the reference coordinate system of the distance sensor that measures the distance to the object and the direction in which the distance is measured are detected by the position sensor and the direction sensor. The relative position of the object can be specified, and the coordinate calculation unit can determine the coordinate position of the object in the absolute coordinate system. That is, when there are a plurality of objects within a range in which the distance can be measured by the distance sensor, it becomes possible to specify the coordinate positions of the plurality of objects at one location, Compared to the case where the coordinate position is measured individually for the object at the location of the object, it is possible to greatly reduce the effort for specifying the coordinate position.

請求項２の発明では、請求項１の発明において、前記基準座標系は少なくとも緯度および経度を用いて表される座標系であり、基準座標系に対応する座標位置が決められている電子地図上において、座標演算部で決定された対象物の座標位置に対象物を記録する地図作製部が付加されたことを特徴とする。   According to a second aspect of the present invention, in the first aspect of the invention, the reference coordinate system is a coordinate system expressed using at least latitude and longitude, and the coordinate position corresponding to the reference coordinate system is determined on an electronic map. In the above, a map making unit for recording the object is added to the coordinate position of the object determined by the coordinate calculation unit.

この構成によれば、座標演算部で求めた対象物の座標位置を緯度および経度を用いて表される基準座標系を持つ電子地図上に記録することができるから、たとえば道路標識のように路上に存在する対象物の位置を電子地図に記録する作業の一部を自動化して電子地図を作製する手間を省くことができる。   According to this configuration, the coordinate position of the object obtained by the coordinate calculation unit can be recorded on an electronic map having a reference coordinate system expressed using latitude and longitude. It is possible to save time and effort to create an electronic map by automating a part of the work of recording the position of the object existing on the electronic map.

請求項３の発明では、請求項１の発明において、前記基準座標系は前記距離センサを搭載した自律走行型のロボットが移動する空間において設定され、ロボットが保有しかつ当該空間について基準座標系に対応する座標位置が決められている電子地図上において、座標演算部で決定された対象物の座標位置に対象物を記録する地図作製部が付加されたことを特徴とする。   According to a third aspect of the invention, in the first aspect of the invention, the reference coordinate system is set in a space in which an autonomously traveling robot on which the distance sensor is mounted moves, and the robot has a reference coordinate system for the space. On the electronic map where the corresponding coordinate position is determined, a map creation unit for recording the object is added to the coordinate position of the object determined by the coordinate calculation unit.

この構成によれば、座標演算部で求めた対象物の座標位置を自律走行型のロボットが移動する空間に設定された基準座標系を持つ電子地図上に記録することができるから、たとえば工場内において部材の運搬に用いる自律走行型のロボットに搭載する電子地図に、工場内の設備の配置などを記録する作業の一部を自動化して電子地図を作製する手間を省くことができる。   According to this configuration, the coordinate position of the object obtained by the coordinate calculation unit can be recorded on the electronic map having the reference coordinate system set in the space where the autonomous traveling robot moves. In this case, it is possible to save time and effort to create an electronic map by automating a part of the operation of recording the layout of equipment in the factory on the electronic map mounted on the autonomous traveling robot used for transporting the members.

請求項４の発明では、請求項１ないし請求項３の発明において、前記距離センサは、強度が周期的に変化する強度変調光を対象空間に照射する発光源と、受光光量に応じた電気出力を発生する複数個の感光部が配列され対象空間を撮像する光検出素子と、発光源から対象空間に照射された光が対象空間内の対象物で反射され各感光部で受光されるまでの強度変調光の位相差を対象物までの距離に換算することにより画素値が距離値である距離画像を生成する画像生成部とを備えることを特徴とする。   According to a fourth aspect of the present invention, in the first to third aspects of the invention, the distance sensor includes a light emitting source that irradiates the target space with intensity-modulated light whose intensity changes periodically, and an electrical output corresponding to the amount of received light. A plurality of photosensitive parts that generate light and a light detecting element that images the target space, and light emitted from the light source to the target space is reflected by the target object in the target space and received by each photosensitive part. And an image generation unit that generates a distance image whose pixel value is a distance value by converting a phase difference of intensity-modulated light into a distance to an object.

この構成によれば、距離センサが対象空間の距離画像を生成するから、対象空間内に複数個の対象物が存在すれば、距離画像を１画面生成するだけで複数個の対象物について基準座標系における座標位置を求めることが可能になり、大幅な省力化になる。また、距離画像を静止画像ではなく動画像として生成する場合には、たとえば、移動体に距離センサを搭載して距離画像の動画像を生成しておき、動画像から対象物が含まれる画面を抽出すれば対象物の座標位置を求めることが可能になる。   According to this configuration, since the distance sensor generates a distance image of the target space, if there are a plurality of objects in the target space, the reference coordinates for the plurality of objects can be obtained by generating only one screen of the distance image. It becomes possible to obtain the coordinate position in the system, resulting in a significant labor saving. In addition, when generating a distance image as a moving image instead of a still image, for example, a distance sensor is mounted on a moving body to generate a moving image of the distance image, and a screen including the object from the moving image is generated. If extracted, the coordinate position of the object can be obtained.

請求項５の発明では、請求項１ないし請求項３の発明において、前記距離センサは、強度が周期的に変化する強度変調光を対象空間に照射する発光源と、受光光量に応じた電気出力を発生する複数個の感光部が配列され対象空間を撮像する光検出素子と、発光源から対象空間に照射された光が対象空間内の対象物で反射され各感光部で受光されるまでの強度変調光の位相差を対象物までの距離に換算することにより求めた距離値を画素値とする距離画像と各感光部の受光光量である濃淡値を画素値とする濃淡画像とを同じ感光部の受光光量からそれぞれ生成する画像生成部とを備えることを特徴とする。   According to a fifth aspect of the present invention, in the first to third aspects of the invention, the distance sensor includes a light emitting source that irradiates the target space with intensity-modulated light whose intensity changes periodically, and an electrical output corresponding to the amount of received light. A plurality of photosensitive parts that generate light and a light detecting element that images the target space, and light emitted from the light source to the target space is reflected by the target object in the target space and received by each photosensitive part. A distance image having the pixel value as the distance value obtained by converting the phase difference of the intensity-modulated light into the distance to the target and the gray image having the pixel value as the light intensity value of the light received by each photosensitive unit And an image generation unit that generates the received light amount of each unit.

この構成によれば、距離センサが対象空間の距離画像を生成するから、対象空間内に複数個の対象物が存在すれば、距離画像を１画面生成するだけで複数個の対象物について基準座標系における座標位置を求めることが可能になり、大幅な省力化になる。また、距離画像を静止画像ではなく動画像として生成する場合には、たとえば、移動体に距離センサを搭載して距離画像の動画像を生成しておき、動画像から対象物が含まれる画面を抽出すれば対象物の座標位置を求めることが可能になる。しかも、距離画像の各画素ごとに濃淡画像の濃淡値が得られるから、基準座標系の座標位置を求めようとする対象物を濃淡画像によって確認することができる。   According to this configuration, since the distance sensor generates a distance image of the target space, if there are a plurality of objects in the target space, the reference coordinates for the plurality of objects can be obtained by generating only one screen of the distance image. It becomes possible to obtain the coordinate position in the system, resulting in a significant labor saving. In addition, when generating a distance image as a moving image instead of a still image, for example, a distance sensor is mounted on a moving body to generate a moving image of the distance image, and a screen including the object from the moving image is generated. If extracted, the coordinate position of the object can be obtained. In addition, since the gray value of the gray image is obtained for each pixel of the distance image, the object for which the coordinate position of the reference coordinate system is to be obtained can be confirmed by the gray image.

請求項６の発明では、請求項５の発明において、前記画像生成部で生成された濃淡画像を画面上に表示するモニタ装置と、モニタ装置に表示される濃淡画像において対象物を指定する領域指定装置とを備え、前記地図作製部は、領域指定装置で指定された対象物の座標位置を電子地図上に記録することを特徴とする。   According to a sixth aspect of the present invention, in the fifth aspect of the present invention, the monitor device that displays the grayscale image generated by the image generation unit on the screen, and the area designation that specifies the object in the grayscale image displayed on the monitor device And the map creating unit records the coordinate position of the object designated by the area designating device on the electronic map.

この構成によれば、モニタ装置に表示された濃淡画像の画面上で所望の対象物を領域指定装置により指定すれば、対象物の座標位置を電子地図上に記録することができるから、必要な対象物のみを電子地図に記録することができ、電子地図を作製する作業の手間を大幅に省略することができる。   According to this configuration, if the desired object is specified by the area specifying device on the gray image screen displayed on the monitor device, the coordinate position of the object can be recorded on the electronic map. Only the object can be recorded on the electronic map, and the work of preparing the electronic map can be greatly omitted.

なお、上述した電子地図は電子データによって表された地図を意味し、コンピュータ読み取り可能な記録媒体に記録することができ、またモニタ装置の画面上に表示したり、紙媒体に印刷したりすることが可能である。   The above-described electronic map means a map represented by electronic data, which can be recorded on a computer-readable recording medium, displayed on the screen of a monitor device, or printed on a paper medium. Is possible.

また、対象物には大きさがあるから、電子地図上における対象物の座標位置は、対象物ごとに規定した代表位置を用いる。たとえば、道路標識であれば道路標識の中心位置などを代表位置として用いることができる。代表位置としては、利用者が対象物を指定する場合には指定した位置を採用することができ、また対象物をテンプレートマッチングによって自動的に抽出する場合にはテンプレートに規定した代表位置を採用することができる。さらには、距離画像または濃淡画像の中で利用者が指定した位置を含む規定の領域内で距離値または濃淡値が規定の範囲内である画素の重心位置なども用いることが可能である。   Further, since the object has a size, a representative position defined for each object is used as the coordinate position of the object on the electronic map. For example, in the case of a road sign, the center position of the road sign can be used as the representative position. As the representative position, when the user designates an object, the designated position can be adopted, and when the object is automatically extracted by template matching, the representative position defined in the template is adopted. be able to. Furthermore, it is also possible to use the barycentric position of a pixel whose distance value or shade value is within a prescribed range within a prescribed area including the position designated by the user in the distance image or the shade image.

また、距離画像を用いる場合には撮像時において距離センサの位置と撮像方向とを距離画像に対応付けて記憶しておき、対象物を指定する際に基準座標系における座標位置を演算するようにすれば、無駄な演算を省略することができ、距離画像内のすべての画素について基準座標系における座標位置を求める場合に比較すると演算量を大幅に低減することになる。   Further, when using a distance image, the position of the distance sensor and the imaging direction are stored in association with the distance image at the time of imaging, and the coordinate position in the reference coordinate system is calculated when the object is specified. If this is the case, useless computation can be omitted, and the amount of computation is greatly reduced as compared with the case where the coordinate positions in the reference coordinate system are obtained for all the pixels in the distance image.

本発明の構成によれば、対象物までの距離を測定する距離センサの基準座標系における座標位置および距離を測定する方向を位置センサおよび方向センサにより検出するから、絶対座標系における距離センサの座標位置に対する対象物の相対位置を特定することができ、座標演算部によって絶対座標系における対象物の座標位置を求めることが可能になるという利点がある。すなわち、距離センサによって距離を測定することができる範囲内に複数個の対象物が存在する場合には、１箇所で複数個の対象物の座標位置を特定することが可能になり、複数個の対象物について個々に対象物の場所で座標位置を測定する場合に比較すると、座標位置を特定する際の手間を大幅に削減することができるという利点を有する。   According to the configuration of the present invention, the coordinate position in the reference coordinate system of the distance sensor that measures the distance to the object and the direction in which the distance is measured are detected by the position sensor and the direction sensor. There is an advantage that the relative position of the object with respect to the position can be specified, and the coordinate calculation unit can obtain the coordinate position of the object in the absolute coordinate system. That is, when there are a plurality of objects within a range in which the distance can be measured by the distance sensor, it becomes possible to specify the coordinate positions of the plurality of objects at one location, Compared to the case where the coordinate position is measured individually at the location of the object, there is an advantage that the labor for specifying the coordinate position can be greatly reduced.

本発明の実施形態を説明するにあたり、まず本実施形態で用いる距離画像センサの構成について説明する。   In describing the embodiment of the present invention, the configuration of the distance image sensor used in the present embodiment will be described first.

距離画像センサ１０は、図１に示すように、対象空間に光を照射する発光源２を備えるとともに、対象空間からの光を受光し受光光量を反映した出力が得られる光検出素子１を備える。対象空間に存在する対象物Ｏｂまでの距離は、発光源２から対象空間に光が照射されてから対象物Ｏｂでの反射光が光検出素子１に入射するまでの時間（「飛行時間」と呼ぶ）によって求める。ただし、飛行時間は非常に短いから、対象空間に照射する光の強度が一定周期で周期的に変化するように変調した強度変調光を用い、強度変調光を受光したときの位相を用いて飛行時間を求める。なお、本発明の技術思想は、距離画像センサ１０として、飛行時間により距離画像を生成する構成のほか、対象物に点状ないし線状のパターンを形成するように光を照射し光の照射位置と受光位置との位置関係によって対象物までの距離を求める三角測量法の原理により距離画像を生成するものや、複数台の撮像装置の視差を利用して対象物までの距離を求めるステレオ画像法により距離画像を生成するものなども採用可能である。ただし、以下に説明する構成の距離画像センサ１０は、他の構成の距離画像センサに比較すると、短時間（ほぼ実時間）で距離画像を生成できるから、他の構成の距離画像センサよりも好ましい。   As shown in FIG. 1, the distance image sensor 10 includes a light emitting source 2 that irradiates light to a target space, and a light detection element 1 that receives light from the target space and obtains an output that reflects the amount of received light. . The distance to the object Ob existing in the object space is the time from when the light is emitted from the light source 2 to the object space until the reflected light from the object Ob enters the light detection element 1 (“flight time”). Call). However, since the flight time is very short, use the intensity-modulated light that is modulated so that the intensity of the light irradiating the target space changes periodically at a constant period, and use the phase when the intensity-modulated light is received. Ask for time. The technical idea of the present invention is that the distance image sensor 10 irradiates light so as to form a dot-like or linear pattern on the object, in addition to a configuration that generates a distance image according to the time of flight. That generates distance images based on the principle of triangulation, which calculates the distance to the object based on the positional relationship between the light receiving position and the stereo image method that determines the distance to the object using the parallax of multiple imaging devices It is also possible to employ a device that generates a distance image by the above. However, the distance image sensor 10 having the configuration described below is preferable to the distance image sensor having other configurations because it can generate a distance image in a short time (almost real time) as compared to the distance image sensors having other configurations. .

図２（ａ）に示すように、発光源２から空間に放射する光の強度が曲線イのように変化し、光検出素子１で受光した受光光量が曲線ロのように変化するとすれば、位相差ψは飛行時間に相当するから、位相差ψを求めることにより対象物Ｏｂまでの距離を求めることができる。また、位相差ψは、曲線イの複数のタイミングで求めた曲線ロの受光光量を用いて計算することができる。たとえば、曲線イにおける位相が０度、９０度、１８０度、２７０度の位相で求めた曲線ロの受光光量がそれぞれＡ０、Ａ１、Ａ２、Ａ３であるとする（受光光量Ａ０、Ａ１、Ａ２、Ａ３を斜線部で示している）。ただし、各位相における受光光量Ａ０、Ａ１、Ａ２、Ａ３は、瞬時値ではなく所定の受光期間Ｔｗで積算した受光光量を用いる。いま、受光光量Ａ０、Ａ１、Ａ２、Ａ３を求める間に、位相差ψが変化せず（つまり、対象物Ｏｂまでの距離が変化せず）、かつ対象物Ｏｂの反射率にも変化がないものとする。また、発光源２から放射する光の強度を正弦波で変調し、時刻ｔにおいて光検出素子１で受光される光の強度がＡ・ｓｉｎ（ωｔ＋δ）＋Ｂで表されるものとする。ここに、Ａは振幅、Ｂは直流成分（外光成分と反射光成分との平均値）、ωは角振動数、δは初期位相である。光検出素子１で受光する受光光量Ａ０、Ａ１、Ａ２、Ａ３を受光期間Ｔｗの積算値ではなく瞬時値し、変調の周期に同期した時刻ｔ＝ｎ／ｆ（ｎ＝０、１、２、…、ｆは変調の周波数）における受光光量を、Ａ０＝Ａ・ｓｉｎ（δ）＋Ｂとすれば、受光光量Ａ０、Ａ１、Ａ２、Ａ３は、次のように表すことができる。なお、反射光成分とは、発光源２から放射され対象物Ｏｂにより反射された後に光検出素子１に入射する光の成分を意味する。
Ａ０＝Ａ・ｓｉｎ（δ）＋Ｂ
Ａ１＝Ａ・ｓｉｎ（π／２＋δ）＋Ｂ
Ａ２＝Ａ・ｓｉｎ（π＋δ）＋Ｂ
Ａ３＝Ａ・ｓｉｎ（３π／２＋δ）＋Ｂ
図２では位相差がψであるから、光検出素子１で受光する光の強度変化の波形における初期位相δ（時刻ｔ＝０の位相）は−ψになる。つまり、δ＝−ψであるから、Ａ０＝−Ａ・ｓｉｎ（ψ）＋Ｂ、Ａ１＝Ａ・ｃｏｓ（ψ）＋Ｂ、Ａ２＝Ａ・ｓｉｎ（ψ）＋Ｂ、Ａ３＝−Ａ・ｃｏｓ（ψ）＋Ｂであり、結果的に、各受光光量Ａ０、Ａ１、Ａ２、Ａ３と位相差ψとの関係は、次式のようになる。
ψ＝ｔａｎ−１｛（Ａ２−Ａ０）／（Ａ１−Ａ３）｝ …（１）
（１）式では受光光量Ａ０、Ａ１、Ａ２、Ａ３の瞬時値を用いているが、受光光量Ａ０、Ａ１、Ａ２、Ａ３として受光期間Ｔｗにおける積算値を用いても（１）式で位相差ψを求めることができる。 As shown in FIG. 2A, if the intensity of light radiated from the light source 2 into the space changes as shown by curve A, and the amount of received light received by the light detecting element 1 changes as shown by curve B, Since the phase difference ψ corresponds to the flight time, the distance to the object Ob can be obtained by obtaining the phase difference ψ. Further, the phase difference ψ can be calculated using the received light amount of the curve B obtained at a plurality of timings of the curve A. For example, it is assumed that the received light amounts of curve B obtained with the phases of curve A at 0, 90, 180, and 270 degrees are A0, A1, A2, and A3 (received light amounts A0, A1, A2,. A3 is indicated by hatching). However, the received light quantity A0, A1, A2, A3 in each phase is not an instantaneous value but a received light quantity integrated over a predetermined light receiving period Tw. Now, while obtaining the received light amounts A0, A1, A2, and A3, the phase difference ψ does not change (that is, the distance to the object Ob does not change), and the reflectance of the object Ob does not change. Shall. Further, it is assumed that the intensity of light emitted from the light emitting source 2 is modulated by a sine wave, and the intensity of light received by the light detection element 1 at time t is represented by A · sin (ωt + δ) + B. Here, A is the amplitude, B is the DC component (average value of the external light component and the reflected light component), ω is the angular frequency, and δ is the initial phase. The received light amounts A0, A1, A2, and A3 received by the light detection element 1 are instantaneous values instead of the integrated values of the light receiving period Tw, and the time t = n / f (n = 0, 1, 2,. .., F is the modulation frequency), and the received light quantity A0 = A · sin (δ) + B, the received light quantity A0, A1, A2, A3 can be expressed as follows. The reflected light component means a component of light emitted from the light emitting source 2 and incident on the light detection element 1 after being reflected by the object Ob.
A0 = A · sin (δ) + B
A1 = A · sin (π / 2 + δ) + B
A2 = A · sin (π + δ) + B
A3 = A · sin (3π / 2 + δ) + B
In FIG. 2, since the phase difference is ψ, the initial phase δ (phase at time t = 0) in the waveform of the intensity change of the light received by the light detection element 1 is −ψ. That is, since δ = −ψ, A0 = −A · sin (ψ) + B, A1 = A · cos (ψ) + B, A2 = A · sin (ψ) + B, A3 = −A · cos (ψ) As a result, the relationship between each received light quantity A0, A1, A2, A3 and the phase difference ψ is expressed by the following equation.
ψ = tan −1 {(A2−A0) / (A1−A3)} (1)
In equation (1), the instantaneous values of the received light amounts A0, A1, A2, and A3 are used. However, even if the integrated values in the light receiving period Tw are used as the received light amounts A0, A1, A2, and A3, the phase difference in equation (1) ψ can be obtained.

また、光検出素子１で受光される光の強度をＡ・ｃｏｓ（ωｔ＋δ）＋Ｂとする場合、つまり変調の周期に同期した時刻ｔ＝ｎ／ｆ（ｎ＝０、１、２、…）における受光光量を、Ａ０＝Ａ・ｃｏｓ（δ）＋Ｂとすれば、位相差ψを次式で求めることができる。
ψ＝ｔａｎ−１｛（Ａ１−Ａ３）／（Ａ０−Ａ２）｝
この関係は、変調の周期に同期させるタイミングを９０度ずらした関係である。また、距離値の符号は正であるから、位相差ψを求めたときに符号が負になる場合には、ｔａｎ−１の括弧内の分母または分子の各項の順序を入れ換えるか括弧内の絶対値を用いるようにしてもよい。 Further, when the intensity of light received by the light detection element 1 is A · cos (ωt + δ) + B, that is, at time t = n / f (n = 0, 1, 2,...) Synchronized with the modulation cycle. If the received light quantity is A0 = A · cos (δ) + B, the phase difference ψ can be obtained by the following equation.
ψ = tan −1 {(A1−A3) / (A0−A2)}
This relationship is a relationship in which the timing synchronized with the modulation period is shifted by 90 degrees. In addition, since the sign of the distance value is positive, if the sign is negative when the phase difference ψ is obtained, the order of the denominator in the parenthesis of tan −1 or each term of the numerator is changed, or An absolute value may be used.

上述のように対象空間に照射する光の強度を変調するために、発光源２としては、たとえば多数個の発光ダイオードを一平面上に配列したものや半導体レーザと発散レンズとを組み合わせたものなどを用いる。また、発光源２は、制御回路部３から出力される所定の変調周波数である変調信号によって駆動され、発光源２から放射される光は変調信号により強度が変調される。制御回路部３では、たとえば２０ＭＨｚの正弦波で発光源２から放射する光の強度を変調する。なお、発光源２から放射する光の強度は正弦波で変調する以外に、三角波、鋸歯状波などで変調してもよく、要するに、一定周期で強度を変調するのであれば、どのような構成を採用してもよい。   As described above, in order to modulate the intensity of the light irradiated to the target space, the light source 2 includes, for example, a structure in which a large number of light emitting diodes are arranged on one plane, a combination of a semiconductor laser and a diverging lens, or the like. Is used. The light source 2 is driven by a modulation signal having a predetermined modulation frequency output from the control circuit unit 3, and the intensity of the light emitted from the light source 2 is modulated by the modulation signal. The control circuit unit 3 modulates the intensity of light emitted from the light source 2 with, for example, a 20 MHz sine wave. The intensity of the light emitted from the light source 2 may be modulated by a triangular wave, a sawtooth wave or the like in addition to the modulation by a sine wave. In short, any configuration is acceptable as long as the intensity is modulated at a constant period. May be adopted.

光検出素子１は、規則的に配列された複数個の感光部１１を備える。また、感光部１１への光の入射経路には受光光学系５が配置される。感光部１１は光検出素子１において対象空間からの光が受光光学系５を通して入射する部位であって、感光部１１において受光光量に応じた量の電荷を生成する。つまり、感光部１１は受光光量に応じた電気出力を発生する。また、感光部１１は、平面格子の格子点上に配置され、たとえば垂直方向（つまり、縦方向）と水平方向（つまり、横方向）とにそれぞれ等間隔で複数個ずつ並べたマトリクス状に配列される。   The light detection element 1 includes a plurality of photosensitive portions 11 regularly arranged. A light receiving optical system 5 is disposed in the light incident path to the photosensitive portion 11. The photosensitive unit 11 is a part where light from the target space is incident through the light receiving optical system 5 in the light detection element 1, and the photosensitive unit 11 generates an amount of charge corresponding to the amount of received light. That is, the photosensitive unit 11 generates an electrical output corresponding to the amount of received light. Further, the photosensitive portions 11 are arranged on the lattice points of the planar lattice, and are arranged in a matrix in which, for example, a plurality are arranged at equal intervals in the vertical direction (that is, the vertical direction) and the horizontal direction (that is, the horizontal direction). Is done.

受光光学系５は、光検出素子１から対象空間を見るときの視線方向と各感光部１１とを対応付ける。すなわち、受光光学系５を通して各感光部１１に光が入射する範囲を、受光光学系５の中心を頂点とし各感光部１１ごとに設定された頂角の小さい円錐状の視野とみなすことができる。したがって、発光源２から放射され対象空間に存在する対象物Ｏｂで反射された反射光が感光部１１に入射すれば、反射光を受光した感光部１１の位置により、受光光学系５の光軸を基準方向として対象物Ｏｂの存在する方向を知ることができる。   The light receiving optical system 5 associates the line-of-sight direction when viewing the target space from the light detection element 1 with each photosensitive portion 11. That is, the range in which light enters each photosensitive portion 11 through the light receiving optical system 5 can be regarded as a conical field of view with a small apex angle set for each photosensitive portion 11 with the center of the light receiving optical system 5 as the apex. . Therefore, if the reflected light emitted from the light emitting source 2 and reflected by the object Ob existing in the target space enters the photosensitive unit 11, the optical axis of the light receiving optical system 5 depends on the position of the photosensitive unit 11 that has received the reflected light. Can be known as the reference direction.

受光光学系５は一般に感光部１１を配列した平面に光軸を直交させるように配置されるから、受光光学系５の中心を原点とし、感光部１１を配列した平面の垂直方向と水平方向と受光光学系５の光軸とを３軸の方向とする直交座標系を設定すれば、対象空間に存在する対象物Ｏｂの位置を球座標で表したときの角度（いわゆる方位角と仰角）が各感光部１１に対応する。なお、受光光学系５は、感光部１１を配列した平面に対して光軸が９０度以外の角度で交差するように配置することも可能である。   Since the light receiving optical system 5 is generally arranged so that the optical axis is orthogonal to the plane on which the photosensitive portions 11 are arranged, the center of the light receiving optical system 5 is the origin, and the vertical and horizontal directions of the plane on which the photosensitive portions 11 are arranged If an orthogonal coordinate system is set in which the optical axis of the light receiving optical system 5 is in the direction of three axes, the angle (so-called azimuth and elevation) when the position of the object Ob existing in the target space is expressed in spherical coordinates is set. It corresponds to each photosensitive portion 11. The light receiving optical system 5 can also be arranged so that the optical axis intersects at an angle other than 90 degrees with respect to the plane on which the photosensitive portions 11 are arranged.

本実施形態では、上述のように、対象物Ｏｂまでの距離を求めるために、発光源２から対象空間に照射される光の強度変化に同期する４点のタイミングで受光光量Ａ０、Ａ１、Ａ２、Ａ３を求めている。したがって、目的の受光光量Ａ０、Ａ１、Ａ２、Ａ３を得るためのタイミングの制御が必要である。また、発光源２から対象空間に照射される光の強度変化の１周期において感光部１１で発生する電荷の量は少ないから、複数周期に亘って電荷を集積することが望ましい。そこで、図１のように各感光部１１で発生した電荷をそれぞれ集積する複数個の電荷集積部１３を設けるとともに、各感光部１１の感度をそれぞれ調節する複数個の感度制御部１２を設けている。   In the present embodiment, as described above, in order to obtain the distance to the object Ob, the received light amounts A0, A1, and A2 are synchronized at four timings synchronized with the intensity change of the light emitted from the light source 2 to the target space. , A3. Therefore, it is necessary to control the timing to obtain the desired received light amount A0, A1, A2, A3. In addition, since the amount of charge generated in the photosensitive portion 11 is small in one cycle of intensity change of light irradiated from the light source 2 to the target space, it is desirable to accumulate the charge over a plurality of cycles. Therefore, as shown in FIG. 1, a plurality of charge accumulating units 13 for accumulating charges generated in the respective photosensitive units 11 are provided, and a plurality of sensitivity control units 12 for adjusting the sensitivity of the respective photosensitive units 11 are provided. Yes.

各感度制御部１２では、感度制御部１２に対応する感光部１１の感度を上述した４点のうちのいずれかのタイミングで高め、感度が高められた感光部１１では当該タイミングの受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する電荷を主として生成するから、当該受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する電荷を当該感光部１１に対応する電荷集積部１３に集積させることができる。   In each sensitivity control unit 12, the sensitivity of the photosensitive unit 11 corresponding to the sensitivity control unit 12 is increased at any one of the four points described above, and in the photosensitive unit 11 with increased sensitivity, the received light amount A0, Since charges corresponding to A1, A2, and A3 are mainly generated, charges corresponding to the received light amounts A0, A1, A2, and A3 can be accumulated in the charge accumulating unit 13 corresponding to the photosensitive unit 11.

以下では、感度制御部１２の具体的な構成として、感光部１１で生成された電荷のうち電荷集積部１３に与える電荷の割合を調節する技術と、実質的に感光部１１として機能する部位の面積を変化させる技術とを示す。電荷集積部１３に与える電荷の割合を調節する技術には、感光部１１から電荷集積部１３への通過率を調節する技術と、感光部１１から電荷を廃棄する廃棄率を調節する技術と、通過率と廃棄率との両方を調節する技術とがある。   Hereinafter, as a specific configuration of the sensitivity control unit 12, a technique for adjusting a ratio of charges given to the charge accumulating unit 13 among charges generated by the photosensitive unit 11, and a part that substantially functions as the photosensitive unit 11 will be described. The technology to change the area. The technique for adjusting the ratio of charges given to the charge accumulating unit 13 includes a technique for adjusting the passing rate from the photosensitive unit 11 to the charge accumulating unit 13, a technique for adjusting a discard rate for discarding charges from the photosensitive unit 11, There is a technique for adjusting both the passing rate and the discarding rate.

感度制御部１２において通過率と廃棄率とを調節する技術では、図３に示すように、感光部１１と電荷集積部１３との間にゲート電極１２ａを設け、ゲート電極１２ａに印加する通過電圧を変化させることにより、感光部１１から電荷集積部１３への電荷の移動（つまり、通過率）を制御する。また、電荷廃棄部１２ｃを設け、電荷廃棄部１２ｃに付設した廃棄電極１２ｂに印加する廃棄電圧を変化させることにより、感光部１１から電荷廃棄部１２ｃへの電荷の移動（つまり、廃棄率）を制御する。電荷集積部１３は感光部１１ごとに一対一に対応するように設けられ、電荷廃棄部１２ｃは複数個の感光部１１に共通させて一対多に対応するように設けられる。図示例では、光検出素子１のすべての感光部１１で１組の廃棄電極１２ｂおよび電荷廃棄部１２ｃを共用している。   In the technique of adjusting the passing rate and the discard rate in the sensitivity control unit 12, as shown in FIG. 3, a gate electrode 12a is provided between the photosensitive unit 11 and the charge accumulating unit 13, and the passing voltage applied to the gate electrode 12a. Is changed to control the movement of charges from the photosensitive portion 11 to the charge accumulating portion 13 (that is, the passing rate). Further, by providing the charge discarding part 12c and changing the discarding voltage applied to the disposal electrode 12b attached to the charge discarding part 12c, the movement of the charge from the photosensitive part 11 to the charge discarding part 12c (that is, the discard rate) is changed. Control. The charge accumulating units 13 are provided so as to correspond one-to-one for each photosensitive unit 11, and the charge discarding units 12c are provided so as to correspond to the plurality of photosensitive units 11 so as to correspond one-to-many. In the illustrated example, all of the photosensitive portions 11 of the photodetecting element 1 share a set of discarding electrode 12b and charge discarding portion 12c.

感度を制御するために、感光部１１からの電荷の廃棄を行わずに感光部１１から電荷集積部１３への通過率の制御のみを行うことが考えられるが、電荷の廃棄を行わなければ感光部１１において電荷が暫時残留するから、感光部１１で生成された電荷のうち不要な残留電荷が、利用する電荷（以下、信号電荷という）に雑音成分として混入する。したがって、信号電荷への残留電荷の混入を防止するために、ゲート電極１２ａに印加する通過電圧だけでなく廃棄電極１２ｂに印加する廃棄電圧を制御する。   In order to control the sensitivity, it is conceivable to control only the pass rate from the photosensitive unit 11 to the charge accumulating unit 13 without discarding the charge from the photosensitive unit 11. Since charges remain in the unit 11 for a while, unnecessary residual charges out of the charges generated in the photosensitive unit 11 are mixed as noise components in the used charges (hereinafter referred to as signal charges). Therefore, in order to prevent the residual charge from being mixed into the signal charge, not only the passing voltage applied to the gate electrode 12a but also the discard voltage applied to the discard electrode 12b is controlled.

ゲート電極１２ａと廃棄電極１２ｂとを用いて感度を制御するには、ゲート電極１２ａに印加する通過電圧を一定電圧に保つことにより感光部１１で生成された電荷を電荷集積部１３に通過可能としておき、感光部１１で生成された電荷のうち信号電荷に用いる電荷が生成される期間以外には感光部１１から電荷廃棄部１２ｃに電荷が移動するように廃棄電極１２ｂに廃棄電圧を印加する。要するに、感光部１１において信号電荷として用いる電荷が生成される期間にのみ電荷廃棄部１２ｃへの電荷の廃棄を行わず、他の期間には電荷廃棄部１２ｃに電荷を廃棄することにより、信号電荷として用いようとする期間に生成された電荷のみを電荷集積部１３に集積する。   In order to control the sensitivity using the gate electrode 12a and the waste electrode 12b, the charge generated in the photosensitive portion 11 can pass through the charge accumulating portion 13 by keeping the passing voltage applied to the gate electrode 12a constant. In addition, a waste voltage is applied to the waste electrode 12b so that the charge moves from the photosensitive part 11 to the charge discarding part 12c except for a period in which the charge used for the signal charge among the charges generated by the photosensitive part 11 is generated. In short, the signal charge is not discarded to the charge discarding unit 12c only during the period in which the charge used as the signal charge is generated in the photosensitive unit 11, and the signal charge is discarded to the charge discarding unit 12c in the other period. Only the charges generated during the period to be used are accumulated in the charge accumulation unit 13.

いま、図４（ａ）のような変調信号により発光源２から空間に照射される光の強度が変調されているとする。電荷集積部１３には変調信号の複数周期（数万〜数十万周期）において変調信号に同期する特定の区間の受光光量Ａ０，Ａ１，Ａ２，Ａ３に相当する電荷を集積し、各区間の電荷の集積毎に集積した信号電荷を取り出して次の区間の電荷を集積する。たとえば、受光光量Ａ０に相当する電荷を変調信号の数万周期について集積すると、この受光光量Ａ０に相当する信号電荷を一旦外部に取り出し、その後、受光光量Ａ１に相当する電荷を変調信号の数万周期について集積する。   Now, it is assumed that the intensity of light emitted from the light source 2 to the space is modulated by the modulation signal as shown in FIG. The charge accumulation unit 13 accumulates charges corresponding to the received light amounts A0, A1, A2, and A3 in a specific section synchronized with the modulation signal in a plurality of periods (tens of thousands to hundreds of thousands) of the modulation signal. The accumulated signal charge is taken out for each charge accumulation, and the charge in the next section is accumulated. For example, when charges corresponding to the received light quantity A0 are accumulated for tens of thousands of cycles of the modulation signal, the signal charges corresponding to the received light quantity A0 are once taken out to the outside, and thereafter, the charges corresponding to the received light quantity A1 are converted to tens of thousands of modulation signals. Accumulate about the period.

図４は受光光量Ａ０に相当する電荷を集積している状態を示しており、図４（ｂ）に示すようにゲート電極１２ａに印加する通過電圧を一定電圧に保っている。また、受光光量Ａ０に相当する電荷としては、変調信号の位相が０〜９０度の区間において感光部１１で生成された電荷を採用している。つまり、廃棄電極１２ｂには、図４（ｃ）のように変調信号の位相が９０〜３６０度の区間において、感光部１１で生成される電荷を不要電荷とするように廃棄電圧を印加する。この制御により、図４（ｄ）のように所望の区間の受光光量Ａ０に対応した信号電荷を電荷集積部１３に集積することが可能になる。図４に示す処理は変調信号の数万〜数十万周期について行われ、この期間に電荷集積部１３に得られた信号電荷は受光光量Ａ０に対応する受光出力として電荷取出部１４により取り出される。   FIG. 4 shows a state where charges corresponding to the received light quantity A0 are accumulated, and the passing voltage applied to the gate electrode 12a is kept constant as shown in FIG. 4B. Further, as the charge corresponding to the received light quantity A0, the charge generated by the photosensitive portion 11 in the interval where the phase of the modulation signal is 0 to 90 degrees is employed. That is, a waste voltage is applied to the waste electrode 12b so that the charge generated in the photosensitive portion 11 is an unnecessary charge in a section where the phase of the modulation signal is 90 to 360 degrees as shown in FIG. This control makes it possible to accumulate signal charges corresponding to the received light quantity A0 in a desired section in the charge accumulation unit 13 as shown in FIG. The processing shown in FIG. 4 is performed for tens of thousands to hundreds of thousands of cycles of the modulation signal, and the signal charge obtained in the charge accumulating unit 13 during this period is taken out by the charge extracting unit 14 as a received light output corresponding to the received light quantity A0. .

電荷取出部１４から取り出された電荷は画像生成部４に画像信号として与えられ、画像生成部４において、対象空間内の対象物Ｏｂまでの距離が、上述した（１）式を用いて受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する受光出力から算出される。すなわち、画像生成部４では各感光部１１に対応した各方向における対象物Ｏｂまでの距離が算出され、対象空間の三次元情報が算出される。この三次元情報を用いると、対象空間の各方向に一致する画素の画素値が距離値である距離画像を生成することができる。   The electric charge extracted from the electric charge extraction unit 14 is given to the image generation unit 4 as an image signal. In the image generation unit 4, the distance to the object Ob in the target space is determined by using the above-described equation (1). It is calculated from the received light output corresponding to A0, A1, A2, and A3. That is, the image generation unit 4 calculates the distance to the object Ob in each direction corresponding to each photosensitive unit 11, and calculates the three-dimensional information of the target space. By using this three-dimensional information, it is possible to generate a distance image in which the pixel values of the pixels matching each direction of the target space are distance values.

なお、上述の制御では、廃棄電極１２ｂに廃棄電圧を印加している期間においてゲート電極１２ａにも一定電圧である通過電圧を印加しているが、廃棄電圧と通過電圧との大小関係を適宜に設定すれば、不要電荷を廃棄している期間には信号電荷がほとんど集積されないようにすることができる。また、変調信号の数万〜数十万周期について電荷を集積しているのは、集積する電荷量を多くすることによって高感度化するためであり、変調信号をたとえば２０ＭＨｚと設定すれば、３０フレーム／秒で信号電荷を取り出すとしても、数十万周期以上の集積が可能になる。   In the above-described control, a passing voltage that is a constant voltage is applied to the gate electrode 12a during the period in which the discarding voltage is applied to the discarding electrode 12b, but the magnitude relationship between the discarding voltage and the passing voltage is appropriately determined. If set, it is possible to prevent signal charges from being almost integrated during a period in which unnecessary charges are discarded. The reason why charges are accumulated for tens of thousands to hundreds of thousands of cycles of the modulation signal is to increase the sensitivity by increasing the amount of charges to be accumulated, and if the modulation signal is set to 20 MHz, for example, 30 Even if signal charges are taken out at a frame / second, integration of several hundred thousand cycles or more is possible.

上述したように、廃棄電極１２ｂを備えた電荷廃棄部１２ｃを設け、感光部１１に生じた電荷のうち信号電荷として利用しない不要電荷を電荷廃棄部１２ｃに積極的に廃棄しているから、感光部１１において電荷集積部１３に信号電荷を与えていない期間に感光部１１で生成される電荷はほとんどが不要電荷として廃棄されることになり、信号電荷への雑音成分の混入が大幅に抑制される。   As described above, the charge discarding unit 12c including the disposal electrode 12b is provided, and unnecessary charges that are not used as signal charges among the charges generated in the photosensitive unit 11 are actively discarded to the charge discarding unit 12c. In the unit 11, most of the charge generated in the photosensitive unit 11 during the period when no signal charge is given to the charge accumulating unit 13 is discarded as unnecessary charge, and mixing of noise components into the signal charge is greatly suppressed. The

上述の例では、ゲート電極１２ａに一定電圧である通過電圧を印加している期間に廃棄電極１２ｂに廃棄電圧を印加する期間と印加しない期間とを設けることによって、廃棄電圧が印加されていない期間において感光部１１に生成された電荷を信号電荷として用いているが、図５に示すように、ゲート電極１２ａに通過電圧を印加する期間と廃棄電極１２ｂに廃棄電圧を印加する期間とが重複しないように制御してもよい。   In the above-described example, a period in which the discard voltage is not applied by providing a period in which the discard voltage is applied to the discard electrode 12b and a period in which the discard voltage is not applied to the discard electrode 12b in the period in which the passing voltage that is a constant voltage is applied to the gate electrode 12a. In FIG. 5, the charge generated in the photosensitive portion 11 is used as a signal charge. However, as shown in FIG. 5, the period for applying the pass voltage to the gate electrode 12a and the period for applying the discard voltage to the discard electrode 12b do not overlap. You may control as follows.

図５は受光光量Ａ０に対応する信号電荷を集積する場合の動作を示している。図５（ａ）は発光源２から空間に照射される光の強度を変調する変調信号を示しており、ゲート電極１２ａには、図５（ｂ）のように、受光光量Ａ０に対応するタイミングで通過電圧を印加する。ゲート電極１２ａに通過電圧を印加する期間は、変調信号の位相における０度から一定期間（図示例では０〜９０度）に設定され、この期間において感光部１１から電荷集積部１３への電荷の移動が可能になる。一方、廃棄電極１２ｂには、図５（ｃ）のように、電荷集積部１３に受光光量Ａ０に相当する信号電荷を集積する期間以外において廃棄電圧を印加し、信号電荷を集積する期間以外では感光部１１で生成した電荷を不要電荷として電荷廃棄部１２ｃに廃棄する。このような制御によって、図５（ｄ）のように受光光量Ａ０に相当する信号電荷を取り出すことが可能になる。   FIG. 5 shows an operation when signal charges corresponding to the received light quantity A0 are integrated. FIG. 5A shows a modulation signal that modulates the intensity of light emitted to the space from the light source 2, and the gate electrode 12a has a timing corresponding to the received light amount A0 as shown in FIG. 5B. Apply the passing voltage with. The period during which the passing voltage is applied to the gate electrode 12a is set from 0 degrees in the phase of the modulation signal to a certain period (0 to 90 degrees in the illustrated example). During this period, the charge from the photosensitive portion 11 to the charge accumulation portion 13 is transferred. It becomes possible to move. On the other hand, as shown in FIG. 5C, a waste voltage is applied to the waste electrode 12b in a period other than the period in which the signal charge corresponding to the received light amount A0 is accumulated in the charge accumulation unit 13, and the signal charge is accumulated in other periods. The charges generated in the photosensitive unit 11 are discarded as unnecessary charges in the charge discarding unit 12c. Such control makes it possible to take out signal charges corresponding to the received light amount A0 as shown in FIG.

図５に示す制御では、ゲート電極１２ａに通過電圧を印加している期間と廃棄電極１２ｂに廃棄電圧を印加している期間とが異なるから、図４に示した制御例のように通過電圧と廃棄電圧との大小関係を考慮しなくとも通過電圧と廃棄電圧との大きさを独立して制御することができ、結果的に通過電圧および廃棄電圧の制御が容易になり、感光部１１で受光した光量に対して信号電荷を取り込む割合である感度の制御が容易になるとともに、感光部１１で生成された電荷のうち不要電荷として廃棄する割合の制御が容易になる。また、図５に示す制御例では、電荷集積部１３に信号電荷を集積する期間はゲート電極１２ａに印加する通過電圧により規定されるから、廃棄電極１２ｂに廃棄電圧を印加する期間を短縮することが可能であり、たとえば、ゲート電極１２ａに通過電圧を印加する直前の所定期間にのみ廃棄電極１２ｂに廃棄電圧を印加することも可能である。   In the control shown in FIG. 5, the period during which the pass voltage is applied to the gate electrode 12a is different from the period during which the waste voltage is applied to the discard electrode 12b. Therefore, as shown in the control example in FIG. The magnitude of the passing voltage and the discarding voltage can be controlled independently without considering the magnitude relationship with the discarding voltage. As a result, the passing voltage and the discarding voltage can be easily controlled, and the photosensitive unit 11 receives light. Control of the sensitivity, which is the ratio of taking in the signal charge with respect to the light quantity, is facilitated, and control of the ratio of discarding unnecessary charges out of the charges generated in the photosensitive portion 11 is facilitated. Further, in the control example shown in FIG. 5, the period in which the signal charge is accumulated in the charge accumulation unit 13 is defined by the passing voltage applied to the gate electrode 12a, so the period in which the discard voltage is applied to the discard electrode 12b is shortened. For example, it is possible to apply the waste voltage to the waste electrode 12b only during a predetermined period immediately before applying the pass voltage to the gate electrode 12a.

図５に示す制御を行えば、感光部１１で生成した電荷を電荷集積部１３に信号電荷として集積していない期間において感光部１１で生成される電荷をほとんど不要電荷として廃棄するから、信号電荷への雑音成分の混入が大幅に抑制されることになる。   If the control shown in FIG. 5 is performed, the charge generated in the photosensitive portion 11 is discarded as an unnecessary charge during the period when the charge generated in the photosensitive portion 11 is not accumulated in the charge accumulating portion 13 as a signal charge. Mixing of noise components into is greatly suppressed.

通過電圧と廃棄電圧との制御例としては、図６に示すように、廃棄電極１２ｂに印加する廃棄電圧を一定電圧に保って感光部１１で生成された電荷の一部をつねに廃棄するようにしてもよい。図６の制御例では、ゲート電極１２ａに通過電圧を印加する期間と印加しない期間とを設け、通過電圧を印加する期間を電荷集積部１３に信号電荷を集積する期間としている。   As an example of control of the pass voltage and the discard voltage, as shown in FIG. 6, the discard voltage applied to the discard electrode 12b is maintained at a constant voltage so that a part of the charge generated in the photosensitive portion 11 is always discarded. May be. In the control example of FIG. 6, a period in which the passing voltage is applied to the gate electrode 12 a and a period in which the passing voltage is not applied are provided, and a period in which the passing voltage is applied is a period in which signal charges are accumulated in the charge accumulation unit 13.

図６は受光光量Ａ０に相当する信号電荷を集積する場合の動作を示している。図６（ａ）は発光源２から空間に照射される光の強度を変調する変調信号を示しており、電荷集積部１３に設けたゲート電極１２ａには、図６（ｂ）のように、受光光量Ａ０に対応する期間に通過電圧が印加され、感光部１１において生成された電荷を受光光量Ａ０に相当する信号電荷として電荷集積部１３に集積する。つまり、ゲート電極１２ａに通過電圧を印加する期間は、変調信号の位相における０度から一定期間（図示例では０〜９０度）に設定され、この期間において感光部１１から電荷集積部１３への電荷の移動が可能になる。一方、廃棄電極１２ｂには、図６（ｃ）のように、直流電圧である一定電圧の廃棄電圧がつねに印加され、感光部１１で生成された電荷の一部をつねに不要電荷として電荷廃棄部１２ｃに廃棄する。上述の制御では、信号電荷を電荷集積部１３に集積する期間にのみゲート電極１２ａに通過電圧を印加しているから、図６（ｄ）のように受光光量Ａ０に相当する信号電荷を取り出すことが可能になる。   FIG. 6 shows the operation when signal charges corresponding to the received light quantity A0 are integrated. FIG. 6A shows a modulation signal for modulating the intensity of light irradiated to the space from the light emitting source 2, and the gate electrode 12a provided in the charge accumulating unit 13 has a structure as shown in FIG. A passing voltage is applied during a period corresponding to the received light amount A0, and the charge generated in the photosensitive unit 11 is accumulated in the charge accumulating unit 13 as a signal charge corresponding to the received light amount A0. That is, the period during which the pass voltage is applied to the gate electrode 12a is set from 0 degree to a certain period (0 to 90 degrees in the illustrated example) in the phase of the modulation signal. Charge transfer is possible. On the other hand, as shown in FIG. 6C, a constant voltage discard voltage, which is a DC voltage, is always applied to the waste electrode 12b, and a part of the charge generated by the photosensitive portion 11 is always used as an unnecessary charge. Discard to 12c. In the control described above, the passing voltage is applied to the gate electrode 12a only during the period in which the signal charge is accumulated in the charge accumulating unit 13, so that the signal charge corresponding to the received light quantity A0 is taken out as shown in FIG. Is possible.

図６に示す制御では、ゲート電極１２ａに通過電圧を印加しているか否かにかかわらず廃棄電極１２ｂに一定電圧の廃棄電圧を印加しているから、感光部１１において生成された電荷のうち電荷集積部１３に信号電荷として集積されなかった不要電荷は、廃棄電荷として電荷廃棄部１２ｃに廃棄される。ここで、感光部１１で生成された電荷の一部を信号電荷として電荷集積部１３に集積する期間においても感光部１１から電荷廃棄部１２ｃへの電荷の廃棄が継続しているから、信号電荷を電荷集積部１３に適正に集積するために、通過電圧と廃棄電圧との大小関係を考慮する必要がある。ただし、廃棄電圧は一定電圧であって廃棄電極１２ｂにつねに印加しているだけであるから、実際には通過電圧のみを制御すればよく、制御自体は容易である。   In the control shown in FIG. 6, a constant voltage discarding voltage is applied to the disposal electrode 12b regardless of whether or not a passing voltage is applied to the gate electrode 12a. Unnecessary charges that have not been accumulated as signal charges in the accumulation unit 13 are discarded as discard charges in the charge discard unit 12c. Here, the signal charge is continuously discarded from the photosensitive portion 11 to the charge discarding portion 12c even during a period in which a part of the charge generated in the photosensitive portion 11 is accumulated in the charge accumulating portion 13 as a signal charge. In order to properly integrate the voltage in the charge accumulation unit 13, it is necessary to consider the magnitude relationship between the passing voltage and the discard voltage. However, since the discard voltage is a constant voltage and is always applied to the discard electrode 12b, in practice, only the passing voltage needs to be controlled, and the control itself is easy.

図３に示した感度制御部１２を備える光検出素子１は、オーバーフロードレインを備えたＣＣＤイメージセンサにより実現することができる。ＣＣＤイメージセンサにおける電荷の転送方式はどのようなものでもよく、インターライントランスファ（ＩＴ）方式、フレームトランスファ（ＦＴ）方式、フレームインターライントランスファ（ＦＩＴ）方式のいずれであってもよい。   The photodetecting element 1 including the sensitivity control unit 12 illustrated in FIG. 3 can be realized by a CCD image sensor including an overflow drain. Any charge transfer method may be used in the CCD image sensor, and any of an interline transfer (IT) method, a frame transfer (FT) method, and a frame interline transfer (FIT) method may be used.

図７に縦型オーバーフロードレインを備えるインターライントランスファ方式のＣＣＤイメージセンサの構成を示す。図示例は、感光部１１となるフォトダイオード４１を水平方向と垂直方向とに複数個ずつ（図では３×４個）配列した２次元イメージセンサであって、垂直方向に配列したフォトダイオード４１の各列の右側方にＣＣＤからなる垂直転送レジスタ４２を備え、フォトダイオード４１および垂直転送レジスタ４２が配列された領域の下方にＣＣＤからなる水平転送レジスタ４３を備える。垂直転送レジスタ４２は各フォトダイオード４１ごとに２個ずつの転送電極４２ａ，４２ｂを備え、水平転送レジスタ４３は各垂直転送レジスタ４２ごとに２個ずつの転送電極４３ａ，４３ｂを備える。   FIG. 7 shows a configuration of an interline transfer type CCD image sensor having a vertical overflow drain. The illustrated example is a two-dimensional image sensor in which a plurality of photodiodes 41 serving as the photosensitive portions 11 are arranged in a horizontal direction and a vertical direction (3 × 4 in the figure), and the photodiodes 41 arranged in the vertical direction are arranged. A vertical transfer register 42 made of a CCD is provided on the right side of each column, and a horizontal transfer register 43 made of a CCD is provided below the area where the photodiodes 41 and the vertical transfer registers 42 are arranged. The vertical transfer register 42 includes two transfer electrodes 42 a and 42 b for each photodiode 41, and the horizontal transfer register 43 includes two transfer electrodes 43 a and 43 b for each vertical transfer register 42.

フォトダイオード４１と垂直転送レジスタ４２と水平転送レジスタ４３とは１枚の半導体基板４０上に形成され、半導体基板４０の主表面には、フォトダイオード４１と垂直転送レジスタ４２と水平転送レジスタ４３との全体を囲む形でアルミニウム電極であるオーバーフロー電極４４が、半導体基板４０の全周に亘って絶縁膜を介さずに半導体基板４０に直接接触するように設けられる。オーバーフロー電極４４に半導体基板４０に対して正極性になる適宜の廃棄電圧を印加すればフォトダイオード４１で生成された電子（電荷）はオーバーフロー電極４４を通して廃棄される。オーバーフロー電極４４は、感光部１１であるフォトダイオード４１において生成した電荷のうち不要電荷を廃棄する際に廃棄電圧が印加されるから廃棄電極１２ｂとして機能し、オーバーフロー電極４４に廃棄電圧を印加する電源が感光部１１で生成された電子（電荷）を廃棄する電荷廃棄部１２ｃとして機能する。半導体基板４０の表面はフォトダイオード４１に対応する部位を除いて遮光膜４６（図８参照）により覆われる。   The photodiode 41, the vertical transfer register 42, and the horizontal transfer register 43 are formed on one semiconductor substrate 40, and the photodiode 41, the vertical transfer register 42, and the horizontal transfer register 43 are formed on the main surface of the semiconductor substrate 40. An overflow electrode 44 which is an aluminum electrode is provided so as to directly contact the semiconductor substrate 40 without going through an insulating film over the entire circumference of the semiconductor substrate 40 so as to surround the whole. If an appropriate disposal voltage that is positive with respect to the semiconductor substrate 40 is applied to the overflow electrode 44, electrons (charges) generated by the photodiode 41 are discarded through the overflow electrode 44. The overflow electrode 44 functions as the discard electrode 12b because a discard voltage is applied when discarding unnecessary charges among the charges generated in the photodiode 41 which is the photosensitive portion 11, and the power supply for applying the discard voltage to the overflow electrode 44 Functions as a charge discarding unit 12c that discards electrons (charges) generated in the photosensitive unit 11. The surface of the semiconductor substrate 40 is covered with a light shielding film 46 (see FIG. 8) except for the portion corresponding to the photodiode 41.

図７に示したＣＣＤイメージセンサについて、１個のフォトダイオード４１に関連する部分を切り出して図８に示す。半導体基板４０にはｎ形半導体を用い、半導体基板４０の主表面にはフォトダイオード４１と垂直転送レジスタ４２とに跨る領域にｐ形半導体からなるウェル領域３１を形成している。ウェル領域３１は、フォトダイオード４１に対応する領域に比較して垂直転送レジスタ４２に対応する領域の厚み寸法が大きくなるように形成してある。ウェル領域３１のうちフォトダイオード４１に対応する領域にはｎ＋形半導体層３２を重ねて設けてあり、ウェル領域３１とｎ＋形半導体層３２とのｐｎ接合によってフォトダイオード４１が形成される。フォトダイオード４１の表面にはｐ＋形半導体からなる表面層３３を積層してある。表面層３３はフォトダイオード４１で生成された電荷を垂直転送レジスタ４２に移動させる際に、ｎ＋形半導体層３２の表面付近が電荷の通過経路にならないように制御する目的で設けてある。このような構造は、埋込フォトダイオードとして知られている。 For the CCD image sensor shown in FIG. 7, a portion related to one photodiode 41 is cut out and shown in FIG. An n-type semiconductor is used for the semiconductor substrate 40, and a well region 31 made of a p-type semiconductor is formed in a region straddling the photodiode 41 and the vertical transfer register 42 on the main surface of the semiconductor substrate 40. The well region 31 is formed so that the thickness dimension of the region corresponding to the vertical transfer register 42 is larger than the region corresponding to the photodiode 41. An n + -type semiconductor layer 32 is provided in a region corresponding to the photodiode 41 in the well region 31, and the photodiode 41 is formed by a pn junction between the well region 31 and the n + -type semiconductor layer 32. A surface layer 33 made of a p + type semiconductor is laminated on the surface of the photodiode 41. The surface layer 33 is provided for the purpose of controlling the vicinity of the surface of the n + -type semiconductor layer 32 so as not to be a charge passage path when the charge generated by the photodiode 41 is moved to the vertical transfer register 42. Such a structure is known as a buried photodiode.

ウェル領域３１のうち垂直転送レジスタ４２に対応する領域にはｎ形半導体からなる蓄積転送層３４を重ねて設けてある。蓄積転送層３４の表面と表面層３３の表面とは略同一平面であって、蓄積転送層３４の厚み寸法は表面層３３の厚み寸法よりも大きくしてある。蓄積転送層３４は、表面層３３とは接触しているが、ｎ＋形半導体層３２との間には、表面層３３と不純物濃度が等しいｐ＋形半導体からなる分離層３５が介在する。蓄積転送層３４の表面には、絶縁膜４５を介して転送電極４２ａ，４２ｂが配置される。転送電極４２ａ，４２ｂは１個のフォトダイオード４１に対して２個ずつ設けられ、垂直方向において２個の転送電極４２ａ，４２ｂのうちの一方は他方よりも広幅に形成される。具体的には、図９のように、１個のフォトダイオード４１に対応する２個の転送電極４２ａ，４２ｂのうち狭幅の転送電極４２ｂは平板状に形成されており、広幅の転送電極４２ａは、幅狭の転送電極４２ｂと同一平面上に配列され一対の転送電極４２ｂの間に配置される平板状の部分と、平板状の部分の垂直方向（図９の左右方向）における両端部からそれぞれ延長され転送電極４２ｂの上に重複する湾曲した部分とを備える。ここに、絶縁膜４５はＳｉＯ２ により形成され、また転送電極４２ａ，４２ｂはポリシリコンにより形成され、各転送電極４２ａ，４２ｂは絶縁膜４５を介して互いに絶縁されている。さらに、フォトダイオード４１に光を入射させる部位を除いて光検出素子１の表面は遮光膜４６により覆われる。ウェル領域３１において垂直転送レジスタ４２に対応する領域および蓄積転送層３４は垂直転送レジスタ４２の全長に亘って形成され、したがって、蓄積転送層３４には広幅の転送電極４２ａと狭幅の転送電極４２ｂとが交互に配列される。 An accumulation transfer layer 34 made of an n-type semiconductor is overlaid in a region corresponding to the vertical transfer register 42 in the well region 31. The surface of the accumulation / transfer layer 34 and the surface of the surface layer 33 are substantially flush with each other, and the thickness dimension of the accumulation / transfer layer 34 is larger than the thickness dimension of the surface layer 33. The accumulation transfer layer 34 is in contact with the surface layer 33, but a separation layer 35 made of a p + type semiconductor having the same impurity concentration as that of the surface layer 33 is interposed between the storage layer 34 and the n + type semiconductor layer 32. Transfer electrodes 42 a and 42 b are disposed on the surface of the accumulation transfer layer 34 via an insulating film 45. Two transfer electrodes 42a and 42b are provided for each photodiode 41, and one of the two transfer electrodes 42a and 42b is formed wider than the other in the vertical direction. Specifically, as shown in FIG. 9, of the two transfer electrodes 42a and 42b corresponding to one photodiode 41, the narrow transfer electrode 42b is formed in a flat plate shape, and the wide transfer electrode 42a. Is a flat plate portion arranged on the same plane as the narrow transfer electrode 42b and disposed between the pair of transfer electrodes 42b, and from both ends of the flat plate portion in the vertical direction (left-right direction in FIG. 9). And a curved portion that extends and overlaps the transfer electrode 42b. Here, the insulating film 45 is formed of SiO 2 , the transfer electrodes 42 a and 42 b are formed of polysilicon, and the transfer electrodes 42 a and 42 b are insulated from each other through the insulating film 45. Further, the surface of the light detection element 1 is covered with a light shielding film 46 except for a portion where light is incident on the photodiode 41. In the well region 31, the region corresponding to the vertical transfer register 42 and the storage transfer layer 34 are formed over the entire length of the vertical transfer register 42. Therefore, the storage transfer layer 34 has a wide transfer electrode 42a and a narrow transfer electrode 42b. And are alternately arranged.

上述した光検出素子１では、フォトダイオード４１が感光部１１に相当し、転送電極４２ａがゲート電極１２ａに相当し、オーバーフロー電極４４が廃棄電極１２ｂに相当し、垂直転送レジスタ４２が電荷集積部１３および電荷取出部１４の一部として機能する。また、水平転送レジスタ４３も電荷取出部１４の一部になる。すなわち、フォトダイオード４１に光が入射すれば電荷が生成され、フォトダイオード４１で生成された電荷のうち垂直転送レジスタ４２に信号電荷として引き渡される電荷の割合は転送電極４２ａに印加する通過電圧とオーバーフロー電極４４に印加する廃棄電圧との関係によって決めることができる。転送電極４２ａに通過電圧を印加すると蓄積転送層３４にポテンシャル井戸が形成され、通過電圧の制御によりポテンシャル井戸の深さを制御することができる。したがって、ポテンシャル井戸の深さおよび通過電圧を印加する時間とを制御すれば、フォトダイオード４１から垂直転送レジスタ４２に引き渡される電荷の割合を調節することができる。また、オーバーフロー電極４４に印加する廃棄電圧を制御すれば、フォトダイオード４１と半導体基板４０との間の電位勾配を制御することができるから、電位勾配と廃棄電圧を印加する時間とを制御すれば、垂直転送レジスタ４２に引き渡される電荷の割合を調節することができる。通過電圧と廃棄電圧とは図４ないし図６に示した制御例のように制御すればよい。   In the photodetector 1 described above, the photodiode 41 corresponds to the photosensitive portion 11, the transfer electrode 42 a corresponds to the gate electrode 12 a, the overflow electrode 44 corresponds to the discard electrode 12 b, and the vertical transfer register 42 corresponds to the charge accumulation portion 13. And functions as a part of the charge extraction unit 14. Further, the horizontal transfer register 43 also becomes a part of the charge extraction unit 14. That is, if light enters the photodiode 41, a charge is generated, and the ratio of the charge generated as a signal charge to the vertical transfer register 42 among the charges generated by the photodiode 41 is equal to the passing voltage applied to the transfer electrode 42a and the overflow. It can be determined according to the relationship with the waste voltage applied to the electrode 44. When a pass voltage is applied to the transfer electrode 42a, a potential well is formed in the storage transfer layer 34, and the depth of the potential well can be controlled by controlling the pass voltage. Therefore, by controlling the depth of the potential well and the time during which the passing voltage is applied, the ratio of charges delivered from the photodiode 41 to the vertical transfer register 42 can be adjusted. Further, if the discard voltage applied to the overflow electrode 44 is controlled, the potential gradient between the photodiode 41 and the semiconductor substrate 40 can be controlled. Therefore, if the potential gradient and the time for applying the discard voltage are controlled. The rate of charge delivered to the vertical transfer register 42 can be adjusted. The passing voltage and the discard voltage may be controlled as in the control examples shown in FIGS.

フォトダイオード４１から垂直転送レジスタ４２に引き渡された信号電荷は、上述した４区間の受光光量Ａ０，Ａ１，Ａ２，Ａ３のうちの各１区間の受光光量Ａ０，Ａ１，Ａ２，Ａ３に相当する信号電荷が集積されるたびに読み出される。たとえば、受光光量Ａ０に相当する信号電荷が各フォトダイオード４１に対応して形成されるポテンシャル井戸に集積されると信号電荷を読み出し、次に受光光量Ａ１に相当する信号電荷がポテンシャル井戸に集積されると再び信号電荷を読み出すという動作を繰り返す。なお、各受光光量Ａ０，Ａ１，Ａ２，Ａ３に相当する信号電荷を集積する期間は等しく設定しておく。   The signal charges delivered from the photodiode 41 to the vertical transfer register 42 are signals corresponding to the received light amounts A0, A1, A2, and A3 of each one of the four received light amounts A0, A1, A2, and A3 described above. It is read each time charge is accumulated. For example, when a signal charge corresponding to the received light quantity A0 is accumulated in a potential well formed corresponding to each photodiode 41, the signal charge is read, and then a signal charge corresponding to the received light quantity A1 is accumulated in the potential well. Then, the operation of reading the signal charge again is repeated. Note that the period during which signal charges corresponding to the received light amounts A0, A1, A2, and A3 are accumulated is set to be equal.

ところで、上述した制御例のうち、図４に示す制御例では、感光部１１（フォトダイオード４１）で生成された電荷（電子）を電荷集積部１３（垂直転送レジスタ４２）に対してつねに引き渡しているから、電荷集積部１３に集積された電荷は必ずしも目的の受光光量Ａ０、Ａ１、Ａ２、Ａ３が得られる期間に生成された電荷だけではなく、目的外の期間に生成された電荷も混入することになる。いま、感度制御部１２において、受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応した電荷を生成する期間（つまり、受光期間Ｔｗ）の感度をα、それ以外の期間（以下では、「保持期間」と呼ぶ）の感度をβとし、感光部１１は受光光量に比例する電荷を生成するものとする。この条件では、受光光量Ａ０に対応した電荷を集積する電荷集積部１３には、αＡ０＋β（Ａ１＋Ａ２＋Ａ３）＋βＡｘ（Ａｘは受光光量Ａ０、Ａ１、Ａ２、Ａ３が得られる期間以外の受光光量）に比例する電荷が集積され、受光光量Ａ２に対応した電荷を集積する電荷集積部１３には、αＡ２＋β（Ａ０＋Ａ１＋Ａ３）＋βＡｘに比例する電荷が集積される。上述したように、位相差ψを求める際には（Ａ２−Ａ０）を求めており、（Ａ２−Ａ０）に相当する値を電荷集積部１３に集積した電荷から求めると（α−β）（Ａ２−Ａ０）になり、同様にして（Ａ１−Ａ３）に相当する値は（α−β）（Ａ１−Ａ３）になるから、（Ａ２−Ａ０）／（Ａ１−Ａ３）は電荷の混入の有無によらず理論上は同じ値になるのであって、電荷が混入しても求める位相差ψは同じ値になる。   By the way, in the control example shown in FIG. 4 among the control examples described above, the charge (electrons) generated by the photosensitive unit 11 (photodiode 41) is always delivered to the charge accumulation unit 13 (vertical transfer register 42). Therefore, the charges accumulated in the charge accumulating unit 13 include not only the charges generated during the period in which the target received light amounts A0, A1, A2, and A3 are obtained, but also the charges generated during periods other than the target. It will be. Now, in the sensitivity control unit 12, the sensitivity in the period for generating charges corresponding to the received light amounts A0, A1, A2, A3 (that is, the light receiving period Tw) is α, and the other period (hereinafter referred to as “holding period”). ) Is assumed to be β, and the photosensitive portion 11 generates a charge proportional to the amount of received light. Under this condition, the charge accumulating unit 13 that accumulates charges corresponding to the received light amount A0 is proportional to αA0 + β (A1 + A2 + A3) + βAx (Ax is a received light amount other than the period during which the received light amounts A0, A1, A2, and A3 are obtained). Charges proportional to αA2 + β (A0 + A1 + A3) + βAx are accumulated in the charge accumulation unit 13 that accumulates charges and accumulates charges corresponding to the received light amount A2. As described above, when obtaining the phase difference ψ, (A2−A0) is obtained, and when a value corresponding to (A2−A0) is obtained from the charge accumulated in the charge accumulation unit 13, (α−β) ( Similarly, since the value corresponding to (A1-A3) is (α-β) (A1-A3), (A2-A0) / (A1-A3) Theoretically the same value is obtained regardless of the presence or absence, and the obtained phase difference ψ is the same value even if charges are mixed.

上述した構成例では、ＣＣＤイメージセンサを光検出素子１に用い、電荷集積部１３に通過させる電荷の量と、電荷廃棄部１２ｃに廃棄する電荷の量との少なくとも一方を制御することにより感度制御部１２を構成する例を示したが、以下に示す感度制御部１２は、感光部１１において利用できる電荷を生成する領域の面積（実質的な受光面積）を変化させるものである。   In the configuration example described above, a CCD image sensor is used for the photodetecting element 1, and sensitivity control is performed by controlling at least one of the amount of charge passed through the charge accumulating unit 13 and the amount of charge discarded into the charge discarding unit 12c. Although the example which comprises the part 12 was shown, the sensitivity control part 12 shown below changes the area (substantially light reception area) of the area | region which produces | generates the electric charge which can be utilized in the photosensitive part 11. FIG.

以下に光検出素子１の具体的構造例を説明する。図１０に示す光検出素子１は、複数個（たとえば、１００×１００個）の感光部１１をマトリクス状に配列したものであって、たとえば１枚の半導体基板上に形成される。１個の感光部１１は不純物を添加した半導体層２１に酸化膜からなる絶縁膜２２を介して複数個（図では５個）の制御電極２３を配列した構成を有する。図示例では制御電極２３が並ぶ方向（左右方向）が垂直方向であり、感光部１１で生成した電荷（本実施形態では、電子を用いる）を取り出す際には、垂直転送レジスタにより電荷を垂直方向に転送した後、水平転送レジスタを用いて水平方向に転送される。つまり、垂直転送レジスタと水平転送レジスタとにより電荷取出部１４が構成される。垂直転送レジスタおよび水平転送レジスタの構成には、ＣＣＤイメージセンサにおけるインターライントランスファ（ＩＴ）方式、フレームトランスファ（ＦＴ）方式、フレームインターライントランスファ（ＦＩＴ）方式と同様の構成を採用することができる。   Hereinafter, a specific structural example of the light detection element 1 will be described. The photodetecting element 1 shown in FIG. 10 has a plurality of (for example, 100 × 100) photosensitive portions 11 arranged in a matrix, and is formed on, for example, a single semiconductor substrate. One photosensitive portion 11 has a configuration in which a plurality (five in the figure) of control electrodes 23 are arranged on a semiconductor layer 21 to which impurities are added via an insulating film 22 made of an oxide film. In the illustrated example, the direction in which the control electrodes 23 are arranged (left-right direction) is the vertical direction, and when taking out the charge generated by the photosensitive portion 11 (using electrons in this embodiment), the charge is transferred in the vertical direction by the vertical transfer register. Is transferred in the horizontal direction using a horizontal transfer register. That is, the charge extraction unit 14 is configured by the vertical transfer register and the horizontal transfer register. As the configuration of the vertical transfer register and the horizontal transfer register, the same configuration as the interline transfer (IT) method, the frame transfer (FT) method, and the frame interline transfer (FIT) method in the CCD image sensor can be adopted.

すなわち、垂直方向に並ぶ各感光部１１が一体に連続する半導体層２１を共用するとともに半導体層２１を垂直転送レジスタに用いれば、半導体層２１が感光部１１と電荷の転送経路とに兼用された構造になり、ＦＴ方式のＣＣＤイメージセンサと同様にして電荷を垂直方向に転送することができ、また、感光部１１から転送ゲートを介して垂直転送レジスタに電荷を転送すれば、ＩＴ方式またはＦＩＴ方式のＣＣＤイメージセンサと同様にして電荷を転送することができる。   That is, when the photosensitive portions 11 arranged in the vertical direction share the continuous semiconductor layer 21 and the semiconductor layer 21 is used as a vertical transfer register, the semiconductor layer 21 is used as both the photosensitive portion 11 and the charge transfer path. The structure allows the charge to be transferred in the vertical direction in the same manner as the FT type CCD image sensor, and if the charge is transferred from the photosensitive portion 11 to the vertical transfer register via the transfer gate, the IT type or FIT Charges can be transferred in the same manner as a CCD image sensor of the type.

上述のように、半導体層２１は不純物が添加してあり、半導体層２１の主表面は酸化膜からなる絶縁膜２２により覆われ、半導体層２１に絶縁膜２２を介して複数個の制御電極２３を配置している。この光検出素子１はＭＩＳ素子として知られた構造であるが、１個の光検出素子１として機能する領域に複数個（図示例では５個）の制御電極２３を備える点が通常のＭＩＳ素子とは異なる。絶縁膜２２および制御電極２３は発光源２から対象空間に照射される光と同波長の光が透過するように材料が選択され、絶縁膜２２を通して半導体層２１に光が入射すると、半導体層２１の内部に電荷が生成される。図示例の半導体層２１の導電形はｎ形であり、光の照射により生成される電荷として電子ｅを利用する。図１０は１個の感光部１１に対応する領域のみを示したものであり、半導体基板（図示せず）には上述したように図１０の構造を持つ領域が複数個配列されるとともに電荷取出部１４となる構造が設けられる。電荷取出部１４として設ける垂直転送レジスタは、図１０の左右方向に電荷を転送することを想定しているが、図１０の面に直交する方向に電荷を転送する構成を採用することも可能である。また、電荷を図の左右方向に転送する場合には、制御電極２３の左右方向の幅寸法を１μｍ程度に設定するのが望ましい。   As described above, the semiconductor layer 21 is doped with impurities, the main surface of the semiconductor layer 21 is covered with the insulating film 22 made of an oxide film, and a plurality of control electrodes 23 are formed on the semiconductor layer 21 via the insulating film 22. Is arranged. This light detection element 1 has a structure known as a MIS element, but a normal MIS element is that a plurality of (five in the illustrated example) control electrodes 23 are provided in a region functioning as one light detection element 1. Is different. A material is selected for the insulating film 22 and the control electrode 23 so that light having the same wavelength as the light emitted from the light source 2 to the target space can be transmitted. When light enters the semiconductor layer 21 through the insulating film 22, the semiconductor layer 21. A charge is generated inside the. The conductivity type of the semiconductor layer 21 in the illustrated example is n-type, and electrons e are used as charges generated by light irradiation. FIG. 10 shows only a region corresponding to one photosensitive portion 11, and a plurality of regions having the structure shown in FIG. 10 are arranged on the semiconductor substrate (not shown) and the charge extraction is performed. A structure to be part 14 is provided. The vertical transfer register provided as the charge extraction unit 14 is assumed to transfer charges in the left-right direction in FIG. 10, but it is also possible to adopt a configuration in which charges are transferred in a direction orthogonal to the plane in FIG. 10. is there. In addition, when transferring charges in the horizontal direction in the figure, it is desirable to set the width dimension of the control electrode 23 in the horizontal direction to about 1 μm.

この構造の光検出素子１では、制御電極２３に正の制御電圧＋Ｖを印加すると、半導体層２１には制御電極２３に対応する部位に電子ｅを集積するポテンシャル井戸（空乏層）２４が形成される。つまり、半導体層２１にポテンシャル井戸２４を形成するように制御電極２３に制御電圧を印加した状態で光が半導体層２１に照射されると、ポテンシャル井戸２４の近傍で生成された電子ｅの一部はポテンシャル井戸２４に捕獲されてポテンシャル井戸２４に集積され、残りの電子ｅは半導体層２１の深部での再結合により消滅する。また、ポテンシャル井戸２４から離れた場所で生成された電子ｅも半導体層２１の深部での再結合により消滅する。   In the light detection element 1 having this structure, when a positive control voltage + V is applied to the control electrode 23, a potential well (depletion layer) 24 that accumulates electrons e in a portion corresponding to the control electrode 23 is formed in the semiconductor layer 21. The That is, when light is applied to the semiconductor layer 21 with a control voltage applied to the control electrode 23 so as to form the potential well 24 in the semiconductor layer 21, a part of the electrons e generated in the vicinity of the potential well 24. Are captured in the potential well 24 and accumulated in the potential well 24, and the remaining electrons e disappear due to recombination in the deep part of the semiconductor layer 21. Further, the electrons e generated at a location away from the potential well 24 are also extinguished by recombination in the deep part of the semiconductor layer 21.

ポテンシャル井戸２４は制御電圧を印加した制御電極２３に対応する部位に形成されるから、制御電圧を印加する制御電極２３の個数を変化させることによって、半導体層２１の主表面に沿ったポテンシャル井戸２４の面積（言い換えると、受光面において利用できる電荷を生成する領域の面積）を変化させることができる。つまり、制御電圧を印加する制御電極２３の個数を変化させることは感度制御部１２における感度の調節を意味する。たとえば、図１０（ａ）のように３個の制御電極２３に制御電圧＋Ｖを印加する場合と、図１０（ｂ）のように１個の制御電極２３に制御電圧＋Ｖを印加する場合とでは、ポテンシャル井戸２４が受光面に占める面積が変化するのであって、図１０（ａ）の状態のほうがポテンシャル井戸２４の面積が大きいから、図１０（ｂ）の状態に比較して同光量に対して利用できる電荷の割合が多くなり、実質的に感光部１１の感度を高めたことになる。このように、感光部１１および感度制御部１２は半導体層２１と絶縁膜２２と制御電極２３とにより構成されていると言える。ポテンシャル井戸２４は光照射により生成された電荷を保持するから電荷集積部１３として機能する。   Since the potential well 24 is formed at a portion corresponding to the control electrode 23 to which the control voltage is applied, the potential well 24 along the main surface of the semiconductor layer 21 is changed by changing the number of the control electrodes 23 to which the control voltage is applied. (In other words, the area of a region that generates a charge that can be used on the light receiving surface) can be changed. That is, changing the number of control electrodes 23 to which the control voltage is applied means adjusting sensitivity in the sensitivity control unit 12. For example, when the control voltage + V is applied to the three control electrodes 23 as shown in FIG. 10A and when the control voltage + V is applied to the one control electrode 23 as shown in FIG. Since the area occupied by the potential well 24 on the light receiving surface changes and the area of the potential well 24 is larger in the state of FIG. 10A, the area of the potential well 24 is larger than that of the state of FIG. As a result, the ratio of the charge that can be used increases and the sensitivity of the photosensitive portion 11 is substantially increased. Thus, it can be said that the photosensitive portion 11 and the sensitivity control portion 12 are constituted by the semiconductor layer 21, the insulating film 22, and the control electrode 23. The potential well 24 functions as the charge accumulation unit 13 because it holds charges generated by light irradiation.

上述したように、ポテンシャル井戸２４から電荷を取り出すには、ＣＣＤイメージセンサと同様の技術を採用する。たとえば感光部１１を垂直転送レジスタとして用いる場合は、ポテンシャル井戸２４に電子ｅが集積された後に、電荷の集積時とは異なる印加パターンの制御電圧を制御電極２３に印加することによってポテンシャル井戸２４に集積された電子ｅを一方向（たとえば、図の右方向）に転送することができる。あるいはまた、感光部１１とは別に設けた垂直転送レジスタに転送ゲートを介して感光部１１から電荷を転送する構成を採用することもできる。垂直転送レジスタからは水平転送レジスタに電荷を引き渡し、水平転送レジスタを転送された電荷は、半導体基板に設けた図示しない電極から光検出素子１の外部に取り出される。   As described above, in order to extract charges from the potential well 24, the same technique as that of the CCD image sensor is employed. For example, when the photosensitive portion 11 is used as a vertical transfer register, after the electrons e are accumulated in the potential well 24, a control voltage having a different application pattern from that at the time of charge accumulation is applied to the control electrode 23. The accumulated electrons e can be transferred in one direction (for example, in the right direction in the figure). Alternatively, it is possible to adopt a configuration in which charges are transferred from the photosensitive portion 11 via a transfer gate to a vertical transfer register provided separately from the photosensitive portion 11. Charge is transferred from the vertical transfer register to the horizontal transfer register, and the charge transferred to the horizontal transfer register is taken out of the photodetector 1 from an electrode (not shown) provided on the semiconductor substrate.

図１０に示す構成における感度制御部１２は、利用できる電荷を生成する面積を大小２段階に切り換えることにより感光部１１の感度を高低２段階に切り換えるのであって、受光光量Ａ０、Ａ１、Ａ２、Ａ３のいずれかに対応する電荷を感光部１１で生成しようとする受光期間にのみ高感度とし（電荷を生成する面積を大きくし）、他の期間である保持期間には低感度にする。高感度にする受光期間と低感度にする保持期間とは、発光源２を駆動する変調信号に同期させて設定される。具体的には、変調信号に同期する特定の区間（特定位相の区間）において、電荷を生成する面積を大きくして感光部１１で生成した電荷を集積し、上記特定区間以外の他の区間において、電荷を生成する面積を小さくして感光部１１で生成した電荷を蓄積する。すなわち、感光部１１において、電荷を集積する機能と蓄積する機能とが交互に実現される。ここで、集積とは電荷を集めることを意味し、蓄積とは電荷を保持することを意味する。言い換えると、図１０に示す構成では、感光部１１に設けた電荷集積部１３の大きさ（面積）を変化させることにより、電荷を集積する期間には感光部１１で生成された電荷の集積率を大きくし、電荷を蓄積する期間には感光部１１で生成された電荷の集積率を小さくするのである。   The sensitivity control unit 12 in the configuration shown in FIG. 10 switches the sensitivity of the photosensitive unit 11 to two levels, high and low, by switching the area for generating available charges to two levels, that is, the received light quantity A0, A1, A2, The sensitivity corresponding to any one of A3 is set to high sensitivity only during the light receiving period in which the photosensitive portion 11 is to be generated (the area for generating charges is increased), and the sensitivity is set to be low during the other holding periods. The light receiving period for high sensitivity and the holding period for low sensitivity are set in synchronization with the modulation signal for driving the light source 2. Specifically, in a specific section (specific phase section) synchronized with the modulation signal, the charge generation area is increased to accumulate the charge generated by the photosensitive portion 11, and in other sections other than the specific section. The charge generated by the photosensitive portion 11 is accumulated by reducing the area for generating the charge. That is, in the photosensitive portion 11, the function of accumulating charges and the function of accumulating are realized alternately. Here, accumulation means collecting electric charges, and accumulation means holding electric charges. In other words, in the configuration shown in FIG. 10, by changing the size (area) of the charge accumulating unit 13 provided in the photosensitive unit 11, the integration rate of the charges generated by the photosensitive unit 11 during the charge accumulation period. The charge accumulation rate generated in the photosensitive portion 11 is reduced during the period in which charges are accumulated.

また、変調信号の複数周期に亘ってポテンシャル井戸２４に電荷を集積した後に電荷取出部１４を通して光検出素子１の外部に電荷を取り出すようにしている。変調信号の複数周期に亘って電荷を集積しているのは、変調信号の１周期内では感光部１１が利用可能な電荷を生成する期間が短く（たとえば、変調信号の周波数を２０ＭＨｚとすれば５０ｎｓの４分の１以下）、生成される電荷が少ないからである。つまり、変調信号の複数周期分の電荷を集積することにより、信号電荷（発光源２から照射された光に対応する電荷）と不要電荷（主に外光成分および光検出素子１の内部で発生するショットノイズに対応する電荷）との比を大きくとることができ、大きなＳＮ比が得られる。   In addition, after the charges are accumulated in the potential well 24 over a plurality of periods of the modulation signal, the charges are extracted to the outside of the light detection element 1 through the charge extraction unit 14. Charges are accumulated over a plurality of periods of the modulation signal because the period during which the photosensitive unit 11 generates usable charges within one period of the modulation signal is short (for example, if the frequency of the modulation signal is 20 MHz). This is because less than a quarter of 50 ns is generated. That is, by integrating charges for a plurality of periods of the modulation signal, signal charges (charges corresponding to light emitted from the light emission source 2) and unnecessary charges (mainly generated in the external light component and the light detection element 1). The charge corresponding to the shot noise) can be made large, and a large SN ratio can be obtained.

ところで、位相差ψを求めるのに必要な４区間の受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する電荷を１個の感光部１１で生成するとすれば、視線方向に関する分解能は高くなるが、各受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する電荷を求める時間差が大きくなるという問題が生じる。一方、各受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する電荷を４個の感光部１１でそれぞれ生成するとすれば、各受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する電荷を求める時間差は小さくなるが、４区間の電荷を求める視線方向にずれが生じ視線方向に関する分解能は低下する。そこで、２個の感光部１１を用いることにより、変調信号の１周期内で受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する電荷を２種類ずつ生成する構成を採用してもよい。つまり、２個の感光部１１を組にして用い、組になる２個の感光部１１に同じ視線方向からの光が入射するようにしてもよい。   By the way, if the charges corresponding to the received light amounts A0, A1, A2, and A3 of the four sections necessary for obtaining the phase difference ψ are generated by one photosensitive portion 11, the resolution in the line-of-sight direction is increased. There arises a problem that the time difference for obtaining the charges corresponding to the received light amounts A0, A1, A2, A3 becomes large. On the other hand, if the charges corresponding to the received light amounts A0, A1, A2, A3 are generated by the four photosensitive portions 11, respectively, the time difference for obtaining the charges corresponding to the received light amounts A0, A1, A2, A3 becomes small. However, a shift occurs in the line-of-sight direction for obtaining the charges in the four sections, and the resolution in the line-of-sight direction decreases. Therefore, a configuration in which two types of charges corresponding to the received light amounts A0, A1, A2, and A3 are generated by using two photosensitive portions 11 within one cycle of the modulation signal may be employed. That is, two photosensitive portions 11 may be used as a set, and light from the same line-of-sight direction may be incident on the two photosensitive portions 11 in the set.

この構成を採用することにより、視線方向の分解能を比較的高くし、かつ受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する電荷を生成する時間差を少なくすることができる。つまり、受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する電荷を生成する時間差を少なくしていることにより、対象空間の中で移動している対象物Ｏｂについても距離の検出精度を比較的高く保つことができる。なお、この構成では、１個の感光部１１で４区間の受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する電荷を生成する場合よりも視線方向の分解能が低下するが、視線方向の分解能については感光部１１の小型化や受光光学系１６の設計によって向上させることが可能である。   By adopting this configuration, the resolution in the line-of-sight direction can be made relatively high, and the time difference for generating charges corresponding to the received light amounts A0, A1, A2, and A3 can be reduced. That is, by reducing the time difference for generating charges corresponding to the received light amounts A0, A1, A2, and A3, the distance detection accuracy is kept relatively high even for the object Ob moving in the target space. be able to. In this configuration, the resolution in the line-of-sight direction is lower than that in the case where the charge corresponding to the received light amounts A0, A1, A2, and A3 in four sections is generated by one photosensitive unit 11, but the resolution in the line-of-sight direction is This can be improved by downsizing the photosensitive unit 11 or designing the light receiving optical system 16.

図１０に示した例では、１個の感光部１１について５個の制御電極２３を設けた例を示しているが、両側の２個の制御電極２３は、感光部１１で電荷（電子ｅ）を生成している間に隣接する感光部１１に電荷が流出するのを防止するための障壁を形成するものであって、２個の感光部１１を組にして用いる場合には隣接する感光部１１のポテンシャル井戸２４の間には、いずれかの感光部１１で障壁が形成されるから、各感光部１１には３個ずつの制御電極２３を設けるだけで足りることになる。この構成によって、感光部１１の１個当たりの占有面積が小さくなり、２個の感光部１１を組にして用いながらも視線方向の分解能の低下を抑制することが可能になる。   In the example shown in FIG. 10, an example in which five control electrodes 23 are provided for one photosensitive portion 11 is shown. However, the two control electrodes 23 on both sides are charged by the photosensitive portion 11 (electrons e). In the case where two photosensitive portions 11 are used as a pair, the adjacent photosensitive portions are formed. Since any one of the photosensitive portions 11 forms a barrier between the 11 potential wells 24, it is sufficient to provide three photosensitive electrodes 11 for each of the photosensitive portions 11. With this configuration, the occupation area per one photosensitive portion 11 is reduced, and it is possible to suppress a decrease in resolution in the line-of-sight direction while using the two photosensitive portions 11 as a set.

なお、上述した距離画像センサ１０の構成例では、受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する４区間を変調信号の１周期内で位相の間隔が９０度ずつになるように設定しているが、変調信号に対する位相が既知であれば４区間は９０度以外の適宜の間隔で設定することが可能である。ただし、間隔が異なれば位相差ψを求める算式は異なる。また、４区間の受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応した信号電荷を取り出す周期は、対象物Ｏｂの反射率および外光成分が変化せず、かつ位相差ψも変化しない時間内であれば、変調信号の１周期内で４区間の信号電荷を取り出すことも必須ではない。さらに、太陽光や照明光のような外乱光の影響があるときには、発光源２から放射される光の波長のみを透過させる光学フィルタを感光部１１の前に配置するのが望ましい。   In the configuration example of the distance image sensor 10 described above, four sections corresponding to the received light amounts A0, A1, A2, and A3 are set so that the phase interval is 90 degrees within one period of the modulation signal. However, if the phase with respect to the modulation signal is known, the four sections can be set at appropriate intervals other than 90 degrees. However, the formula for obtaining the phase difference ψ differs if the interval is different. In addition, the period for extracting the signal charges corresponding to the received light amounts A0, A1, A2, and A3 in the four sections may be within a time period in which the reflectance and the external light component of the object Ob do not change and the phase difference ψ does not change. For example, it is not essential to extract signal charges in four sections within one period of the modulation signal. Furthermore, when there is an influence of disturbance light such as sunlight or illumination light, it is desirable to dispose an optical filter that transmits only the wavelength of light emitted from the light source 2 in front of the photosensitive portion 11.

ところで、図１１（ａ）に示すように、基準座標系ＸＹＺにおける距離画像センサ１０の位置が（ｘ１，ｙ１，ｚ１）と表され、距離画像センサ１０に設定したセンサ座標系ｘｙｚでの対象物Ｏｂの座標位置が（ｘ２，ｙ２，ｚ２）と表され、さらに基準座標系ＸＹＺの各座標軸の回りでのセンサ座標系ｘｙｚの回転位置が（α，β，γ）で表されるとすれば、これらを用いて絶対座標系ＸＹＺにおける対象物Ｏｂの座標位置を表すことが可能になる。いま、センサ座標系ｘｙｚのｘｙ平面が基準座標系ＸＹＺのＸＹ平面と平行であるとすれば（つまり、距離画像センサ１０を水平に配置しているとすれば）、基準座標系ＸＹＺのＺ軸とセンサ座標系ｘｙｚのｚ軸とが平行になるから、基準座標系ＸＹＺに対するセンサ座標系ｘｙｚの回転はＺ軸回りの回転γのみを考慮すればよく、図１１（ｂ）から明らかなように、基準座標系ＸＹＺにおける対象物Ｏｂの座標位置は（ｘ１＋ｘ２・ｃｏｓγ＋ｙ２・ｓｉｎγ，ｙ１＋ｙ２・ｃｏｓγ−ｘ２・ｓｉｎγ，ｚ１＋ｚ２）になる。基準座標系ＸＹＺに対するセンサ座標系ｘｙｚの回転についてＸ軸回りおよびＹ軸回りの回転α，βも考慮する必要があるときには、座標変換の一般式を用いて対象物Ｏｂの座標位置を求めればよい。   By the way, as shown in FIG. 11A, the position of the distance image sensor 10 in the reference coordinate system XYZ is represented as (x1, y1, z1), and the object in the sensor coordinate system xyz set in the distance image sensor 10 is obtained. If the coordinate position of Ob is represented as (x2, y2, z2), and the rotational position of the sensor coordinate system xyz around each coordinate axis of the reference coordinate system XYZ is represented by (α, β, γ). These can be used to represent the coordinate position of the object Ob in the absolute coordinate system XYZ. Now, if the xy plane of the sensor coordinate system xyz is parallel to the XY plane of the reference coordinate system XYZ (that is, if the distance image sensor 10 is arranged horizontally), the Z axis of the reference coordinate system XYZ And the z-axis of the sensor coordinate system xyz are parallel to each other, the rotation of the sensor coordinate system xyz relative to the reference coordinate system XYZ only needs to take into account the rotation γ around the Z-axis, as is apparent from FIG. The coordinate position of the object Ob in the reference coordinate system XYZ is (x1 + x2 · cosγ + y2 · sinγ, y1 + y2 · cosγ−x2 · sinγ, z1 + z2). When it is necessary to consider the rotations α and β around the X axis and the Y axis for the rotation of the sensor coordinate system xyz relative to the reference coordinate system XYZ, the coordinate position of the object Ob may be obtained using a general formula for coordinate transformation. .

上述したように、センサ座標系ｘｙｚにより求めた対象物Ｏｂの座標位置（ｘ２，ｙ２，ｚ２）を基準座標系ＸＹＺの座標位置に変換するには、基準座標系ＸＹＺにおける距離画像センサ１０の座標位置（ｘ１，ｙ１，ｚ１）と、基準座標系ＸＹＺの各座標軸の回りでの距離画像センサ１０の回転位置（α，β，γ）とが必要である。そこで、図１に示すように、本実施形態では、距離画像センサ１０の座標位置（ｘ１，ｙ１，ｚ１）を求めるために、基準座標系における距離画像センサ１０の座標位置を特定する位置センサ５１を設け、基準座標系ＸＹＺの各座標軸の回りでの距離画像センサ１０の回転位置（α，β，γ）を求めるために、基準座標系において距離画像センサ１０で撮像している領域の方向を検出する方向センサ５２を設けている。   As described above, in order to convert the coordinate position (x2, y2, z2) of the object Ob obtained by the sensor coordinate system xyz into the coordinate position of the reference coordinate system XYZ, the coordinates of the distance image sensor 10 in the reference coordinate system XYZ. The position (x1, y1, z1) and the rotational position (α, β, γ) of the distance image sensor 10 around each coordinate axis of the reference coordinate system XYZ are required. Therefore, as shown in FIG. 1, in this embodiment, in order to obtain the coordinate position (x1, y1, z1) of the distance image sensor 10, a position sensor 51 that specifies the coordinate position of the distance image sensor 10 in the reference coordinate system. In order to obtain the rotational position (α, β, γ) of the distance image sensor 10 around each coordinate axis of the reference coordinate system XYZ, the direction of the area imaged by the distance image sensor 10 in the reference coordinate system is determined. A direction sensor 52 for detection is provided.

基準座標系は、対象物Ｏｂの地球上での位置の特定を必要とするときには、緯度および経度を用いて表される座標系であり、望ましくは緯度、経度、高度によって表される座標系になる。また、工場内や特定の地域内のような限られた空間での対象物Ｏｂの位置の特定を必要とするときには、対象物Ｏｂが移動する空間において設定された座標系を用いることができる。   The reference coordinate system is a coordinate system expressed using latitude and longitude when it is necessary to specify the position of the object Ob on the earth, and preferably a coordinate system expressed by latitude, longitude, and altitude. Become. Further, when it is necessary to specify the position of the object Ob in a limited space such as in a factory or in a specific area, a coordinate system set in a space in which the object Ob moves can be used.

前者の場合には、基準座標系における距離画像センサ１０の位置を特定する位置センサ５１として、ＧＰＳのように時刻毎の位置が既知である人工衛星を用いて距離画像センサ１０の位置を求める衛星測位システムを採用する。現状技術では位置センサ５１にＤＧＰＳの技術を採用することによって、基準座標系における距離画像センサ１０の位置を１〜数ｍ程度の精度で求めることができる。   In the former case, as a position sensor 51 that specifies the position of the distance image sensor 10 in the reference coordinate system, a satellite that obtains the position of the distance image sensor 10 using an artificial satellite whose position at each time is known, such as GPS. Adopt a positioning system. In the current technology, by adopting the DGPS technology for the position sensor 51, the position of the distance image sensor 10 in the reference coordinate system can be obtained with an accuracy of about 1 to several meters.

また、後者の場合には、距離画像センサ３０を搭載した移動体が移動する空間において基準座標系における座標位置が既知である適宜の複数位置にそれぞれ基地局を配置し、各基地局との間で電波を授受することにより各基地局との距離を求めて基準座標系における距離画像センサ１０の位置を特定する技術を採用する。基地局を用いた位置センサ５１は、電波航法の技術を用いて基地局との距離と基地局の方向とを検知できる構成のものであればどのようなものでもよい。   In the latter case, base stations are arranged at appropriate multiple positions where the coordinate positions in the reference coordinate system are known in the space in which the moving body on which the distance image sensor 30 is mounted moves. A technique for obtaining the distance from each base station by transmitting and receiving radio waves and identifying the position of the distance image sensor 10 in the reference coordinate system is adopted. The position sensor 51 using the base station may have any configuration as long as it can detect the distance to the base station and the direction of the base station using radio navigation technology.

一方、方向センサ５２としては、加速度センサおよびジャイロセンサを備えたものを用いる。すなわち、距離画像センサ１０による撮像される視野の方向が変化したときに、加速度センサではセンサ座標系の座標軸に沿う方向の成分を検出し、ジャイロセンサではセンサ座標系の座標軸の回りの回転の成分を検出する。したがって、方向センサ５２によって基準座標系に対するセンサ座標系の方向の変化を検出することができ、検出結果に基づいて上述した回転位置（α，β，γ）を算出することができる。   On the other hand, the direction sensor 52 includes an acceleration sensor and a gyro sensor. That is, when the direction of the field of view imaged by the distance image sensor 10 changes, the acceleration sensor detects a component in the direction along the coordinate axis of the sensor coordinate system, and the gyro sensor detects a component around the coordinate axis of the sensor coordinate system. Is detected. Therefore, a change in the direction of the sensor coordinate system relative to the reference coordinate system can be detected by the direction sensor 52, and the above-described rotational position (α, β, γ) can be calculated based on the detection result.

距離画像センサ１０で測定した対象物Ｏｂまでの距離と、位置センサ５１により特定した基準座標系での距離画像センサ１０の座標位置と、方向センサ５２により検出したセンサ座標系の方向（受光光学系５の基準座標系における光軸の方向）とは、データ記憶部５３に格納される。距離画像センサ１０で得られる距離画像は各画素値が距離値であり、各画素の位置はセンサ座標系における座標位置に対応している。また、位置センサ５１および方向センサ５２で検出される座標位置および方向は距離画像の１画面内では変化しないとみなしており、データ記憶部５３には、距離画像の各画面ごとの基準座標系での距離画像センサ１０の位置および方向が距離画像とともに格納される。   The distance to the object Ob measured by the distance image sensor 10, the coordinate position of the distance image sensor 10 in the reference coordinate system specified by the position sensor 51, and the direction of the sensor coordinate system detected by the direction sensor 52 (light receiving optical system) The direction of the optical axis in the reference coordinate system 5) is stored in the data storage unit 53. In the distance image obtained by the distance image sensor 10, each pixel value is a distance value, and the position of each pixel corresponds to the coordinate position in the sensor coordinate system. Further, it is assumed that the coordinate position and direction detected by the position sensor 51 and the direction sensor 52 do not change within one screen of the distance image, and the data storage unit 53 stores a reference coordinate system for each screen of the distance image. The position and direction of the distance image sensor 10 are stored together with the distance image.

データ記憶部５３に格納された距離画像と距離画像センサ１０の基準座標系での位置および方向は座標演算部５４に入力され、座標演算部５４では、基準座標系における距離画像センサ１０の座標位置および方向と距離画像とから、距離画像の１画面内の対象物Ｏｂについて基準座標系における座標位置を決定する。本実施形態は、電子地図に対象物Ｏｂの位置を記録することを目的としており、座標演算部５４で求めた位置は地図作製部３４に与えられる。地図作製部３４は、あらかじめ基準座標系に対応する座標位置が決められた電子地図を備えており、地図作製部５５では、座標演算部５４で求めた対象物Ｏｂの座標位置を電子地図上に記録する。   The distance image stored in the data storage unit 53 and the position and direction of the distance image sensor 10 in the reference coordinate system are input to the coordinate calculation unit 54, and the coordinate calculation unit 54 stores the coordinate position of the distance image sensor 10 in the reference coordinate system. The coordinate position in the reference coordinate system is determined for the object Ob in one screen of the distance image from the direction and the distance image. The present embodiment aims to record the position of the object Ob on the electronic map, and the position obtained by the coordinate calculation unit 54 is given to the map creation unit 34. The map preparation unit 34 includes an electronic map in which coordinate positions corresponding to the reference coordinate system are determined in advance. In the map preparation unit 55, the coordinate position of the object Ob obtained by the coordinate calculation unit 54 is displayed on the electronic map. Record.

地図作製部５５には対象物Ｏｂの種類を選択する機能があり、地図作製部５５に付設した対象物指定装置５６を操作することによって、電子地図において座標位置ごとに対象物Ｏｂを対応付けて記録することが可能になっている。対象物指定装置５６は、電子地図を表示するＣＲＴあるいは液晶表示器からなるモニタ装置と、対象物Ｏｂのシンボルを一覧表示したパレットをモニタ装置の画面内に表示するプログラムを実行するコンピュータと、パレットから所望のシンボルを選択するマウスのようなポインティングデバイスとからなる。図１２に示すように、電子地図ＥＭにおいて座標位置を記録した後に対象物Ｏｂを対応付けていない部位には、対象物Ｏｂが未指定であることを示すマークＭＫが表示され、ポインティングデバイスで選択したパレットＰＬ上のシンボルＳＹを、ドラッグアンドドロップの操作によってマークＭＫの位置付近に移動させると、当該シンボルがマークＳＹに対応する部位に貼り付けられるようになっている。   The map preparation unit 55 has a function of selecting the type of the object Ob. By operating the object specifying device 56 attached to the map preparation unit 55, the object Ob is associated with each coordinate position on the electronic map. It is possible to record. The object designating device 56 includes a monitor device composed of a CRT or a liquid crystal display for displaying an electronic map, a computer for executing a program for displaying a palette displaying a list of symbols of the object Ob on the screen of the monitor device, a palette And a pointing device such as a mouse for selecting a desired symbol. As shown in FIG. 12, a mark MK indicating that the object Ob is not specified is displayed on the part where the object Ob is not associated after the coordinate position is recorded in the electronic map EM, and is selected by the pointing device. When the symbol SY on the pallet PL is moved near the position of the mark MK by a drag-and-drop operation, the symbol is pasted on the part corresponding to the mark SY.

なお、理論上は距離画像の１画面内のすべての画素について基準座標系における座標位置を求めることが可能であるが、距離画像内において座標位置を特定しようとする対象物Ｏｂに対応した領域は画面内の一部の領域であり、また距離画像内にはノイズも含まれるから、電子地図に対象物Ｏｂを記録する座標位置は選択しなければならない。本実施形態では、電子地図に座標位置を記録する対象物Ｏｂの選択作業は手作業で行うようにしてあり、対象物Ｏｂの選択作業のために、距離画像を表示するためのＣＲＴや液晶表示器などからなるモニタ装置５７と、距離画像において所望の領域を指定するマウスのようなポインティングデバイスからなる領域指定装置５８とを設けている。   Theoretically, it is possible to obtain the coordinate position in the reference coordinate system for all the pixels in one screen of the distance image, but the region corresponding to the object Ob for which the coordinate position is to be specified in the distance image is Since this is a partial area in the screen, and the distance image includes noise, the coordinate position for recording the object Ob on the electronic map must be selected. In the present embodiment, the selection operation of the object Ob for recording the coordinate position on the electronic map is performed manually, and a CRT or liquid crystal display for displaying a distance image is used for the selection operation of the object Ob. A monitor device 57 composed of a device and the like, and an area designating device 58 composed of a pointing device such as a mouse for designating a desired region in the distance image.

距離画像から対象物Ｏｂを選択する際には、距離画像内で対象物Ｏｂが存在する領域をモニタ装置５７により確認し、領域指定装置５８で当該領域に距離画像内で移動可能なポインタ（カーソル）の位置を合わせてクリックの操作を行うと、当該領域を対象物Ｏｂの存在部位として指定することができる。基準座標系における座標位置を求める演算は領域指定装置５８で指定した領域についてのみ行い、距離画像内の他の領域については座標位置を求める演算を行わないようにしてある。したがって、距離画像内のすべての画素ごとに基準座標系における座標位置を求める場合に比較すれば、座標位置を求める演算の演算量を大幅に低減することができる。   When selecting the object Ob from the distance image, the monitor device 57 confirms the area where the object Ob exists in the distance image, and the area designating device 58 moves the pointer to the area within the distance image (cursor). ) To perform the click operation, the region can be designated as the location of the object Ob. The calculation for obtaining the coordinate position in the reference coordinate system is performed only for the region designated by the region designation device 58, and the computation for obtaining the coordinate position is not performed for other regions in the distance image. Therefore, compared with the case where the coordinate position in the reference coordinate system is obtained for every pixel in the distance image, the amount of calculation for obtaining the coordinate position can be greatly reduced.

ところで、対象物Ｏｂには大きさがあるから、対象物Ｏｂが存在する領域を指定する際に、同じ対象物Ｏｂであっても指定する位置によって座標位置にずれが生じる。座標位置のずれを無視できる小さい対象物Ｏｂであれば問題は生じないが、座標位置のずれを無視できない大きい対象物Ｏｂであると、電子地図において対象物Ｏｂを対応付ける座標位置がずれるという問題を生じる。そこで、電子地図上における対象物Ｏｂの座標位置は、対象物Ｏｂごとに規定した代表位置を用いるのが望ましい。代表位置としては、対象物Ｏｂの占める領域が既知であれば対象物Ｏｂの中心位置や重心位置を用いればよく、また利用者が指定した位置を含む規定の領域内で距離値が規定の範囲内である画素の重心位置を用いることができる。なお、小さい対象物Ｏｂでは利用者が指定した位置を代表位置に用いればよい。   By the way, since the object Ob has a size, when designating a region where the object Ob exists, the coordinate position is shifted depending on the designated position even if the object Ob is the same. There is no problem if the object Ob is a small object Ob that can ignore the displacement of the coordinate position. However, if the object Ob is a large object Ob that cannot disregard the displacement of the coordinate position, the coordinate position corresponding to the object Ob in the electronic map is shifted. Arise. Therefore, it is desirable to use a representative position defined for each object Ob as the coordinate position of the object Ob on the electronic map. As the representative position, if the area occupied by the object Ob is known, the center position and the center of gravity position of the object Ob may be used, and the distance value is within a specified range within the specified area including the position specified by the user. The barycentric position of the pixel inside can be used. For small objects Ob, the position designated by the user may be used as the representative position.

上述の例では利用者の手作業で対象物Ｏｂを抽出しているが、対象物Ｏｂの形状が既知である場合には、テンプレートマッチングの技術を用いて距離画像から対象物Ｏｂを自動的に抽出してもよい。この場合には、テンプレートに規定した代表位置を、テンプレートとマッチングした対象物Ｏｂの代表位置とすることができる。   In the above example, the object Ob is manually extracted by the user. However, when the shape of the object Ob is known, the object Ob is automatically extracted from the distance image using the template matching technique. It may be extracted. In this case, the representative position defined in the template can be used as the representative position of the object Ob matched with the template.

上述した構成例では、距離画像の中で対象物Ｏｂを指定しているが、距離画像は画素値が距離値であるから、手作業で対象物Ｏｂを指定する場合に距離画像を見慣れていなければ対象物Ｏｂを見つけだす作業に手間がかかる。   In the above configuration example, the object Ob is specified in the distance image. However, since the pixel value of the distance image is a distance value, the distance image must be used to manually specify the object Ob. For example, it takes time to find the object Ob.

一方、上述した距離画像センサ１０では、各感光部１１において受光光量に応じた量の電荷を生成するから、各受光光量Ａ０、Ａ１、Ａ２、Ａ３は対象物Ｏｂの明るさを反映している。つまり、受光光量Ａ０、Ａ１、Ａ２、Ａ３の加算値あるいは平均値は濃淡画像における濃度値に相当する。換言すれば、各感光部１１での受光光量Ａ０、Ａ１、Ａ２、Ａ３を用いると、対象物Ｏｂまでの距離を求めるほか、対象物Ｏｂの濃度値も得ることが可能になる。しかも、同じ位置の感光部１１を用いて対象物Ｏｂの距離と濃度値とを求めるから、同じ位置について濃度値と距離との両方の情報を得ることが可能になる。つまり、画像生成部４において距離画像とともに濃淡画像を生成すれば、同じ感光部１１から距離画像と濃淡画像とを生成することができ、対象空間の同じ位置についてほぼ同時刻の距離値と濃度値とを求めることが可能になる。濃淡画像は受光光量Ａ０、Ａ１、Ａ２、Ａ３の平均値（つまり、直流成分Ｂ）を濃淡値に用いるようにすれば、発光源２からの強度変調の光の影響を除去できる。ただし、距離画像を生成する際の光検出素子１への外光成分の入射を低減するために、発光源２から赤外線を対象空間に照射し、光検出素子１の前方に赤外線透過フィルタを配置してあり、濃淡画像は赤外線に対する濃淡画像になる。   On the other hand, since the distance image sensor 10 described above generates an amount of electric charge corresponding to the amount of received light in each photosensitive portion 11, each of the received light amounts A0, A1, A2, A3 reflects the brightness of the object Ob. . That is, the added value or average value of the received light amounts A0, A1, A2, A3 corresponds to the density value in the grayscale image. In other words, when the received light amounts A0, A1, A2, and A3 at the respective photosensitive portions 11 are used, it is possible to obtain the density value of the object Ob in addition to obtaining the distance to the object Ob. In addition, since the distance and the density value of the object Ob are obtained using the photosensitive portion 11 at the same position, it is possible to obtain information on both the density value and the distance at the same position. That is, if the image generation unit 4 generates a grayscale image together with the distance image, a distance image and a grayscale image can be generated from the same photosensitive unit 11, and the distance value and the density value at substantially the same time for the same position in the target space. It becomes possible to ask. If the average value (that is, DC component B) of the received light amounts A0, A1, A2, and A3 is used for the grayscale image, the influence of the intensity-modulated light from the light source 2 can be removed. However, in order to reduce the incidence of external light components on the light detection element 1 when generating a distance image, the target space is irradiated with infrared light from the light source 2 and an infrared transmission filter is disposed in front of the light detection element 1. Therefore, the grayscale image becomes a grayscale image with respect to infrared rays.

光検出素子１の出力を用いて画像生成部４において距離画像と濃淡画像とを生成すれば、モニタ装置５７において濃淡画像を表示し、濃淡画像において対象物Ｏｂを指定することが可能になる。つまり、距離画像に慣れていない利用者であっても濃淡画像を用いて対象物Ｏｂを比較的容易に指定することが可能になる。   If a distance image and a grayscale image are generated in the image generation unit 4 using the output of the light detection element 1, it is possible to display the grayscale image on the monitor device 57 and to specify the object Ob in the grayscale image. That is, even a user who is not familiar with the distance image can specify the object Ob relatively easily using the grayscale image.

本実施形態では電子地図上において基準座標系での対象物Ｏｂの座標位置を容易に記録することができるから、地球上での対象物Ｏｂの座標位置を緯度、経度、高度によって特定する用途に用いれば、道路標識や消火栓などを対象物Ｏｂとして撮像するだけで、道路標識や消火栓などが存在する場所を電子地図に容易に記録することができる。また、市中などにおいて距離画像センサ１０を用いて撮像可能な範囲内に複数の対象物Ｏｂが存在する場合には、距離画像センサ１０の位置を移動させることなく複数の対象物Ｏｂの存在場所を計測することができる。さらにまた、自動車のような移動体に距離画像センサ１０を搭載し、対象物Ｏｂが距離画像内に映り込むように距離画像センサ１０によって動画像を撮像しながら移動体を移動させれば、多数の対象物Ｏｂについて存在場所の情報を記録することができるから、撮像後にデータ記憶部５３に記録されたデータから所望の対象物Ｏｂを指定して電子地図に対象物Ｏｂの位置を記録することができ、電子地図への対象物Ｏｂの記入作業の作業量を大幅に低減することが可能になる。   In this embodiment, since the coordinate position of the object Ob in the reference coordinate system can be easily recorded on the electronic map, the coordinate position of the object Ob on the earth is specified by latitude, longitude, and altitude. If it is used, the location where the road sign, the fire hydrant, etc. exist can be easily recorded on the electronic map only by imaging the road sign, the fire hydrant, etc. as the object Ob. In addition, when there are a plurality of objects Ob within a range that can be imaged using the distance image sensor 10 in a city or the like, the locations where the plurality of objects Ob exist without moving the position of the distance image sensor 10. Can be measured. Furthermore, if the distance image sensor 10 is mounted on a moving body such as an automobile and the moving body is moved while the moving image is captured by the distance image sensor 10 so that the object Ob is reflected in the distance image, a large number can be obtained. Since the information on the location of the target object Ob can be recorded, the desired object Ob is designated from the data recorded in the data storage unit 53 after imaging, and the position of the target object Ob is recorded on the electronic map. This makes it possible to greatly reduce the amount of work for filling the object Ob on the electronic map.

また、工場内で物品を搬送する自律走行型のロボット（自律搬送車）に搭載する電子地図（工場内のマップ）を作製する場合には、ロボットに距離画像センサ１０を搭載して手動でロボットを走行させて工場内の設備を撮像し、距離画像内で設備の位置を指定すれば設備の位置を記録した電子地図を作製することができ、ロボットが保有する電子地図の作製作業が容易になる。   Also, when creating an electronic map (map in a factory) to be mounted on an autonomously traveling robot (autonomous transport vehicle) that transports articles in a factory, the robot is manually equipped with a distance image sensor 10 mounted on the robot. You can create an electronic map that records the location of the equipment if you specify the location of the equipment in the distance image by running the image of the equipment in the factory, making it easy to create the electronic map possessed by the robot Become.

なお、上述した実施形態において、距離センサとして距離画像センサ１０を用いる例を示したが、光ビームによって点状の光パターンを対象物Ｏｂに照射し、対象物Ｏｂに形成される光パターンの位置をＰＳＤのような位置検出素子で検出することにより三角測量法の原理を用いて対象物Ｏｂまでの距離を求める距離センサや、超音波を対象物Ｏｂにより反射させ超音波の送波と受波との時間差を利用して対象物Ｏｂまでの距離を求める距離センサなどを用いることも可能である。   In the above-described embodiment, an example in which the distance image sensor 10 is used as the distance sensor has been described. However, the position of the light pattern formed on the object Ob by irradiating the object Ob with a spot-like light pattern with a light beam. Is detected by a position detection element such as a PSD, and a distance sensor that obtains the distance to the object Ob using the principle of triangulation, or the transmission and reception of ultrasonic waves by reflecting the ultrasonic waves by the object Ob. It is also possible to use a distance sensor that obtains the distance to the object Ob using the time difference between

本発明の実施形態を示すブロック図である。It is a block diagram which shows embodiment of this invention. 同上の動作説明図である。It is operation | movement explanatory drawing same as the above. 同上における感度制御部の構成例を示すブロック図である。It is a block diagram which shows the structural example of the sensitivity control part in the same as the above. 同上の動作例を示す説明図である。It is explanatory drawing which shows the operation example same as the above. 同上の他の動作例を示す説明図である。It is explanatory drawing which shows the other operation example same as the above. 同上のさらに他の動作例を示す説明図である。It is explanatory drawing which shows the other example of an operation same as the above. 同上に用いる光検出素子の構成例を示す平面図である。It is a top view which shows the structural example of the photon detection element used for the same as the above. 図７に示した光検出素子の要部分解斜視図である。It is a principal part disassembled perspective view of the photon detection element shown in FIG. 図８のＡ−Ａ線断面図である。It is the sectional view on the AA line of FIG. 同上に用いる光検出素子の要部の動作説明図である。It is operation | movement explanatory drawing of the principal part of the photon detection element used for the same as the above. 同上における座標位置の算出原理を示す説明図である。It is explanatory drawing which shows the calculation principle of a coordinate position in the same as the above. 同上の操作例を示す説明図である。It is explanatory drawing which shows the example of operation same as the above.

符号の説明Explanation of symbols

１ 光検出素子
２ 発光源
３ 制御回路部
４ 画像生成部
５ 受光光学系
１１ 感光部
５１ 位置センサ
５２ 方向センサ
５３ データ記憶部
５４ 座標演算部
５５ 地図作製部
５６ 対象物指定装置
５７ モニタ装置
５８ 領域指定装置
Ｏｂ 対象物 DESCRIPTION OF SYMBOLS 1 Photodetection element 2 Light emission source 3 Control circuit part 4 Image generation part 5 Light reception optical system 11 Photosensitive part 51 Position sensor 52 Direction sensor 53 Data storage part 54 Coordinate calculating part 55 Map preparation part 56 Object designation apparatus 57 Monitor apparatus 58 Area | region Specified device Ob Object

Claims (6)

対象空間に光を照射するとともに対象空間に照射した光の反射光を含む光を受光し照射光と反射光との関係により対象物までの距離を測定する距離センサと、距離センサを移動させる空間を規定する基準座標系において距離センサで距離を測定する方向を検出する方向センサと、基準座標系において距離センサの座標位置を特定する位置センサと、位置センサと方向センサと距離センサとにより得られる座標位置と方向と距離とから基準座標系における対象物の座標位置を決定する座標演算部とを備えることを特徴とする測量装置。   A distance sensor that irradiates light to the target space and receives light including reflected light of the light irradiated to the target space and measures the distance to the target object based on the relationship between the irradiated light and the reflected light, and a space for moving the distance sensor Obtained by a direction sensor that detects a direction in which a distance is measured by a distance sensor in a reference coordinate system that defines the position, a position sensor that specifies a coordinate position of the distance sensor in the reference coordinate system, a position sensor, a direction sensor, and a distance sensor A surveying apparatus comprising: a coordinate calculation unit that determines a coordinate position of an object in a reference coordinate system from a coordinate position, a direction, and a distance. 前記基準座標系は少なくとも緯度および経度を用いて表される座標系であり、基準座標系に対応する座標位置が決められている電子地図上において、座標演算部で決定された対象物の座標位置に対象物を記録する地図作製部が付加されたことを特徴とする請求項１記載の測量装置。   The reference coordinate system is a coordinate system expressed using at least latitude and longitude, and the coordinate position of the object determined by the coordinate calculation unit on the electronic map where the coordinate position corresponding to the reference coordinate system is determined The surveying apparatus according to claim 1, further comprising a map preparation unit for recording an object. 前記基準座標系は前記距離センサを搭載した自律走行型のロボットが移動する空間において設定され、ロボットが保有しかつ当該空間について基準座標系に対応する座標位置が決められている電子地図上において、座標演算部で決定された対象物の座標位置に対象物を記録する地図作製部が付加されたことを特徴とする請求項１記載の測量装置。   The reference coordinate system is set in a space where an autonomous traveling robot equipped with the distance sensor moves, and the electronic map that the robot has and the coordinate position corresponding to the reference coordinate system is determined for the space, 2. The surveying apparatus according to claim 1, further comprising a map creating unit for recording the object at the coordinate position of the object determined by the coordinate calculation unit. 前記距離センサは、強度が周期的に変化する強度変調光を対象空間に照射する発光源と、受光光量に応じた電気出力を発生する複数個の感光部が配列され対象空間を撮像する光検出素子と、発光源から対象空間に照射された光が対象空間内の対象物で反射され各感光部で受光されるまでの強度変調光の位相差を対象物までの距離に換算することにより画素値が距離値である距離画像を生成する画像生成部とを備えることを特徴とする請求項１ないし請求項３のいずれか１項に記載の測量装置。   The distance sensor is a light detection method in which a light source that irradiates the target space with intensity-modulated light whose intensity periodically changes and a plurality of photosensitive units that generate electrical output according to the amount of received light are arranged to image the target space. The pixel is obtained by converting the phase difference of the intensity-modulated light from the element and the light emitted from the light source to the target space until the light reflected by the target in the target space and received by each photosensitive unit is converted into the distance to the target. The surveying apparatus according to claim 1, further comprising an image generation unit that generates a distance image whose value is a distance value. 前記距離センサは、強度が周期的に変化する強度変調光を対象空間に照射する発光源と、受光光量に応じた電気出力を発生する複数個の感光部が配列され対象空間を撮像する光検出素子と、発光源から対象空間に照射された光が対象空間内の対象物で反射され各感光部で受光されるまでの強度変調光の位相差を対象物までの距離に換算することにより求めた距離値を画素値とする距離画像と各感光部の受光光量である濃淡値を画素値とする濃淡画像とを同じ感光部の受光光量からそれぞれ生成する画像生成部とを備えることを特徴とする請求項１ないし請求項３のいずれか１項に記載の測量装置。   The distance sensor is a light detection method in which a light source that irradiates the target space with intensity-modulated light whose intensity periodically changes and a plurality of photosensitive units that generate electrical output according to the amount of received light are arranged to image the target space. It is obtained by converting the phase difference of intensity-modulated light from the element and the light irradiated to the target space from the light source to the distance to the target until it is reflected by the target in the target space and received by each photosensitive part. An image generation unit that generates a distance image having a pixel value as a distance value and a grayscale image having a gray value that is a light reception amount of each photosensitive unit as a pixel value from a light reception amount of the same photosensitive unit. The surveying instrument according to any one of claims 1 to 3. 前記画像生成部で生成された濃淡画像を画面上に表示するモニタ装置と、モニタ装置に表示される濃淡画像において対象物を指定する領域指定装置とを備え、前記地図作製部は、領域指定装置で指定された対象物の座標位置を電子地図上に記録することを特徴とする請求項５記載の測量装置。   A monitor device for displaying the grayscale image generated by the image generation unit on a screen; and an area designating device for designating an object in the grayscale image displayed on the monitor device. The surveying apparatus according to claim 5, wherein the coordinate position of the object specified in is recorded on an electronic map.
JP2004347714A 2004-11-30 2004-11-30 Surveying equipment Pending JP2006153772A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004347714A JP2006153772A (en) 2004-11-30 2004-11-30 Surveying equipment

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004347714A JP2006153772A (en) 2004-11-30 2004-11-30 Surveying equipment

Publications (1)

Publication Number Publication Date
JP2006153772A true JP2006153772A (en) 2006-06-15

Family

ID=36632245

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004347714A Pending JP2006153772A (en) 2004-11-30 2004-11-30 Surveying equipment

Country Status (1)

Country Link
JP (1) JP2006153772A (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011158346A (en) * 2010-02-01 2011-08-18 Furuno Electric Co Ltd Image processing device, radar device, image processing method, and image processing program
JP2013092456A (en) * 2011-10-26 2013-05-16 Topcon Corp Image measuring device
JP2014173922A (en) * 2013-03-07 2014-09-22 Omron Corp Imaging apparatus, rotation angle estimation method, and rotation angle estimation program
JP2018066609A (en) * 2016-10-18 2018-04-26 株式会社リコー Range-finding device, supervising camera, three-dimensional measurement device, moving body, robot and range-finding method
CN114777730A (en) * 2022-06-16 2022-07-22 航天宏图信息技术股份有限公司 Method and device for calculating altitude of ground-based sun
CN115183676A (en) * 2022-09-09 2022-10-14 山东骏骐机器人科技有限公司 Posture adjusting sensor for moving object linear navigation

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001091253A (en) * 1999-09-27 2001-04-06 Asahi Optical Co Ltd Detecting system of map coordinates of range finding device
JP2001268445A (en) * 2000-03-15 2001-09-28 Fuji Xerox Co Ltd Photosensor and three-dimensional shape measuring device
JP2002031528A (en) * 2000-07-14 2002-01-31 Asia Air Survey Co Ltd Space information generating device for mobile mapping
JP2004032682A (en) * 2002-04-08 2004-01-29 Matsushita Electric Works Ltd Free space information detector using intensity modulated light
JP2004356594A (en) * 2003-05-30 2004-12-16 Matsushita Electric Works Ltd Detector of spatial information using intensity modulating light

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001091253A (en) * 1999-09-27 2001-04-06 Asahi Optical Co Ltd Detecting system of map coordinates of range finding device
JP2001268445A (en) * 2000-03-15 2001-09-28 Fuji Xerox Co Ltd Photosensor and three-dimensional shape measuring device
JP2002031528A (en) * 2000-07-14 2002-01-31 Asia Air Survey Co Ltd Space information generating device for mobile mapping
JP2004032682A (en) * 2002-04-08 2004-01-29 Matsushita Electric Works Ltd Free space information detector using intensity modulated light
JP2004356594A (en) * 2003-05-30 2004-12-16 Matsushita Electric Works Ltd Detector of spatial information using intensity modulating light

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011158346A (en) * 2010-02-01 2011-08-18 Furuno Electric Co Ltd Image processing device, radar device, image processing method, and image processing program
JP2013092456A (en) * 2011-10-26 2013-05-16 Topcon Corp Image measuring device
JP2014173922A (en) * 2013-03-07 2014-09-22 Omron Corp Imaging apparatus, rotation angle estimation method, and rotation angle estimation program
JP2018066609A (en) * 2016-10-18 2018-04-26 株式会社リコー Range-finding device, supervising camera, three-dimensional measurement device, moving body, robot and range-finding method
CN114777730A (en) * 2022-06-16 2022-07-22 航天宏图信息技术股份有限公司 Method and device for calculating altitude of ground-based sun
CN114777730B (en) * 2022-06-16 2022-09-02 航天宏图信息技术股份有限公司 Method and device for calculating altitude of ground-based sun
CN115183676A (en) * 2022-09-09 2022-10-14 山东骏骐机器人科技有限公司 Posture adjusting sensor for moving object linear navigation
CN115183676B (en) * 2022-09-09 2022-11-25 山东骏骐机器人科技有限公司 Posture adjusting sensor for moving object linear navigation

Similar Documents

Publication Publication Date Title
US10928523B2 (en) Accuracy of global navigation satellite system based positioning using high definition map based localization
Puente et al. Land-based mobile laser scanning systems: a review
US7973819B2 (en) Method and apparatus for determining the position of a moving object, by using visible light communication
Huang et al. A high-rate, heterogeneous data set from the darpa urban challenge
KR101800905B1 (en) Multi-resolution digital large format camera with multiple detector arrays
JP4715216B2 (en) Ranging device
US11796682B2 (en) Methods for geospatial positioning and portable positioning devices thereof
KR101105606B1 (en) The method and apparatus of topographical map data with movement multi sensor moudle
KR20120095936A (en) Large format digital camera with multiple optical systems and detector arrays
JP4363296B2 (en) Distance image sensor
JP6178704B2 (en) Measuring point height assigning system, measuring point height assigning method, and measuring point height assigning program
US10190909B2 (en) Path detection system based on solar blind ultraviolet light signals
Haala et al. Hybrid georeferencing of images and LiDAR data for UAV-based point cloud collection at millimetre accuracy
JP2006172210A (en) Distance image sensor for vehicle, and obstacle monitoring device using the same
JP2006153772A (en) Surveying equipment
JP4543904B2 (en) Distance image sensor
US20230334850A1 (en) Map data co-registration and localization system and method
CN111121727A (en) Image control point target system and method for unmanned aerial vehicle measurement and airborne laser radar
EP1899889A2 (en) Method and apparatus for determining a location associated with an image
JP2001124544A (en) Distance-measuring device
KR20130002834A (en) Method for autonomous movement and apparatus thereof
JP4432744B2 (en) Image processing device
JP6470658B2 (en) Laser measurement system and laser measurement method
JP4645177B2 (en) Measuring device
Shi et al. Reference-plane-based approach for accuracy assessment of mobile mapping point clouds

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070615

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090903

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090908

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091109

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100223

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100622