JPH09196632A - Spectrometer for three-dimensional measurement - Google Patents

Spectrometer for three-dimensional measurement

Info

Publication number
JPH09196632A
JPH09196632A JP8274579A JP27457996A JPH09196632A JP H09196632 A JPH09196632 A JP H09196632A JP 8274579 A JP8274579 A JP 8274579A JP 27457996 A JP27457996 A JP 27457996A JP H09196632 A JPH09196632 A JP H09196632A
Authority
JP
Japan
Prior art keywords
light
measurement
image
slit
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP8274579A
Other languages
Japanese (ja)
Other versions
JP3235485B2 (en
Inventor
Akira Yahashi
暁 矢橋
Toshio Norita
寿夫 糊田
Makoto Miyazaki
誠 宮崎
Tadashi Fukumoto
忠士 福本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Minolta Co Ltd
Original Assignee
Minolta Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Minolta Co Ltd filed Critical Minolta Co Ltd
Priority to JP27457996A priority Critical patent/JP3235485B2/en
Priority to US08/748,325 priority patent/US6141105A/en
Publication of JPH09196632A publication Critical patent/JPH09196632A/en
Priority to US09/676,767 priority patent/US6529280B1/en
Application granted granted Critical
Publication of JP3235485B2 publication Critical patent/JP3235485B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Abstract

PROBLEM TO BE SOLVED: To enable a monitor image having the same angle of view as that of a distant image to be formed and also reduce influence of environmental light by providing a spectrometric means or the like for separating light in a wavelength band including a specific wavelength from other light. SOLUTION: Light UC incident from a zoom unit enter a color separation film 521 (spectrometric means) through an LPF 527 and a prism 522. Light UO in a laser oscillation band is reflected on the color separation film 521 and reflected on an incident face 522a of the prism 522, and then it is emitted from an emission face 522b. Light which has transmitted through an infrared ray cutting filter 524 and a visible cut filter 525 among the emitted light UO is received by an image sensor 53. On the other hand, light CO which has transmitted through the color separation film 521 is emitted from an emission face 523b. Light which has transmitted through an infrared ray cutting filler 526 and an LPF 528 among the emitted light CO is received by a color image sensor 54. Thus influence of environmental light can be reduced.

Description

【発明の詳細な説明】Detailed Description of the Invention

【０００１】[0001]

【発明の属する技術分野】本発明は、物体にスリット光
などの光を照射して物体形状を非接触で計測する３次元
計測のための装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a three-dimensional apparatus for irradiating an object with light such as slit light to measure the shape of the object in a non-contact manner.

【０００２】[0002]

【従来の技術】レンジファインダと呼称される非接触型
の３次元計測装置は、接触型に比べて高速の計測が可能
であることから、ＣＧシステムやＣＡＤシステムへのデ
ータ入力、身体計測、ロボットの視覚認識などに利用さ
れている。2. Description of the Related Art A non-contact type three-dimensional measuring device called a range finder can perform higher-speed measurement than a contact type. Therefore, data input to a CG system or CAD system, body measurement, robot It is used for visual recognition.

【０００３】レンジファインダに好適な計測方法として
スリット光投影法（光切断法ともいう）が知られてい
る。この方法は、物体を光学的に走査して３次元画像
（距離画像）を得る方法であり、特定の検出光を照射し
て物体を撮影する能動的計測方法の一種である。３次元
画像は、物体上の複数の部位の３次元位置を示す画素の
集合である。スリット光投影法では、検出光として断面
が直線状のスリット光が用いられる。[0003] As a measurement method suitable for a range finder, a slit light projection method (also called a light cutting method) is known. This method is a method of obtaining a three-dimensional image (distance image) by optically scanning an object, and is a kind of an active measurement method of irradiating specific detection light and photographing the object. The three-dimensional image is a set of pixels indicating the three-dimensional positions of a plurality of parts on the object. In the slit light projection method, a slit light having a linear cross section is used as detection light.

【０００４】図４６はスリット光投影法の概要を示す
図、図４７はスリット光投影法による計測の原理を説明
するための図である。計測対象の物体Ｑに断面が細い帯
状のスリット光Ｕを投射し、その反射光を例えば２次元
イメージセンサの撮像面Ｓ２に入射させる〔図４６
（ａ）〕。物体Ｑの照射部分が平坦であれば、撮影像
（スリット画像）は直線になる〔図４６（ｂ）〕。照射
部分に凹凸があれば、直線が曲がったり階段状になった
りする〔図４６（ｃ）〕。つまり、計測装置と物体Ｑと
の距離の大小が撮像面Ｓ２における反射光の入射位置に
反映する〔図４６（ｄ）〕。スリット光Ｕをその幅方向
に偏向して投射方向を起点Ａの周りに変移させることに
より、受光側から見える範囲の物体表面を走査して３次
元位置をサンプリングすることができる。サンプリング
点数はイメージセンサの画素数に依存する。FIG. 46 is a diagram showing an outline of the slit light projection method, and FIG. 47 is a diagram for explaining the principle of measurement by the slit light projection method. The slit light U having a narrow cross section is projected on the object Q to be measured, and the reflected light is incident on the imaging surface S2 of the two-dimensional image sensor, for example [FIG. 46].
(A)]. If the irradiated portion of the object Q is flat, the captured image (slit image) becomes a straight line (FIG. 46B). If the irradiated portion has irregularities, the straight line may be bent or stepped (FIG. 46C). That is, the magnitude of the distance between the measurement device and the object Q reflects on the incident position of the reflected light on the imaging surface S2 (FIG. 46D). By deflecting the slit light U in its width direction and shifting the projection direction around the starting point A, it is possible to scan the object surface in the range visible from the light receiving side and sample the three-dimensional position. The number of sampling points depends on the number of pixels of the image sensor.

【０００５】図４７において、投光の起点Ａと受光系の
レンズの主点Ｏとを結ぶ基線ＡＯが受光軸と垂直になる
ように、投光系と受光系とが配置されている。受光軸は
撮像面Ｓ２に対して垂直である。なお、レンズの主点と
は、有限遠の被写体の像が撮像面Ｓ２に結像したとき
の、いわゆる像距離（image distance）ｂだけ撮像面Ｓ
２から離れた受光軸上の点である。像距離ｂは、受光系
の焦点距離ｆとピント調整のためのレンズ繰出し量との
和である。In FIG. 47, the light projecting system and the light receiving system are arranged such that the base line AO connecting the starting point A of light projection and the principal point O of the lens of the light receiving system is perpendicular to the light receiving axis. The light receiving axis is perpendicular to the image pickup surface S2. Note that the principal point of the lens is defined as an image distance S by a so-called image distance (image distance) b when an image of a subject at a finite distance is formed on the imaging surface S2.
It is a point on the light receiving axis away from 2. The image distance b is the sum of the focal length f of the light receiving system and the lens extension for focus adjustment.

【０００６】主点Ｏを３次元直交座標系の原点とする。
受光軸がＺ軸、基線ＡＯがＹ軸、スリット光の長さ方向
がＸ軸である。スリット光Ｕが物体上の点Ｐ（Ｘ，Ｙ，
Ｚ）を照射したときの投光軸と投光基準面（受光軸と平
行な投光面）との角度をθａ、受光角をθｐとすると、
点Ｐの座標Ｚは次の式で表される。The principal point O is defined as the origin of a three-dimensional rectangular coordinate system.
The light receiving axis is the Z axis, the base line AO is the Y axis, and the length direction of the slit light is the X axis. When the slit light U reaches a point P (X, Y,
When the angle between the light projecting axis and the light projecting reference plane (the light projecting surface parallel to the light receiving axis) when irradiating Z) is θa and the light receiving angle is θp,
The coordinate Z of the point P is represented by the following equation.

【０００７】 基線長Ｌ＝Ｌ１＋Ｌ２＝Ｚｔａｎθａ＋Ｚｔａｎθｐ ∴ Ｚ＝Ｌ／（ｔａｎθａ＋ｔａｎθｐ） なお、受光角θｐとは、点Ｐと主点Ｏとを結ぶ直線と、
受光軸を含む平面（受光軸平面）とのなす角度である。Base line length L = L1 + L2 = Ztan θa + Ztan θpｐZ = L / (tan θa + tan θp) Note that the light receiving angle θp is a straight line connecting the point P and the principal point O,
This is an angle formed with a plane including the light receiving axis (light receiving axis plane).

【０００８】撮像倍率β＝ｂ／Ｚ であるので、撮像面
Ｓ２の中心と受光画素とのＸ方向の距離をｘｐ、Ｙ方向
の距離をｙｐとすると〔図４７（ａ）参照〕、点Ｐの座
標Ｘ，Ｙは、 Ｘ＝ｘｐ／β Ｙ＝ｙｐ／β となる。Since the image pickup magnification β = b / Z, assuming that the distance in the X direction between the center of the image pickup surface S2 and the light receiving pixel is xp and the distance in the Y direction is yp [see FIG. 47 (a)], point P The coordinates X and Y of are as follows: X = xp / β Y = yp / β

【０００９】角度θａはスリット光Ｕの偏向の角速度に
よって一義的に決まる。受光角θｐはｔａｎθｐ＝ｂ／
ｙｐの関係から算出できる。つまり、撮像面Ｓ２上での
位置（ｘｐ，ｙｐ）を測定することにより、そのときの
角度θａに基づいて点Ｐの３次元位置を求めることがで
きる。The angle θa is uniquely determined by the angular velocity of the deflection of the slit light U. The receiving angle θp is tan θp = b /
It can be calculated from the relationship of yp. That is, by measuring the position (xp, yp) on the imaging surface S2, the three-dimensional position of the point P can be obtained based on the angle θa at that time.

【００１０】図４７（ｃ）のように受光系にズームレン
ズ群を設けた場合には、主点Ｏは後側主点Ｈ’となる。
後側主点Ｈ’と前側主点Ｈとの距離をＭとすると、点Ｐ
の座標Ｚは次の式で表される。When a zoom lens group is provided in the light receiving system as shown in FIG. 47 (c), the principal point O becomes the rear principal point H '.
Assuming that the distance between the rear principal point H ′ and the front principal point H is M, the point P
Is represented by the following equation.

【００１１】 Ｌ＝Ｌ１＋Ｌ２＝Ｚｔａｎθａ＋（Ｚ−Ｍ）ｔａｎθｐ ∴ Ｚ＝（Ｌ＋Ｍｔａｎθｐ）／（ｔａｎθａ＋ｔａｎ
θｐ） 以上の原理のスリット光投影法による計測に際して、計
測者はレンジファインダの位置や向きを決め、必要に応
じてズーミング操作を行って物体Ｑの走査範囲（撮像範
囲）を設定する。このフレーミング作業を容易化する上
で、走査範囲と同じ画角で物体Ｑを撮影したモニタ画像
は有用である。また、例えば３次元ＣＧでは、物体Ｑの
形状を示す計測データとともに物体Ｑのカラー情報を必
要とする場合が多い。L = L1 + L2 = Ztan θa + (Z−M) tan θp∴Z = (L + Mtan θp) / (tan θa + tan
θp) At the time of measurement by the slit light projection method based on the above principle, the measurer determines the position and direction of the range finder, and performs a zooming operation as necessary to set the scanning range (imaging range) of the object Q. In facilitating the framing operation, a monitor image obtained by photographing the object Q at the same angle of view as the scanning range is useful. For example, in three-dimensional CG, color information of the object Q is often required together with measurement data indicating the shape of the object Q.

【００１２】従来のレンジファインダは、受光レンズ系
を通過した光をスリット光と環境光とに分離する分光手
段（例えばダイクロックミラー）を有し、環境光を計測
用の撮像手段とは別のカラー撮像手段に導くことによっ
て、距離画像と同じ画角のカラーモニタ画像を得るよう
に構成されていた（特開平７−１７４５３６号）。The conventional range finder has a spectroscopic means (for example, a dichroic mirror) for separating the light passing through the light receiving lens system into slit light and ambient light, and is separate from the imaging means for measuring the ambient light. A color monitor image having the same angle of view as the distance image is obtained by guiding the color image pickup means (Japanese Patent Laid-Open No. 174536/1995).

【００１３】また、従来において、計測の自由度を高め
るために物体との相対位置を可変としたレンジファイン
ダでは、３次元計測に先立ってＡＦカメラ用の測距セン
サによって対物間距離が測定され、その結果に応じて計
測条件（計測対象の距離範囲、走査速度）が設定されて
いた（特開平８−５３４４号）。Further, in the prior art, in the range finder in which the relative position to the object is variable in order to increase the degree of freedom of measurement, the distance between the objectives is measured by the distance measuring sensor for the AF camera before the three-dimensional measurement, The measurement conditions (distance range of measurement object, scanning speed) were set according to the result (Japanese Patent Laid-Open No. 8-5344).

【００１４】[0014]

【発明が解決しようとする課題】上述の分光手段として
ダイクロックミラーを用いれば、光量をほとんど減衰さ
せることなく入射光を波長によって分離することができ
る。If a dichroic mirror is used as the above-mentioned spectroscopic means, incident light can be separated by wavelength with almost no attenuation of the light quantity.

【００１５】しかし、現実には、スリット光のみを反射
又は透過させる理想的な波長選択性をもつダイクロック
ミラーはない。このため、従来では、スリット光の波長
を含む比較的に広範囲の波長帯域の光が計測用の撮像手
段に入射し、計測における環境光の影響が大きいという
問題があった。However, in reality, there is no dichroic mirror having an ideal wavelength selectivity that reflects or transmits only slit light. Therefore, conventionally, there has been a problem that light in a relatively wide wavelength band including the wavelength of the slit light is incident on the imaging means for measurement, and the influence of ambient light in measurement is large.

【００１６】一方、ＡＦカメラと同様のパッシブ形式の
測距では、特に受光レンズ系の焦点距離をワイド撮影に
適合させたときに、測定の誤差が大きくなる。このた
め、計測条件を適切に設定することができない場合があ
るという問題もあった。On the other hand, in the passive type distance measurement similar to the AF camera, the measurement error becomes large, especially when the focal length of the light receiving lens system is adapted to the wide photographing. Therefore, there is also a problem that the measurement conditions may not be set appropriately.

【００１７】本発明は、距離画像と同じ画角のモニタ画
像を得ることができ、しかも環境光の影響が小さい３次
元計測を実現することのできる分光装置の提供を目的と
している。An object of the present invention is to provide a spectroscopic device capable of obtaining a monitor image having the same angle of view as a range image and realizing three-dimensional measurement which is less affected by ambient light.

【００１８】[0018]

【課題を解決するための手段】請求項１の発明の装置
は、計測対象の物体に特定波長の検出光を照射する能動
的な３次元計測のための分光装置であって、前記特定波
長を含む第１波長帯域の光を他の光と分離する分光手段
と、前記特定波長よりも長波長の光と、前記特定波長よ
りも短波長の光とを遮断するフィルタとを有し、前記フ
ィルタが前記分光手段によって分離された前記第１波長
帯域の光の光路内に配置されたものである。According to a first aspect of the present invention, there is provided a spectroscopic device for active three-dimensional measurement, in which an object to be measured is irradiated with detection light having a specific wavelength. The filter includes: a spectroscopic unit that separates the light in the first wavelength band that includes the other light, a filter that blocks light having a wavelength longer than the specific wavelength, and light having a wavelength shorter than the specific wavelength. Is disposed in the optical path of the light of the first wavelength band separated by the spectroscopic means.

【００１９】請求項２の発明の装置においては、前記フ
ィルタが、前記特定波長よりも長波長の光を遮断する第
１のフィルタと、前記特定波長よりも短波長の光を遮断
する第２のフィルタとからなる。In the apparatus of the invention as claimed in claim 2, the filter comprises a first filter for blocking light having a wavelength longer than the specific wavelength and a second filter for blocking light having a wavelength shorter than the specific wavelength. It consists of a filter.

【００２０】第１のフィルタと第２のフィルタとによっ
て、特定波長及びそれに近い波長の光のみが透過するバ
ンドパスフィルタが構成される。このバンドパスフィル
タによって、第１波長帯域の光の内の不要の波長成分が
除去される。The first filter and the second filter constitute a bandpass filter that transmits only light having a specific wavelength and wavelengths close to the specific wavelength. The bandpass filter removes unnecessary wavelength components from the light in the first wavelength band.

【００２１】請求項３の発明の装置は、前記分光手段に
よって分離された前記他の光の光路内に、可視光を選択
的に透過させるフィルタが配置されたものである。According to a third aspect of the present invention, a filter for selectively transmitting visible light is arranged in the optical path of the other light separated by the spectroscopic means.

【００２２】[0022]

【発明の実施の形態】BEST MODE FOR CARRYING OUT THE INVENTION

〔計測システム１の全体構成〕図１は本発明に係る計測
システム１の構成図である。[Overall Configuration of Measurement System 1] FIG. 1 is a configuration diagram of a measurement system 1 according to the present invention.

【００２３】計測システム１は、スリット光投影法によ
って立体計測を行う３次元カメラ（レンジファインダ）
２と、３次元カメラ２の出力データを処理するホスト３
とから構成されている。The measuring system 1 is a three-dimensional camera (range finder) for performing stereoscopic measurement by the slit light projection method.
2 and a host 3 for processing output data of the three-dimensional camera 2
It is composed of

【００２４】３次元カメラ２は、物体Ｑ上の複数のサン
プリング点の３次元位置を特定する計測データ（スリッ
ト画像データ）とともに、物体Ｑのカラー情報を示す２
次元画像及びキャリブレーションに必要なデータを出力
する。三角測量法を用いてサンプリング点の座標を求め
る演算処理はホスト３が担う。The three-dimensional camera 2 shows color information of the object Q together with measurement data (slit image data) for specifying the three-dimensional positions of a plurality of sampling points on the object Q.
Outputs a dimensional image and data necessary for calibration. The host 3 is responsible for the arithmetic processing for obtaining the coordinates of the sampling points using the triangulation method.

【００２５】ホスト３は、ＣＰＵ３ａ、ディスプレイ３
ｂ、キーボード３ｃ、及びマウス３ｄなどから構成され
たコンピュータシステムである。ＣＰＵ３ａには計測デ
ータ処理のためのソフトウェアが組み込まれている。ホ
スト３と３次元カメラ２との間では、オンライン及び可
搬型の記録メディア４によるオフラインの両方の形態の
データ受渡しが可能である。記録メディア４としては、
光磁気ディスク（ＭＯ）、ミニディスク（ＭＤ）、メモ
リカードなどがある。 〔３次元カメラ２の外観構成〕図２は３次元カメラ２の
外観を示す図である。図２（ａ）は斜視図、図２（ｂ）
は背面に設けられたオペレーションパネルの平面図であ
る。The host 3 includes a CPU 3a and a display 3
This is a computer system including a keyboard b, a keyboard 3c, a mouse 3d, and the like. Software for processing measurement data is incorporated in the CPU 3a. Between the host 3 and the three-dimensional camera 2, both online and offline data transfer by the portable recording medium 4 is possible. As the recording medium 4,
There are magneto-optical disks (MO), mini disks (MD), memory cards and the like. [External Configuration of Three-Dimensional Camera 2] FIG. 2A is a perspective view and FIG. 2B.
FIG. 4 is a plan view of an operation panel provided on a back surface.

【００２６】ハウジング２０の前面に投光窓２０ａ及び
受光窓２０ｂが設けられている。投光窓２０ａは受光窓
２０ｂに対して上側に位置する。内部の光学ユニットＯ
Ｕが射出するスリット光（所定幅ｗの帯状のレーザビー
ム）Ｕは、投光窓２０ａを通って計測対象の物体（被写
体）に向かう。スリット光Ｕの長さ方向Ｍ１の放射角度
φは固定である。物体の表面で反射したスリット光Ｕの
一部が受光窓２０ｂを通って光学ユニットＯＵに入射す
る。なお、光学ユニットＯＵは、投光軸と受光軸との相
対関係を適正化するための２軸調整機構を備えている。
これについては後で詳細に説明する。A light projecting window 20a and a light receiving window 20b are provided on the front surface of the housing 20. The light projecting window 20a is located above the light receiving window 20b. Internal optical unit O
The slit light (a band-shaped laser beam having a predetermined width w) U emitted by the U passes through the light projecting window 20a and travels toward an object (subject) to be measured. The emission angle φ of the slit light U in the length direction M1 is fixed. A part of the slit light U reflected on the surface of the object enters the optical unit OU through the light receiving window 20b. The optical unit OU includes a biaxial adjustment mechanism for optimizing the relative relationship between the light projecting axis and the light receiving axis.
This will be described in detail later.

【００２７】ハウジング２０の上面には、ズーミングボ
タン２５ａ，２５ｂ、手動フォーカシングボタン２６
ａ，２６ｂ、及びレリーズボタン２７が設けられてい
る。図２（ｂ）のように、ハウジング２０の背面には、
液晶ディスプレイ２１、カーソルボタン２２、セレクト
ボタン２３、キャンセルボタン２４、レコードボタン２
８、アンデゥーボタン２９、アナログ出力端子３１，３
２、デジタル出力端子３３、及び記録メディア４の着脱
口３０ａが設けられている。レコードボタン２８はフォ
ーカスロックボタンを兼ねる。On the upper surface of the housing 20, there are zooming buttons 25a and 25b and a manual focusing button 26.
a, 26b and a release button 27 are provided. As shown in FIG. 2B, on the back surface of the housing 20,
Liquid crystal display 21, cursor button 22, select button 23, cancel button 24, record button 2
8, Undo button 29, analog output terminals 31, 3
2, a digital output terminal 33 and a detachable opening 30a for the recording medium 4 are provided. The record button 28 also functions as a focus lock button.

【００２８】液晶ディスプレイ２１は、操作画面の表示
手段及び電子ファインダとして用いられる。撮影者（計
測のオペレータ）は背面の各ボタン２１〜２４によって
撮影モードの設定を行うことができる。アナログ出力端
子３１からは計測データが出力され、アナログ出力端子
３１からは２次元画像信号が例えばＮＴＳＣ形式で出力
される。デジタル出力端子３３は例えばＳＣＳＩ端子で
ある。 〔３次元カメラ２の制御回路〕図３は３次元カメラ２の
機能構成を示すブロック図である。図中の実線矢印は電
気信号の流れを示し、破線矢印は光の流れを示してい
る。The liquid crystal display 21 is used as an operation screen display means and an electronic finder. The photographer (measurement operator) can set the photographing mode by using the buttons 21 to 24 on the back. Measurement data is output from the analog output terminal 31, and a two-dimensional image signal is output from the analog output terminal 31 in the NTSC format, for example. The digital output terminal 33 is, for example, a SCSI terminal. [Control Circuit of 3D Camera 2] FIG. 3 is a block diagram showing a functional configuration of the 3D camera 2. In the figure, solid arrows indicate the flow of electric signals, and broken arrows indicate the flow of light.

【００２９】３次元カメラ２は、上述の光学ユニットＯ
Ｕを構成する投光光学系４０及び受光光学系５０を有し
ている。投光光学系４０において、半導体レーザ（Ｌ
Ｄ）４１が射出する波長６９０ｎｍのレーザビームは、
投光レンズ系４２を通過することによってスリット光Ｕ
となり、ガルバノミラー（走査手段）４３によってスリ
ット長さ方向と直交する方向に偏向される。すなわち、
ガルバノミラー４３の回転に伴ってスリット光Ｕの投射
方向が変移する。半導体レーザ４１のドライバ４４、投
光レンズ系４２の駆動系４５、及びガルバノミラー４３
の駆動系４６は、システムコントローラ６１によって制
御される。The three-dimensional camera 2 has the optical unit O described above.
It has a light projecting optical system 40 and a light receiving optical system 50 constituting U. In the light projecting optical system 40, a semiconductor laser (L
D) The laser beam having a wavelength of 690 nm emitted from 41 is
By passing through the light projecting lens system 42, the slit light U
The light is deflected by a galvanomirror (scanning means) 43 in a direction orthogonal to the slit length direction. That is,
The projection direction of the slit light U changes as the galvanometer mirror 43 rotates. The driver 44 of the semiconductor laser 41, the drive system 45 of the projection lens system 42, and the galvano mirror 43
The drive system 46 of is controlled by the system controller 61.

【００３０】受光光学系５０において、ズームユニット
５１によって集光された光はビームスプリッタ５２によ
って分光される。半導体レーザ４１の発振波長帯域の光
は、計測用のイメージセンサ５３に入射する。可視帯域
の光は、モニタ用のカラーイメージセンサ５４に入射す
る。イメージセンサ５３及びカラーイメージセンサ５４
は、どちらもＣＣＤエリアセンサである。ズームユニッ
ト５１は内焦型であり、入射光の一部がオートフォーカ
シング（ＡＦ）に利用される。ＡＦ機能は、ＡＦセンサ
５７とレンズコントローラ５８とフォーカシング駆動系
５９によって実現される。ズーミング駆動系６０は電動
ズーミングのために設けられている。In the light receiving optical system 50, the light condensed by the zoom unit 51 is separated by the beam splitter 52. Light in the oscillation wavelength band of the semiconductor laser 41 is incident on the image sensor 53 for measurement. Light in the visible band is incident on the monitor color image sensor 54. Image sensor 53 and color image sensor 54
Are both CCD area sensors. The zoom unit 51 is of an in-focus type, and a part of the incident light is used for auto focusing (AF). The AF function is realized by an AF sensor 57, a lens controller 58, and a focusing drive system 59. The zooming drive system 60 is provided for electric zooming.

【００３１】イメージセンサ５３による撮像情報は、ド
ライバ５５からのクロックに同期して出力処理回路６２
へ転送される。出力処理回路６２によってイメージセン
サ５３の各画素毎に対応する計測データＤｓが生成さ
れ、出力処理回路６２内のメモリに一旦格納される。一
方、カラーイメージセンサ５４による撮像情報は、ドラ
イバ５６からのクロックに同期してカラー処理回路６７
へ転送される。カラー処理を受けた撮像情報は、ＮＴＳ
Ｃ変換回路７０及びアナログ出力端子３２を経てオンラ
イン出力され、又はディジタル画像生成部６８で量子化
されてカラー画像メモリ６９に格納される。The image pickup information from the image sensor 53 is output from the output processing circuit 62 in synchronization with the clock from the driver 55.
Transferred to The output processing circuit 62 generates measurement data Ds corresponding to each pixel of the image sensor 53 and temporarily stores the measurement data Ds in a memory in the output processing circuit 62. On the other hand, imaging information from the color image sensor 54 is synchronized with a clock from the driver 56 by a color processing circuit 67.
Transferred to The imaging information subjected to the color processing is NTS
The data is output online via the C conversion circuit 70 and the analog output terminal 32, or quantized by the digital image generation unit 68 and stored in the color image memory 69.

【００３２】出力処理回路６２は、計測データＤｓに基
づいて計測結果を示す距離画像データＤ２１を生成し、
マルチプレクサ７２に出力する。マルチプレクサ７２
は、システムコントローラ６１の指示に従って、距離画
像データＤ２１及びカラー画像メモリ６９からのカラー
画像データＤ２２の２つの入力のうちの一方を出力とし
て選択する。マルチプレクサ７２によって選択されたデ
ータは、Ｄ／Ａ変換器７３を経てアナログのモニタ表示
信号としてキャラクタジェネレータ７１に転送される。
キャラクタジェネレータ７１は、モニタ表示信号が示す
画像とシステムコントローラ６１が指定した文字や記号
とを合成し、合成画像を液晶ディスプレイ２１へ出力す
る。The output processing circuit 62 generates distance image data D21 showing the measurement result based on the measurement data Ds,
Output to the multiplexer 72. Multiplexer 72
Selects one of the two inputs of the distance image data D21 and the color image data D22 from the color image memory 69 as an output in accordance with an instruction from the system controller 61. The data selected by the multiplexer 72 is transferred to the character generator 71 via the D / A converter 73 as an analog monitor display signal.
The character generator 71 combines the image indicated by the monitor display signal with the character or symbol designated by the system controller 61 and outputs the combined image to the liquid crystal display 21.

【００３３】ユーザーがレコードボタン２８を操作して
データ出力（録画）を指示すると、出力処理回路６２内
の計測データＤｓが、ＳＣＳＩコントローラ６６又はＮ
ＴＳＣ変換回路６５によって所定形式でオンライン出力
され、又は記録メディア４に格納される。計測データＤ
ｓのオンライン出力には、アナログ出力端子３１又はデ
ィジタル出力端子３３が用いられる。また、カラー画像
データＤ２２がカラー画像メモリ６９からＳＣＳＩコン
トローラ６６へ転送され、ディジタル出力端子３３から
オンライン出力され、又は計測データＤｓと対応づけて
記録メディア４に格納される。カラー画像は、イメージ
センサ５３による距離画像と同一の画角の像であり、ホ
スト３側におけるアプリケーション処理に際して参考情
報として利用される。カラー情報を利用する処理として
は、例えばカメラ視点の異なる複数組の計測データを組
み合わせて３次元形状モデルを生成する処理、３次元形
状モデルの不要の頂点を間引く処理などがある。When the user operates the record button 28 to instruct data output (recording), the measured data Ds in the output processing circuit 62 is changed to the SCSI controller 66 or N.
The TSC conversion circuit 65 outputs the data online in a predetermined format or stores it in the recording medium 4. Measurement data D
The analog output terminal 31 or the digital output terminal 33 is used for online output of s. Further, the color image data D22 is transferred from the color image memory 69 to the SCSI controller 66, output online from the digital output terminal 33, or stored in the recording medium 4 in association with the measurement data Ds. The color image is an image having the same angle of view as the distance image obtained by the image sensor 53, and is used as reference information when performing application processing on the host 3 side. The processing using color information includes, for example, processing of generating a three-dimensional shape model by combining a plurality of sets of measurement data having different camera viewpoints, and processing of thinning out unnecessary vertices of the three-dimensional shape model.

【００３４】システムコントローラ６１は、ブザー７５
を駆動して動作確認音又は警告音を発生させる。また、
出力処理回路６２に対して、モニタ表示のためのスケー
ル値ｓｃを与える。出力処理回路６２は、システムコン
トローラ６１に対して、後述する３種の警告信号Ｓ１１
〜１３、及び計測データＤｓの一部である受光データＤ
ｇを出力する。 〔３次元カメラ２の投光光学系４０の構成〕図４は投光
光学系４０の構成を示す模式図である。図４（ａ）は正
面図であり、図４（ｂ）は側面図である。The system controller 61 has a buzzer 75.
To generate an operation confirmation sound or a warning sound. Also,
A scale value sc for monitor display is given to the output processing circuit 62. The output processing circuit 62 sends three types of warning signals S11 to be described later to the system controller 61.
To 13 and light receiving data D which is a part of the measurement data Ds
Output g. [Structure of Light Projecting Optical System 40 of Three-Dimensional Camera 2] FIG. FIG. 4A is a front view and FIG. 4B is a side view.

【００３５】投光レンズ系４２は、コリメータレンズ４
２１、バリエータレンズ４２２、及びエキスパンダレン
ズ４２３の３つのレンズから構成されている。半導体レ
ーザ４１が射出したレーザビームに対して、次の順序で
適切なスリット光Ｕを得るための光学的処理が行われ
る。まず、コリメータレンズ４２１によってビームが平
行化される。次にバリエータレンズ４２２によってレー
ザビームのビーム径が調整される。最後にエキスパンダ
レンズ４２３によってビームがスリット長さ方向Ｍ１に
拡げられる。The light projecting lens system 42 comprises the collimator lens 4
21, a variator lens 422, and an expander lens 423. The laser beam emitted from the semiconductor laser 41 is subjected to an optical process for obtaining an appropriate slit light U in the following order. First, the collimator lens 421 collimates the beam. Next, the beam diameter of the laser beam is adjusted by the variator lens 422. Finally, the beam is expanded in the slit length direction M1 by the expander lens 423.

【００３６】バリエータレンズ４２２は、撮影距離及び
撮影の画角に係わらず、イメージセンサ５３に３以上の
複数画素分（本実施例では５画素分）の幅のスリット光
Ｕを入射させるために設けられている。駆動系４５は、
システムコントローラ６１の指示に従って、イメージセ
ンサ５３上でのスリット光Ｕの幅ｗを一定に保つように
バリエータレンズ４２２を移動させる。バリエータレン
ズ４２２と受光側のズームユニット５１とは連動する。The variator lens 422 is provided to allow the slit light U having a width of three or more pixels (five pixels in this embodiment) to enter the image sensor 53 regardless of the shooting distance and the angle of view for shooting. Has been. The drive system 45 is
In accordance with an instruction from the system controller 61, the variator lens 422 is moved so that the width w of the slit light U on the image sensor 53 is kept constant. The variator lens 422 and the zoom unit 51 on the light receiving side work together.

【００３７】ガルバノミラー４３による偏向の以前にス
リット長を拡げることにより、偏向の後で行う場合に比
べてスリット光Ｕの歪みを低減することができる。エキ
スパンダレンズ４２３を投光レンズ系４２の最終段に配
置することにより、すなわちガルバノミラー４３に近づ
けることにより、ガルバノミラー４３を小型化すること
ができる。 〔３次元カメラ２の受光光学系５０の構成〕図５は受光
光学系５０のズームユニット５１の模式図である。By expanding the slit length before the deflection by the galvanometer mirror 43, the distortion of the slit light U can be reduced as compared with the case where the slit light is deflected. By disposing the expander lens 423 at the final stage of the projection lens system 42, that is, by bringing the expander lens 423 close to the galvanometer mirror 43, the galvanometer mirror 43 can be downsized. [Structure of light receiving optical system 50 of three-dimensional camera 2] FIG. 5 is a schematic diagram of a zoom unit 51 of the light receiving optical system 50.

【００３８】ズームユニット５１は、前側結像レンズ５
１５、バリエータレンズ５１４、コンペンセータレンズ
５１３、フォーカシングレンズ５１２、後側結像レンズ
５１１、及び入射光の一部をＡＦセンサ５７に導くビー
ムスプリッタ５１６から構成されている。前側結像レン
ズ５１５及び後側結像レンズ５１１は、光軸に対して固
定である。The zoom unit 51 includes the front imaging lens 5
15, a variator lens 514, a compensator lens 513, a focusing lens 512, a rear imaging lens 511, and a beam splitter 516 for guiding a part of incident light to the AF sensor 57. The front imaging lens 515 and the rear imaging lens 511 are fixed with respect to the optical axis.

【００３９】フォーカシングレンズ５１２の移動はフォ
ーカシング駆動系５９が担い、バリエータレンズ５１４
の移動はズーミング駆動系６０が担う。フォーカシング
駆動系５９は、フォーカシングレンズ５１２の移動距離
（繰り出し量）を指し示すフォーカシングエンコーダ５
９Ａを備えている。ズーミング駆動系６０は、バリエー
タレンズ５１４の移動距離（ズーム刻み値）を指し示す
ズーミングエンコーダ６０Ａを備えている。The movement of the focusing lens 512 is carried by the focusing driving system 59, and the variator lens 514.
Is moved by the zooming drive system 60. The focusing drive system 59 is used to indicate the moving distance (extending amount) of the focusing lens 512.
9A. The zooming drive system 60 includes a zooming encoder 60A that indicates the moving distance (zoom value) of the variator lens 514.

【００４０】図６は受光光学系５０のビームスプリッタ
５２の模式図、図７は計測用のイメージセンサ５３の受
光波長を示すグラフ、図８はモニタ用のカラーイメージ
センサ５４の受光波長を示すグラフである。FIG. 6 is a schematic diagram of the beam splitter 52 of the light receiving optical system 50, FIG. 7 is a graph showing the light receiving wavelength of the image sensor 53 for measurement, and FIG. 8 is a graph showing the light receiving wavelength of the color image sensor 54 for monitoring. Is.

【００４１】ビームスプリッタ５２は、色分解膜（ダイ
クロックミラー）５２１、色分解膜５２１を挟む２つの
プリズム５２２，５２３、プリズム５２２の射出面５２
２ｂに設けられた赤外線カットフィルタ５２４、イメー
ジセンサ５３の前面側に設けられた可視カットフィルタ
５２５、プリズム５２３の射出面５２３ｂに設けられた
赤外線カットフィルタ５２６、及びローパスフィルタ５
２７，５２８から構成されている。The beam splitter 52 includes a color separation film (dich lock mirror) 521, two prisms 522 and 523 sandwiching the color separation film 521, and an exit surface 52 of the prism 522.
2b, a visible cut filter 525 provided on the front side of the image sensor 53, an infrared cut filter 526 provided on the exit surface 523b of the prism 523, and a low-pass filter 5
It is composed of 27,528.

【００４２】ズームユニット５１から入射した光ＵＣ
は、ローパスフィルタ５２７、プリズム５２２を通って
色分解膜５２１に入射する。半導体レーザ４１の発振帯
域の光Ｕ０は色分解膜５２１で反射し、プリズム５２２
の入射面５２２ａで反射した後、射出面５２２ｂからイ
メージセンサ５３に向かって射出する。プリズム５２２
から射出した光Ｕ０の内、赤外線カットフィルタ５２４
及び可視カットフィルタ５２５を透過した光がイメージ
センサ５３によって受光される。一方、色分解膜５２１
を透過した光Ｃ０は、プリズム５２３を通って射出面５
２３ｂからカラーイメージセンサ５４に向かって射出す
る。プリズム５２３から射出した光Ｃ０の内、赤外線カ
ットフィルタ５２６及びローパスフィルタ５２８を透過
した光がカラーイメージセンサ５４によって受光され
る。Light UC incident from the zoom unit 51
Enter the color separation film 521 through the low-pass filter 527 and the prism 522. Light U0 in the oscillation band of the semiconductor laser 41 is reflected by the color separation film 521, and is reflected by the prism 522.
After being reflected by the incident surface 522a, the light exits from the exit surface 522b toward the image sensor 53. Prism 522
Out of light U0 emitted from the infrared filter 524
The light transmitted through the visible cut filter 525 is received by the image sensor 53. On the other hand, the color separation film 521
Is transmitted through the prism 523, and the light C0
Light is emitted from 23b toward the color image sensor 54. Of the light C0 emitted from the prism 523, the light transmitted through the infrared cut filter 526 and the low-pass filter 528 is received by the color image sensor 54.

【００４３】図７において、破線で示されるように色分
解膜５２１は、スリット光の波長（λ：６９０ｎｍ）を
含む比較的に広範囲の波長帯域の光を反射する。つま
り、色分解膜５２１の波長選択性は、スリット光のみを
選択的にイメージセンサ５３に入射させる上で不十分で
ある。しかし、ビームスプリッタ５２では、鎖線で示さ
れる特性の赤外線カットフィルタ５２４と、実線で示さ
れる特性の可視カットフィルタ５２５とが設けられてい
るので、最終的にイメージセンサ５３に入射する光は、
図７において斜線で示される狭い範囲の波長の光であ
る。これにより、環境光の影響の小さい、すなわち光学
的ＳＮ比が大きい計測を実現することができる。In FIG. 7, the color separation film 521 reflects light in a relatively wide wavelength band including the wavelength of slit light (λ: 690 nm) as shown by the broken line. That is, the wavelength selectivity of the color separation film 521 is insufficient for selectively causing only the slit light to enter the image sensor 53. However, since the beam splitter 52 is provided with the infrared cut filter 524 having the characteristic indicated by the chain line and the visible cut filter 525 having the characteristic indicated by the solid line, the light that finally enters the image sensor 53 is
This is light having a narrow range of wavelengths indicated by oblique lines in FIG. As a result, measurement with a small influence of ambient light, that is, a large optical SN ratio can be realized.

【００４４】一方、カラーイメージセンサ５４には、図
８に実線で示される特性の赤外線カットフィルタ５２８
によって、破線で示される特性の色分解膜５２１を透過
した赤外帯域の光が遮断されるので、可視光のみが入射
する。これにより、モニタ画像の色再現性が高まる。On the other hand, the color image sensor 54 has an infrared cut filter 528 having the characteristic shown by the solid line in FIG.
As a result, light in the infrared band transmitted through the color separation film 521 having the characteristics indicated by the broken line is blocked, so that only visible light enters. Thereby, the color reproducibility of the monitor image is improved.

【００４５】なお、赤外線カットフィルタ５２４及び可
視カットフィルタ５２５の２個のフィルタを用いる代わ
りに、赤外線及び可視光を遮断する特性をもつ１個のフ
ィルタを用いてもよい。赤外線カットフィルタ５２４及
び可視カットフィルタ５２５の両方をプリズム５２２の
側に設けてもよいし、逆に両方のフィルタをイメージセ
ンサ５３の側に設けてもよい。図６の例とは逆に、可視
カットフィルタ５２５をプリズム５２２の側に設け、赤
外線カットフィルタ５２４をイメージセンサ５３の側に
設けてもよい。 〔３次元カメラ２の光学ユニットＯＵの２軸調整機構〕
図９は光学ユニットＯＵの２軸調整機構の概略を説明す
るための斜視図、図１０は図９に示す光学ユニットＯＵ
の上側部分を矢印ＫＡ方向から見た正面図、図１１は図
９に示す光学ユニットＯＵの上側部分を矢印ＫＢ方向か
ら見た右側面図、図１２は図９に示す光学ユニットＯＵ
を矢印ＫＣ方向から見た下面図、図１３は光学ユニット
ＯＵの２軸調整機構の調整方法を説明するための図であ
る。Instead of using the two filters of the infrared cut filter 524 and the visible cut filter 525, one filter having a characteristic of blocking infrared light and visible light may be used. Both the infrared cut filter 524 and the visible cut filter 525 may be provided on the prism 522 side, or both filters may be provided on the image sensor 53 side. Contrary to the example of FIG. 6, the visible cut filter 525 may be provided on the prism 522 side and the infrared cut filter 524 may be provided on the image sensor 53 side. [Two-axis adjustment mechanism of optical unit OU of three-dimensional camera 2]
FIG. 9 is a perspective view for explaining the outline of a two-axis adjustment mechanism of the optical unit OU, and FIG. 10 is an optical unit OU shown in FIG.
11 is a front view of the optical unit OU shown in FIG. 9 as viewed from the direction of the arrow KA, FIG. 11 is a right side view of the upper unit of the optical unit OU shown in the direction of the arrow KB, and FIG.
Is a bottom view as viewed from the direction of the arrow KC, and FIG. 13 is a view for explaining an adjustment method of the two-axis adjustment mechanism of the optical unit OU.

【００４６】図９に示すように、光学ユニットＯＵは、
投光光学系４０と受光光学系５０とが、ブラケット２１
１，２１２に取り付けられて構成されている。これら２
つのブラケット２１１，２１２は、Ｙ方向軸である第２
回転軸ＡＸ２を中心に互いに回転可能に連結されてい
る。投光光学系４０は、ブラケット２１１に対して、Ｚ
方向軸である第１回転軸ＡＸ１を中心に回転可能に取り
付けられている。受光光学系５０はブラケット２１２に
固定されている。第１回転軸ＡＸ１は受光光学系５０の
受光軸ＡＸ３と平行となるように調整される。As shown in FIG. 9, the optical unit OU is
The light projecting optical system 40 and the light receiving optical system 50 form the bracket 21.
1 and 212 are attached and comprised. These two
The two brackets 211 and 212 have a second
They are rotatably connected to each other about a rotation axis AX2. The light projecting optical system 40
It is attached so as to be rotatable about a first rotation axis AX1 which is a direction axis. The light receiving optical system 50 is fixed to the bracket 212. The first rotation axis AX1 is adjusted to be parallel to the light receiving axis AX3 of the light receiving optical system 50.

【００４７】図９〜図１２に示すように、各ブラケット
２１１，２１２は、その側面視が略Ｌ字形を呈してお
り、それぞれ水平板部２１１ａ，２１２ａの外面が互い
に接触した状態で回転可能である。すなわち、水平板部
２１２ａに設けられた穴２１５にはカラー２１６が回転
可能に嵌め込まれ、そのカラー２１６はボルト２１７に
よって水平板部２１１ａに固定されている。ボルト２１
７は、頭部にネジ穴が設けられており、図示しない有底
筒状のキャップが頭部に被せられた後、そのキャップの
中央に設けられた穴を貫通して頭部のネジ穴に螺合する
ボルトによって固定され、これによってボルト２１７の
頭部が覆われている。なお、ボルト２１７の頭部には回
転係合用の溝が設けられている。As shown in FIGS. 9 to 12, each of the brackets 211 and 212 has a substantially L-shape when viewed from the side, and is rotatable while the outer surfaces of the horizontal plate portions 211a and 212a are in contact with each other. is there. That is, the collar 216 is rotatably fitted into the hole 215 provided in the horizontal plate portion 212a, and the collar 216 is fixed to the horizontal plate portion 211a by the bolt 217. Bolt 21
7 is provided with a screw hole in the head, a bottomed cylindrical cap (not shown) is put on the head, and then penetrates a hole provided in the center of the cap to form a screw hole in the head. It is fixed by bolts to be screwed together, thereby covering the head of the bolt 217. Note that a groove for rotational engagement is provided on the head of the bolt 217.

【００４８】水平板部２１２ａの突出端部２１８に設け
られたネジ穴には、回転角度位置を調整するための調整
ボルト２１９が螺合している。調整ボルト２１９の先端
部は、水平板部２１１ａにボルト２２１により取り付け
られたカラー２２２の周面に当接する。そのボルト２２
１と水平板部２１２ａに取り付けられたボルト２２３と
の間には引張りバネ２２４が装着されており、これによ
って、水平板部２１１ａ，２１２ａの間において、調整
ボルト２１９の先端部がカラー２２２に当接する方向に
互いに付勢されている。したがって、調整ボルト２１９
を回転させてその軸方向位置を調整することにより、第
２回転軸ＡＸ２を中心としてブラケット２１１とブラケ
ット２１２との相対的な回転角度位置が調整される。調
整ボルト２１９の調整後は、調整ボルト２１９をロック
ナット２２０で固定するとともに、水平板部２１２ａに
設けられた３つの長穴２２５を貫通して水平板部２１１
ａのネジ穴に螺合する３つのボルト２２６を締めること
によって、両水平板部２１１ａ，２１２ａ間を固定す
る。An adjusting bolt 219 for adjusting the rotational angle position is screwed into the screw hole provided in the projecting end 218 of the horizontal plate 212a. The tip of the adjustment bolt 219 contacts the peripheral surface of the collar 222 attached to the horizontal plate portion 211a by the bolt 221. The bolt 22
1 and a bolt 223 attached to the horizontal plate portion 212a, a tension spring 224 is mounted, whereby the tip of the adjustment bolt 219 contacts the collar 222 between the horizontal plate portions 211a and 212a. They are urged toward each other in a contacting direction. Therefore, the adjustment bolt 219
Is rotated to adjust its axial position, whereby the relative rotation angle position between the bracket 211 and the bracket 212 about the second rotation axis AX2 is adjusted. After the adjustment bolt 219 is adjusted, the adjustment bolt 219 is fixed with the lock nut 220 and the horizontal plate portion 211 is inserted through three long holes 225 provided in the horizontal plate portion 212a.
By tightening the three bolts 226 screwed into the screw holes a, the horizontal plate portions 211a and 212a are fixed.

【００４９】投光光学系４０のハウジングの背面部には
軸部材２３１が取り付けられており、この軸部材２３１
が、ブラケット２１１の垂直板部に第１回転軸ＡＸ１を
中心に設けられた軸穴２３２に回転可能に嵌め込まれて
いる。第１回転軸ＡＸ１を中心とする投光光学系４０の
回転角度位置を調整した後、投光光学系４０のハウジン
グに設けられた穴を貫通してブラケット２１１に設けら
れたネジ穴に螺合する図示しない複数のボルトを締める
ことによって、投光光学系４０がブラケット２１１に固
定される。ブラケット２１２には取付け板２１３がボル
トで固定されており、取付け板２１３が光学ユニットＯ
Ｕのケーシングに取り付けられている。なお、投光光学
系４０における投光の起点Ａと受光光学系５０のレンズ
の主点Ｏ（後側主点Ｈ’）とを結ぶ基線ＡＯは、受光軸
ＡＸ３と垂直である。撮像面Ｓ２は屈折した受光軸ＡＸ
３に対して垂直である。A shaft member 231 is attached to the rear surface of the housing of the projection optical system 40.
Is rotatably fitted in a shaft plate 232 provided in the vertical plate portion of the bracket 211 around the first rotation axis AX1. After adjusting the rotation angle position of the light projecting optical system 40 about the first rotation axis AX <b> 1, it is screwed into a screw hole provided in the bracket 211 through a hole provided in the housing of the light projecting optical system 40. The light projecting optical system 40 is fixed to the bracket 211 by tightening a plurality of bolts (not shown). A mounting plate 213 is fixed to the bracket 212 with bolts, and the mounting plate 213 is
It is attached to the U casing. In addition, the base line AO connecting the starting point A of light projection in the light projecting optical system 40 and the principal point O (rear principal point H ′) of the lens of the light receiving optical system 50 is perpendicular to the light receiving axis AX3. The imaging surface S2 has a refracted light receiving axis AX
Perpendicular to 3.

【００５０】次に、第１回転軸ＡＸ１及び第２回転軸Ａ
Ｘ２の調整方法について説明する。図１３（Ａ）に示す
スクリーンＳＣＲは、受光軸ＡＸ３上の前方において受
光軸ＡＸ３と垂直に配置されている。まず、投光光学系
４０からスクリーンＳＣＲ上に投影されたスリット光Ｕ
について、スリット光Ｕを走査したときに、走査の前後
におけるスリット光Ｕの左右の移動距離ＡＬ１，ＡＬ２
が互いに同一となるように、第２回転軸ＡＸ２に対する
ブラケット２１１とブラケット２１２との相対位置を調
整する。次に、図１３（Ｂ）に示す撮像面Ｓ２上に受光
されるスリット光Ｕについて、その左右の位置ＢＬ１，
ＢＬ２が互いに同一となるように、つまりスリット光Ｕ
が撮像面Ｓ２のＸ軸と平行になるように、第１回転軸Ａ
Ｘ１を調整する。これらの調整を何回か繰り返す。Next, the first rotation axis AX1 and the second rotation axis A
A method of adjusting X2 will be described. The screen SCR shown in FIG. 13A is disposed in front of the light receiving axis AX3 and perpendicular to the light receiving axis AX3. First, the slit light U projected from the light projecting optical system 40 on the screen SCR
, When the slit light U is scanned, the left and right moving distances AL1 and AL2 of the slit light U before and after the scanning.
Are adjusted relative to each other with respect to the second rotation axis AX2. Next, regarding the slit light U received on the imaging surface S2 shown in FIG.
BL2 are identical to each other, that is, the slit light U
Is parallel to the X axis of the imaging surface S2 so that the first rotation axis A
Adjust X1. Repeat these adjustments several times.

【００５１】これらの調整によって、第１回転軸ＡＸ１
が受光軸ＡＸ３と平行となり、スリット光Ｕの走査方向
（偏向方向）が第２回転軸ＡＸ２の方向と一致する。し
たがって、投光光学系４０と受光光学系５０との位置関
係の誤差がなくなり、その補正を行わなくても精度のよ
い計測を行うことができる。また、より良い精度を得る
ために補正を行う場合でも、ズームユニット５１におい
てズーミングを行ってもその補正値を変更する必要がな
い。したがって、補正のための演算処理が不要又は最小
限でよく、計測に係わる処理時間が極めて短くなる。 〔計測システム１における３次元位置の計測〕図１４は
計測システム１における３次元位置の算出の原理図であ
る。By these adjustments, the first rotation axis AX1
Are parallel to the light receiving axis AX3, and the scanning direction (deflection direction) of the slit light U matches the direction of the second rotation axis AX2. Accordingly, there is no error in the positional relationship between the light projecting optical system 40 and the light receiving optical system 50, and accurate measurement can be performed without performing correction. Further, even when performing correction to obtain better accuracy, it is not necessary to change the correction value even if zooming is performed in the zoom unit 51. Therefore, the calculation processing for correction may be unnecessary or minimized, and the processing time for measurement is extremely short. [Measurement of Three-Dimensional Position in Measurement System 1] FIG. 14 is a principle diagram of calculation of a three-dimensional position in the measurement system 1.

【００５２】イメージセンサ５３の撮像面Ｓ２上で複数
画素分となる比較的に幅の広いスリット光Ｕを物体Ｑに
照射する。具体的にはスリット光Ｕの幅を５画素分とす
る。スリット光Ｕは、サンプリング周期毎に撮像面Ｓ２
上で１画素ピッチｐｖだけ移動するように上から下に向
かって偏向され、それによって物体Ｑが走査される。サ
ンプリング周期毎にイメージセンサ５３から１フレーム
分の光電変換情報が出力される。On the image pickup surface S2 of the image sensor 53, the object Q is irradiated with the slit light U having a relatively wide width corresponding to a plurality of pixels. Specifically, the width of the slit light U is set to 5 pixels. The slit light U is transmitted to the imaging surface S2 every sampling cycle.
The object Q is scanned by being deflected from top to bottom so as to move up by one pixel pitch pv. One frame of photoelectric conversion information is output from the image sensor 53 every sampling period.

【００５３】撮像面Ｓ２の１つの画素ｇに注目すると、
走査中に行うＮ回のサンプリングの内の５回のサンプリ
ングにおいて有効な受光データが得られる。これら５回
分の受光データに対する補間演算によって注目画素ｇが
にらむ範囲の物体表面ａｇをスリット光Ｕの光軸が通過
するタイミング（時間重心Ｎｐｅａｋ）を求める。すな
わち、走査の進行に伴って起点Ａの周りに変移する投射
方向が物体表面ａｇに対応し、注目画素ｇの受光量が最
大となる時刻を求める。図１４（ｂ）の例では、ｎ回目
とその１つ前の（ｎ−１）回目の間のタイミングで受光
量が最大である。求めたタイミングにおけるスリット光
の投射方向と、注目画素ｇに対するスリット光の入射方
向との関係に基づいて、物体Ｑの位置（座標）を算出す
る。これにより、撮像面の画素ピッチｐｖで規定される
分解能より高い分解能の計測が可能となる。Focusing on one pixel g on the image pickup surface S2,
Effective light reception data can be obtained in 5 out of N samplings performed during scanning. The timing (time center of gravity Npeak) at which the optical axis of the slit light U passes through the object surface ag in the range in which the pixel of interest g gazes is obtained by an interpolation calculation on the received light data for these five times. That is, the time at which the projection direction that shifts around the starting point A as the scanning progresses corresponds to the object surface ag and the amount of light received by the target pixel g is maximum is determined. In the example of FIG. 14B, the amount of received light is maximum between the n-th time and the (n-1) -th time before the n-th time. The position (coordinate) of the object Q is calculated based on the relationship between the projection direction of the slit light at the obtained timing and the incident direction of the slit light on the target pixel g. This enables measurement with a higher resolution than the resolution defined by the pixel pitch pv of the imaging surface.

【００５４】注目画素ｇの受光量は物体Ｑの反射率に依
存する。しかし、５回のサンプリングの各受光量の相対
比は受光の絶対量に係わらず一定である。つまり、物体
色の濃淡は計測精度に影響しない。The amount of light received by the pixel of interest g depends on the reflectance of the object Q. However, the relative ratio of each received light amount of the five samplings is constant regardless of the absolute amount of received light. That is, the shading of the object color does not affect the measurement accuracy.

【００５５】本実施形態の計測システム１では、３次元
カメラ２がイメージセンサ５３の画素ｇ毎に５回分の受
光データを計測データとしてホスト３に出力し、ホスト
３が計測データに基づいて物体Ｑの座標を算出する。３
次元カメラ２における各画素ｇに対応した計測データの
生成は、出力処理回路６２が担う。 〔３次元位置の算出のための出力処理回路６２の構成〕
図１５は出力処理回路６２のブロック図、図１６はイメ
ージセンサ５３の読出し範囲を示す図である。In the measurement system 1 of this embodiment, the three-dimensional camera 2 outputs the received light data for five times for each pixel g of the image sensor 53 to the host 3 as measurement data, and the host 3 outputs the object Q based on the measurement data. Calculate the coordinates of. 3
The output processing circuit 62 is responsible for generating measurement data corresponding to each pixel g in the two-dimensional camera 2. [Configuration of output processing circuit 62 for calculating three-dimensional position]
FIG. 15 is a block diagram of the output processing circuit 62, and FIG. 16 is a diagram showing a read range of the image sensor 53.

【００５６】出力処理回路６２は、クロック信号ＣＫを
出力するクロック発生回路６２０、イメージセンサ５３
の出力する光電変換信号のレベルを最適化するための増
幅器６２１、クロック信号ＣＫに同期して各画素ｇの光
電変換信号を８ビットの受光データＤｇに変換するＡＤ
変換器６２２、直列接続された４つのフレームディレイ
メモリ６２３〜６２６、コンパレータ６２７、フレーム
番号（サンプリング番号）ＦＮを指し示すジェネレータ
６２８、マルチプレクサ６２９、６個のメモリ６３０Ａ
〜６３０Ｆ、警告判別回路６３１、スケール発生回路６
３２、及び画像合成回路６３３を有している。増幅器６
２１のゲインは可変であり、システムコントローラ６１
によって適切な値に設定される。４つのフレームディレ
イメモリ６２３〜６２６は、イメージセンサ５３の各画
素ｇについて５フレーム分の受光データＤｇを同時にメ
モリ６３０Ａ〜Ｅに出力するために設けられている。The output processing circuit 62 includes a clock generation circuit 620 which outputs a clock signal CK and an image sensor 53.
An amplifier 621 for optimizing the level of the photoelectric conversion signal output from the pixel G. The AD which converts the photoelectric conversion signal of each pixel g into 8-bit light receiving data Dg in synchronization with the clock signal CK.
A converter 622, four frame delay memories 623 to 626 connected in series, a comparator 627, a generator 628 indicating a frame number (sampling number) FN, a multiplexer 629, and six memories 630A
630F, warning discrimination circuit 631, scale generation circuit 6
32 and an image synthesis circuit 633. Amplifier 6
The gain of the system controller 61 is variable.
Is set to an appropriate value. The four frame delay memories 623 to 626 are provided for simultaneously outputting light receiving data Dg for five frames for each pixel g of the image sensor 53 to the memories 630A to 630E.

【００５７】メモリ６３０Ａ〜６３０Ｅは、有効な５回
分の受光データＤｇを記憶するために設けられており、
それぞれが計測のサンプリング点数（つまり、イメージ
センサ５３の有効画素数）と同数個の受光データＤｇを
記憶可能な容量をもつ。メモリ６３０Ｆは、画素ｇ毎に
特定のフレーム番号ＦＮを記憶するために設けられてお
り、サンプリング点数と同数個のフレーム番号ＦＮを記
憶可能な容量をもつ。メモリ６３０Ｂ〜６３０Ｆには、
書込み信号としてコンパレータ６２７の出力信号Ｓ６２
７が共通に加えられる。これに対して、メモリ６３０Ａ
には、出力信号Ｓ６２７とクロック信号ＣＫの２つの信
号のうち、マルチプレクサ６２９によって選択された一
方の信号が書込み信号として加えられる。クロック信号
ＣＫは予備計測において書込み信号として選択される。
つまり、予備計測ではＡＤ変換器６２２の変換動作と同
期してメモリ６３０Ａの書込みが行われる。The memories 630A to 630E are provided to store effective received light data Dg for five times.
Each has a capacity capable of storing the same number of light receiving data Dg as the number of measurement sampling points (that is, the number of effective pixels of the image sensor 53). The memory 630F is provided for storing a specific frame number FN for each pixel g, and has a capacity capable of storing the same number of frame numbers FN as the number of sampling points. In the memories 630B to 630F,
Output signal S62 of comparator 627 as a write signal
7 are added in common. On the other hand, the memory 630A
, One of the two signals, the output signal S627 and the clock signal CK, selected by the multiplexer 629 is added as a write signal. The clock signal CK is selected as the write signal in the preliminary measurement.
That is, in the preliminary measurement, writing to the memory 630A is performed in synchronization with the conversion operation of the AD converter 622.

【００５８】予備計測に続いて行われる計測（これを本
計測と呼称する）において、イメージセンサ５３におけ
る１フレームの読出しは、撮像面Ｓ２の全体ではなく、
高速化を図るために図１６のように撮像面Ｓ２の一部の
有効受光エリア（帯状画像）Ａｅのみを対象に行われ
る。有効受光エリアＡｅはスリット光Ｕの偏向に伴って
フレーム毎に１画素分だけシフトする。本実施形態で
は、有効受光エリアＡｅのシフト方向の画素数は３２に
固定されている。この３２画素分の幅が計測対象となる
距離範囲（計測可能範囲）に対応する。ＣＣＤエリアセ
ンサの撮影像の一部のみを読み出す手法は、特開平７−
１７４５３６号公報に開示されている。In the measurement (hereinafter referred to as the main measurement) performed after the preliminary measurement, one frame is read by the image sensor 53, not the entire image pickup surface S2.
In order to increase the speed, the processing is performed only on a part of the effective light receiving area (band image) Ae of the imaging surface S2 as shown in FIG. The effective light receiving area Ae shifts by one pixel for each frame with the deflection of the slit light U. In the present embodiment, the number of pixels of the effective light receiving area Ae in the shift direction is fixed to 32. The width of 32 pixels corresponds to the distance range (measurable range) to be measured. A method of reading out only a part of a captured image of a CCD area sensor is disclosed in
No. 174,536.

【００５９】ＡＤ変換器６２２は、１フレーム毎に３２
ライン分の受光データＤｇを画素ｇの配列順にシリアル
に出力する。各フレームディレイメモリ６２３〜６２６
は、３１（＝３２−１）ライン分の容量をもつＦＩＦＯ
メモリ（ファーストインファーストアウトメモリ）であ
る。ＡＤ変換器６２２から出力された注目画素ｇの受光
データＤｇは、２フレーム分だけ遅延された時点で、コ
ンパレータ６２６によって、メモリ６３０Ｃが記憶する
注目画素ｇについての過去の受光データＤｇの最大値と
比較される。遅延された受光データＤｇ（フレームディ
レイメモリ６２４の出力）が過去の最大値より大きい場
合に、その時点のＡＤ変換器６２２の出力及び各フレー
ムディレイメモリ６２３〜６２６の出力が、メモリ６３
０Ａ〜６３０Ｅにそれぞれ格納され、メモリ６３０Ａ〜
Ｅの記憶内容が書換えられる。これと同時にメモリ６３
０Ｆには、メモリ６３０Ｃに格納する受光データＤｇに
対応したフレーム番号ＦＮが格納される。ただし、ここ
でのフレーム番号ＦＮは、撮像面Ｓ２の全体における通
しのライン番号（Ｙ方向の画素番号）ではなく、上述し
た３２画素幅の有効受光エリアＡｅ内でのライン番号で
あり、０〜３１の範囲の値をとる。３２ライン分ずつの
読出しの順位（すなわち注目画素ｇのＹ方向の位置）と
フレーム番号ＦＮとにより、撮像面Ｓ２の全体における
ライン番号を特定することができる。The AD converter 622 sets 32 for each frame.
The light receiving data Dg for the line is serially output in the arrangement order of the pixels g. Each frame delay memory 623-626
Is a FIFO having a capacity of 31 (= 32-1) lines
Memory (first-in first-out memory). When the light reception data Dg of the target pixel g output from the AD converter 622 is delayed by two frames, the comparator 626 sets the maximum value of the past light reception data Dg for the target pixel g stored in the memory 630C by the comparator 626. Be compared. When the delayed light receiving data Dg (the output of the frame delay memory 624) is larger than the past maximum value, the output of the AD converter 622 and the output of each of the frame delay memories 623 to 626 at that time are stored in the memory 63.
0A to 630E, and stored in the memories 630A to 630E.
The storage content of E is rewritten. At the same time, memory 63
In 0F, a frame number FN corresponding to the received light data Dg stored in the memory 630C is stored. However, the frame number FN here is not a continuous line number (pixel number in the Y direction) on the entire imaging surface S2 but a line number in the above-described effective light receiving area Ae having a width of 32 pixels, and is 0 to 0. It takes a value in the range of 31. The line number in the entire imaging surface S2 can be specified based on the reading order of 32 lines (that is, the position of the target pixel g in the Y direction) and the frame number FN.

【００６０】ｎ番目のラインで注目画素ｇの受光量が最
大になった場合には、メモリ６３０Ａに（ｎ＋２）番目
のラインのデータが格納され、メモリ６３０Ｂに（ｎ＋
１）番目のフレームのデータが格納され、メモリ６３０
Ｃにｎ番目のフレームのデータが格納され、メモリ６３
０Ｄに（ｎ−１）番目のフレームのデータが格納され、
メモリ６３０Ｅに（ｎ−２）番目のフレームのデータが
格納され、メモリ６３０Ｆにｎが格納される。本計測の
結果としてホスト３へ送られる上述の計測データＤｓ
は、メモリ６３０Ａ〜Ｅに格納された受光データＤｇと
メモリ６３０Ｆに格納されたフレーム番号ＦＮとを合わ
せたデータである。When the amount of light received by the target pixel g on the n-th line becomes maximum, the data of the (n + 2) -th line is stored in the memory 630A and (n + 2) is stored in the memory 630B.
1) The data of the frame is stored in the memory 630
The data of the n-th frame is stored in C,
The data of the (n-1) th frame is stored in 0D,
The data of the (n−2) th frame is stored in the memory 630E, and n is stored in the memory 630F. The above-described measurement data Ds sent to the host 3 as a result of the main measurement
Is data obtained by combining the light receiving data Dg stored in the memories 630A to 630E with the frame number FN stored in the memory 630F.

【００６１】警告判別回路６３１、スケール発生回路６
３２、及び画像合成回路６３３は、計測結果のモニタ表
示（プレビュー）のための回路である。警告判別回路６
３１には、メモリ６３０Ｃからの受光データＤｇ、メモ
リ６３０Ｆからのフレーム番号ＦＮ、及びシステムコン
トローラ６１からのスケール値ｓｃが入力される。警告
判別回路６３１は、３種の入力の値の組合せに応じて、
計測結果である３次元形状を無彩色の濃淡（グレースケ
ール）で表した距離画像データＤ２１と、３種の警告信
号Ｓ１１〜１３を出力する。距離画像データＤ２１は、
具体的には、画像の各画素の表示色を規定するＲ，Ｇ，
Ｂの３色の輝度データである。スケール発生回路６３２
は、距離画像の濃淡と対物間距離との関係を示す帯状の
グラデーション画像（スケールバー）９０を生成する。
画像合成回路６３３は、距離画像データＤ２１にスケー
ルバー９０の表示データを組み入れる。 〔３次元位置の計測結果のプレビュー表示〕図１７は警
告判別回路６３１のブロック図、図１８は警告判別回路
６３１の入力と出力との関係を表形式で示す図である。Warning discrimination circuit 631, scale generation circuit 6
32 and an image synthesis circuit 633 are circuits for monitor display (preview) of the measurement result. Warning judgment circuit 6
To 31, the light receiving data Dg from the memory 630C, the frame number FN from the memory 630F, and the scale value sc from the system controller 61 are input. The warning discriminating circuit 631 determines a combination of three types of input values.
It outputs distance image data D21 representing a three-dimensional shape as a measurement result in achromatic shades (gray scale) and three kinds of warning signals S11 to S13. The distance image data D21 is
More specifically, R, G, and R that define the display color of each pixel of the image
It is the brightness data of the three colors B. Scale generation circuit 632
Generates a band-like gradation image (scale bar) 90 indicating the relationship between the density of the distance image and the distance between the objects.
The image composition circuit 633 incorporates the display data of the scale bar 90 into the distance image data D21. [Preview Display of Measurement Result of Three-Dimensional Position] FIG. 17 is a block diagram of the warning determination circuit 631, and FIG. 18 is a diagram showing a relationship between inputs and outputs of the warning determination circuit 631 in a table format.

【００６２】警告判別回路６３１は、２個のコンパレー
タ６３１１，６３１２とルックアップテーブル（ＬＵ
Ｔ）６３１３とから構成されている。コンパレータ６３
１１，６３１２には、メモリ６３０Ｃから有効画素数の
受光データＤｇが画素毎にシリアルに入力される。一方
のコンパレータ６３１１は、注目画素の最大受光量を示
す受光データＤｇの値が許容受光量の下限値である閾値
ｔｈＢより小さいときに、低輝度検出信号ＳＬを出力す
る。他方のコンパレータ６３１２は、受光データＤｇの
値が許容受光量の上限値である閾値ｔｈＡを越えたとき
に、オーバーフロー警告信号Ｓ１３を出力する。ＬＵＴ
６３１３は、フレーム番号ＦＮ、スケール値ｓｃ、低輝
度検出信号ＳＬ、及びオーバーフロー警告信号Ｓ１３の
値の組合せに応じて、距離画像データＤ２１、近接警告
信号Ｓ１１、及び遠方警告信号Ｓ１２を出力する。The warning discrimination circuit 631 includes two comparators 6311 and 6312 and a look-up table (LU).
T) 6313. Comparator 63
Light reception data Dg of the effective number of pixels is input serially to each of the pixels 11 and 6312 from the memory 630C. One comparator 6311 outputs the low luminance detection signal SL when the value of the light reception data Dg indicating the maximum light reception amount of the target pixel is smaller than the threshold thB which is the lower limit of the allowable light reception amount. The other comparator 6312 outputs an overflow warning signal S13 when the value of the light reception data Dg exceeds a threshold thA that is the upper limit of the allowable light reception amount. LUT
6313 outputs the distance image data D21, the proximity warning signal S11, and the distant warning signal S12 according to the combination of the frame number FN, the scale value sc, the low luminance detection signal SL, and the value of the overflow warning signal S13.

【００６３】スケール値ｓｃは、有効受光エリアＡｅの
幅で規定される計測可能範囲内の計測基準面の位置を示
し、０〜３１の値をとる。スケール値ｓｃのデフォルト
値は１６である。なお、本計測では、計測基準面の位置
をほぼ中央とする計測可能範囲が設定される。フレーム
番号ＦＮは、計測可能範囲内における物***置（厳密に
は注目画素に対応したサンプリング点の位置）を示す。
基本的には距離画像データＤ２１は、このフレーム番号
ＦＮをそのままグレースケール変換したデータである。
すなわち、グレースケールにおけるＲ，Ｇ，Ｂの輝度Ｙ
ｒ，Ｙｇ，Ｙｂは８×（ＦＮ−ｓｃ＋１６）である。た
だし、本実施形態においては、計測結果の良否を視覚的
に容易に理解できるように、特定の画素についてカラー
表示による強調が行われる。The scale value sc indicates the position of the measurement reference plane within the measurable range defined by the width of the effective light receiving area Ae, and takes a value of 0 to 31. The default value of the scale value sc is 16. In this measurement, a measurable range is set with the position of the measurement reference plane substantially at the center. The frame number FN indicates an object position within the measurable range (strictly speaking, the position of the sampling point corresponding to the target pixel).
Basically, the distance image data D21 is data obtained by directly converting the frame number FN into gray scale.
That is, the luminance Y of R, G, B in the gray scale
r, Yg, and Yb are 8 × (FN−sc + 16). However, in the present embodiment, specific pixels are emphasized by color display so that the quality of the measurement result can be easily understood visually.

【００６４】図１８のように、低輝度検出信号ＳＬがア
クティブ（オン）であれば、その画素の表示色はブラッ
クである。つまり、表示画面のうち、物体の反射率が極
端に小さい画素及び計測可能範囲外の画素はブラックで
表示される。オーバーフロー警告信号Ｓ１３がオンであ
れば、正確に時間重心Ｎｐｅａｋを算出することができ
ないことをユーザーに知らせるため、その画素はレッド
で表示される。計測基準面と物体との位置関係の理解を
助けるため、フレーム番号ＦＮがスケール値ｓｃと等し
い画素はシアンで表示される。そして、計測可能範囲の
近接側の端縁に対応した画像がグリーンで表示され、遠
方側の端縁に対応した画像はブルーで表示される。この
ような色分け表示により、ユーザーは物体の所望部分が
正しく計測されているかを容易に確認することができ
る。 〔３次元位置の計測手順〕次に、３次元カメラ２及びホ
スト３の動作を計測の手順と合わせて説明する。計測に
用いられるイメージセンサ５３の撮像面Ｓ２の有効画素
数（サンプリング点数）は２４４×２５６、すなわち１
フレームは２４４×２５６画素であり、２４４回のサン
プリングにより２４４フレームのデータが得られる。し
たがって、実質的なフレーム数Ｎは２４４であり、撮像
面Ｓ２におけるスリット長さ方向の画素数は２５６であ
る。As shown in FIG. 18, when the low brightness detection signal SL is active (ON), the display color of the pixel is black. That is, on the display screen, the pixels whose reflectance of the object is extremely small and the pixels outside the measurable range are displayed in black. If the overflow warning signal S13 is on, the pixel is displayed in red to inform the user that the time barycenter Npeak cannot be accurately calculated. In order to facilitate understanding of the positional relationship between the measurement reference plane and the object, pixels whose frame number FN is equal to the scale value sc are displayed in cyan. The image corresponding to the edge on the near side of the measurable range is displayed in green, and the image corresponding to the edge on the far side is displayed in blue. With such a color-coded display, the user can easily confirm whether the desired portion of the object is correctly measured. [3D Position Measurement Procedure] Next, the operation of the 3D camera 2 and the host 3 will be described together with the measurement procedure. The number of effective pixels (the number of sampling points) on the imaging surface S2 of the image sensor 53 used for measurement is 244 × 256, that is, 1
The frame is 244 × 256 pixels, and data of 244 frames is obtained by sampling 244 times. Therefore, the actual number of frames N is 244, and the number of pixels in the slit length direction on the imaging surface S2 is 256.

【００６５】ユーザーは、液晶ディスプレイ２１が表示
するカラー画像を見ながら、カメラ位置と向きとを決め
て画角を設定する。その際、必要に応じてズーミング操
作を行う。３次元カメラ２ではカラーイメージセンサ５
４に対する絞り調整は行われず、電子シャッタ機能によ
り露出制御されたカラーモニタ像が表示される。これ
は、絞りを開放状態とすることによってイメージセンサ
５３の入射光量をできるだけ多くするためである。The user sets the angle of view by deciding the camera position and direction while looking at the color image displayed on the liquid crystal display 21. At that time, zooming operation is performed as necessary. The color image sensor 5 for the three-dimensional camera 2
No aperture adjustment is performed on 4, and a color monitor image whose exposure is controlled by the electronic shutter function is displayed. This is because the amount of incident light on the image sensor 53 is increased as much as possible by opening the aperture.

【００６６】図１９は３次元カメラ２におけるデータの
流れを示す図、図２０はホスト３におけるデータの流れ
を示す図、図２１は投光光学系４０及び受光光学系５０
の各点と物体Ｑとの位置関係を示す図である。FIG. 19 is a diagram showing a data flow in the three-dimensional camera 2, FIG. 20 is a diagram showing a data flow in the host 3, and FIG. 21 is a light projecting optical system 40 and a light receiving optical system 50.
FIG. 5 is a diagram showing a positional relationship between each point and an object Q.

【００６７】ユーザーによる画角選択操作（ズーミン
グ）に応じて、ズームユニット５１のバリエータレンズ
５１４が移動するとともにフォーカシングレンズ５１２
の移動によるフォーカシングが行われる。フォーカシン
グの過程でおおよその対物間距離ｄ0 が測定される。こ
のような受光系のレンズ駆動に呼応して、投光側のバリ
エータレンズ４２２の移動量が演算により算出され、算
出結果に基づいてバリエータレンズ４２２の移動制御が
行われる。投光側のレンズ制御は、撮影距離及び画角に
係わらず、イメージセンサ５３に５画素分の幅のスリッ
ト光Ｕを入射させるためのものである。The variator lens 514 of the zoom unit 51 moves and the focusing lens 512 moves in accordance with the user's angle-of-view selection operation (zooming).
Focusing is performed by moving. An approximate object distance d 0 is measured during the focusing process. In response to such lens driving of the light receiving system, the amount of movement of the variator lens 422 on the light emitting side is calculated by calculation, and the movement of the variator lens 422 is controlled based on the calculation result. The lens control on the light projecting side is for causing the slit light U having a width of 5 pixels to enter the image sensor 53 regardless of the photographing distance and the angle of view.

【００６８】システムコントローラ６１は、レンズコン
トローラ５８を介して、フォーカシング駆動系５９のエ
ンコーダ出力（繰り出し量Ｅｄ）及びズーミング駆動系
６０のエンコーダ出力（ズーム刻み値ｆｐ）を読み込
む。システムコントローラ６１の内部において、歪曲収
差テーブルＴ１、主点位置テーブルＴ２、及び像距離テ
ーブルＴ３が参照され、繰り出し量Ｅｄ及びズーム刻み
値ｆｐに対応した撮影条件データがホスト３へ出力され
る。ここでの撮影条件データは、歪曲収差パラメータ
（レンズ歪み補正係数ｄ１，ｄ２）、前側主点位置Ｆ
Ｈ、及び像距離ｂである。前側主点位置ＦＨは、ズーム
ユニット５１の前側端点Ｆと前側主点Ｈとの距離で表さ
れる（図４７参照）。前側端点Ｆは固定であるので、前
側主点位置ＦＨにより前側主点Ｈを特定することができ
る。The system controller 61 reads the encoder output of the focusing drive system 59 (extending amount Ed) and the encoder output of the zooming drive system 60 (zoom increment value fp) via the lens controller 58. In the system controller 61, the distortion condition table T1, the principal point position table T2, and the image distance table T3 are referred to, and shooting condition data corresponding to the feeding amount Ed and the zoom step value fp is output to the host 3. The photographing condition data here includes distortion parameters (lens distortion correction coefficients d1 and d2), front principal point position F
H and the image distance b. The front principal point position FH is represented by the distance between the front end point F of the zoom unit 51 and the front principal point H (see FIG. 47). Since the front end point F is fixed, the front main point H can be specified by the front main point position FH.

【００６９】また、システムコントローラ６１は、特定
の方向にスリット光Ｕを投射して計測環境を測定する予
備計測を実行し、予備計測で得られた撮影情報に基づい
て三角測量法により対物間距離ｄを求め、その対物間距
離ｄに基づいて、繰り出し量Ｅｄを再設定するとともに
レンズ駆動を行い、本計測の動作設定をする。設定項目
には、半導体レーザ４１の出力（レーザ光強度）、スリ
ット光Ｕの偏向条件（投射角度範囲を特定する投射開始
角及び投射終了角、偏向角速度）などがある。繰り出し
量Ｅｄに変更があれば、再び各テーブルＴ１〜Ｔ３が参
照され、ホスト３での演算に必要な撮影条件データの内
容が再設定される。Further, the system controller 61 executes preliminary measurement for projecting the slit light U in a specific direction to measure the measurement environment, and based on the photographing information obtained by the preliminary measurement, the inter-object distance by the triangulation method. Based on the distance d between the objectives, the amount of extension Ed is reset and the lens is driven to set the operation for the main measurement. The setting items include an output of the semiconductor laser 41 (laser light intensity), a deflection condition of the slit light U (a projection start angle and a projection end angle for specifying a projection angle range, and a deflection angular velocity). If the feed amount Ed is changed, the tables T1 to T3 are referred to again, and the contents of the shooting condition data necessary for the calculation in the host 3 are reset.

【００７０】予備計測に際しては、おおよその対物間距
離ｄ0 に平面物体が存在するものとして、撮像面Ｓ２の
中央に反射光が入射するように投射方向、すなわち投光
軸の傾き角度（投射角度）を設定する。半導体レーザ４
１をパルス点灯して受光量を測定し、受光量が適正にな
るように投射光強度を調整する。このとき、人体への安
全と半導体レーザ４１の定格とを考慮した許容上限値に
投射光強度を設定しても必要な受光量が得られない場合
には計測を中止し、その旨の警告メッセージを表示する
とともに警告音を発する。対物間距離ｄの算定において
は、測距基準点である受光系の前側主点Ｈと投光の起点
ＡとのＺ方向のオフセットｄｏｆｆを考慮する。偏向条
件の算定に際しては、走査方向の端部においても中央部
と同様の計測可能範囲ｄ’を確保するため、所定量（例
えば８画素分）のオーバースキャンを行うようにする。
投射開始角（走査開始時の投射角度）ｔｈ１、投射終了
角（走査終了時の投射角度）ｔｈ２、偏向角速度（投射
方向の変移速度）ωは、以下の（１）式、（２）式、
（３）式で表される。In the preliminary measurement, assuming that a plane object exists at an approximate object distance d 0 , the projection direction, that is, the inclination angle of the projection axis (projection angle) so that the reflected light is incident on the center of the image pickup surface S2. ) Is set. Semiconductor laser 4
1 is pulse-lighted to measure the amount of received light, and the intensity of projected light is adjusted so that the amount of received light is appropriate. At this time, if the required amount of received light is not obtained even if the projected light intensity is set to the allowable upper limit value in consideration of safety for the human body and the rating of the semiconductor laser 41, the measurement is stopped and a warning message to that effect is given. Is displayed and a warning sound is emitted. In calculating the inter-object distance d, an offset doff in the Z direction between the front principal point H of the light receiving system, which is a distance measurement reference point, and the projection start point A is considered. When calculating the deflection condition, a predetermined amount (for example, 8 pixels) of overscan is performed in order to secure the same measurable range d ′ at the end in the scanning direction as at the center.
The projection start angle (projection angle at the start of scanning) th1, the projection end angle (projection angle at the end of scanning) th2, and the deflection angular velocity (transition velocity of the projection direction) ω are the following formulas (1) and (2),
It is expressed by equation (3).

【００７１】[0071]

【数１】 [Equation 1]

【００７２】このようにして算出された条件で本計測が
行われる。物体Ｑが走査され、出力処理回路５２によっ
て１画素当たり５フレーム分の計測データＤｓが生成さ
れる。そして、上述したように距離画像のモニタ表示が
行われる。３次元カメラ２は、再計測の便宜を図るため
のプレビュー機能（詳細は後述）を有している。ユーザ
ーはモニタ表示を見た上で、必要に応じて再計測を指示
する。再計測モードにおいてユーザーが計測条件を変更
すると、新たな計測条件に対応した仮想の距離画像が前
回の計測時の計測データＤｓに基づいて生成され、プレ
ビュー画像として表示される。条件変更操作に呼応して
プレビュー画像がリアルタイムで表示されるので、ユー
ザーは計測条件の最適化を効率的に進めることができ
る。ユーザーが条件変更の終了を入力すると、再計測が
行われて新たな計測データＤｓが生成される。The main measurement is performed under the conditions thus calculated. The object Q is scanned, and the output processing circuit 52 generates measurement data Ds for five frames per pixel. Then, the monitor display of the distance image is performed as described above. The three-dimensional camera 2 has a preview function (details will be described later) for facilitating re-measurement. The user looks at the monitor display and instructs re-measurement as necessary. When the user changes the measurement condition in the remeasurement mode, a virtual distance image corresponding to the new measurement condition is generated based on the measurement data Ds at the previous measurement and displayed as a preview image. Since the preview image is displayed in real time in response to the condition changing operation, the user can efficiently optimize the measurement conditions. When the user inputs the end of the condition change, re-measurement is performed and new measurement data Ds is generated.

【００７３】ユーザーがレコードボタン２８をオンする
と、計測データＤｓがホスト３へ送られる。同時に、偏
向条件（偏向制御データＤ４３）及びイメージセンサ５
３の仕様などを示す装置情報Ｄ１０も、ホスト３へ送ら
れる。表１は３次元カメラ２がホスト３へ送る主なデー
タをまとめたものである。When the user turns on the record button 28, the measurement data Ds is sent to the host 3. At the same time, the deflection condition (deflection control data D43) and the image sensor 5
The device information D10 indicating the specifications of the device 3 is also sent to the host 3. Table 1 summarizes main data that the three-dimensional camera 2 sends to the host 3.

【００７４】[0074]

【表１】 [Table 1]

【００７５】投射開始角ｔｈ１及び投射終了角ｔｈ２の
設定に際して、上述の（１）式、（２）式に代えて次の
（１’）式、（２’）式を適用すれば、測定可能距離範
囲を光軸方向にシフトさせることができる。When the projection start angle th1 and the projection end angle th2 are set, the following formulas (1 ') and (2') can be applied instead of the above formulas (1) and (2) for measurement. The distance range can be shifted in the optical axis direction.

【００７６】[0076]

【数２】 [Equation 2]

【００７７】後述のように対物間距離の算定の基準位置
を物体の近接位置（３次元カメラ２側）に設定し、その
前後に計測可能範囲ｄ’を設定すると、前側（３次元カ
メラ２側）の計測可能範囲が無駄になることが多い。し
たがって、シフト量ｐｉｔｃｈｏｆｆを設定して、前側
２５％、後側７５％の割合になるように計測可能範囲
ｄ’を後側へシフトさせるのが望ましい。As will be described later, if the reference position for calculating the distance between the objects is set to the close position of the object (3D camera 2 side) and the measurable range d'is set before and after that, the front side (3D camera 2 side) is set. The measurable range in) is often wasted. Therefore, it is desirable to set the shift amount pitchoff and shift the measurable range d ′ to the rear side so that the ratio is 25% on the front side and 75% on the rear side.

【００７８】本実施形態のように有効受光エリアＡｅが
３２画素幅である場合（つまり、ＣＣＤエリアセンサが
３２ラインの読出し幅をもつ場合）、シフト量ｐｉｔｃ
ｈｏｆｆを「８」とすれば、上述の割合の計測可能範囲
が設定される。シフト後の会則可能範囲ｄ’’は図２２
（ｃ）に示す範囲となる。When the effective light receiving area Ae has a width of 32 pixels as in this embodiment (that is, when the CCD area sensor has a read width of 32 lines), the shift amount pitc
If hoff is “8”, the measurable range of the above ratio is set. The ruleable range d ″ after the shift is shown in FIG.
The range is as shown in FIG.

【００７９】図２０のように、ホスト３においては、ス
リット重心演算、歪曲収差の補正演算、カメラ視線方程
式の演算、スリット面方程式の演算、及び３次元位置演
算が実行され、それによって２４４×２５６個のサンプ
リング点の３次元位置（座標Ｘ，Ｙ，Ｚ）が算定され
る。サンプリング点はカメラ視線（サンプリング点と前
側主点Ｈとを結ぶ直線）とスリット面（サンプリング点
を照射するスリット光Ｕの光軸面）との交点である。As shown in FIG. 20, the host 3 executes slit barycenter calculation, distortion aberration correction calculation, camera line-of-sight equation calculation, slit plane equation calculation, and three-dimensional position calculation, which results in 244 × 256. The three-dimensional position (coordinates X, Y, Z) of each sampling point is calculated. The sampling point is the intersection of the camera's line of sight (a straight line connecting the sampling point and the front principal point H) and the slit plane (the optical axis plane of the slit light U illuminating the sampling point).

【００８０】スリット光Ｕの時間重心Ｎｐｅａｋ（図１
４参照）は、各サンプリング時の受光データＤｇ（ｉ）
を用いて（４）式、又は（４’）式で与えられる。The time center Npeak of the slit light U (FIG. 1)
4) is the received light data Dg (i) at each sampling
Is given by the expression (4) or the expression (4 ′).

【００８１】[0081]

【数３】 (Equation 3)

【００８２】５つの受光データの内の最小のデータｍｉ
ｎＤｇ（ｉ）を差し引いて加重平均を求めることによ
り、環境光の影響を軽減することができる。カメラ視線
方程式は（５）式及び（６）式である。The minimum data mi of the five received light data
By subtracting nDg (i) to obtain a weighted average, the influence of ambient light can be reduced. The camera line-of-sight equations are equations (5) and (6).

【００８３】[0083]

【数４】 (Equation 4)

【００８４】スリット面方程式は（７）式である。The slit plane equation is the equation (7).

【００８５】[0085]

【数５】 (Equation 5)

【００８６】幾何収差は画角に依存する。歪はほぼ中心
画素を中心として対象に生じる。したがって、歪み量は
中心画素からの距離の関数で表される。ここでは、距離
の３次関数で近似する。２次の補正係数をｄ１、３次の
補正係数をｄ２とする。補正後の画素位置ｕ’，ｖ’は
（８）式及び（９）式で与えられる。The geometric aberration depends on the angle of view. Distortion occurs in the target substantially at the center pixel. Therefore, the amount of distortion is represented by a function of the distance from the center pixel. Here, the distance is approximated by a cubic function. The secondary correction coefficient is d1, and the tertiary correction coefficient is d2. The corrected pixel positions u ′ and v ′ are given by equations (8) and (9).

【００８７】[0087]

【数６】 (Equation 6)

【００８８】上述の（５）式及び（６）式において、ｕ
に代えてｕ’を代入し、ｖに代えてｖ’を代入すること
により、歪曲収差を考慮した３次元位置を求めることが
できる。なお、キャリブレーションについては、電子情
報通信学会研究会資料ＰＲＵ９１−１１３［カメラの位
置決めのいらない画像の幾何学的補正］小野寺・金谷、
電子情報通信学会論文誌Ｄ-II vol.Ｊ７４−Ｄ−II No.
9 pp.1227-1235,'91/9［光学系の３次元モデルに基づく
レンジファインダの高精度キャリブレーション法］植芝
・吉見・大島、などに詳しい開示がある。 〔３次元位置の計測における予備計測〕以下、３次元カ
メラ２の自動設定機能について説明する。In the above equations (5) and (6), u
By substituting u ′ instead of, and substituting v ′ instead of v, it is possible to obtain a three-dimensional position in consideration of distortion. For calibration, IEICE Technical Meeting, PRU91-113 [Geometric correction of image without camera positioning] Onodera, Kanaya,
IEICE Transactions D-II vol.J74-D-II No.
9 pp.1227-1235, '91 / 9 [High-precision calibration method of range finder based on three-dimensional model of optical system] Ueshiba, Yoshimi, Oshima, etc. have detailed disclosure. [Preliminary Measurement in Three-Dimensional Position Measurement] The automatic setting function of the three-dimensional camera 2 will be described below.

【００８９】３次元カメラ２は、予備計測の結果に基づ
いて本計測の条件（投射角度範囲及びレーザ光強度）を
設定する。予備計測では、本計測とは違ってスリット光
Ｕの偏向は行われず、一方向のみにスリット光Ｕが投射
される。投射方向はズーミング状態、及び別途に設けら
れたパッシブ型測距センサの出力に応じて選定される。
投射は、短期間内に断続的に計３回行われ、その際に投
射毎にレーザ光強度（投射光強度）が大きい値から小さ
い値へ変更される。つまり、強度Ａ，Ｂ，Ｃ（Ａ＞Ｂ＞
Ｃ）の３種のスリット光Ｕによる計測が行われる。各強
度Ａ〜Ｃのスリット光Ｕの投射時にイメージセンサ５３
によって得られた撮影情報は、メモリ６３０Ａに一旦格
納された後、所定の演算に用いられる。メモリ６３０Ａ
からの撮影情報（受光データＤｇ）の読出しは、撮像面
Ｓ２の全体ではなく一部分のみを対象に行われる。この
ように本実施形態においては、投射方向及び撮影情報の
読出し範囲を限定することによって予備計測の所要時間
の短縮が図られており、強度の異なる３種のスリット光
Ｕを投射することによって信頼性が高められている。The three-dimensional camera 2 sets conditions for main measurement (projection angle range and laser light intensity) based on the result of preliminary measurement. In the preliminary measurement, unlike the main measurement, the slit light U is not deflected, and the slit light U is projected only in one direction. The projection direction is selected according to the zooming state and the output of a separately provided passive distance measuring sensor.
The projection is intermittently performed a total of three times within a short period, and at that time, the laser light intensity (projection light intensity) is changed from a large value to a small value for each projection. That is, the strengths A, B, C (A>B>
The measurement by the three types of slit light U of C) is performed. When projecting the slit light U of each intensity A to C, the image sensor 53
The photographing information obtained by the above is temporarily stored in the memory 630A, and then used for a predetermined calculation. Memory 630A
The reading of the photographing information (light receiving data Dg) from is performed not on the entire imaging surface S2 but on only a part thereof. As described above, in the present embodiment, the time required for the preliminary measurement is shortened by limiting the projection direction and the readout range of the imaging information, and the reliability is improved by projecting three types of slit light U having different intensities. Sex is raised.

【００９０】図２３は予備計測時のサンプリングの範囲
を示す図である。予備計測においては、イメージセンサ
５３の撮像面Ｓ２を構成する２４４×２５５個の画素の
うち、５つのラインｖ１〜ｖ５の画素がサンプリングの
対象となる。各ラインｖ１〜ｖ５は、Ｙ方向（スリット
光の偏向方向）の一端から他端までの画素列であり、Ｘ
方向の中央付近でほぼ等間隔に並んでいる。各ラインｖ
１，ｖ２，ｖ３，ｖ５，ｖ５のＸ方向の座標（画素番
号）は、順に１１０，１２０，１２８，１４０，１５０
であり、ＡＦセンサ５７の測距エリアＡ５７の範囲内の
値に選定されている。一般に、計測に際しては計測対象
物体の真正面に３次元カメラ２が配置されるので、でき
るだけ少ないサンプリング点数で有効な情報を得ようと
する場合、撮像面Ｓ２の中央付近がサンプリング点とし
て好適である。FIG. 23 is a diagram showing a sampling range at the time of preliminary measurement. In the preliminary measurement, among the 244 × 255 pixels forming the imaging surface S2 of the image sensor 53, the pixels of five lines v1 to v5 are to be sampled. Each of the lines v1 to v5 is a pixel column from one end to the other end in the Y direction (the deflection direction of the slit light).
They are lined up at approximately equal intervals near the center of the direction. Each line v
The coordinates (pixel numbers) in the X direction of 1, v2, v3, v5, and v5 are 110, 120, 128, 140, and 150, respectively.
And the value is selected within the range of the distance measurement area A57 of the AF sensor 57. Generally, in measurement, the three-dimensional camera 2 is arranged directly in front of the object to be measured. Therefore, when obtaining effective information with as few sampling points as possible, the vicinity of the center of the imaging surface S2 is suitable as a sampling point.

【００９１】図２４はスリット画像ＧＳとサンプリング
点との関係を示す図である。例えば物体Ｑが球である場
合には曲線状のスリット画像ＧＳが撮影される。予備計
測における最初の投射時には、各ラインｖ１〜ｖ５につ
いて全ての画素のデータがメモリ６３０Ａから読み出さ
れ、スリット画像ＧＳに対応した画素のＹ方向の座標
（スリット画像位置）が検出される。図２４（ａ）中の
黒丸はスリット画像位置を示している。これに対して、
２回目及び３回目の投射時には、既にスリット画像位置
が検出されているので、時間を節約するために、各ライ
ンｖ１〜ｖ５についてスリット画像位置及びその両側の
画素ｇを合わせた３個の画素ｇのデータのみがメモリ６
３０Ａから読み出される。図２４（ｂ）中の斜線を付し
た画素ｇがスリット画像位置に対応する。FIG. 24 is a diagram showing the relationship between the slit image GS and sampling points. For example, when the object Q is a sphere, a curved slit image GS is captured. At the time of the first projection in the preliminary measurement, the data of all the pixels for each of the lines v1 to v5 is read from the memory 630A, and the coordinates (slit image position) in the Y direction of the pixel corresponding to the slit image GS are detected. A black circle in FIG. 24A indicates a slit image position. On the contrary,
At the time of the second and third projections, since the slit image position has already been detected, in order to save time, for each line v1 to v5, there are three pixels g including the slit image position and the pixels g on both sides thereof. Only data in memory 6
Read from 30A. The hatched pixel g in FIG. 24B corresponds to the slit image position.

【００９２】図２５は予備計測テーブルＴ５のデータ内
容の模式図である。予備計測テーブルＴ５は、システム
コントローラ６１に内蔵されている図示しないＲＡＭに
設けられる。上述の各強度Ａ〜Ｃのスリット光Ｕを投射
したときの受光データＤｇ及びそれに基づいて得られた
所定のデータ（スリット画像位置など）が予備計測デー
タとしてラインｖ１〜ｖ５毎に格納される。FIG. 25 is a schematic diagram of data contents of the preliminary measurement table T5. The preliminary measurement table T5 is provided in a RAM (not shown) built in the system controller 61. The received light data Dg when the above-described slit light U of each of the intensities A to C is projected and predetermined data (slit image position and the like) obtained based on the data are stored as preliminary measurement data for each of the lines v1 to v5.

【００９３】図２６は投射光強度と受光量との関係の代
表例を示すグラフである。図２６（ａ）の例では、強度
Ａ〜Ｃにおける受光レベルは飽和レベル（受光のダイナ
ミックレンジの上限）より低い。図２６（ｂ）の例では
強度Ａにおいて受光が飽和している。FIG. 26 is a graph showing a typical example of the relationship between the intensity of projected light and the amount of received light. In the example of FIG. 26A, the light receiving level at the intensities A to C is lower than the saturation level (the upper limit of the light receiving dynamic range). In the example of FIG. 26B, the light reception is saturated at the intensity A.

【００９４】受光レベルが非飽和の範囲内であり且つ環
境光や信号ノイズの影響がなければ、強度Ａ〜Ｃと受光
データＤｇとの間に比例関係が成立する。したがって、
各強度Ａ〜Ｃの受光データＤｇの値から、任意の投射光
強度における受光レベルを推測することができる。言い
換えれば、最適の受光レベルの得られる投射光強度を演
算で求めることができる。強度Ａ〜Ｃの大小関係と受光
データＤｇの大小関係とが一致しない場合は、受光デー
タＤｇの信頼性に問題がある。上述の予備計測テーブル
Ｔ５には、各ラインｖ１〜ｖ５のデータの適否判別の結
果も格納される。If the received light level is in the non-saturated range and there is no influence of ambient light or signal noise, a proportional relationship is established between the intensities A to C and the received light data Dg. Therefore,
From the values of the received light data Dg of the respective intensities A to C, it is possible to estimate the received light level at an arbitrary projected light intensity. In other words, the intensity of the projected light at which the optimum light receiving level can be obtained can be calculated. If the magnitude relationship between the intensities A to C does not match the magnitude relationship of the received light data Dg, there is a problem in the reliability of the received light data Dg. The above-described preliminary measurement table T5 also stores the results of the determination of the suitability of the data of each of the lines v1 to v5.

【００９５】システムコントローラ６１は、５つのライ
ンｖ１〜ｖ５の中から後述の要領で選択したラインのス
リット画像位置に基づいて三角測量法によって対物間距
離を求め、本計測のレンズ位置条件を設定する。これに
より計測可能範囲が定まる。その後、システムコントロ
ーラ６１は、５つのラインｖ１〜ｖ５のうち、計測可能
範囲内のラインの予備計測データに基づいて、本計測の
投射光強度を最適化する。The system controller 61 obtains the object distance by the triangulation method based on the slit image position of the line selected from the five lines v1 to v5 in the manner described later, and sets the lens position condition for the main measurement. . This determines the measurable range. Thereafter, the system controller 61 optimizes the projection light intensity of the main measurement based on the preliminary measurement data of the line within the measurable range among the five lines v1 to v5.

【００９６】図２２は投射光強度を最適化の手順を説明
するための図、図２７は図２２に対応した最適強度を示
すグラフである。図２２（ａ）において、背景面ＳＢの
前面側に立方体状の物体Ｑが置かれている。図２２
（ｂ）は物体Ｑに向かってスリット光Ｕを投射したとき
のスリット画像ＧＳを示している。撮像面Ｓ２の各ライ
ンｖ１〜ｖ５のスリット画像位置をＰ１〜５とする。図
２２（ｃ）は、各スリット画像位置Ｐ１〜Ｐ５と物体Ｑ
との位置関係を示す平面図である。図２２（ｂ）及び
（ｃ）のように、スリット画像位置Ｐ２，Ｐ３が物体Ｑ
に対応し、他の３つのスリット画像位置Ｐ１，Ｐ４，Ｐ
５は背景面ＳＢに対応する。FIG. 22 is a diagram for explaining the procedure for optimizing the intensity of the projected light, and FIG. 27 is a graph showing the optimal intensity corresponding to FIG. In FIG. 22A, a cubic object Q is placed on the front side of the background surface SB. FIG.
(B) shows the slit image GS when the slit light U is projected toward the object Q. The slit image positions of the lines v1 to v5 on the imaging surface S2 are P1 to 5. FIG. 22C shows each slit image position P1 to P5 and the object Q
It is a top view which shows the positional relationship with respect to. As shown in FIGS. 22B and 22C, the slit image positions P2 and P3 correspond to the object Q
, And the other three slit image positions P1, P4, P
Reference numeral 5 corresponds to the background surface SB.

【００９７】ここでは、スリット画像位置Ｐ３が対物間
距離の算定の基準位置（ピントを合わせる位置）である
ものとする。黒丸を囲む○印が基準位置であることを表
している。基準位置の選定によって計測可能範囲ｄ’が
決まる。図２２（ｃ）のように、スリット画像位置Ｐ
２，Ｐ３は計測可能範囲ｄ’の内側であるが、他の３つ
のスリット画像位置Ｐ１，Ｐ４，Ｐ５は、計測可能範囲
ｄ’の外側であって本計測時には撮影されない。図中の
×印は、本計測の対象外であることを表している。本計
測の投射光強度は、本計測時の撮影対象に対応したスリ
ット画像位置Ｐ２，Ｐ３を含むラインｖ２，ｖ３の予備
計測データに基づいて設定される。Here, it is assumed that the slit image position P3 is the reference position (position for focusing) for calculating the object distance. A circle surrounding a black circle indicates the reference position. The measurable range d ′ is determined by the selection of the reference position. As shown in FIG. 22C, the slit image position P
2 and P3 are inside the measurable range d ', but the other three slit image positions P1, P4 and P5 are outside the measurable range d' and are not photographed during the main measurement. The crosses in the figure indicate that the measurement is out of the target. The projection light intensity of the main measurement is set based on preliminary measurement data of lines v2 and v3 including the slit image positions P2 and P3 corresponding to the imaging target at the time of the main measurement.

【００９８】図２７のように、各強度Ａ〜Ｃにおけるラ
インｖ２，ｖ３の受光量の実測値から、各スリット画像
位置Ｐ２，Ｐ３について最適レベルが得られる投射光強
度を求める。そして、求めた２つの投射光強度のうち、
値の小さい方を本計測の設定値として採用する。計測可
能範囲ｄ’の内側のスリット画像位置が３以上であれ
ば、それらについて求めた最適の投射光強度のうちの最
小値を採用する。最小値を採用するのは、受光の飽和を
避けるためである。 〔３次元計測におけるプレビュー機能〕図２８はプレビ
ュー機能を説明するための計測例を示す図、図２９は計
測条件の変更例を示す図、図３０は図２９に対応したモ
ニタ表示の内容を示す図である。As shown in FIG. 27, the projection light intensity that gives the optimum level for each slit image position P2, P3 is obtained from the measured value of the amount of received light of the lines v2, v3 in each intensity A to C. Then, of the two projected light intensity obtained,
The smaller value is adopted as the setting value of the main measurement. If the number of slit image positions inside the measurable range d 'is 3 or more, the minimum value of the optimum projection light intensity obtained for those is adopted. The minimum value is used to avoid saturation of light reception. [Preview Function in Three-Dimensional Measurement] FIG. 28 shows a measurement example for explaining the preview function, FIG. 29 shows an example of changing measurement conditions, and FIG. 30 shows the contents of a monitor display corresponding to FIG. FIG.

【００９９】ここでは、計測対象の物体Ｑを鳥の置物と
し、鳥の顔面に対する真正面の位置から計測を行うもの
とする。図２８のように、鳥の胴の前面側に高輝度部分
ｑが存在する。図２９（ａ）は最初の計測時の計測可能
範囲ｄ’の設定状態を示し、図２９（ｂ）は再計測時の
計測可能範囲ｄ’の設定状態を示している。図３０
（ａ）は図２９（ａ）に対応し、図３０（ｂ）は図２９
（ｂ）に対応する。Here, it is assumed that the object Q to be measured is a bird figurine and the measurement is performed from the position directly in front of the face of the bird. As shown in FIG. 28, a high brightness portion q exists on the front side of the bird's torso. FIG. 29A shows the setting state of the measurable range d ′ at the time of the first measurement, and FIG. 29B shows the setting state of the measurable range d ′ at the time of re-measurement. Figure 30
29A corresponds to FIG. 29A, and FIG.
This corresponds to (b).

【０１００】最初の計測が終了した段階で、液晶ディス
プレイ２１の画面には距離画像Ｇ１、スケールバー９
０、計測基準位置ｅ１の対物間距離（単位はｍｍ）を表
す数値ｚ１、計測可能範囲ｄ’の両端縁ｅ２，ｅ３の対
物間距離を表す数値ｚ２，ｚ３、スケールバー９０にお
ける計測基準位置ｅ１に対応した表示輝度を示す矢印Ｚ
４、及び投射光強度の設定値を表す数値ｚ５が表示され
る。なお、実際には、図３０（ａ）及び（ｂ）中の斜線
部分はブラックで表示され、白抜き部分は図１８で説明
したように計測値に応じた濃度（明暗）の無彩色で表示
される。通常、白抜き部分の全域が同一濃度となること
はほとんどない。When the first measurement is completed, the distance image G1 and the scale bar 9 are displayed on the screen of the liquid crystal display 21.
0, a numerical value z1 representing the inter-object distance (unit: mm) at the measurement reference position e1, numerical values z2, z3 representing the inter-object distances at both ends e2, e3 of the measurable range d ', and a measurement reference position e1 on the scale bar 90. Arrow Z indicating the display brightness corresponding to
4 and a numerical value z5 indicating the set value of the projection light intensity are displayed. Actually, hatched portions in FIGS. 30A and 30B are displayed in black, and white portions are displayed in achromatic color (density) corresponding to the measured value as described with reference to FIG. Is done. Normally, the whole area of the white portion hardly has the same density.

【０１０１】図２９（ａ）においては、計測基準位置ｅ
１が鳥の頭の中央付近に設定されており、くちばしの先
端が計測可能範囲ｄ’より近接側にはみ出ている。この
ことは、図３０（ａ）の距離画像Ｇ１において、計測可
能範囲ｄ’の近接側端縁ｅ２に対応したグリーンの部分
（連続的又は断続的な線状の画素群）Ｅ２が存在するこ
とから判る。また、距離画像Ｇ１は、遠方側端縁ｅ３に
対応したブルーの部分Ｅ３と、高輝度部分ｑに対応した
レッドの部分Ｅｑとを含んでいる。In FIG. 29A, the measurement reference position e
1 is set near the center of the bird's head, and the tip of the beak protrudes closer to the measurable range d '. This means that a green portion (continuous or intermittent linear pixel group) E2 corresponding to the near-side edge e2 of the measurable range d 'exists in the distance image G1 of FIG. I understand from. Further, the distance image G1 includes a blue portion E3 corresponding to the far side edge e3 and a red portion Eq corresponding to the high luminance portion q.

【０１０２】ここで、ユーザーが図２９（ｂ）のように
計測可能範囲ｄ’を以前より近接側にシフトしたとす
る。操作としては、下向きのカーソルボタン２２（図２
参照）を必要回数だけ押せばよい。カーソルボタン２２
を押す毎に、矢印ｚ４は表示画面の下方側に移動し、数
値Ｚ１が更新される。そして、この条件変更操作に呼応
してモニタ画像がリアルタイムで書換えられる。図２９
（ｂ）の状態では、くちばしの全体が計測可能範囲ｄ’
の内側に入っている。このことは、図３０（ｂ）のプレ
ビュー画像Ｇ１’の中に近接警告を意味するグリーンの
部分がないことから判る。なお、プレビュー画像Ｇ１’
は前回の計測データＤｇに基づいて生成されるので、距
離画像Ｇ１で欠けているくちばしは実際には計測されて
いないことから、プレビュー画像Ｇ１’においてその部
分はブラックで表示される。また、計測可能範囲ｄ’の
変更に伴って、新たに計測可能範囲外となった部分もブ
ラックで表示される。 〔メイン制御フロー〕図３１は３次元カメラ２の計測動
作の制御手順を示すフローチャートである。Here, it is assumed that the user shifts the measurable range d'to the closer side than before as shown in FIG. 29 (b). As an operation, a downward cursor button 22 (FIG. 2)
) Can be pressed as many times as necessary. Cursor button 22
Each time is pressed, the arrow z4 moves to the lower side of the display screen, and the numerical value Z1 is updated. Then, the monitor image is rewritten in real time in response to the condition changing operation. FIG.
In the state of (b), the entire beak is in the measurable range d '.
Inside. This can be understood from the fact that there is no green portion indicating the proximity warning in the preview image G1 ′ of FIG. The preview image G1 '
Is generated based on the previous measurement data Dg, and since the beak missing in the distance image G1 is not actually measured, that portion is displayed in black in the preview image G1 ′. Further, with the change of the measurable range d ′, a portion that is outside the measurable range is also displayed in black. [Main Control Flow] FIG. 31 is a flowchart showing a control procedure of the measurement operation of the three-dimensional camera 2.

【０１０３】レコードボタン２８のフォーカスロック操
作に呼応してアクティブ形式の予備計測を行う（＃１
１、＃１２）。測定した対物間距離ｄが仕様で定められ
た撮影距離範囲から外れている場合には、エラー処理を
実行する（＃１３、＃２３）。エラー処理では、液晶デ
ィスプレイ２１により所定のメッセージを表示するとと
もにブザー７５を鳴らす。対物間距離ｄが撮影距離範囲
内であれば、その後のレリーズ操作に呼応して計測デー
タＤｓを得るための撮影処理を行う（＃１４、＃１
５）。一方、フォーカスロック操作が行われずにレリー
ズ操作が行われた場合も、予備計測を行って対物間距離
ｄの適否を判断する（＃２０〜＃２２）。対物間距離ｄ
及び受光光量が適正であれば「本計測」に進み、不適正
であればエラー処理を行う（＃１５、＃２３）。In response to the focus lock operation of the record button 28, the preliminary measurement in the active format is performed (# 1
1, # 12). If the measured inter-object distance d is out of the photographing distance range defined in the specification, error processing is executed (# 13, # 23). In the error processing, a predetermined message is displayed on the liquid crystal display 21 and the buzzer 75 sounds. If the inter-object distance d is within the photographing distance range, photographing processing for obtaining the measurement data Ds is performed in response to a subsequent release operation (# 14, # 1).
5). On the other hand, even when the release operation is performed without performing the focus lock operation, preliminary measurement is performed to determine whether the inter-object distance d is appropriate (# 20 to # 22). Objective distance d
If the received light amount is appropriate, the process proceeds to “main measurement”, and if the received light amount is inappropriate, an error process is performed (# 15, # 23).

【０１０４】撮影が終了した後、アンドゥーボタン２９
によるアンドゥー操作が行われた場合は、「再計測処
理」を実行する（＃１６、＃１９）。レコードボタン２
８のレコード操作が行われた場合は、計測データＤｓを
ホスト３又は記憶媒体４へ出力する録画処理を実行する
（＃１７、＃１８）。本計測ルーチン（＃１５）で図３
０（ａ）の表示が行われており、操作者は測定できなか
った部分を確認して、その撮影結果を採用するか、再計
測を行うかを選択できる。 〔予備計測処理〕以下に図３１のフローチャートにおけ
る＃１２、＃２１の「予備計測」の具体的手順をフロー
チャートを参照して詳しく説明する。After shooting is finished, the undo button 29
If the undo operation is performed, the "re-measurement process" is executed (# 16, # 19). Record button 2
When the record operation of No. 8 is performed, a recording process of outputting the measurement data Ds to the host 3 or the storage medium 4 is executed (# 17, # 18). In the main measurement routine (# 15), FIG.
0 (a) is displayed, and the operator can check the portion where measurement could not be performed, and can select whether to adopt the photographing result or perform re-measurement. [Preliminary Measurement Processing] The specific procedure of "preliminary measurement" of steps # 12 and # 21 in the flowchart of FIG. 31 will be described in detail with reference to the flowchart.

【０１０５】図３２はシステムコントローラ６１が実行
する「予備計測」のフローチャートである。システムコ
ントローラ６１は、スリット光Ｕの投射方向を決める
「予備計測条件の設定」（＃１０）、スリット光Ｕを投
射しないときの環境情報を得る「環境光画像の撮影」
（＃２０）、３段階の強度Ａ〜Ｃのスリット光Ｕを投射
して環境情報を得る「スリット画像の撮影」（＃３
０）、予備計測の信頼性を高めるための「撮影情報の適
否判別」（＃４０）、対物間距離を求める「距離演算」
（＃５０）、及び予備計測の結果に応じた動作設定をす
る「本計測条件の設定」（＃６０）、の各処理を順に実
行する。FIG. 32 is a flowchart of the "preliminary measurement" executed by the system controller 61. The system controller 61 sets “preliminary measurement conditions” for determining the projection direction of the slit light U (# 10), and obtains environmental information when not projecting the slit light U.
(# 20) “Shooting a slit image” that obtains environmental information by projecting slit light U of three levels of intensity A to C (# 3)
0), “Determining appropriateness of photographing information” (# 40) for improving reliability of preliminary measurement, “Distance calculation” for obtaining distance between objects
(# 50), and “setting of main measurement conditions” (# 60) for setting an operation according to the result of the preliminary measurement are sequentially executed.

【０１０６】図３３は図３２の「予備計測条件の設定」
のフローチャートである。まず、その時点のズーム段階
ｚｏｏｍに応じて、上述の３段階の強度Ａ，Ｂ，Ｃのそ
れぞれの値を設定する（＃１００）。ズーム段階ｚｏｏ
ｍの段数は例えば９であり、ズーム刻み値ｆｐによって
特定される。強度Ａ，Ｂ，Ｃを可変とすることにより、
有効な測距結果を容易に得ることができる。FIG. 33 shows the "setting of preliminary measurement conditions" shown in FIG.
It is a flowchart of FIG. First, the respective values of the above three levels of intensity A, B, and C are set according to the zoom level zoom at that time (# 100). Zoom stage zoo
The number of stages of m is 9, for example, and is specified by the zoom step value fp. By making the strengths A, B and C variable,
An effective distance measurement result can be easily obtained.

【０１０７】次にズーミング状態をチェックする（＃１
０１）。ズーム段階ｚｏｏｍが４以上であるテレ状態の
場合には、ＡＦセンサ５７によるパッシブ形式の測距の
精度が比較的に高いので、その測距結果を用いることが
できる。したがって、ズーム段階ｚｏｏｍと繰り出し量
Ｅｄとから、前側主点位置ＦＨ、実効焦点距離Ｆｒｅａ
ｌ、及び対物間距離ｄ0 を算出し（＃１０２、＃１０
３）、その後に受光軸と物体面との交点にスリット光Ｕ
が入射するような投射角度を算出する（＃１０４）。そ
して、算出した投射角度に対応した回転角度位置にガル
バノミラー４３をセットする（＃１０５）。Next, the zooming state is checked (# 1
01). In the telephoto state in which the zoom stage zoom is 4 or more, the accuracy of the passive distance measurement by the AF sensor 57 is relatively high, so that the distance measurement result can be used. Therefore, the front principal point position FH and the effective focal length Free are calculated from the zoom stage zoom and the feed amount Ed.
1 and the distance d 0 between the objectives are calculated (# 102, # 10
3) Then, a slit light U is formed at the intersection of the light receiving axis and the object plane.
Is calculated (# 104). Then, the galvanometer mirror 43 is set at a rotation angle position corresponding to the calculated projection angle (# 105).

【０１０８】一方、ワイド状態の場合には、パッシブ形
式の測距の精度が低いものの、受光系の視野が広いの
で、遠近の２通り程度の投射方向の切換えを行えば、物
体で反射したスリット光Ｕを受光することができる。そ
こで、前側主点位置ＦＨ及び実効焦点距離Ｆｒｅａｌと
してズーム段階ｚｏｏｍに応じた固定値を設定した後、
繰り出し量Ｅｄに応じた既定の角度を投射角度とする
（＃１０６〜＃１０９）。そして、テレ状態の場合と同
様に投射角度に対応した回転角度位置にガルバノミラー
４３をセットする（＃１０５）。On the other hand, in the wide state, although the accuracy of the passive type distance measurement is low, the field of view of the light receiving system is wide. Therefore, if the projection direction is switched between the two near and far, the slit reflected by the object The light U can be received. Therefore, after setting fixed values according to the zoom stage zoom as the front principal point position FH and the effective focal length Freal,
A predetermined angle corresponding to the feeding amount Ed is set as a projection angle (# 106 to # 109). Then, similarly to the case of the telephoto state, the galvanometer mirror 43 is set at a rotation angle position corresponding to the projection angle (# 105).

【０１０９】図３４は図３２の「環境光画像の撮影」の
フローチャートである。撮影モードを予備計測のための
モードに切り換える（＃２０１）。すなわち、イメージ
センサ５３については、撮像面Ｓ２の全画素の光電変換
信号を読み出すモードとし、メモリ６３０Ａの書込み信
号がクロック信号ＣＫとなるように出力処理回路６２の
マルチプレクサ６２９の入力選択をする。これにより、
撮影毎にイメージセンサ５３の１画面分（撮像面Ｓ２の
全域）の撮影情報がメモリ６３０Ａに格納される。FIG. 34 is a flow chart of "photographing of ambient light image" in FIG. The photographing mode is switched to a mode for preliminary measurement (# 201). That is, the image sensor 53 is set to a mode in which the photoelectric conversion signals of all the pixels on the imaging surface S2 are read, and the input of the multiplexer 629 of the output processing circuit 62 is selected so that the write signal of the memory 630A becomes the clock signal CK. This allows
The shooting information for one screen of the image sensor 53 (the entire area of the imaging surface S2) is stored in the memory 630A for each shooting.

【０１１０】出力処理回路６２の増幅器６２１のゲイン
を初期値の「１」とし（＃２０２）、イメージセンサ５
３を制御するＣＣＤ駆動処理を行う（＃２０３）。具体
的には、ドライバ５５に対して積分（電荷蓄積）の開始
及び終了を指示する。続いて、撮影情報（受光データＤ
ｇ）をメモリ６３０Ａに格納するデータ転送処理を行い
（＃２０４）、メモリ６３０Ａから上述した５本のライ
ンｖ１〜ｖ５の受光データＤｇを読み込む（＃２０
５）。The gain of the amplifier 621 of the output processing circuit 62 is set to the initial value "1"(# 202), and the image sensor 5
3 is performed (# 203). Specifically, it instructs the driver 55 to start and end integration (charge accumulation). Subsequently, shooting information (light reception data D
g) is stored in the memory 630A (# 204), and the light receiving data Dg of the five lines v1 to v5 described above is read from the memory 630A (# 20).
5).

【０１１１】図３５は図３２の「スリット画像の撮影」
のフローチャートである。このルーチンおいて、半導体
レーザ４１をパルス点灯させて計３回の撮影を行う。図
２４で説明したように１回目の撮影情報はスリット画像
位置を検出する上で特に重要である。レーザ光強度（投
射光強度）が大きいほどノイズの影響を受けにくい。し
たがって、１回目の撮影のレーザ光強度を強度Ａに設定
する（＃３１０）。続いて、「投光・受光制御」（＃３
２０）、「強度Ａの場合のサンプリング」（＃３３０）
を順に実行する。投光・受光制御は、次の（１）〜
（５）の処理からなる。 （１）イメージセンサ５３のドライバ５５に対して積分
の開始を指示する。 （２）ＬＤドライバ４４に対して点灯を指示する。 （３）所定時間の経過を待ってＬＤドライバ４４に対し
て消灯を指示する。 （４）積分の終了を指示する。 （５）１画面分の受光データＤｇをメモリ６３０Ａに格
納する。FIG. 35 shows the "shooting of slit image" shown in FIG.
It is a flowchart of FIG. In this routine, the semiconductor laser 41 is turned on in a pulsed manner, and a total of three shots are taken. As described with reference to FIG. 24, the first photographing information is particularly important in detecting the position of the slit image. The greater the laser light intensity (projection light intensity), the less the effect of noise. Therefore, the intensity of the laser beam for the first photographing is set to the intensity A (# 310). Subsequently, “light emission / light reception control” (# 3
20), “Sampling in case of intensity A” (# 330)
Are executed in order. The light emission / light reception control is as follows (1)-
It consists of the processing of (5). (1) Instruct the driver 55 of the image sensor 53 to start integration. (2) Instruct the LD driver 44 to turn on. (3) Wait for a predetermined time to elapse and instruct the LD driver 44 to turn off the light. (4) Instruct the end of integration. (5) Store the received light data Dg for one screen in the memory 630A.

【０１１２】次に２回目の撮影に移り、レーザ光強度を
強度Ｂに設定する（＃３４０）。１回目と同様の投光・
受光制御（＃３５０）を実行した後、「強度Ｂの場合の
サンプリング」（＃３６０）を実行する。Next, in the second photographing, the laser beam intensity is set to the intensity B (# 340). Same floodlight as the first time
After executing the light receiving control (# 350), "sampling in case of intensity B"(# 360) is executed.

【０１１３】３回目の撮影に際しては、レーザ光強度を
強度Ｃに設定し（＃３７０）、１回目及び２回目と同様
の投光・受光制御（＃３８０）を実行した後、「強度Ｃ
の場合のサンプリング」（＃３９０）を実行する。「強
度Ｃの場合のサンプリング」の内容は、「強度Ｂの場合
のサンプリング」（＃３６０）と同様である。At the time of the third photographing, the intensity of the laser beam is set to the intensity C (# 370), and the same light emitting / receiving control (# 380) as that of the first and second times is executed.
In the case of (3) (# 390). The content of "sampling in case of intensity C" is the same as "sampling in case of intensity B"(# 360).

【０１１４】図３６は図３５の「強度Ａの場合のサンプ
リング」のフローチャートである。サンプリング対象の
５本のラインｖ１〜ｖ５のうちの第１番目のラインｖ１
を注目ラインとして選択する（＃３３０１）。予備計測
テーブルＴ５に格納されている注目ラインのレーザ光量
測定値Ｊを最小値に初期化する（＃３３０２）。注目ラ
インの先頭画素を注目画素として選択し、メモリ６３０
Ａから注目画素の受光データＤｇを読み出す（＃３３０
４）。そして、読み出した受光データＤｇから、上述の
「環境光画像の撮影」ルーチンで読み出しておいた当該
注目画素の受光データ（環境光成分）を差し引き、レー
ザ光成分ｊを算出する（＃３３０５）。レーザ光成分ｊ
が最低限の受光レベル（スリット光Ｕと認められる最低
値）より大きく且つその時点のレーザ光量測定値Ｊより
大きい場合は（＃３３０６、＃３３０７）、注目画素の
Ｙ座標をスリット画像位置として予備計測テーブルＴ５
に書き込み（＃３３０８）、強度Ａのレーザ光量測定値
Ｊとしてレーザ光成分ｊを書き込む（＃３３０９）。そ
の後、次の画素に注目する（＃３３１０、＃３３１
４）。＃３３０６又は＃３３０７でノーであれば、予備
計測テーブルＴ５を更新せずに次の画素に注目する。注
目ラインの全ての画素を順に注目してレーザ光成分ｊと
レーザ光量測定値Ｊとを比較することにより、注目ライ
ンの中で最も明るい画素を検出することができる。その
最も明るい画素がスリット画像位置に対応する。各画素
のレーザ光成分ｊどうしを比較するので、環境光成分を
含む受光データＤｇどうしを比較する場合と比べて、位
置検出の誤りが少ない。FIG. 36 is a flow chart of "sampling in the case of intensity A" in FIG. First line v1 of five lines v1 to v5 to be sampled
Is selected as the line of interest (# 3301). The laser light amount measurement value J of the line of interest stored in the preliminary measurement table T5 is initialized to the minimum value (# 3302). The head pixel of the line of interest is selected as the pixel of interest, and the
The light receiving data Dg of the pixel of interest is read from A (# 330)
4). Then, from the read light receiving data Dg, the light receiving data (environment light component) of the pixel of interest read out in the above-described “shooting of ambient light image” routine is subtracted to calculate a laser light component j (# 3305). Laser beam component j
Is larger than the minimum light receiving level (the lowest value recognized as the slit light U) and larger than the measured laser light amount J at that time (# 3306, # 3307), the Y coordinate of the target pixel is reserved as the slit image position. Measurement table T5
Is written (# 3308), and a laser light component j is written as a laser light intensity measurement value J of intensity A (# 3309). Thereafter, attention is paid to the next pixel (# 3310, # 331
4). If No in # 3306 or # 3307, attention is paid to the next pixel without updating the preliminary measurement table T5. The brightest pixel in the line of interest can be detected by sequentially focusing on all the pixels in the line of interest and comparing the laser light component j and the measured laser light amount J. The brightest pixel corresponds to the slit image position. Since the laser light components j of the respective pixels are compared with each other, errors in position detection are smaller than in the case where the light reception data Dg including the environmental light components are compared.

【０１１５】注目ラインの全ての画素に対する比較処理
が終われば、次のラインに注目して同様の処理を繰り返
す（＃３３１１、＃３３１５）。５本のラインｖ１〜ｖ
５に対する比較処理が終われば、少なくとも１本のライ
ンにおいてスリット画像位置を検出したか否か、すなわ
ち所定値以上の明るさの画素が存在したか否かをチェッ
クする（＃３３１２）。スリット画像位置が見つかり且
つ各ラインｖ１〜ｖ５におけるレーザ光成分ｊの最大値
が所定の基準（重心演算の値として採用可能な最低値）
に達していればリターンし、達していなければ出力処理
回路６２の増幅器６２１のゲインを１ステップ大きい値
に更新する（＃３３１６、＃３３１７）。ゲインの更新
の後、「環境光画像の撮影」の処理へ戻って撮影をやり
直す。When the comparison process is completed for all the pixels on the line of interest, the next line is focused on and the same process is repeated (# 3311, # 3315). 5 lines v1 to v
When the comparison process for No. 5 is completed, it is checked whether or not the slit image position has been detected in at least one line, that is, whether or not there is a pixel having brightness equal to or higher than a predetermined value (# 3312). The slit image position is found, and the maximum value of the laser beam component j in each of the lines v1 to v5 is a predetermined reference (the minimum value that can be adopted as the value of the center-of-gravity calculation)
If not, the process returns. If not, the gain of the amplifier 621 of the output processing circuit 62 is updated to a value larger by one step (# 3316, # 3317). After the gain is updated, the process returns to the process of “shooting the ambient light image” and the shooting is performed again.

【０１１６】図３７は図３５の「強度Ｂの場合のサンプ
リング」のフローチャートである。サンプリング対象の
５本のラインｖ１〜ｖ５のうちの第１番目のラインｖ１
を注目ラインとして選択する（＃３６０１）。予備計測
テーブルＴ５に注目ラインにおけるスリット画像位置が
格納されているか否かを確認する（＃３６０２）。格納
されていない場合は次のラインに注目する。FIG. 37 is a flow chart of "sampling in the case of intensity B" in FIG. First line v1 of five lines v1 to v5 to be sampled
Is selected as the line of interest (# 3601). It is confirmed whether or not the slit image position in the line of interest is stored in the preliminary measurement table T5 (# 3602). If not, focus on the next line.

【０１１７】スリット画像位置が格納されている場合
は、注目ラインのレーザ光量測定値Ｊを最小値に初期化
した後、スリット画像位置の１つ前の画素に注目する
（＃３６０３、＃３６０４）。注目画素の受光データＤ
ｇをメモリ６３０Ａから読出し（＃３６０５）、上述の
要領で環境光成分を差し引いたレーザ光成分ｊを算出す
る（＃３３０６）。レーザ光成分ｊがその時点のレーザ
光量測定値Ｊより大きい場合は、強度Ｂのレーザ光量測
定値Ｊとしてレーザ光成分ｊを予備計測テーブルＴ５に
書き込む（＃３３０７、＃３３０８）。そして、次の画
素に注目して同様の処理を行う（＃３６０９、＃３６１
１）。つまり、各画素のレーザ光成分ｊを比較し、注目
ラインにおけるレーザ光成分ｊの最大値を記憶する。ス
リット画像位置とその前後を合わせた計３個の画素に対
する処理が終われば、次のラインに注目して前ラインと
同様に３画素のレーザ光成分ｊのうちの最大値を記憶す
る（＃３６１０、＃３６１２）。５本のラインｖ１〜ｖ
５に対する処理が終われば、図３５のフローにリターン
する。When the slit image position is stored, after the laser light amount measurement value J of the target line is initialized to the minimum value, the pixel immediately before the slit image position is focused (# 3603, # 3604). . Received light data D of target pixel
g is read from the memory 630A (# 3605), and the laser light component j from which the ambient light component is subtracted is calculated in the manner described above (# 3306). If the laser beam component j is larger than the laser beam measured value J at that time, the laser beam component j is written into the preliminary measurement table T5 as the laser beam measured value J of intensity B (# 3307, # 3308). Then, similar processing is performed by focusing on the next pixel (# 3609, # 361
1). That is, the laser light component j of each pixel is compared, and the maximum value of the laser light component j on the line of interest is stored. When the processing for a total of three pixels including the slit image position and its front and rear ends is completed, the maximum value of the laser light components j of the three pixels is stored similarly to the previous line, focusing on the next line (# 3610). , # 3612). 5 lines v1 to v
Upon completion of the process for No. 5, the process returns to the flow of FIG.

【０１１８】図３８は図３２の「撮影情報の適否判別」
のフローチャートである。サンプリング対象の５本のラ
インｖ１〜ｖ５のうちの第１番目のラインｖ１を注目ラ
インとして選択し（＃４０１）、予備計測テーブルＴ５
に注目ラインにおけるスリット画像位置が格納されてい
るか否かを確認する（＃４０２）。スリット画像位置が
格納されていない場合は、注目ラインの予備計測データ
を無効と判定し、その旨を示すフラグを予備計測テーブ
ルＴ５にセットする（＃４１０）。そして、次のライン
に注目する（＃４１１、＃４１２）。FIG. 38 shows "determination of suitability of photographing information" in FIG.
It is a flowchart of FIG. The first line v1 of the five lines v1 to v5 to be sampled is selected as the line of interest (# 401), and the preliminary measurement table T5
It is confirmed whether or not the slit image position in the line of interest is stored (# 402). If the slit image position is not stored, the preliminary measurement data of the line of interest is determined to be invalid, and a flag indicating that fact is set in the preliminary measurement table T5 (# 410). Then, attention is paid to the next line (# 411, # 412).

【０１１９】スリット画像位置が格納されている場合
は、次の要領で予備計測データの適否を判別する。ま
ず、スリット画像位置における強度Ａの受光データＤｇ
（環境光成分＋レーザ光成分）が飽和レベルであるか否
かをチェックする（＃４０３）。強度Ａの受光データＤ
ｇが飽和レベルであれば、強度Ｂの受光データＤｇが飽
和レベルであるか否かをチェックする（＃４１３）。強
度Ｂの受光データＤｇも飽和レベルであれば、さらに強
度Ｃの受光データＤｇが飽和レベルであるか否かをチェ
ックする（＃４１４）。強度Ａ，Ｂ，Ｃの受光データＤ
ｇのいずれもが飽和レベルであれば、注目ラインの予備
計測データを無効と判定する（＃４１０）。If the slit image position is stored, the suitability of the preliminary measurement data is determined as follows. First, the light receiving data Dg of the intensity A at the slit image position
It is checked whether (environment light component + laser light component) is at the saturation level (# 403). Light receiving data D of intensity A
If g is the saturation level, it is checked whether the light receiving data Dg of intensity B is at the saturation level (# 413). If the light receiving data Dg of intensity B is also at the saturation level, it is further checked whether the light receiving data Dg of intensity C is at the saturation level (# 414). Light receiving data D of intensity A, B, C
If any of g is the saturation level, it is determined that the preliminary measurement data of the line of interest is invalid (# 410).

【０１２０】＃４０３において強度Ａの受光データＤｇ
が飽和レベルでなければ、強度と受光量との関係が正し
いか否かをチェックする。すなわち強度Ａのレーザ光成
分であるレーザ光量測定値Ｊが強度Ｂのレーザ光量測定
値Ｊより大きいか否かを確かめ（＃４０４）、強度Ｂの
レーザ光量測定値Ｊが強度Ｃのレーザ光量測定値Ｊより
大きいか否かを確かめる（＃４０５）。＃４１３でノー
の場合も＃４０５のチェックを行う。強度の大小とレー
ザ光量測定値Ｊの大小との関係が反転している場合は、
明らかに異常であるので、注目ラインの予備計測データ
を無効と判定する（＃４１０）。強度の大小とレーザ光
量測定値Ｊの大小との関係が適正であれば、強度Ａ（又
は強度Ｂ）のレーザ光量測定値Ｊと強度が零のときの測
光値である環境光成分とから、図２６で説明したグラフ
の傾きを求め、強度Ｃにおけるレーザ光成分の推定値を
算出する（＃４０６）。このとき、強度Ａの受光データ
Ｄｇが飽和レベルである場合にのみ強度Ｂのレーザ光量
測定値Ｊを用いる。より大きいレーザ光量測定値Ｊを用
いる方が、グラフの傾きの誤差を少なくする上で有利で
ある。At # 403, the received light data Dg having the intensity A is obtained.
If is not the saturation level, it is checked whether the relationship between the intensity and the amount of received light is correct. That is, it is determined whether or not the measured laser light amount J as the laser light component of the intensity A is larger than the measured laser light amount J of the intensity B (# 404). It is checked whether the value is larger than the value J (# 405). Also in the case of No at # 413, the check at # 405 is performed. If the relationship between the magnitude of the intensity and the magnitude of the measured laser light amount J is reversed,
Since it is obviously abnormal, it is determined that the preliminary measurement data of the line of interest is invalid (# 410). If the relationship between the magnitude of the intensity and the magnitude of the measured laser light amount J is appropriate, the measured value of the laser light amount J of the intensity A (or intensity B) and the ambient light component that is the photometric value when the intensity is zero are calculated as follows. The inclination of the graph described with reference to FIG. 26 is obtained, and the estimated value of the laser light component at the intensity C is calculated (# 406). At this time, the laser light intensity measured value J of intensity B is used only when the light receiving data Dg of intensity A is at the saturation level. The use of the larger laser light amount measurement value J is advantageous in reducing errors in the inclination of the graph.

【０１２１】強度Ｃのレーザ光成分について、実測値と
算出した推定値との差が許容範囲内であれば（＃４０
７）、注目ラインの予備計測データを有効と判定し（＃
４０８）、強度Ａ，Ｂ，Ｃのうちで受光データＤｇが非
飽和域である最も大きい強度の予備計測データを本計測
の条件設定のためのデータとして記憶する（＃４０
９）。そして、次のラインに注目して先頭ラインと同様
の処理を繰り返す。最良の場合は５ラインｖ１〜ｖ５の
それぞれから条件設定のためのデータが選定されること
になる。実測値と推定値との差が許容範囲を越える場合
は、注目ラインの予備計測データを無効と判定する。For the laser light component of intensity C, if the difference between the actually measured value and the calculated estimated value is within the allowable range (# 40
7), determine that the preliminary measurement data of the line of interest is valid (#
408), among the intensities A, B, and C, the preliminarily measured data having the largest intensity in which the light receiving data Dg is in the non-saturation region is stored as data for setting the conditions for the main measurement (# 40)
9). Then, paying attention to the next line, the same processing as that of the first line is repeated. In the best case, data for setting conditions is selected from each of the five lines v1 to v5. If the difference between the measured value and the estimated value exceeds the allowable range, it is determined that the preliminary measurement data of the line of interest is invalid.

【０１２２】図３９は図３２の「距離演算」のフローチ
ャートである。５ラインｖ１〜ｖ５の全てにおいて予備
計測データの信頼度が低い場合、すなわち５ラインｖ１
〜ｖ５の予備計測データが無効と判定された場合には、
エラー処理を実行してメインルーチンへリターンする
（＃５０１、＃５１０）。FIG. 39 is a flow chart of the "distance calculation" of FIG. When the reliability of the preliminary measurement data is low in all five lines v1 to v5, that is, five lines v1
When the preliminary measurement data of ~ v5 is determined to be invalid,
Error processing is executed, and the process returns to the main routine (# 501, # 510).

【０１２３】少なくとも１本のラインにおいて予備計測
データが有効であれば、第１番目のラインｖ１に注目す
る（＃５０２）。注目ラインの予備計測データが有効で
あれば、スリット画像位置に基づいて三角測量法を適用
して対物間距離ｄを算出する（＃５０３、＃５０４）。
そして、次のラインに注目する（＃５０５、＃５０
９）。注目ラインの予備計測データが無効であれば、対
物間距離ｄを算出せずに次のラインの処理に移る。If the preliminary measurement data is valid in at least one line, the first line v1 is focused on (# 502). If the preliminary measurement data of the line of interest is valid, the inter-object distance d is calculated by applying triangulation based on the slit image position (# 503, # 504).
Attention is paid to the next line (# 505, # 50)
9). If the preliminary measurement data of the line of interest is invalid, the process proceeds to the next line without calculating the inter-object distance d.

【０１２４】５ラインｖ１〜ｖ５に対する処理が終了し
た時点で、最大５個の対物間距離ｄの算出値が記憶され
ている。ズーミングがテレ状態であれば、上述したよう
にＡＦセンサ５７によるパッシブ測距の精度が高いの
で、パッシブ測距の結果に最も近い対物間距離ｄの算出
値を対物間距離の測定値として選択する（＃５０６、＃
５０７）。一方、ワイド状態であれば、対物間距離ｄの
算出値のうちの最小値を測定値として選択する（＃５０
８）。通常、計測対象の物体Ｑが３次元カメラ２に近
く、背景となる被写体は遠い位置に存在するからであ
る。At the time when the processing for the five lines v1 to v5 is completed, a maximum of five calculated values of the inter-object distance d are stored. When the zooming is in the telephoto state, the accuracy of the passive distance measurement by the AF sensor 57 is high as described above, so the calculated value of the inter-object distance d closest to the result of the passive distance measurement is selected as the measured value of the inter-object distance. (# 506, #
507). On the other hand, in the wide state, the minimum value of the calculated values of the inter-object distance d is selected as the measured value (# 50).
8). Normally, the object Q to be measured is close to the three-dimensional camera 2 and the subject as the background exists at a far position.

【０１２５】図４０は図３２の「本計測条件の設定」の
フローチャートである。測定値として選択された対物間
距離ｄの示す物***置が計測可能範囲であれば、次の３
つの設定処理を行う。まず、ズーム段階ｚｏｏｍと選択
された対物間距離ｄとに適合する繰り出し量Ｅｄを算出
し、フォーカシングの制御値として設定する（＃６１
０）。次に、ズーム段階ｚｏｏｍと算出された繰り出し
量Ｅｄとに適合する前側主点位置ＦＨ及び実効焦点距離
Ｆｒｅａｌを算出し、レンズ情報として設定する（＃６
２０）。レンズ情報は投射角度範囲の演算、及びホスト
３による座標演算などに用いられる。そして、最後に
「投射光強度の設定」を行う（＃６３０）。FIG. 40 is a flow chart of "setting of main measurement conditions" of FIG. If the object position indicated by the inter-object distance d selected as the measurement value is within the measurable range, the following 3
One setting process is performed. First, a feed-out amount Ed suitable for the zoom stage zoom and the selected inter-object distance d is calculated and set as a focusing control value (# 61).
0). Next, the front principal point position FH and the effective focal length Freal that match the zoom stage zoom and the calculated extension amount Ed are calculated and set as lens information (# 6).
20). The lens information is used for calculation of the projection angle range, coordinate calculation by the host 3, and the like. Finally, "setting of the projection light intensity" is performed (# 630).

【０１２６】図４１は図４０の「投射光強度の設定」の
フローチャートである。このルーチンの実行によって図
２２及び図２７で説明した機能が実現される。本計測に
おける投射の強度設定値を、人体に対する安全を考慮し
た上限値に初期化し（＃６３０１）、先頭のラインｖ１
に注目する（＃６３０２）。注目ラインの予備計測デー
タが有効であれば、注目ラインのスリット画像位置に対
応した物体上の位置が、対物間距離ｄを基準に設定され
る計測距離範囲（本計測の撮影範囲）の内側であるか否
かをチェックする（＃６３０４）。FIG. 41 is a flow chart of "setting of projection light intensity" in FIG. By executing this routine, the functions described with reference to FIGS. 22 and 27 are realized. The projection intensity setting value in the main measurement is initialized to an upper limit value in consideration of safety for the human body (# 6301), and the first line v1 is set.
(# 6302). If the preliminary measurement data of the line of interest is valid, the position on the object corresponding to the slit image position of the line of interest is within the measurement distance range (the imaging range of the main measurement) set based on the inter-object distance d. It is checked whether or not there is (# 6304).

【０１２７】スリット画像位置が本計測時の撮影対象に
該当する場合は、「撮影情報の適否判別」ルーチンにお
いて記憶しておいたデータを用いて、スリット画像位置
（ライン）におけるレーザ光強度の最適値を計算により
求める（＃６３０５）。計算結果が許容最大値より大き
いときには、計算結果として許容最大値を採用する（＃
６３０６、＃６３０７）。計算結果がその時点における
強度設定値より小さい場合には、強度設定値を計算結果
に変更する（＃６３０９）。＃６３０３〜＃６３０９の
処理を５本の各ラインについて実行する（＃６３１０、
＃６３１１）。これにより、本計測時の撮影対象である
各スリット画像位置に対応した最適値のうち、最も小さ
い値が本計測時の強度となる。 〔本計測処理〕図４２は図３１の「本計測」のフローチ
ャートである。When the slit image position corresponds to the object to be photographed at the time of actual measurement, the data stored in the "discrimination of suitability of photographing information" routine is used to optimize the laser light intensity at the slit image position (line). The value is obtained by calculation (# 6305). When the calculation result is larger than the allowable maximum value, the allowable maximum value is adopted as the calculation result (#
6306, # 6307). If the calculation result is smaller than the strength setting value at that time, the strength setting value is changed to the calculation result (# 6309). The processing of # 6303 to # 6309 is executed for each of the five lines (# 6310,
# 6311). Accordingly, the smallest value among the optimum values corresponding to the positions of the slit images to be photographed at the time of the actual measurement is the intensity at the time of the actual measurement. [Main Measurement] FIG. 42 is a flowchart of the "main measurement" in FIG.

【０１２８】対物間距離ｄに応じて投射角範囲を設定し
（＃１５１）、スキャンニングを行う（＃１５２）。ス
キャンニングで得られた距離画像のモニタ表示を行い
（＃１５３）、出力処理回路６２による警告信号の出力
の有無をチェックする（＃１５４）。近接警告信号Ｓ１
１、遠方警告信号Ｓ１２、オーバーフロー警告信号Ｓ１
３のいずれかが出力された場合には、出力された警告に
応じたメッセージ表示を行い、ブザー７５を鳴らす（＃
１５５、＃１５６）。予備計測では時間を短縮するため
に撮影像の一部分（例えば中央部）について適否判別を
行っている。そのため、その部分以外について本計測で
エラーの検出されることがある。 〔再計測処理〕図４３は図３１の「再計測処理」のフロ
ーチャートである。The projection angle range is set according to the object distance d (# 151), and scanning is performed (# 152). The distance image obtained by the scanning is displayed on the monitor (# 153), and it is checked whether or not the output processing circuit 62 outputs a warning signal (# 154). Proximity warning signal S1
1, distant warning signal S12, overflow warning signal S1
3 is output, a message is displayed according to the output warning, and the buzzer 75 is sounded (#
155, # 156). In the preliminary measurement, the propriety determination is performed on a part (for example, a central part) of the captured image in order to reduce the time. Therefore, an error may be detected in the main measurement for a portion other than the portion. [Re-measurement process] FIG. 43 is a flowchart of the "re-measurement process" in FIG.

【０１２９】投射光量設定を行い（＃１９１）、その後
のセレクト操作を受けて図３１のフローへリターンする
（＃１９２）。セレクトボタン２３が押される以前に、
上向き又は下向きのカーソルボタン２２が押されると、
モニタ表示の矢印ｚ４を上方又は下方へ移動させる（＃
１９３、＃１９４、＃１９８、＃１９９）。The amount of projected light is set (# 191), and after the subsequent selection operation, the process returns to the flow of FIG. 31 (# 192). Before the select button 23 is pressed,
When the upward or downward cursor button 22 is pressed,
Move the arrow z4 on the monitor display upward or downward (#
193, # 194, # 198, # 199).

【０１３０】移動後の矢印ｚ４の位置に対応した対物間
距離ｄを算出し、数値ｚ１の表示を更新する（＃１９
７）。スケール値ｓｃも矢印ｚ４の位置に対応した値に
更新し（＃１９８）、プレビュー画像を表示する（＃１
９９）。操作者は、このプレビュー画像によって、設定
変更後の撮影結果を予測しながら設定変更を行うことが
できる。セレクトボタン２８が押されると、そのときの
設定が記憶されたままリターンする。その後、＃１４
（図３１）でレリーズ操作があると上述の設定条件で撮
影が行われる。The inter-object distance d corresponding to the position of the arrow z4 after the movement is calculated and the display of the numerical value z1 is updated (# 19).
7). The scale value sc is also updated to a value corresponding to the position of the arrow z4 (# 198), and a preview image is displayed (# 1).
99). The operator can change the settings by using the preview image while predicting the photographing result after the settings are changed. When the select button 28 is pressed, the process returns with the settings at that time being stored. Then # 14
If a release operation is performed in (FIG. 31), shooting is performed under the above-described setting conditions.

【０１３１】図４４はガルバノミラー４３とイメージセ
ンサ５３との同期制御の一例を示すタイムチャート、図
４５はガルバノミラー４３とイメージセンサ５３との同
期制御の他の例を示すタイムチャートである。これらの
図において符合の添字「ｔ」はテレ状態の値であること
を示し、「ｗ」はワイド状態の値であることを示してい
る。FIG. 44 is a time chart showing an example of synchronous control between the galvano mirror 43 and the image sensor 53, and FIG. 45 is a time chart showing another example of synchronous control between the galvano mirror 43 and the image sensor 53. In these figures, the suffix “t” indicates a value in the telephoto state, and “w” indicates a value in the wide state.

【０１３２】３次元カメラ２では、ズーム倍率によって
画角を偏向するので、図４４のように低倍率時の偏向角
θｗは高倍率時の偏向角θｔよりも大きい。システムコ
ントローラ６１は、レリーズボタン２７からのレリーズ
信号Ｓ２７を検知すると、まず、ガルバノミラー４３の
回転を開始してから撮像を開始するまでの期間Ｔ２、す
なわち停止位置から所定の角度位置までガルバノミラー
４３を回転させるのに必要な時間を、ズーム倍率及び対
物間距離に基づいて算出する。このとき、期間Ｔ２にお
ける偏向角速度を、センサ駆動期間Ｔｓにおける角速度
ωと同じ値に設定する。角速度ωを安定させるためであ
る。期間Ｔ２の算出を終えた後、ガルバノミラー４３の
回転駆動を開始し、期間Ｔ２の経過後にイメージセンサ
５３の駆動を開始する。Since the three-dimensional camera 2 deflects the angle of view according to the zoom magnification, the deflection angle θw at the low magnification is larger than the deflection angle θt at the high magnification as shown in FIG. When the system controller 61 detects the release signal S27 from the release button 27, first, the period T2 from the start of rotation of the galvanomirror 43 to the start of imaging, that is, the galvanomirror 43 from the stop position to a predetermined angular position. Is calculated based on the zoom magnification and the distance between the objects. At this time, the deflection angular velocity in the period T2 is set to the same value as the angular velocity ω in the sensor driving period Ts. This is for stabilizing the angular velocity ω. After completing the calculation of the period T2, the rotation driving of the galvanometer mirror 43 is started, and the driving of the image sensor 53 is started after the lapse of the period T2.

【０１３３】このようにシステムコントローラ６１がガ
ルバノミラー４３及びイメージセンサ５３の両方を直接
に制御する形態では、駆動のタイミングを正確に合わせ
るために、システムコントローラ６１に高速の処理が要
求される。一方、専用のハードウェア又は市販のビデオ
用タイミングジェネレータをセンサ駆動に用いることに
より、システムコントローラ６１をガルバノミラー４３
の制御に専念させて、制御の負担を軽減することも可能
である。In the mode in which the system controller 61 directly controls both the galvanometer mirror 43 and the image sensor 53 in this way, the system controller 61 is required to perform high-speed processing in order to accurately adjust the driving timing. On the other hand, by using dedicated hardware or a commercially available video timing generator for driving the sensor, the system controller 61 is connected to the galvanometer mirror 43.
It is also possible to reduce the burden of control by focusing on the control.

【０１３４】すなわち、図４５において、ドライバ５５
（図３参照）は、レリーズ信号Ｓ２７をビデオ同期信号
Ｖｓｙｎｃの立上がりエッジで正規化し、レリーズ検知
信号Ｓ２７’を生成する。また、ドライバ５５は、レリ
ーズ検知信号Ｓ２７’の立上がりから一定時間Ｔ０’が
経過した時点でセンサ駆動を開始する。レリーズ検知信
号Ｓ２７’はシステムコントローラ６１に割込み信号と
して入力される。システムコントローラ６１は、レリー
ズ動作に先立って、上述の期間Ｔ２とともに、レリーズ
検知信号Ｓ２７’の立上がりからミラーの回転を開始す
るまでの時間Ｔ１’（＝Ｔ０’−Ｔ２）を計算してお
く。そして、レリーズ検知信号Ｓ２７’の割込みを受け
付けると、その時点から時間Ｔ１’が経過した時点でガ
ルバノミラーの回転を開始する。That is, in FIG. 45, the driver 55
(See FIG. 3) normalizes the release signal S27 at the rising edge of the video synchronization signal Vsync to generate a release detection signal S27 '. The driver 55 starts driving the sensor when a certain time T0 'has elapsed from the rise of the release detection signal S27'. The release detection signal S27 'is input to the system controller 61 as an interrupt signal. Prior to the release operation, the system controller 61 calculates the time T1 ′ (= T0′−T2) from the rising of the release detection signal S27 ′ to the start of rotation of the mirror, together with the period T2 described above. Then, when an interruption of the release detection signal S27 'is received, the rotation of the galvanomirror is started at the time when the time T1' has elapsed from that time.

【０１３５】以上の実施形態の３次元カメラ２は、計測
対象の物体Ｑにスリット光Ｕを投射する投光光学系４０
と、入射光量に応じた光電変換信号を出力するイメージ
センサ（撮像手段）５３と、撮像面Ｓ２に物体Ｑの光学
像を結像する受光光学系５０と、予備計測制御手段（図
３１の＃１２、＃２１の実行手段）及び本計測制御手段
（図３１の＃１５の実行手段）としてのシステムコント
ローラ６１を有し、本計測に先立ってスリット光Ｕを投
射する能動的な測距を行い、得られた距離情報（対物間
距離ｄ）基づいて、計測条件を設定するように構成され
ている。計測条件には、スリット光Ｕの投射方向の変移
範囲である投射角度範囲（投射開始角ｔｈ１，投射終了
角ｔｈ２）、投射光強度、及びホスト３側での３次元位
置の演算に用いるパラメータ（像距離ｂなど）が含まれ
る。このように、能動的な測距の結果に応じた動作を行
うので、ＡＦカメラ用のパッシブ型測距センサによる場
合よりも高精度の距離情報を得ることができ、計測条件
の設定の信頼性が高い。設定が不適切であると、物体Ｑ
の大半又は全部が計測対象外になるといった計測の失敗
を招く。ズーム機能を有した構成において、ＡＦカメラ
と同様の測距によって計測条件を設定する場合には、ワ
イドになると誤差が大きくなるので、ズーム範囲を制限
せざるを得ない。これに対して、本実施形態の３次元カ
メラ２では、ワイドであっても十分な測距精度が得られ
るので、ズーム範囲を制限する必要がない。The three-dimensional camera 2 according to the above-described embodiment projects the slit light U on the object Q to be measured.
31, an image sensor (imaging unit) 53 that outputs a photoelectric conversion signal according to the amount of incident light, a light receiving optical system 50 that forms an optical image of the object Q on the imaging surface S2, and a preliminary measurement control unit (# in FIG. 31). 12, a system controller 61 as main measurement control means (execution means of # 15 in FIG. 31), and performs active distance measurement for projecting the slit light U prior to the main measurement. The measurement conditions are set based on the obtained distance information (distance between objects d). The measurement conditions include a projection angle range (projection start angle th1 and projection end angle th2), which is a transition range of the projection direction of the slit light U, a projection light intensity, and parameters used for calculating the three-dimensional position on the host 3 side ( Image distance b). As described above, since the operation according to the result of the active distance measurement is performed, distance information with higher accuracy can be obtained than in the case of using the passive type distance measurement sensor for the AF camera, and the reliability of the measurement condition setting can be improved. Is high. If the setting is inappropriate, the object Q
Most or all of them are out of the measurement target, resulting in measurement failure. In a configuration having a zoom function, in a case where measurement conditions are set by the same distance measurement as that of the AF camera, an error increases when the image becomes wide, so that the zoom range must be limited. On the other hand, in the three-dimensional camera 2 of the present embodiment, sufficient distance measurement accuracy can be obtained even when the camera is wide, so that there is no need to limit the zoom range.

【０１３６】上述の実施形態によれば、予備計測時に警
告が行われるので、操作者は本計測を実行させずに条件
の再設定を行うことができ、計測作業を効率良く進める
ことができる。According to the above-described embodiment, since the warning is issued during the preliminary measurement, the operator can reset the condition without executing the main measurement, and the measurement work can be efficiently advanced.

【０１３７】上述の実施形態においては、光切断法によ
る計測を例に挙げたが、計測の方法は光切断法に限られ
るこのではなく、例えばパターン投影法であってもよ
い。パターン投影法では、パターンの投影方向と受光視
野との関係で測定可能距離範囲が決まる。また、光切断
法と同様に対象物体の反射率によっては、パターンの反
射光が検出できなかったり、受光系がオーバーフローを
起こしたりすることがある。そのような場合に警告する
ように構成すればよい。In the above-described embodiments, the measurement by the light section method is taken as an example, but the measurement method is not limited to the light section method, and may be, for example, the pattern projection method. In the pattern projection method, the measurable distance range is determined by the relationship between the pattern projection direction and the light receiving field. Further, as in the case of the light sectioning method, depending on the reflectance of the target object, the reflected light of the pattern may not be detected, or the light receiving system may overflow. What is necessary is just to comprise so that it may warn in such a case.

【０１３８】上述の実施形態は、計測データＤｓに基づ
いて３次元位置を算出する演算をホスト３が担うもので
あるが、３次元カメラ２に３次元位置を算出する演算機
能を設けてもよい。３次元位置をルックアップテーブル
方式で算定することも可能である。受光側の受光光学系
５０において、ズームユニット５１に代えて交換レンズ
によって撮像倍率を変更してもよい。In the above embodiment, the host 3 carries out the calculation for calculating the three-dimensional position based on the measurement data Ds, but the three-dimensional camera 2 may be provided with a calculation function for calculating the three-dimensional position. . It is also possible to calculate the three-dimensional position by a look-up table method. In the light receiving optical system 50 on the light receiving side, the imaging magnification may be changed by an interchangeable lens instead of the zoom unit 51.

【０１３９】[0139]

【発明の効果】請求項１乃至請求項３の発明によれば、
距離画像と同じ画角のモニタ画像を得ることができ、し
かも環境光の影響が小さい３次元計測を実現することが
できる。According to the first to third aspects of the present invention,
It is possible to obtain a monitor image having the same angle of view as the distance image, and it is possible to realize three-dimensional measurement that is less affected by ambient light.

【０１４０】請求項３の発明によれば、モニタ画像の色
再現性を高めることができる。According to the invention of claim 3, the color reproducibility of the monitor image can be improved.

【図面の簡単な説明】[Brief description of drawings]

【図１】本発明に係る計測システムの構成図である。FIG. 1 is a configuration diagram of a measurement system according to the present invention.

【図２】３次元カメラの外観を示す図である。FIG. 2 is a diagram showing an appearance of a three-dimensional camera.

【図３】３次元カメラの機能構成を示すブロック図であ
る。FIG. 3 is a block diagram showing a functional configuration of a three-dimensional camera.

【図４】投光光学系の構成を示す模式図である。FIG. 4 is a schematic diagram showing a configuration of a light projecting optical system.

【図５】受光光学系のズームユニットの模式図である。FIG. 5 is a schematic diagram of a zoom unit of the light receiving optical system.

【図６】受光光学系のビームスプリッタの模式図であ
る。FIG. 6 is a schematic diagram of a beam splitter of a light receiving optical system.

【図７】計測用のイメージセンサの受光波長を示すグラ
フである。FIG. 7 is a graph showing a light receiving wavelength of an image sensor for measurement.

【図８】モニタ用のカラーイメージセンサの受光波長を
示すグラフである。FIG. 8 is a graph showing a light receiving wavelength of a color image sensor for monitoring.

【図９】光学ユニットの２軸調整機構の概略を説明する
ための斜視図である。FIG. 9 is a perspective view schematically illustrating a two-axis adjustment mechanism of the optical unit.

【図１０】光学ユニットの上側部分の正面図である。FIG. 10 is a front view of an upper portion of the optical unit.

【図１１】光学ユニットの上側部分の右側面図である。FIG. 11 is a right side view of an upper portion of the optical unit.

【図１２】光学ユニットの下面図である。FIG. 12 is a bottom view of the optical unit.

【図１３】光学ユニットの２軸調整機構の調整方法を説
明するための図である。FIG. 13 is a diagram for explaining a method of adjusting a two-axis adjustment mechanism of the optical unit.

【図１４】計測システムにおける３次元位置の算出の原
理図である。FIG. 14 is a principle diagram of calculation of a three-dimensional position in the measurement system.

【図１５】出力処理回路のブロック図である。FIG. 15 is a block diagram of an output processing circuit.

【図１６】イメージセンサの読出し範囲を示す図であ
る。FIG. 16 is a diagram illustrating a read range of the image sensor.

【図１７】警告判別回路のブロック図である。FIG. 17 is a block diagram of a warning determination circuit.

【図１８】警告判別回路の入力と出力との関係を表形式
で示す図である。FIG. 18 is a diagram showing a relationship between an input and an output of a warning determination circuit in a table format.

【図１９】３次元カメラ２におけるデータの流れを示す
図である。FIG. 19 is a diagram showing a data flow in the three-dimensional camera 2.

【図２０】ホストにおけるデータの流れを示す図であ
る。FIG. 20 is a diagram showing a data flow in the host.

【図２１】投光光学系及び受光光学系の各点と物体との
位置関係を示す図である。FIG. 21 is a diagram showing a positional relationship between each point of a light projecting optical system and a light receiving optical system and an object.

【図２２】投射光強度を最適化の手順を説明するための
図である。FIG. 22 is a diagram for explaining a procedure for optimizing the intensity of projection light.

【図２３】予備計測時のサンプリングの範囲を示す図で
ある。FIG. 23 is a diagram showing a sampling range during preliminary measurement.

【図２４】スリット画像とサンプリング点との関係を示
す図である。FIG. 24 is a diagram showing a relationship between a slit image and sampling points.

【図２５】予備計測テーブルのデータ内容の模式図であ
る。FIG. 25 is a schematic diagram of data contents of a preliminary measurement table.

【図２６】投射光強度と受光量との関係の代表例を示す
グラフである。FIG. 26 is a graph showing a typical example of the relationship between the intensity of projected light and the amount of received light.

【図２７】図２２に対応した最適強度を示すグラフであ
る。FIG. 27 is a graph showing the optimum intensity corresponding to FIG.

【図２８】プレビュー機能を説明するための計測例を示
す図である。FIG. 28 is a diagram illustrating a measurement example for explaining a preview function.

【図２９】計測条件の変更例を示す図である。FIG. 29 is a diagram showing an example of changing measurement conditions.

【図３０】図２９に対応したモニタ表示の内容を示す図
である。30 is a diagram showing the contents of a monitor display corresponding to FIG. 29.

【図３１】３次元カメラの計測動作の制御手順を示すフ
ローチャートである。FIG. 31 is a flowchart illustrating a control procedure of a measurement operation of the three-dimensional camera.

【図３２】システムコントローラが実行する「予備計
測」のフローチャートである。FIG. 32 is a flowchart of “preliminary measurement” executed by the system controller.

【図３３】図３２の「予備計測条件の設定」のフローチ
ャートである。FIG. 33 is a flowchart of “setting of preliminary measurement conditions” in FIG. 32;

【図３４】図３２の「環境光画像の撮影」のフローチャ
ートである。FIG. 34 is a flowchart of “capturing ambient light image” in FIG. 32.

【図３５】図３２の「スリット画像の撮影」のフローチ
ャートである。FIG. 35 is a flowchart of “shooting a slit image” in FIG. 32;

【図３６】図３５の「強度Ａの場合のサンプリング」の
フローチャートである。36 is a flowchart of “Sampling in case of intensity A” in FIG. 35.

【図３７】図３５の「強度Ｂの場合のサンプリング」の
フローチャートである。FIG. 37 is a flowchart of “Sampling in case of intensity B” in FIG. 35;

【図３８】図３２の「撮影情報の適否判別」のフローチ
ャートである。FIG. 38 is a flowchart of “determination of appropriateness of photographing information” in FIG. 32;

【図３９】図３２の「距離演算」のフローチャートであ
る。FIG. 39 is a flowchart of “distance calculation” in FIG. 32.

【図４０】図３２の「本計測条件の設定」のフローチャ
ートである。FIG. 40 is a flowchart of “setting of main measurement conditions” in FIG. 32.

【図４１】図４０の「投射光強度の設定」のフローチャ
ートである。41 is a flowchart of “setting of projection light intensity” in FIG. 40.

【図４２】図３１の「本計測」のフローチャートであ
る。FIG. 42 is a flowchart of “main measurement” in FIG. 31.

【図４３】図３１の「再計測処理」のフローチャートで
ある。FIG. 43 is a flowchart of “re-measurement processing” in FIG. 31.

【図４４】ガルバノミラーとイメージセンサとの同期制
御の一例を示すタイムチャートである。FIG. 44 is a time chart illustrating an example of synchronization control between the galvanometer mirror and the image sensor.

【図４５】ガルバノミラーとイメージセンサとの同期制
御の他の例を示すタイムチャートである。FIG. 45 is a time chart showing another example of the synchronization control between the galvanometer mirror and the image sensor.

【図４６】スリット光投影法の概要を示す図である。FIG. 46 is a diagram showing an outline of a slit light projection method.

【図４７】スリット光投影法による計測の原理を説明す
るための図である。FIG. 47 is a diagram for explaining the principle of measurement by the slit light projection method.

【符号の説明】[Explanation of symbols]

５２ ビームスプリッタ（分光装置） ５２１ 色分解膜（分光手段） ５２４ 赤外線カットフィルタ（第１のフィルタ） ５２５ 可視カットフィルタ（第２のフィルタ） ５２６ 赤外線カットフィルタ（可視光を選択的に透過
させるフィルタ） Ｑ 物体 Ｕ スリット光（検出光） Ｕ０ 光（第１波長帯域の光） λ 波長（特定波長）52 Beam Splitter (Spectroscopic Device) 521 Color Separation Film (Spectroscopic Means) 524 Infrared Cut Filter (First Filter) 525 Visible Cut Filter (Second Filter) 526 Infrared Cut Filter (Filter for Selectively Transmitting Visible Light) Q object U slit light (detection light) U0 light (light in the first wavelength band) λ wavelength (specific wavelength)

───────────────────────────────────────────────────── フロントページの続き (72)発明者 宮崎 誠 大阪府大阪市中央区安土町二丁目３番13号 大阪国際ビル ミノルタ株式会社内 (72)発明者 福本 忠士 大阪府大阪市中央区安土町二丁目３番13号 大阪国際ビル ミノルタ株式会社内 ─────────────────────────────────────────────────── ─── Continuation of the front page (72) Inventor Makoto Miyazaki 2-3-13 Azuchi-cho, Chuo-ku, Osaka-shi, Osaka, Osaka International Building Minolta Co., Ltd. (72) Inventor Tadashi Fukumoto Azuchi-cho, Chuo-ku, Osaka-shi, Osaka 2-chome 3-13 Osaka International Building Minolta Co., Ltd.

Claims (3)

【特許請求の範囲】[Claims] 【請求項１】計測対象の物体に特定波長の検出光を照射
する能動的な３次元計測のための分光装置であって、 前記特定波長を含む第１波長帯域の光を他の光と分離す
る分光手段と、 前記特定波長よりも長波長の光と、前記特定波長よりも
短波長の光とを遮断するフィルタとを有し、 前記フィルタが、前記分光手段によって分離された前記
第１波長帯域の光の光路内に配置されてなることを特徴
とする３次元計測のための分光装置。1. A spectroscopic device for active three-dimensional measurement in which an object to be measured is irradiated with detection light of a specific wavelength, wherein light in a first wavelength band including the specific wavelength is separated from other light. And a filter for blocking light having a wavelength longer than the specific wavelength and light having a wavelength shorter than the specific wavelength, wherein the filter is the first wavelength separated by the spectral means. A spectroscopic device for three-dimensional measurement, which is arranged in an optical path of light in a band. 【請求項２】前記フィルタが、前記特定波長よりも長波
長の光を遮断する第１のフィルタと、前記特定波長より
も短波長の光を遮断する第２のフィルタとからなる請求
項１記載の３次元計測のための分光装置。2. The filter comprises a first filter that blocks light having a wavelength longer than the specific wavelength, and a second filter that blocks light having a wavelength shorter than the specific wavelength. Spectroscopic device for three-dimensional measurement. 【請求項３】前記分光手段によって分離された前記他の
光の光路内に、可視光を選択的に透過させるフィルタが
配置されてなる請求項１又は請求項２記載の３次元計測
のための分光装置。3. The three-dimensional measurement according to claim 1, wherein a filter that selectively transmits visible light is arranged in the optical path of the other light separated by the spectroscopic means. Spectroscopic device.
JP27457996A 1995-11-17 1996-10-17 Spectroscopic device for three-dimensional measurement Expired - Fee Related JP3235485B2 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP27457996A JP3235485B2 (en) 1995-11-17 1996-10-17 Spectroscopic device for three-dimensional measurement
US08/748,325 US6141105A (en) 1995-11-17 1996-11-13 Three-dimensional measuring device and three-dimensional measuring method
US09/676,767 US6529280B1 (en) 1995-11-17 2000-10-02 Three-dimensional measuring device and three-dimensional measuring method

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP29992095 1995-11-17
JP7-299920 1995-11-17
JP27457996A JP3235485B2 (en) 1995-11-17 1996-10-17 Spectroscopic device for three-dimensional measurement

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP8274993A Division JPH10124646A (en) 1995-11-17 1996-10-17 Three-dimensional measuring device

Publications (2)

Publication Number Publication Date
JPH09196632A true JPH09196632A (en) 1997-07-31
JP3235485B2 JP3235485B2 (en) 2001-12-04

Family

ID=26551087

Family Applications (1)

Application Number Title Priority Date Filing Date
JP27457996A Expired - Fee Related JP3235485B2 (en) 1995-11-17 1996-10-17 Spectroscopic device for three-dimensional measurement

Country Status (1)

Country Link
JP (1) JP3235485B2 (en)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6233049B1 (en) 1998-03-25 2001-05-15 Minolta Co., Ltd. Three-dimensional measurement apparatus
US6509973B2 (en) 2000-03-31 2003-01-21 Minolta Co., Ltd. Apparatus for measuring three-dimensional shape
JP2008045928A (en) * 2006-08-11 2008-02-28 Omron Corp Optical measuring device and control method of optical measuring device
JP2008175538A (en) * 2007-01-16 2008-07-31 Fujifilm Corp Photographing device, method, and program
JP2011232336A (en) * 2010-04-21 2011-11-17 Tesa Sa Optical measurement method and apparatus
JP2012127805A (en) * 2010-12-15 2012-07-05 Nikon Corp Shape measuring device
WO2012132087A1 (en) * 2011-03-25 2012-10-04 三洋電機株式会社 Light receiving device, information acquiring device, and object detecting device having information acquiring device
JP2014508955A (en) * 2011-03-21 2014-04-10 フェデラル−モーグル コーポレイション Multispectral imaging system and surface inspection method using the same
WO2015107869A1 (en) * 2014-01-14 2015-07-23 パナソニックＩｐマネジメント株式会社 Distance image generation device and distance image generation method
CN107003123A (en) * 2014-04-22 2017-08-01 巴斯夫欧洲公司 Detector at least one object of optical detection

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6233049B1 (en) 1998-03-25 2001-05-15 Minolta Co., Ltd. Three-dimensional measurement apparatus
US6509973B2 (en) 2000-03-31 2003-01-21 Minolta Co., Ltd. Apparatus for measuring three-dimensional shape
JP2008045928A (en) * 2006-08-11 2008-02-28 Omron Corp Optical measuring device and control method of optical measuring device
JP2008175538A (en) * 2007-01-16 2008-07-31 Fujifilm Corp Photographing device, method, and program
JP2011232336A (en) * 2010-04-21 2011-11-17 Tesa Sa Optical measurement method and apparatus
JP2012127805A (en) * 2010-12-15 2012-07-05 Nikon Corp Shape measuring device
JP2014508955A (en) * 2011-03-21 2014-04-10 フェデラル−モーグル コーポレイション Multispectral imaging system and surface inspection method using the same
WO2012132087A1 (en) * 2011-03-25 2012-10-04 三洋電機株式会社 Light receiving device, information acquiring device, and object detecting device having information acquiring device
WO2015107869A1 (en) * 2014-01-14 2015-07-23 パナソニックＩｐマネジメント株式会社 Distance image generation device and distance image generation method
JPWO2015107869A1 (en) * 2014-01-14 2017-03-23 パナソニックＩｐマネジメント株式会社 Distance image generating apparatus and distance image generating method
CN107003123A (en) * 2014-04-22 2017-08-01 巴斯夫欧洲公司 Detector at least one object of optical detection

Also Published As

Publication number Publication date
JP3235485B2 (en) 2001-12-04

Similar Documents

Publication Publication Date Title
JP4032603B2 (en) 3D measuring device
US6141105A (en) Three-dimensional measuring device and three-dimensional measuring method
JP4111592B2 (en) 3D input device
US7046838B1 (en) Three-dimensional data input method and apparatus
US6674534B2 (en) Measuring system with improved method of reading image data of an object
US5668631A (en) Measuring system with improved method of reading image data of an object
US6049385A (en) Three dimensional measurement system and pickup apparatus
US6987531B2 (en) Imaging system, photographing device and three-dimensional measurement auxiliary unit used for the system
JP3893169B2 (en) 3D measuring device
JP3235485B2 (en) Spectroscopic device for three-dimensional measurement
US6556307B1 (en) Method and apparatus for inputting three-dimensional data
JPH10124646A (en) Three-dimensional measuring device
JP3493403B2 (en) 3D measuring device
JP2000283721A (en) Three-dimensional input device
JP2007071891A (en) Three-dimensional measuring device
JP4221808B2 (en) Three-dimensional data input method and apparatus
JP2001280917A (en) Instrument for three-dimensional measurement
JP3324367B2 (en) 3D input camera
JP3360505B2 (en) Three-dimensional measuring method and device
JPH07174537A (en) Image input camera
JP2009092409A (en) Three-dimensional shape measuring device
JP3733625B2 (en) Imaging device for 3D measurement
JP3861475B2 (en) 3D input device
JP4212138B2 (en) 3D measuring device
JP3196614B2 (en) 3D measuring device

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070928

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080928

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090928

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100928

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees