JP4209284B2 - camera - Google Patents
camera Download PDFInfo
- Publication number
- JP4209284B2 JP4209284B2 JP2003284523A JP2003284523A JP4209284B2 JP 4209284 B2 JP4209284 B2 JP 4209284B2 JP 2003284523 A JP2003284523 A JP 2003284523A JP 2003284523 A JP2003284523 A JP 2003284523A JP 4209284 B2 JP4209284 B2 JP 4209284B2
- Authority
- JP
- Japan
- Prior art keywords
- light
- camera
- light source
- image
- subject
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Optics & Photonics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
Description
本発明は、物体の3次元形状の計測を行うレンジファインダ装置及びカメラに関する。 The present invention relates to a range finder device and a camera that measure a three-dimensional shape of an object.
投影光と観察画像の三角測量に基づいて3次元形状計測を行うレンジファインダ装置としては、例えば、図40に示すような実時間動作可能なものが提案されている。 As a range finder device that performs three-dimensional shape measurement based on the triangulation of the projection light and the observation image, for example, an apparatus capable of real-time operation as shown in FIG. 40 has been proposed.
図40において、101A、101Bは波長のわずかに異なるレーザ光源、102は前記波長の異なるレーザ光源からのレーザ光を合成するハーフミラー、103は前記レーザ光源の光強度を制御する光源制御部、104はレーザ光を走査する回転ミラー、105は回転ミラーを制御する回転制御部、106は被写体、107はCCD上に像を結ぶためのレンズ、108A、108Bはレーザ光源の波長の光を分離する光波長分離フィルタ、109A、109Bはモノクロ画像を撮像するCCD、109Cはカラー画像を撮像するCCD、110A、110Bはモノクロカメラの信号処理部、111はカラーカメラの信号処理部、112はCCD109A、109Bによって撮影したレーザ光の強度から被写体の距離もしくは形状を計算する距離計算部、113は装置全体の同期を調整する制御部である。以下、このように構成されたレンジファインダ装置の動作について説明する。
In FIG. 40, 101A and 101B are laser light sources having slightly different wavelengths, 102 is a half mirror that combines laser beams from laser light sources having different wavelengths, 103 is a light source control unit that controls the light intensity of the laser light source, 104 Is a rotating mirror that scans the laser beam, 105 is a rotation control unit that controls the rotating mirror, 106 is a subject, 107 is a lens for forming an image on the CCD, and 108A and 108B are light beams that separate light of the wavelength of the laser light source. Wavelength separation filters, 109A and 109B are CCDs for capturing monochrome images, 109C is a CCD for capturing color images, 110A and 110B are signal processing units for monochrome cameras, 111 are signal processing units for color cameras, and 112 are
レーザ光源101A、101Bは、波長のわずかに異なるレーザ光を発する。このレーザ光は、後述の回転ミラーの走査方向と垂直な光断面を有するライン光であり、回転ミラーが水平方向に走査する場合は垂直方向のライン光となる。
The
これら2つの光源の波長特性を図41に示す。波長の近い2つの光源を用いるのは、被写体の反射率の波長依存性の影響を受けにくくするためである。レーザ光源101A、101Bから発せられたレーザ光はハーフミラー102によって合成され、回転ミラー104によって被写体6に走査される。
The wavelength characteristics of these two light sources are shown in FIG. The reason why two light sources having close wavelengths are used is to make them less susceptible to the wavelength dependence of the reflectance of the subject. Laser light emitted from the laser light sources 101 </ b> A and 101 </ b> B is combined by the
このレーザ光の走査は、回転制御部105がフィールド周期で回転ミラー104を駆動することにより行われる。その際に、双方の光源の光強度を1フィールド周期内で、図42(a)に示すように変化させる。レーザ光強度の変化とミラー角の駆動とを同期させることにより、2つのレーザ光強度をCCD109A、109Bによりモニタしてその光強度比を算出することにより、一走査周期における時刻を測定することができる。例えば、図42(b)に示すように、光強度がIa/Ibの場合には、走査時刻はt0と測定され、その測定値から回転ミラー104の回転角(φ)が判明する。
This laser beam scanning is performed by the
このように、2つのレーザ光強度の比とミラー角(すなわち、光源側から見た被写体の角度)とを1対1に対応させることにより、後述する距離計算部において、双方の光源の光を撮影した信号レベルの比から、三角測量の原理により被写体の距離もしくは形状が計算される。 In this way, by making the ratio of the two laser light intensities and the mirror angle (that is, the angle of the subject viewed from the light source side) one-to-one, the distance calculation unit described later allows the light from both light sources to be emitted. The distance or shape of the subject is calculated from the ratio of the photographed signal levels according to the principle of triangulation.
レンズ107はCCD109A、109B、109C上に被写体の像を結ぶ。光波長分離フィルタ108Aは、光源101Aの波長の光を透過し、他の波長の光を反射する。光波長分離フィルタ108Bは、光源101Bの波長の光を透過し、他の波長の光を反射する。その結果、光源101A、101Bの光の被写体からの反射光はCCD109A、109Bにより撮影され、他の波長の光はカラー画像としてCCD109Cにより撮影される。
The
光源A信号処理部110Aと光源B信号処理部110Bは、CCD109A、109Bの出力について通常のモノクロカメラと同様の信号処理を行う。カラーカメラ信号処理部111は、CCD109Cの出力について通常のカラーカメラの信号処理を行う。
The light source A
距離計算部112は、各光源の波長についてCCD109A、109Bにより撮影された信号レベルの比、基線長、画素の座標値から、各画素について距離計算を行う。
The
図43(a),(b)は、その距離計算を図形的に説明する図である。同図において、Oはレンズ107の中心、Pは被写体上の点、Qは回転ミラーの回転軸の位置である。また、説明を簡単にするため、CCD109の位置を被写体側に折り返して示している。また、OQの長さ(基線長)をL、XZ平面内でQから見たPの角度をφ、OからみたPの角度をθ、YZ平面内でOからみたPの角度をωとすると、図計的な関係より、Pの3次元座標は以下の式(1)で計算される。
43 (a) and 43 (b) are diagrams for explaining the distance calculation graphically. In the figure, O is the center of the
Z=Dtanθtanφ/(tanθ+tanφ)
X=Z/tanθ
Y=Z/tanω ・・・・・ (1)
式(1)のφについては、前述のとおり、CCD109A、109Bによりモニタしたレーザ光源101A、101Bの光強度比によって計算し、θ、ωについては画素の座標値から計算する。式(1)に示した値のうち、すべてを計算すると形状を求めることになり、Zのみであれば距離画像を求めることになる。
Z = Dtanθtanφ / (tanθ + tanφ)
X = Z / tanθ
Y = Z / tanω (1)
As described above, φ in equation (1) is calculated based on the light intensity ratio of the
なお、従来の被写体抽出方法としては、放送局において用いられているクロマキーと呼ばれる技術が一般的である。これは、被写体を単色(青色)の背景で構成されたスタジオセットの前に配置して撮像し、青色部分は背景であると判断してそれ以外の部分が注目被写体であるとする方法である。 As a conventional subject extraction method, a technique called chroma key used in a broadcasting station is generally used. This is a method in which a subject is placed in front of a studio set composed of a single color (blue) background and imaged, and the blue portion is determined to be the background and the other portion is the subject of interest. .
しかしながら、上記のような従来の構成では、構造がシンプルさに欠けるという課題があった。 However, the conventional configuration as described above has a problem that the structure is not simple.
本発明は、従来の上述した欠点を考慮し、構造が簡単なカメラを提供することを目的とするものである。 An object of the present invention is to provide a camera having a simple structure in consideration of the above-described drawbacks.
第1の発明は、
少なくとも2つの孔を有し、前記孔の配置は、前記孔それぞれの中心が水平方向の同一直線上になく、前記孔それぞれの中心が鉛直方向の同一直線上にない配置である遮断板と、
前記孔のそれぞれに対して、長手方向の発光面の一部が前記孔の対面に配置され、互いが平行に近い状態で設置される少なくとも2つの線状発光管と、
所定時間内において、前記線状発光管のいずれか一方のみが発光する制御を行う光源制御手段と、
前記線状発光管から照射される照射光による撮像データの光強度比と前記前記線状発光管から照射される照射光の角度との関係を用いて、前記撮像データの奥行き値を求める距離計算部と、
を具備し、
前記長手方向の発光面の一部が前記孔の対面に配置される前記線状発光管の配置は、前記線状発光管それぞれの長手方向の発光面の残り部分からの光が前記遮断板により遮断されることで、前記線状発光管それぞれからの光の光強度が、前記線状発光管からの水平方向の角度に対して互いに反対方向に段々変化する部分を有する配置である、カメラである。
また、第2の発明は、
前記線状発光管は、前記線状発光管の一端から前記線状発光管の長さの半分の位置近くまでが、前記前記遮断板の孔と対面に配置され、前記線状発光管の長さの半分の位置近くから前記線状発光管の他端までが、前記遮断板の遮断部分と対面に配置されている、第1の本発明のカメラである。
The first invention is
A blocking plate having at least two holes, wherein the holes are arranged such that the centers of the holes are not on the same straight line in the horizontal direction and the centers of the holes are not located on the same straight line in the vertical direction;
For each of the holes, at least two linear arc tubes arranged in a state in which a part of the light emitting surface in the longitudinal direction is disposed on the opposite side of the hole and are substantially parallel to each other;
Light source control means for performing control to emit only one of the linear arc tubes within a predetermined time; and
Distance calculation for obtaining a depth value of the imaging data using a relationship between a light intensity ratio of imaging data by irradiation light irradiated from the linear arc tube and an angle of irradiation light irradiated from the linear arc tube And
Comprising
The arrangement of the linear arc tube in which a part of the light emitting surface in the longitudinal direction is disposed opposite to the hole is such that light from the remaining part of the light emitting surface in the longitudinal direction of each linear arc tube is caused by the blocking plate. In the camera, the light intensity of the light from each of the linear arc tubes is changed so as to be gradually changed in the opposite direction with respect to the horizontal angle from the linear arc tube. is there.
In addition, the second invention,
The linear arc tube is arranged from one end of the linear arc tube to a position close to half the length of the linear arc tube, facing the hole of the blocking plate, and the length of the linear arc tube In the camera according to the first aspect of the present invention, a portion from about a half position to the other end of the linear arc tube is disposed facing the blocking portion of the blocking plate.
以上述べたところから明らかな様に本発明のカメラによれば、構造が簡単で実用性の高い光源部を実現できる。 As is apparent from the above description, according to the camera of the present invention, a light source unit having a simple structure and high practicality can be realized.
以下、本発明に関連する技術の一実施の形態に係るレンジファインダ装置について、図面を用いて説明する。 Hereinafter, a range finder apparatus according to an embodiment of a technique related to the present invention will be described with reference to the drawings.
(第1の参考例)
図1は、本発明の第1の参考例におけるレンジファインダの構成図である。図1において、1カメラ、2a,2bは光源、5は光源制御部、6は距離計算部である。以下に上記構成の動作について説明する。
(First reference example)
FIG. 1 is a configuration diagram of a range finder according to a first reference example of the present invention. In FIG. 1, 1 camera, 2a and 2b are light sources, 5 is a light source control unit, and 6 is a distance calculation unit. The operation of the above configuration will be described below.
光源制御部5は、カメラ1の垂直同期信号に同期して、フィールド周期毎に光源2a,2bを交互に発光させる。光源2a,2bとしては、例えば図2(a)に示すように、キセノンフラッシュランプ等の閃光光源7、8を縦に配置し、後方の反射板の方向を左右にずらしたものを用いることができる。図2(b)は、図2(a)の平面図である。光源2a、2bはそれぞれA、Bの範囲に光を輻射する。このキセノンランプは発光部分が小型のもので、上から見て点光源と見なせるものが望ましい。さらには、光源2a、2bは縦方向に配置されているがその距離は1cm程度であり、ほとんど一点から光が発光されているとみなせる。
The light
このような光源から輻射される光パタンは図3のようになる。これは仮のスクリーンに光を投射した場合、そのスクリーン面の明るさの大きさを図中の→方向で示したものである。即ち、各々の光源は中心軸上が最も明るく、周辺になるほど暗くなる特性を持つ。このような中央が明るく周辺が暗いのは半円筒状の反射板9,10が閃光光源7,8の背後に配置されているからである。また、その半円筒状の反射板9,10の向きがずれており、それぞれの投射光は一部が重なるように発光されている。
The light pattern radiated from such a light source is as shown in FIG. This shows the magnitude of the brightness of the screen surface in the → direction in the figure when light is projected onto a temporary screen. That is, each light source has the characteristic that the center axis is brightest and becomes darker toward the periphery. The reason why the center is bright and the periphery is dark is that the
図4は、図3のH方向の面における、光源からの投射光の角度と光強度の関係を示したものである。このH方向とは、光源中心とレンズ中心とを含む複数個の面のうち、任意の面Sと前記仮のスクリーンとの交叉線の方向である。この光パタンのうちα部分においては、2つの光源から被写体空間に照射される光は、各光源から見て一方は右側が明るく、他方は左側が明るい光となる。但し、このパタンは高さ方向(Y方向)に対しても異なっている。 FIG. 4 shows the relationship between the angle of the projection light from the light source and the light intensity on the surface in the H direction of FIG. The H direction is a direction of a cross line between an arbitrary surface S and a temporary screen among a plurality of surfaces including a light source center and a lens center. In the α portion of the light pattern, the light emitted from the two light sources to the subject space is bright on the right side and bright on the left side when viewed from each light source. However, this pattern is different also in the height direction (Y direction).
図5は、図4のα部分における、上記2つの投射光での被写体照明での光強度比と、投射光をXZ平面に投影したものがX軸に対してなす角度φとの関係を示したものである。α部分においては、光強度比と角度φの関係は1対1対応である。距離の測定のためには、事前に2種類の光パタンを、光源から所定距離離れ、垂直に立てられた平面に交互に投射し、この反射光をカメラ1で撮像した結果から、各Y座標(CCD上のY座標に対応する)毎に図5のような光強度比と投射光の角度との関係のデータを得ておく。Y座標毎とは、光源中心とレンズ中心とを含む複数個の面毎にということである。
FIG. 5 shows the relationship between the light intensity ratio in subject illumination with the two projection lights and the angle φ formed by projecting the projection light on the XZ plane with respect to the X axis in the α part of FIG. It is a thing. In the α portion, the relationship between the light intensity ratio and the angle φ has a one-to-one correspondence. In order to measure the distance, two types of light patterns are projected in advance on a plane that is vertically spaced apart from the light source by a predetermined distance, and the reflected light is captured by the
また、カメラ1のレンズ中心と光源を結ぶ線分が、CCD撮像面のX軸と平行になるように光源を配置すれば、各Y座標毎に決定された光強度比と投射光の角度の関係のデータを用いることにより正確に距離計算を行うことができる。以下に、光強度比を用いた距離計算の方法について説明する。
Also, if the light source is arranged so that the line segment connecting the lens center of the
図1の点Pを着目点とする時、カメラ1によって撮像した映像の点Pについての2種類の光パタン照射時の撮像データから得られた輝度比と、点PのY座標値に対応した図5の関係を用いることにより、光源から見た点Pの角度φを計測する。なお、図5の関係は前述のように、Y座標値によって異なる特性を持ち、各Y座標毎に光強度比と、光源からの水平方向の角度φの関係が事前の測定によって用意されているものとする。また、カメラから見た点Pに対する角度θは、画像中での位置(すなわち点Pの画素座標値)とカメラパラメータ(焦点距離、レンズ系の光学中心位置)から決定する。そして、上記2つの角度と、光源位置とカメラの光学中心位置間の距離(基線長)とから、三角測量の原理により距離を計算する。
When the point P in FIG. 1 is a point of interest, it corresponds to the luminance ratio obtained from the imaging data at the time of two types of light pattern irradiation for the point P of the image captured by the
カメラの光学中心を原点とし、カメラの光軸方向をZ軸、水平方向にX軸、垂直方向にY軸を設定し、光源からみた着目点の方向がX軸となす角をφ、カメラから見た着目点の方向とX軸がなす角をθ、光源位置を(0,−D)すなわち基線長をDとすると、着目点Pの奥行き値Zは前述の式(1)
Z=Dtanθtanφ/(tanθ−tanφ)
として計算できる。
The camera's optical center is the origin, the camera's optical axis direction is the Z axis, the horizontal direction is the X axis, and the vertical direction is the Y axis. When the angle between the viewed point of interest and the X axis is θ, the light source position is (0, −D), that is, the base line length is D, the depth value Z of the point of interest P is the above-described equation (1).
Z = Dtanθtanφ / (tanθ-tanφ)
Can be calculated as
以上のように本参考例によれば、光強度を用いたレンジファインダによる距離測定時に、光源や光学系により生じる光強度の変化を補正して距離計測を行うことにより、全て電子的な動作で実現できる、安定した精度のよいレンジファインダ装置を実現することができる。 As described above, according to this reference example, the distance measurement is performed by correcting the change in the light intensity caused by the light source or the optical system at the time of distance measurement by the range finder using the light intensity. A stable and accurate range finder device that can be realized can be realized.
なお、本参考例によるレンジファインダの赤外カメラの前面にハーフミラーもしくはダイクロイックミラーとカラーカメラを配置することにより、距離画像と同時に同一視点のカラー画像も得ることができ、本発明に含まれる。 By arranging a half mirror or dichroic mirror and a color camera in front of the infrared camera of the range finder according to this reference example, a color image of the same viewpoint can be obtained simultaneously with a distance image, and is included in the present invention.
なお、本参考例における距離計算部では、距離Zのみを計算し計算結果を距離画像として出力するものとしたが、図6に示す角度ωを用いて式(1),式(2)より三次元座標値X,Y,Zを全て計算し三次元座標データを出力してもよく、本発明に含まれる。 In the distance calculation unit in this reference example, only the distance Z is calculated and the calculation result is output as a distance image. However, using the angle ω shown in FIG. 6, the third order is obtained from the expressions (1) and (2). All of the original coordinate values X, Y, and Z may be calculated and three-dimensional coordinate data may be output, which is included in the present invention.
X=Z/tanθ
Y=Z/tanω ・・・・・ (2)
なお、本参考例において、光源2a、2bを同時に発光させ、図4の点線のように1つの中心の明るさが大きく、周辺が暗くなる通常のフラッシュランプとして使用すれば、通常の2次元画像を撮像することができる。
X = Z / tanθ
Y = Z / tanω (2)
Note that in this reference example, if the
また、本参考例において、光源2の前面に赤外通過型フィルタを挿入し、カメラ1に赤外波長領域に感度のあるものを用いればフラッシュ光の点灯が使用者や他のカメラ撮影画像に妨害を与えないようにすることができる。また、ハーフミラーやダイクロイックミラー等で赤外カメラと同軸で同時に通常のカラーカメラで画像を撮像すれば、奥行き画像とそれに対応したテクスチャ画像を同時に撮像することもできる。
Further, in this reference example, if an infrared pass filter is inserted in front of the light source 2 and the
また、本参考例において、フラッシュ光は数百マイクロ秒の時間閃光するので、その期間のみカメラ1はシャッタ動作によって露出を行うように設定すれば、背景光が距離測定に影響を及ぼすことを抑圧することが出来、ある程度明るい場所でも距離画像を撮像することができる。
In this reference example, since the flash light is flashed for several hundred microseconds, if the
また、本参考例においては、2種類の光パタンを被写体に照射し、それぞれの場合の撮像画像を用いて各画素での光強度比を計算したが、光パタンを照射しない場合の画像も撮像して合計3種類(光パタン2種類、光パタン無し1種類)の画像を得て計算しても良い。この場合、各画素の光強度比を計算する際に、各々の光パタン照射時の光強度の値から光パタン無しの場合の光強度を差し引いた差分値を計算する。そしてこれらの差分値の比を計算して光強度比とする。このようにすれば明るい場所での撮像の場合、背景光による距離計算誤差を抑圧することが出来る。
(第2の参考例)
図7は、本発明の第1の参考例におけるレンジファインダの構成図である。図7において、1aは赤外光に感度を有するカメラ、2a,2bは光源、3a,3bは赤外透過フィルタ、4a,4bは水平方向に透過率が変化するNDフィルタ、5は光源制御部、6は距離計算部である。以下に上記構成の動作について説明する。
In this reference example, the object is irradiated with two types of light patterns, and the light intensity ratio at each pixel is calculated using the captured images in each case. However, an image when no light pattern is irradiated is also captured. Then, a total of three types of images (two types of optical patterns and one type without optical patterns) may be obtained and calculated. In this case, when calculating the light intensity ratio of each pixel, a difference value is calculated by subtracting the light intensity when there is no light pattern from the light intensity value when each light pattern is irradiated. Then, the ratio of these difference values is calculated to obtain the light intensity ratio. In this way, in the case of imaging in a bright place, it is possible to suppress distance calculation errors due to background light.
(Second reference example)
FIG. 7 is a configuration diagram of the range finder in the first reference example of the present invention. In FIG. 7, 1a is a camera sensitive to infrared light, 2a and 2b are light sources, 3a and 3b are infrared transmission filters, 4a and 4b are ND filters whose transmittance varies in the horizontal direction, and 5 is a light source control unit. , 6 are distance calculation units. The operation of the above configuration will be described below.
光源制御部5は、赤外カメラ1aの垂直同期信号に同期して、フィールド周期毎に光源2a,2bを発光させる。光源2a,2bとしては、キセノンランプ等の閃光を発するもので、発光部分が小型のもの(点光源と見なせるもの)が望ましい。また、光源2a,2bは垂直方向に配置する。
The
各光源の前面には、赤外透過フィルタ3a,3bとNDフィルタ4a,4bとを配置する。NDフィルタ4a,4bは水平方向に透過率が変化する。図2は水平方向の光源からの角度と、NDフィルタ4a,4bの透過率の関係を示す。
これらのNDフィルタにより、2つの光源から被写体空間に照射される光は、光源から見て一方は右側が明るく、他方は左側が明るい光となる。その結果、被写体にはフィールド周期毎に、上記右側もしくは左側が明るい光が交互に投射される。
With these ND filters, the light emitted from the two light sources to the subject space is bright on the right side and bright on the left side when viewed from the light sources. As a result, bright light on the right side or the left side is alternately projected onto the subject for each field period.
図5は、上記2つの投射光の光強度比と、光源からの水平方向の角度との関係を示す。以下に、光強度比を用いた距離計算の方法について説明する。 FIG. 5 shows the relationship between the light intensity ratio of the two projection lights and the horizontal angle from the light source. The distance calculation method using the light intensity ratio will be described below.
図7の点Pを着目点とする時、図5の関係を用いることにより、カメラ1aによって撮像した映像の点Pについてのフィールド間での輝度比から、光源から見た点Pの角度を計測する。また、カメラから見た点Pに対する角度は、画像中での位置(すなわち点Pの画素座標値)とカメラパラメータ(焦点距離、レンズ系の光学中心位置)から決定する。そして、上記2つの角度と、光源位置とカメラの光学中心位置間の距離(基線長)とから、三角測量の原理により距離を計算する。
When the point P in FIG. 7 is used as the point of interest, the angle of the point P viewed from the light source is measured from the luminance ratio between the fields of the point P of the image captured by the
カメラの光学中心を原点とし、カメラの光軸方向をZ軸、水平方向にX軸、垂直方向にY軸を設定し、光源からみた着目点の方向がX軸となす角をφ、カメラから見た着目点の方向とX軸がなす角をθ、光源位置を(0,−D)すなわち基線長をDとすると、着目点Pの奥行き値ZはZ=Dtanθtanφ/(tanθ−tanφ)として計算できる。 The camera's optical center is the origin, the camera's optical axis direction is the Z axis, the horizontal direction is the X axis, and the vertical direction is the Y axis. Assuming that the angle between the viewed point of interest and the X axis is θ and the light source position is (0, −D), that is, the base line length is D, the depth value Z of the point of interest P is Z = Dtanθtanφ / (tanθ−tanφ). Can be calculated.
距離計算部6はカメラ1aの映像信号から距離画像を計算する。そのやり方は参考例1と同じでよいが、次に示すような別のより正確な測定が可能な方法がある。図8は、距離計算部6の構成図である。図8において、11a,11bはフィールドメモリ、12a,12bは光強度補正手段、13は光強度比計算手段、14は距離変換手段である。以下に各構成要素の動作について説明する。
The
カメラ1aにより撮像された画像はフィールド毎にフィールドメモリ11a、11bに書き込まれる。
Images captured by the
光強度補正手段12a,12bはフィールドメモリに書き込まれた光強度を補正する手段である。その補正の理由を次に説明する。図9は、距離Zが一定のスクリーンに点光源から光を(NDフィルタが無い状態で)照射し、面からの反射光を撮像した場合に、撮像される光強度と画素座標値の関係を示す。図9では簡単のために横方向についてのみ1次元的に示しているが、垂直方向についても同様に光強度は曲線的な分布を示す。 The light intensity correction means 12a and 12b are means for correcting the light intensity written in the field memory. The reason for the correction will be described next. FIG. 9 shows the relationship between the imaged light intensity and the pixel coordinate value when a screen having a constant distance Z is irradiated with light from a point light source (without an ND filter) and reflected light from the surface is imaged. Show. In FIG. 9, for the sake of simplicity, only the lateral direction is shown one-dimensionally, but the light intensity also shows a curved distribution in the vertical direction.
この分布の要因としては、カメラのレンズ系による周辺減光、被写体面に対する光線の入射角の変化による反射光強度の変化、光源からの角度による光強度の変化等が考えられる。これらの要因により生じる光強度の変化は、光強度比観測時の誤差すなわち距離計測時の誤差となるため、距離計測精度を改善するためには光強度の変換が必要となる。この誤差があると、場合によっては図5の特性曲線中に単調増加曲線でない部分が生じる。そのような部分では、光強度と、上記角度とが一対一対応しなくなる。その結果、測定結果が狂ってしまうことになる。また、この誤差がなければ光強度(比)はY軸方向で一定となり、図5の変換テーブルが1つですむという利点がある(参考例1ではY座標値の個数分変換テーブルが必要となる)。 Possible causes of this distribution include peripheral dimming by the lens system of the camera, changes in reflected light intensity due to changes in the incident angle of light rays on the subject surface, changes in light intensity due to angles from the light source, and the like. The change in the light intensity caused by these factors becomes an error at the time of light intensity ratio observation, that is, an error at the time of distance measurement. Therefore, in order to improve the distance measurement accuracy, it is necessary to convert the light intensity. If there is this error, a portion that is not a monotonically increasing curve occurs in the characteristic curve of FIG. In such a portion, the light intensity and the angle do not have a one-to-one correspondence. As a result, the measurement result will be out of order. Further, if there is no such error, the light intensity (ratio) is constant in the Y-axis direction, and there is an advantage that only one conversion table in FIG. 5 is required (in Reference Example 1, conversion tables for the number of Y coordinate values are required). Become).
そこで、光強度変換手段12a,12bは、上記計測誤差を低減させるために、NDフィルタが無い場合の、基準となる距離だけ離れたスクリーン上の画像での2次元的な光強度の曲線分布を予め測定しておき、上記光強度と投射光の角度との関係(図5対応)を得る際、また、実際の被写体の距離を測定する際に、その予め測定した光強度の曲線分布に従って、フィールドメモリの光強度を補正変換する。補正変換は、上記光強度の曲線分布を一定値に補正する係数(すなわち、ピーク値又はある任意の値に対する各画素において撮像された光強度の比)を2次元LUT(ルックアップテーブル)として保持し、フィールドメモリのデータに画素毎に補正計数を乗じて行う。 Therefore, in order to reduce the measurement error, the light intensity conversion means 12a, 12b generates a two-dimensional light intensity curve distribution in an image on a screen separated by a reference distance when there is no ND filter. When measuring in advance and obtaining the relationship between the light intensity and the angle of the projection light (corresponding to FIG. 5), or when measuring the distance of the actual subject, according to the curve distribution of the light intensity measured in advance, The light intensity of the field memory is corrected and converted. In the correction conversion, a coefficient for correcting the curve distribution of the light intensity to a constant value (that is, the ratio of the light intensity captured at each pixel with respect to a peak value or an arbitrary value) is held as a two-dimensional LUT (look-up table). Then, the data in the field memory is multiplied by the correction count for each pixel.
上記基準距離は、被写体を配置する距離が予めわかる場合は、その距離の付近にすることで、距離計測時の精度を改善できる。 When the distance at which the subject is placed is known in advance, the reference distance can be improved in the vicinity of the distance by measuring the distance.
以上のように本参考例によれば、光強度を用いたレンジファインダによる距離測定時に、光源や光学系により生じる光強度の誤差を補正して距離計測を行うことにより、全て電子的な動作で実現できる、安定した精度のよいレンジファインダ装置実現することができる。 As described above, according to this reference example, the distance measurement is performed by correcting the error of the light intensity caused by the light source or the optical system when measuring the distance by the range finder using the light intensity. A stable and accurate range finder device can be realized.
なお、本参考例によるレンジファインダの赤外カメラの前面にハーフミラーもしくはダイクロイックミラーとカラーカメラを配置することにより、距離画像と同時に同一視点のカラー画像も得ることができる。 By arranging a half mirror or dichroic mirror and a color camera in front of the infrared camera of the range finder according to this reference example, a color image of the same viewpoint can be obtained simultaneously with a distance image.
なお、本参考例における距離計算部の説明では、距離Zのみを計算し計算結果を距離画像として出力するものとしたが、図6に示す角度ωを用いて、下記の式
Z=Dtanθtanφ/(tanθ−tanφ)
X=Z/tanθ
Y=Z/tanω
より三次元座標値X,Y,Zを全て計算し三次元座標データを出力することができる。
In the description of the distance calculation unit in this reference example, only the distance Z is calculated and the calculation result is output as a distance image. However, using the angle ω shown in FIG. 6, the following formula Z = Dtanθtanφ / ( (tanθ−tanφ)
X = Z / tanθ
Y = Z / tanω
Thus, all three-dimensional coordinate values X, Y, and Z can be calculated and three-dimensional coordinate data can be output.
尚、本参考例の距離計算部における光強度補正では、被写体が上述した基準距離から離れた場合、撮像される画素の位置がずれる(すなわち視差が生じる)ため、距離計測精度が低下する。そのような場合、予め複数の基準距離についての光強度補正量を用意しておき、最初、ある1つの基準距離での補正を行って距離を計算し、次にそれに近い基準距離での補正量を用いて再度距離を計算することによって計測精度を改善できる。 In the light intensity correction in the distance calculation unit of the present reference example, when the subject is away from the reference distance described above, the position of the pixel to be imaged is shifted (that is, parallax occurs), and thus the distance measurement accuracy is lowered. In such a case, a light intensity correction amount for a plurality of reference distances is prepared in advance, the correction is first performed at one reference distance, the distance is calculated, and then the correction amount at a reference distance close thereto is calculated. The measurement accuracy can be improved by calculating the distance again using.
なお、本参考例において、光源2a、2bを同時に発光させ、図4の点線のように1つの中心の明るさが大きく、周辺が暗くなる通常のフラッシュランプとして使用すれば、通常の2次元画像を撮像することができる。
また、本参考例において、ハーフミラーやダイクロイックミラー等で赤外カメラと同軸で同時に通常のカラーカメラで画像を撮像すれば、奥行き画像とそれに対応したテクスチャ画像を同時に撮像することもできる。
Note that in this reference example, if the
In this reference example, if an image is picked up by a normal color camera simultaneously with an infrared camera using a half mirror or a dichroic mirror, a depth image and a texture image corresponding to the depth image can be picked up simultaneously.
また、本参考例において、フラッシュ光は数百マイクロ秒の時間閃光するので、その期間のみカメラ1はシャッタ動作によって露出を行うように設定すれば、背景光が距離測定に影響を及ぼすことを抑圧することが出来、ある程度明るい場所でも距離画像を撮像することができる。
In this reference example, since the flash light is flashed for several hundred microseconds, if the
また、本参考例においては、2種類の光パタンを被写体に照射し、それぞれの場合の撮像画像を用いて各画素での光強度比を計算したが、光パタンを照射しない場合の画像も撮像して、合計3種類(光パタン2種類、光パタン無し1種類)の画像を得て計算しても良い。
この場合、各画素の光強度比を計算する際に、各々の光パタン照射時の光強度の値から光パタン無しの場合の光強度を差し引いた差分値を計算する。そしてこれらの差分値の比を計算して光強度比とする。このようにすれば明るい場所での撮像の場合、背景光による距離計算誤差を抑圧することが出来る。
In this reference example, the object is irradiated with two types of light patterns, and the light intensity ratio at each pixel is calculated using the captured images in each case. However, an image when no light pattern is irradiated is also captured. Then, a total of three types of images (two types of optical patterns and one type without optical patterns) may be obtained and calculated.
In this case, when calculating the light intensity ratio of each pixel, a difference value is calculated by subtracting the light intensity when there is no light pattern from the light intensity value when each light pattern is irradiated. Then, the ratio of these difference values is calculated to obtain the light intensity ratio. In this way, in the case of imaging in a bright place, it is possible to suppress distance calculation errors due to background light.
また、本参考例において被写体に投光する光パターンを、横方向に透過率が変化するNDフィルタ4a,4bと光源2a,2bの代わりに、光透過型液晶表示素子(通常の液晶映像プロジェクタに使われるようなもの)と光源1つを用いてもよい。光透過型液晶表示素子の光透過パターンを切り替えて光源を2回発光させることによって、あるいは、光源を点灯しておいて光透過型液晶表示素子の2種類の光パターンを切り替えることによって、本参考例と同様に2種類の光パターンを被写体に時分割にて照射することができる。
Further, in this reference example, the light pattern projected onto the subject is changed to the light transmission type liquid crystal display element (in a normal liquid crystal image projector) instead of the ND filters 4a and 4b and the
(第3の参考例)
図10(a)は、本発明のレンジファインダの第3の参考例の構成を示す概略斜視図である。同図を参照しながら、以下に本参考例の構成を説明する。
(Third reference example)
FIG. 10A is a schematic perspective view showing the configuration of the third reference example of the rangefinder of the present invention. The configuration of this reference example will be described below with reference to FIG.
図10(a)に示す様に、半導体レーザ201は、波長λの光を出射する光源手段である。第1光ファイバ202は、半導体レーザ201から出射される光を光分配器203に導く手段である。又、第1光ファイバ202と半導体レーザ201の間には、コリメータレンズ204が配置されている。光分配器203は、第1光ファイバ202から導かれた光を2つの経路に分岐する光分配手段である。又、光分配器203は、シャッター機構を備えており、分岐した光を時分割で第2光ファイバa,bに送り出す手段である。第2光ファイバa(205a)及び第2光ファイバb(205b)は、それぞれ光分配器203に一端が接続され、且つ他端の開口部から分岐された光を被写体(例えば、胃の内壁など)に照射するための光ファイバである。カメラ部206は、受光用光ファイバ束207により受光された、被写体からの反射光により、被写体の画像データを取得する撮像手段である。尚、受光用光ファイバ束207の先端には、レンズ210が近接配置されている。CCD209は、受光用光ファイバ束207からの光を受光出来るように、カメラ部206に取り付けられた撮像素子である。又、第2光ファイバa(205a)の開口部208aから照射される光は、上記参考例で説明した図4に示す様な光強度分布を示す。第2光ファイバb(205b)の開口部208bから照射される光も同様である。これらの光が、この様に水平方向の位置によって、光強度の分布が異なるのは、光ファイバの開口部から出る光が、開口角に基づいて拡散するからである。従って、開口角を調整することにより、光強度の分布の形状を変えることが出来る。尚、この開口角は、光ファイバの直径方向の屈折率を所定の値に設定することによりある程度の調整が可能である。
As shown in FIG. 10A, the semiconductor laser 201 is light source means for emitting light having a wavelength λ. The first
尚、本参考例のレンジファインダは、上記参考例で述べた距離計算部6と同様の機能を備えた、カメラ部206からの画像データに基づいて被写体までの距離を計算する距離計算手段(図示省略)を備えている。又、上記第1光ファイバ202、及び第2光ファイバa,b(205a,205b)の双方又は一方に、光ファイバ束を用いても勿論良い。
The range finder of this reference example has a function similar to the
以上の構成により、次に本参考例の動作を図10(a)を用いて説明する。 Next, the operation of this reference example will be described with reference to FIG.
本参考例のレンジファインダは、胃カメラなどの内視鏡として利用することが出来るものである。 The range finder of this reference example can be used as an endoscope such as a stomach camera.
即ち、第2光ファイバa、b(205a、205b)の先端と、受光用光ファイバ207の先端とを、患者の胃の中に挿入する。
That is, the distal ends of the second optical fibers a and b (205a and 205b) and the distal end of the light receiving
第2光ファイバa,bの開口部からは、図4に示す様な光強度の分布特性を有する光が、上記参考例1と同様、時分割で照射される。受光用光ファイバ207が、これらの光の反射光を受光する。更に、カメラ部206が、これら反射光から得た胃の内壁の画像データを距離計算部に送る。距離計算部は、上記参考例1と同様にして、胃の内壁の3次元距離データを計算して出力する。出力された距離データは、モニター(図示省略)に送られて3次元表示される。医師は、そのモニターを見ながら、第2光ファイバの先端を移動させ、3次元的に映し出された患部の画像を見ることが出来る。これにより、従来に比べてより一層正確な診察が出来る。
From the openings of the second optical fibers a and b, the light having the light intensity distribution characteristic as shown in FIG. The light receiving
尚、上記参考例では、光源部としての半導体レーザを一つ備えた構成のレンジファインダーについて説明したが、これに限らず例えば、図10(b)に示す様に、光源部を2つ備えた構成であっても良い。即ち、この場合、光源部としての半導体レーザ201a,201bには、それらの出射光を個別に被写体側に導き、被写体に照射するための光ファイバ205a、205bが設けられている。又、これら各光ファイバ205a,205bと半導体レーザ201a,201bの間には、コリメータレンズ204a,204bが配置されている。この様な構成により、上記と同様の効果を発揮する。
In the above reference example, the range finder having one semiconductor laser as the light source unit has been described. However, the present invention is not limited to this. For example, as shown in FIG. 10B, two light source units are provided. It may be a configuration. That is, in this case, the semiconductor lasers 201a and 201b as the light source units are provided with
又、上記参考例では、第1光ファイバ202と、2つの第2ファイバ205a,205bの間に、光分配器203を備えた構成について説明したが、これに限らず例えば、光分配器203及び第2光ファイバ205a,205bに代えて、第1光ファイバから導かれた光をファイバの先端部で2つの経路に分岐し、被写体に照射するための光分岐手段(図示省略)を備えた構成でも良い。この場合、第2の光ファイバを省略出来、しかも上記と同様の効果を発揮する。
In the above-described reference example, the configuration in which the light distributor 203 is provided between the first
又、上記参考例では、図11(a)に示す様に、光ファイバ205a,205bの前には、何も配置していない構成について説明したが、これに限らず例えば、各光ファイバ205a,205bの開口部208a,208bの前面にコリメートレンズ301(図11(b)参照)や、シリンドリカルレンズ(又は、ロッドレンズ)302(図11(c)参照)を、各開口部208a,208bの前面に配置する構成でも良い。これにより、開口部から照射される光の強度を、より一層効率よく位置的に一様に変化させることが可能となる。なお、各開口部208a,208bの前面からは場所的に光強度の異なること無い光を出力させ、そのかわり、光透過率が位置的に異なる透過率変化フィルタ1(303a)と、透過率変化フィルタ2(303b)とを各開口部208a,208bの前面に配置することも可能である。
Further, in the above reference example, as shown in FIG. 11A, a configuration in which nothing is arranged in front of the
ここで、図11(d)に示したフィルタの特性を、図12(a)、(b)を参照しながら、更に説明する。 Here, the characteristics of the filter shown in FIG. 11 (d) will be further described with reference to FIGS. 12 (a) and 12 (b).
例えば、図12(a)に示した透過率変化フィルタ1(303a)を透過した光の強度分布は、図12(b)中の符号401aを付したものとなる様に設定されている。これに対して、透過率変化フィルタ2(303b)を透過した光の強度分布は、同図中の符号401bを付したものとなる様に設定されている。図12(b)は、図4に示したαの範囲についての光強度分布を表した図である。このような透過率変化フィルタを用いても本発明を実現できる。
For example, the intensity distribution of the light transmitted through the transmittance changing filter 1 (303a) shown in FIG. 12A is set to have a
尚、後述する本発明に係るカメラに対しても、上記内容を適用することが出来、同様の効果を発揮することは言うまでもない。 Needless to say, the above-described contents can be applied to a camera according to the present invention, which will be described later, and the same effect is exhibited.
又、上記参考例では、光分配器にシャッター機構が設けられており、時分割で光が被写体に照射される構成の場合について述べたが、これに限らず例えば、光源からの光に複数の周波数の光が含まれており、光分配器にフィルタを設けることにより、異なる波長の光が開口部から照射される。そして、カメラ部にこれらの2種類の波長を区別して受光出来るフィルタと受光素子とを備える構成とすることにより、被写体の対して、2種類の波長の各光を同時に照射することが可能となる。これにより測定時間の短縮が可能となる。図10(b)に示した構成についても、半導体レーザ201a,201bの波長を異ならせて、カメラ部206を、2種類の波長を区別して受光出来るフィルタと受光素子とを備える構成とすれば、上記と同様に、測定時間の短縮が可能となる。 Further, in the above reference example, the shutter mechanism is provided in the light distributor, and the case where the light is irradiated onto the subject in a time-sharing manner has been described. However, the present invention is not limited to this. Light of frequency is included, and by providing a filter in the optical distributor, light of different wavelengths is emitted from the opening. Then, by providing the camera unit with a filter and a light receiving element that can distinguish and receive these two types of wavelengths, it is possible to simultaneously irradiate the subject with each light of the two types of wavelengths. . As a result, the measurement time can be shortened. Also in the configuration shown in FIG. 10B, if the wavelengths of the semiconductor lasers 201a and 201b are different and the camera unit 206 includes a filter and a light receiving element that can receive light by distinguishing two types of wavelengths, Similar to the above, the measurement time can be shortened.
又、上記参考例では光源として半導体レーザを用いたが、これに限らず例えば、LEDやランプなどを用いても良い。 In the above reference example, the semiconductor laser is used as the light source. However, the present invention is not limited to this. For example, an LED or a lamp may be used.
次に、上述した本発明に関連する参考例としてのレンジファインダ装置をよりコンパクトに、またシンプルな構造とする工夫を実現した本発明のカメラを説明する。 Next, a description will be given of a camera of the present invention in which the above-described range finder device as a reference example related to the present invention is made more compact and has a simple structure.
つまり、上述したレンジファインダ装置においては、光源2a,2bを図2に示すように光反射板をずらしておいたり、発光管の前に水平場所によって光透過率の異なった光フィルタを装着する必要があり、構造が複雑であるといえる。
In other words, in the above-described range finder device, it is necessary to shift the light reflectors of the
また、カメラのレンズと光源の距離を数十センチ以上離さないと三角測量を用いるため測定精度が出ないと面もあり、これをカメラの筐体に収めようとしてもカメラがかなり大きくなる。 In addition, if the distance between the camera lens and the light source is not more than several tens of centimeters, triangulation is used and measurement accuracy cannot be obtained. Even if this is attempted to be housed in the camera housing, the camera becomes considerably large.
また、従来公知のカメラで撮像した物体の大きさや寸法を測定することは被写体までの距離が分からないと簡単には計算できないという欠点があった。また、一旦撮影されたカラー画像から被写体の大きさを知ることは不可能であった。 Further, measuring the size and dimensions of an object imaged by a conventionally known camera has a drawback that it cannot be easily calculated unless the distance to the subject is known. Further, it has been impossible to know the size of the subject from the color image once taken.
また、従来公知のカメラで撮像された画像から被写体を抽出しようとすると、背景が単一色の環境を予め用意しなくてはならず、大がかりな準備が必要であった。 In addition, if an object is to be extracted from an image captured by a conventionally known camera, an environment with a single background must be prepared in advance, requiring extensive preparation.
以下にそれらの不都合などを解決できる本発明の一実施の形態に係る形状計測用のカメラ及び被写体抽出用のカメラについて、図面を用いて説明する。
(第1の実施の形態)
図13(a),(b)は、本発明の第1の実施の形態における形状計測カメラ及び被写体抽出カメラの構成図である。また、図20はこのカメラのブロック図である。
A shape measurement camera and a subject extraction camera according to an embodiment of the present invention that can solve these disadvantages will be described below with reference to the drawings.
(First embodiment)
FIGS. 13A and 13B are configuration diagrams of the shape measurement camera and the subject extraction camera according to the first embodiment of the present invention. FIG. 20 is a block diagram of this camera.
図13において、501,502はカメラ筐体、503は撮影レンズ、504は記録メディア、505,506はそれぞれ光源部を形成する第1,第2ストロボ、507はファインダである。
図20において、532は表示部、533は撮像部、534は光源制御部、535は距離計算部、536はカラー画像計算部、538はメディア記録・再生部、550は画像メモリである。
In FIG. 13,
In FIG. 20, 532 is a display unit, 533 is an imaging unit, 534 is a light source control unit, 535 is a distance calculation unit, 536 is a color image calculation unit, 538 is a media recording / playback unit, and 550 is an image memory.
この形状計測カメラの構造は、図13(a)に示すようにカメラ部の入っている筐体501と発光部の入っている筐体502が、互いに厚みが異なって互いに重なってはめ込むことが出来る構造になっており、更に図13(a)の状態と(b)の状態を、使用者が筐体501、502をスライドさせることによって選ぶことが出来る。携帯時には(a)の状態で小型の状態にしておき、撮影時には(b)のような状態に筐体を延ばして使用する。これにより、使用時にレンズ503の中心と光源部のストロボ505、506との間隔Dを大きく設定することが出来る。図20(a)は、画像メモリ550を用いない簡易方式、(b)は画像メモリを持ち高速に撮像・表示することのできるタイプである。
As shown in FIG. 13A, the shape measurement camera has a structure in which a
光源部のストロボ505、506は、例えば図2のように構成されており、ストロボ発光管530と中心位置をずらした孔を有する遮光板528により構成されている。この時、図15の平面図に示すように発光管530の線分から出た光は、遮光板528により、その場所によって光の遮られ方が変化しながら出射される。この時、遮光板528の孔の位置がストロボ発光管530とずれており、直線l上での点AからBの間に光がだんだん強くなるような光が生成される。これによって、図16のように、2つのストロボ発光管から互いに反対方向に光強度が変化するような光パタンが生成される。次に、このような光を用いて奥行き距離を計算する方法を説明する。なお、その内容は、既に述べた奥行き距離の計算方法とおおむね同様である。
The
このようにして得られる光パタンは、図17のように、光強度が変化するパタンになっている。この光強度の変化を横X方向に一次元的に示したのが図18である。この光パタンのうちα部分においては、2つの光源から被写体空間に照射される光は、光源から見て一方は右側が明るく、他方は左側が明るい光となる。但し、このパタンは高さ方向(Y方向)に対しても変化する。 The optical pattern thus obtained is a pattern in which the light intensity changes as shown in FIG. FIG. 18 shows one-dimensionally the change in light intensity in the horizontal X direction. In the α part of the light pattern, light emitted from the two light sources to the subject space is bright on the right side and bright on the left side when viewed from the light sources. However, this pattern also changes in the height direction (Y direction).
図19は、図18のα部分における、上記2つの投射光での被写体照明での光強度比と、光源からの水平方向の角度φとの関係を示したものである。α部分においては、光強度比と光源からの水平方向の角度φの関係は1対1対応である。距離の測定のためには、事前に2種類の光パタンを垂直に立てられた平面に交互に投射し、この反射光をカメラ501で撮像した結果から、各Y座標毎に図17のような光強度比と水平方向の光源からの位置の関係のデータを得ておく必要がある。
FIG. 19 shows the relationship between the light intensity ratio in subject illumination with the two projection lights and the angle φ in the horizontal direction from the light source in the α portion of FIG. In the α portion, the relationship between the light intensity ratio and the horizontal angle φ from the light source has a one-to-one correspondence. In order to measure the distance, two types of light patterns are alternately projected in advance onto a vertically set plane, and the reflected light is captured by the
また、カメラ501のレンズ中心と光源を結ぶ線分が、撮像面のX軸と水平になるように光源を配置すれば、各Y座標毎に決定された光強度比と水平方向の光源からの位置の関係のデータを用いることにより正確に距離計算を行うことができる。これは、図20(a)の距離計算部によって算出される。以下に、光強度比を用いた距離計算の方法について説明する。
If the light source is arranged so that the line segment connecting the lens center of the
図20(a)の点Pを着目点とする時、使用者の撮像意図に基づいて撮像部533によって撮像した映像の点Pについての光源のストロボ505、506それぞれからの2種類の光パタンが時分割で光源制御部534によって投射された時の、撮像部533の出力である撮像データから得られた輝度比と、点PのY座標値に対応した図19の関係を用いることにより、光源から見た点Pの角度φを計測する。
When the point P in FIG. 20A is the point of interest, two types of light patterns from the light source strobes 505 and 506 with respect to the point P of the image captured by the
なお、図19の関係は前述のように、Y座標値によって異なる特性を持ち、各Y座標毎に光強度比と、光源からの水平方向の角度φの関係が事前の測定によって用意されているものとする。また、カメラから見た点Pに対する角度θは、画像中での位置(すなわち点Pの画素座標値)とカメラパラメータ(焦点距離、レンズ系の光学中心位置)から決定する。そして、上記2つの角度と、光源位置とカメラの光学中心位置間の距離(基線長D)とから、三角測量の原理により距離を計算する。 As described above, the relationship of FIG. 19 has different characteristics depending on the Y coordinate value, and the relationship between the light intensity ratio and the horizontal angle φ from the light source is prepared by prior measurement for each Y coordinate. Shall. The angle θ with respect to the point P as viewed from the camera is determined from the position in the image (that is, the pixel coordinate value of the point P) and the camera parameters (focal length, optical center position of the lens system). Then, the distance is calculated based on the principle of triangulation from the above two angles and the distance (baseline length D) between the light source position and the optical center position of the camera.
カメラの光学中心を原点とし、カメラの光軸方向をZ軸、水平方向にX軸、垂直方向にY軸を設定し、光源からみた着目点の方向がX軸となす角をφ、カメラから見た着目点の方向とX軸がなす角をθ、光源位置を(0,−D)すなわち基線長をDとすると、着目点Pの奥行き値Zは式
Z=Dtanθtanφ/(tanθ−tanφ)
として計算できる。この時、Dの値(レンズと光源部の距離)が小さいと、計測された奥行き値Zの値の精度が悪くなる。例えば、3m程度の距離までの被写体であれば、Dの値を20〜30cmにすれば、計測距離の約1%の誤差で奥行きが計測できる。これより小さなDの値になるに従って、計測誤差はこれよりも大きくなっていく。また、着目点PのX、Y座標は以下の式によって与えられる。
The camera's optical center is the origin, the camera's optical axis direction is the Z axis, the horizontal direction is the X axis, and the vertical direction is the Y axis. When the angle between the viewed point of interest and the X axis is θ and the light source position is (0, −D), that is, the base line length is D, the depth value Z of the point of interest P is expressed by the equation Z = Dtanθtanφ / (tanθ−tanφ)
Can be calculated as At this time, if the value of D (the distance between the lens and the light source unit) is small, the accuracy of the measured depth value Z is deteriorated. For example, in the case of a subject up to a distance of about 3 m, if the value of D is set to 20 to 30 cm, the depth can be measured with an error of about 1% of the measurement distance. As the value of D becomes smaller, the measurement error becomes larger. Further, the X and Y coordinates of the point of interest P are given by the following equations.
X=Z/tanθ
Y=Z/tanω
また、カラー画像計算部536は、前述の2種類の光パタン照射時の撮像データを加算平均した画像を計算し、これをカラー画像とする。2種類の光パタンは、図18のように、お互いに相補的に明るさが変化する特性を持っており、これらを加算平均することによって一様な明るさのストロボで撮像したのと同等なカラー画像を得ることが出来る。
X = Z / tanθ
Y = Z / tanω
In addition, the color
以上のようにして得られたカラー画像と奥行き画像は、表示部532に表示されるとともに、メディア記録・再生部538を通して記録メディア504に記録される。もちろん、一旦記録されたカラー画像及び奥行き画像をメディア記録・再生部538により読み出して表示部532に表示することも出来る。
The color image and the depth image obtained as described above are displayed on the
また、図20(b)のように、撮像部533からの画像データを一旦画像メモリ550に蓄積するようにすれば、連続して画像を入力することもできる。また、一旦記録メディア504に記録した画像を画像メモリ550に複数読み出して、高速に再生表示することもできる。
Further, as shown in FIG. 20B, if the image data from the
以上のように本実施の形態によれば、光強度の変化パターンを直線状のストロボ発光管と孔の空いた遮光板を用いるだけで、簡単な構造で複数の光パターンを生成でき、構造の安定した形状計測カメラを実現することができる。 As described above, according to the present embodiment, it is possible to generate a plurality of light patterns with a simple structure simply by using a linear strobe arc tube and a perforated shading plate as a light intensity change pattern. A stable shape measuring camera can be realized.
また、携帯時には小型で、撮影時には本体を引き延ばしてレンズ503と光源部のストロボ505,506の間隔Dを大きく取ることが出来、精度の高い奥行き画像を計測できる形状計測カメラを実現することが出来る。
In addition, the shape measuring camera can be realized which is small when carried and can be used to extend the main body during photographing to increase the distance D between the
(第2の実施の形態)
図28は、本発明の第2の実施の形態における形状計測カメラ及び被写体抽出カメラの構成図である。図28において、501,502はカメラの筐体、505,506はそれぞれ光源部を形成する第1、第2ストロボ、518は表示パネル、519はタッチパネル、532は表示部、533は撮像部、535は距離計算部、536はカラー画像計算部、538はメディア記録・再生部、537は制御部である。以下に上記構成の形状計測カメラ及び被写体抽出カメラの動作について説明する。
(Second Embodiment)
FIG. 28 is a configuration diagram of a shape measurement camera and a subject extraction camera according to the second embodiment of the present invention. In FIG. 28,
図27は、形状測定カメラの裏面を示したものである。裏面には、表示パネル518と、タッチパネル519が重ねて配置してあり、撮像されたカラー画像や奥行き画像を表示し、使用者が指や棒状のもので、その画像中の注目位置(座標)を指定できるようになっている。
FIG. 27 shows the back surface of the shape measuring camera. On the back surface, a
図28は、表示・距離計測のブロック図を示したものであり、撮像された距離画像とカラー画像は制御部537に入力され、使用者の注目位置指定座標も制御部537に入力される。制御部537は、撮影されたカラー画像を表示パネル518に表示し、タッチパネル519によって入力された複数の注目指定座標と、奥行き画像から、実際の距離などを計算して表示パネル518に表示する。
FIG. 28 is a block diagram of display / distance measurement. The captured distance image and color image are input to the
図25は、注目位置指定の様子を示したものである。まず、表示部518に、使用者が撮影した机のカラー画像が表示されているとする。使用者は、指定点A523、B524を指または棒状のもので指定する。
FIG. 25 shows how attention positions are designated. First, it is assumed that a color image of a desk photographed by the user is displayed on the
指定すると、形状計測カメラは、得られている奥行き画像のそれぞれの座標位置の実際の座標A(Xa,Ya,Za)とB(Xb,Yb,Zb)の値を用いて、点A、Bを結ぶ線分ABの距離Lab即ち When specified, the shape measurement camera uses the values of the actual coordinates A (Xa, Ya, Za) and B (Xb, Yb, Zb) at the respective coordinate positions of the obtained depth image to generate points A, B The distance Lab of the line segment AB connecting
を計算し、表示パネル518の別の部分に表示する。この例では、ABの長さが25cmであると表示されている。このようにして、使用者は、撮影された被写体の測りたい点間の距離を、被写体に触れることなく、これが奥行き方向の長さであっても測定することが出来る。
Is calculated and displayed on another part of the
また、同様にして直線ではなく、円状の被写体の大きさを測定することができる。図26は、円形のテーブルを撮像した場合の例である。例えば、使用者は撮像され表示パネル518に表示されたカラー画像を見ながら、測りたい円形の円周の部分の適当な位置3点A523、B524、C526をタッチパネルに指または棒状のものを触れることによって指定する。
Similarly, it is possible to measure the size of a circular object instead of a straight line. FIG. 26 shows an example when a circular table is imaged. For example, the user touches a touch panel with a finger or a bar-like object at three appropriate points A523, B524, and C526 in a circular circumference to be measured while viewing a color image that is captured and displayed on the
その後、形状計測カメラは、これらの3点の空間座標値A(Xa,Ya,Za),B(Xb,Yb,Zb),C(Xc,Yc,Zc)から、これらを通る円の方程式を求める。求める方法は色々あるが、例えば、線分ABとBCの垂直二等分線を求め、それの交点が円の中心G(Xg,Yg,Zg)であるする。次に、線分GA、GB、GCの長さの平均値を円の半径とすればよい。 After that, the shape measuring camera calculates the equation of the circle passing through these three spatial coordinate values A (Xa, Ya, Za), B (Xb, Yb, Zb), and C (Xc, Yc, Zc). Ask. There are various methods for obtaining, for example, a perpendicular bisector of line segments AB and BC is obtained, and the intersection point thereof is the center G (Xg, Yg, Zg) of the circle. Next, an average value of the lengths of the line segments GA, GB, and GC may be set as the radius of the circle.
このようにして得られた半径を図26では50cmとして表示して使用者に知らせている。このようにすることによって、円形のような複雑な形の大きさも、被写体に触れることなく測定することが出来る。他にも、正三角形や楕円など、形状を規定する数式が存在する形であれば、複数の点を使用者が指定することによって奥行き画像から、その大きさを被写体に触れることなく測定することができる。また、この場合は、タッチパネルを用いて使用者が注目点の座標を入力したが、上下左右に動くカーソル(十字事模様など)を表示パネル518に表示し、押しボタンによってその位置を動かして指定して注目点の座標を入力してもよい。
The radius thus obtained is displayed as 50 cm in FIG. 26 to inform the user. By doing so, the size of a complicated shape such as a circle can be measured without touching the subject. In addition, if there is a formula that defines the shape, such as an equilateral triangle or an ellipse, the user can measure the size of the depth image without touching the subject by specifying multiple points. Can do. In this case, the user inputs the coordinates of the point of interest using the touch panel, but a cursor (such as a cross pattern) that moves up, down, left, and right is displayed on the
また、被写体の大きさ計算結果を、メディア記録・再生部538を通して記録メディア504に記録すれば、使用者が測定結果を覚えておく必要はなく、記録メディア504を取り出して、これを読み書きできるメディア記録・再生部538と同等の機能を有する機器(パーソナルコンピュータなど)で使用することも出来、便利である。もちろん、測定結果を撮影されたカラー画像中にスーパーインポーズし、画像として保存しても良い。
Also, if the subject size calculation result is recorded on the
また、以上の例では被写体の長さを測定したが、長さを複数測定し、それを元にして面積や体積を求めることもできる。 In the above example, the length of the subject is measured, but a plurality of lengths can be measured, and the area and volume can be obtained based on the measured lengths.
更に、撮影データの他の表示・利用例を述べる。 Furthermore, other display / use examples of the photographing data will be described.
図27に示したように、カメラ裏面には、表示部518と、タッチパネル519が重ねて配置してあり、撮像されたカラー画像や奥行き画像を表示し、使用者が指や棒状のもので、その画像中の注目位置(座標)を指定できるようになっている。これを利用して、使用者が注目した被写体のみを切り出した画像を得ることのできる被写体抽出カメラを実現することが出来る。
As shown in FIG. 27, a
図28は、表示・切り出し動作のブロック図を示したものであり、基本的には前述の形状測定カメラと同じ構造である。撮像された距離画像とカラー画像は制御部537に入力され、使用者の注目位置指定座標も制御部537に入力される。
FIG. 28 shows a block diagram of the display / cutout operation, which is basically the same structure as the shape measuring camera described above. The captured distance image and color image are input to the
制御部537は、撮影されたカラー画像を表示パネル518に表示し、タッチパネル519によって入力された複数の注目指定座標と、奥行き画像から、使用者が意図する被写体のみを切り出して表示部518に表示し、記録メディア504に記録することが出来る。この動作を図29を用いて説明する。
The
まず、使用者は被写体520を切り出したいとする。使用者は被写体520の一部をタッチパネル519にて指定する。制御部537は、この座標の含まれる部分の奥行き値を奥行き画像から得て、それと連続的に連結された奥行きを有する部分を使用者の注目する被写体と判断し、その部分のみを表示して、それ以外の部分をある特定の色に塗りつぶして、表示パネル518に表示する。
First, it is assumed that the user wants to cut out the subject 520. The user designates a part of the subject 520 on the
連結部分の判断は、指定された座標を始点として、奥行き値が連続的に変化する限りその領域を上下左右に広げていき、奥行き不連続部分があればそこで停止するような、いわゆる画像処理を行えばよい。 Judgment of the connected part starts from the designated coordinates as the starting point, so-called image processing that expands the area vertically and horizontally as long as the depth value changes continuously, and stops if there is a discontinuous depth part. Just do it.
また、使用者が切り出したいと思う被写体のカメラからの距離よりも少し遠い距離、または切り出したいと思う距離の範囲をタッチパネルまたは押しボタンによって指定し、制御部537はその値によって指定された距離よりも近い値を持つカラー画像の部分、または指定された距離の範囲の部分のみに含まれるカラー画像を表示し、その他の部分はある特定の色に塗りつぶし、表示パネル518に表示し、記録メディア504に記録する。
Further, a distance slightly longer than the distance from the camera of the subject that the user wants to cut out, or a range of the distance that the user wants to cut out is specified by a touch panel or a push button, and the
このようにすることによって、使用者が注目する被写体のみをカメラが判断して切りだし、これを表示・記録することが出来る。また、この場合、画像処理によっては、図30に示したように、背景部分であるにもかかわらず、誤動作によって前景と判断されてしまう部分が発生する可能性がある。 In this way, the camera can determine and cut out only the subject that the user is interested in, and can display and record this. Further, in this case, depending on the image processing, as shown in FIG. 30, there is a possibility that a portion that is determined to be the foreground due to a malfunction is generated although it is the background portion.
この場合は、使用者がタッチパネル519によって誤動作したと思われる部分(図29)を指定して、これは背景であるように、表示結果を修正するようにすれば、品質の高い被写体の切り出しカラー画像を得ることが出来る。もちろんこの場合、誤動作によって背景と判断された部分を使用者が指定して、この部分が前景になるように修正動作を行っても良い。
In this case, if the user designates a part (FIG. 29) that seems to have malfunctioned by using the
以上のようにすれば、奥行き画像の情報を用いて、距離によってカラー画像を切り出すことによって、使用者が注目する被写体のみを切り出した画像を簡単に得て、保存することが出来る。 In this way, by cutting out a color image according to distance using the depth image information, it is possible to easily obtain and save an image in which only the subject that the user is interested in is cut out.
また、図28において、制御部537内に画像メモリを配置し、再生・操作する画像を一旦画像メモリ上に置くことによって、画像のアクセス速度を速くしたり、複数の画像を高速に切り替えて表示・操作することもできる。
In FIG. 28, an image memory is arranged in the
以上のように本実施の形態によれば、被写体に触れることなく、それの実際の大きさを測定することも出来る。また、使用者が注目している被写体のみを、その奥行き情報を元に簡単に切り出して保存することも出来る形状計測カメラ及び被写体抽出カメラを実現することが出来る。 As described above, according to this embodiment, the actual size of the subject can be measured without touching the subject. In addition, it is possible to realize a shape measurement camera and a subject extraction camera that can easily cut out and save only the subject that the user is paying attention to based on the depth information.
また、第1の実施の形態において、形状計測カメラの筐体が、図21のように構成されていても、同様の効果が得られる。即ち、撮像部533が配置されるカメラ部509と、光源を形成する第1,第2ストロボ505,506が配置されるストロボ部508が、蝶番のような構造を有する接続部510によって接続され、使用者が自由に図21(a)のように折り畳んだり、(b)のように延ばしたりできる構造である。携帯時には、(a)のようにすれば小型であり、撮影時には(b)のように広げて使えば、レンズ503と光源の第1,第2ストロボ505,506の間隔Dを大きくすることが出来る。
Further, in the first embodiment, the same effect can be obtained even if the housing of the shape measurement camera is configured as shown in FIG. That is, the
また、図21(c)のように、レンズと第1、第2ストロボ505,506が垂直に配置されるような構造にすることもできる。この場合、奥行き画像計算は前述では角度φ、θが水平方向の変化であったのに対して、垂直方向に変化になるだけで、あとは同様の計算で奥行き画像を算出できる。縦方向の光強度の変化を生成するために、光源は図21(d)に示したように縦置きの発光管の構成となる。
Further, as shown in FIG. 21C, the lens and the first and
この場合、図23に示したように、図21のようなカメラ部の入っている筐体501と発光部の入っている筐体502が、互いに厚みが異なって互いに垂直方向に重なってはめ込むことが出来る構造としても、同様な効果が得られる。この時の光源部の構成は図23(c)のようになる。
In this case, as shown in FIG. 23, the
また、第1の実施の形態において、形状計測用カメラの筐体が、図22のように構成されていても、同様の効果が得られる。即ち、光源部の第1、第2ストロボ505、506を含む部分の筐体517を小型とし、カメラ筐体501に蝶番構造で接続される。使用時には筐体517を使用者が回して光源部の第1、第2ストロボ505,506を露出させることによって、通常は光源部の第1、第2ストロボ505,506が露出せず不用意な接触によって破損することを防ぎつつ筐体を小さくでき、同時に撮影時にはこれらとレンズの間隔Dを大きく取ることが出来る。
Further, in the first embodiment, the same effect can be obtained even if the housing of the shape measurement camera is configured as shown in FIG. That is, the
また、第1の実施の形態において、光源は図2のように構成されるとしたが、図24(a)のように、発光管529が一つであり、その前に液晶バリア531を置いた構造にしても同様の光パタン生成機能を有することが出来る。
Further, in the first embodiment, the light source is configured as shown in FIG. 2, but as shown in FIG. 24A, there is one
この場合、図24(b)のように発光管529に対して左側、(c)のように右側に光透過部が順次設定されるようにし、それぞれの状態において一回づつ順番に発光管529が発光するようにして、図2のように2つの発光管を用いることなく、一つの発光管を2回順次発光させることで、図18と同様な光パターンを生成することができる。
In this case, the light transmitting portions are sequentially set on the left side with respect to the
これによって、発光管の本数が少なく、発光パタンの出射位置が図2のように上下に少しずれた位置から出るのではなく、あたかも同じ位置から光が出射されたようにすることが出来、奥行き計測誤差を小さくすることが出来る。 As a result, the number of arc tubes is small, and the emission position of the emission pattern does not exit from a position slightly shifted up and down as shown in FIG. 2, but it is as if light is emitted from the same position. Measurement error can be reduced.
これは図20において、光パタンの出射点Qの位置が本実施の形態では垂直方向にずれていたのに対し、この場合は同じ位置になるので、直線PQが1本の線となり、垂直位置の異なった直線を用いて奥行き計算するよりも誤差が発生しないからである。 In FIG. 20, the position of the emission point Q of the optical pattern is shifted in the vertical direction in this embodiment, but in this case, it is the same position, so the straight line PQ becomes one line, and the vertical position This is because no error occurs compared to the depth calculation using different straight lines.
また、この場合、図24(d)のように液晶バリア531の全面を光透過状態にすることによって、通常の2次元画像を撮像するカメラのストロボとしても利用することができる。
In this case, as shown in FIG. 24D, the entire surface of the
また、第1の実施の形態では、形状計測カメラ及び被写体抽出カメラ本体において、奥行き画像とカラー画像を計算し、これを記録メディアにて記録したが、図31に示すように、カメラ本体では、光源の第1、第2ストロボ505・506に同期して撮像された画像データをメディア記録・再生部538を通して記録メディア504に記録し、これをパーソナルコンピュータなどで構成された解析装置39により画像データを読み出して、距離計算部535・カラー画像計算部536により所望の解析結果を出し、これを表示部532を用いて被写体を切り出したり、形状を測定しても良い。
In the first embodiment, the shape measurement camera and the subject extraction camera main body calculate the depth image and the color image and record them on the recording medium. As shown in FIG. 31, in the camera main body, Image data captured in synchronism with the first and
また、記録メディア504を介さずに画像データを解析装置539に転送することもできる。例えば、カメラ本体と解析装置539をデータ現行の通信手段を用いて接続する。例えば有線通信ではパラレルデータインタフェース、シリアルデータインタフェース、電話回線を用いることが出きる。無線通信では、光通信・赤外線通信・携帯電話網通信・電波通信を用いることが出来る。さらに、解析結果を記録媒体に記録することもできる。
In addition, the image data can be transferred to the
また、この場合、撮像部533は動画撮影用ビデオカメラであり、記録メディア504がテープなどの記録媒体の場合、通常はカラー動画像を撮影するカメラとして利用し、使用者が必要なときだけ押しボタンなどを押すことによって、フラッシュを点灯させ、その部分の映像(フレーム、フィールドなど)のみ識別できるようなインデックス信号を記録媒体に記憶しておけば、解析装置539において、インデックス信号を有する部分の映像のみを抽出し、その部分のみカラー画像・奥行き画像を計算して出力することができる。
In this case, the
また、第1の実施の形態では、カメラ筐体501に最初から光源部が付属していたが、光源部のみを取り外し可能にすることによって、通常のカラー画像撮像時には小型で携帯しやすい形状であり、奥行き画像撮像時のみに光源部を取り付けて使用する方法も考えられる。
In the first embodiment, the light source unit is attached to the
図37(a)は、写真用の外部ストロボ装置のような構造であり、図2、図24のような光源を搭載した外部光源である。カメラとの接続部549を介して、図37(b)のようにカメラ筐体501と接続して使用する。図38は、図35、図36に示したような被写体の影をなくすための光源の例である。
FIG. 37A shows a structure similar to an external strobe device for photography, which is an external light source equipped with a light source as shown in FIGS. It is used by being connected to the
図38(a)では、接続部549の両側に対称に光源が配置されている。カメラに接続した様子を図38(b)に示す。また、図37、図38では、フイルムカメラのストロボシューのような構造でカメラ本体と光源を接続したが、図39(a)のように、カメラの三脚取り付けネジを利用して取り付ける方法も考えられる。
In FIG. 38A, light sources are arranged symmetrically on both sides of the
この場合、図39(b)のように、カメラ筐体501の底部のネジを用いて取り付ける構造となる。このような、取り外し可能な外部光源装置として光源を分離すれば、奥行き画像撮像時のみ、カメラが大きくなり、通常のカメラとして使用する場合には小型軽量という利便性を出すことが出来る。
In this case, as shown in FIG. 39 (b), the
また、第2の実施の形態において、図31の構成ではタッチパネルを用いた構成で使用者の座標指定を行うことが出来るが、他の手段で使用者が指定を行っても良い。例えば、パーソナルコンピュータで実現する場合はマウスやキーボードの入力装置を用いることができる。他にもトラックボール、スイッチ、ボリュームなどを応用することも出来る。 Further, in the second embodiment, in the configuration of FIG. 31, the user's coordinates can be specified by a configuration using a touch panel, but the user may specify by other means. For example, when implemented by a personal computer, a mouse or keyboard input device can be used. Other applications such as trackballs, switches, and volumes are also possible.
また、第1、・第2の実施の形態においては、図13、図21、図22、図23に示したように、撮像部533に対して2つの光源部の第1、第2ストロボ505・506を片方に配置したが、この場合、図32に示したような配置で被写体540、背景541を撮像すると、得られる画像は図33に示したように光源からの光が被写体540によって遮られ、影542が発生する。
In the first and second embodiments, as shown in FIGS. 13, 21, 22, and 23, the first and
この部分は光源からの光が届かない領域であり、距離画像としての情報を得ることが出来ない領域である。この場合は、図34に示すように光源の第1、第2ストロボ505・506と同じ構成の光源543・544をレンズを中心として光源の第1、第2ストロボ505・506の反対側に設置することにより、この影の領域をなくすことが出来る。その方法を以下に示す。
This portion is a region where light from the light source does not reach, and is a region where information as a distance image cannot be obtained. In this case, as shown in FIG. 34,
光源の第1、第2ストロボ505・506を用いた場合は領域β、光源543・544を用いたときは領域αの部分が距離画像としての情報を得られない部分である。前述の計算と同様にして、光源の第1、第2ストロボ505・506を用いたときの距離画像A及びカラー画像A、光源543・544を用いた時の距離画像B及びカラー画像Bをそれぞれ独立に計算しておく。この時、それぞれの画像において、領域β、αの部分を得られた画像データから、輝度の小さい部分として判断しておく。
When the first and
次に、距離画像A、Bを合成して影領域のない距離画像を新たに生成する。これは、距離画像A、Bでどちらか一方において前述の輝度の小さい部分として判断されていない領域が存在した場合は、その値を採用し、どちらも影領域でない場合は、両方の画像データの平均値を用いることによって実現できる。 Next, the distance images A and B are combined to newly generate a distance image without a shadow area. This is the case where either one of the distance images A and B has an area that is not determined as the aforementioned low-luminance part, and that value is used. If neither area is a shadow area, both image data This can be realized by using an average value.
カラー画像についても同様であり、少なくともカラー画像A・Bどちらか一方が影部分でないデータを有していれば、影領域の無い新しいカラー画像を合成することができる。 The same applies to the color image. If at least one of the color images A and B has data that is not a shadow portion, a new color image without a shadow region can be synthesized.
以上の構成の場合、光源がレンズの左右または上下に配置されている必要がある。その場合、図35に示したように、カメラ本体511の左右に、光源部を有した筐体512・513を反対方向にスライドして延ばすような筐体の構成にすれば、使用者が携帯時には小さくして図35(a)の状態にして持ち運び、使用する場合は図35(b)のように延ばして基線長Dを大きく取り、奥行き画像計測精度が低下するのを防ぐことが出来る。
In the case of the above configuration, the light sources need to be arranged on the left and right or top and bottom of the lens. In this case, as shown in FIG. 35, if the
また、図36に示すように、3段に折り畳めるような構造にしても同様の効果を得ることが出来る。図36(a)のように携帯時には折り畳んで小さくして持ち運び、使用時には図36(b)のように広げればレンズと光源の間隔である基線長Dを大きく取ることが出来る。 Also, as shown in FIG. 36, the same effect can be obtained even if the structure is folded in three stages. As shown in FIG. 36 (a), it can be folded and carried when carried, and when used, it can be extended as shown in FIG. 36 (b) to increase the base length D, which is the distance between the lens and the light source.
また、図21(c)のように、レンズと光源の配置を垂直にするために、図35の筐体512・513を筐体511の上下に配置したり、図36において筐体512、513を筐体511の上下に配置してもよい。
Further, as shown in FIG. 21C, the
以上述べたところから明らかなように、上記レンジファインダ装置によれば、機械的な動作を含まず、全て電子的な動作で実現出来る、低コストで、信頼性の高い装置を提供することが出来る。 As is apparent from the above description, according to the above range finder apparatus, it is possible to provide a low-cost and highly reliable apparatus that does not include mechanical operation and can be realized entirely by electronic operation. .
又、以上のように本発明のカメラによれば、携帯時には小型であるが使用時にはカメラレンズと光源の距離を数十センチ以上確保でき、奥行き画像測定精度を低下させない効果を有する。また、非接触で被写体の長さや大きさを簡単に測定でき、また、一旦撮影されたカラー画像から被写体の大きさを知ることができ、また、撮像された画像から注目する被写体を簡単に抽出することができる形状計測用、被写体抽出用のカメラを提供することが出来る。
なお、上述した発明は以下の通りである。
発明1は、特定の輻射パターンを持つ投射光を被写体に照射する発光手段を有し、前記発光手段の被写体反射光を撮像し、撮像した画像の光強度を用いて奥行き画像を得る、形状計測用または被写体抽出用のカメラであって、
前記発光手段は、配列された複数の直線状光源のそれぞれの前に、孔を有する遮光板が配置された構造を有し、それらの遮光板の各孔は互いに位置的にずれており、
前記複数個の光源は時分割的に発光することを特徴とするカメラである。
発明2は、特定の輻射パターンを持つ投射光を被写体に照射する発光手段を有し、前記発光手段の被写体反射光を撮像し、撮像した画像の光強度を用いて奥行き画像を得る、形状計測用または被写体抽出用のカメラであって、
前記発光手段は、一つの光源の前に、2次元的に光透過率が異なる光変調素子が配置され、その光透過率の2次元的変化分布が切り替え可能となっており、
前記発光手段は、その光透過率の分布の切り替えに応じて、複数回発光することを特徴とするカメラである。
発明3は、特定の輻射パターンを持つ投射光を被写体に照射する発光手段を有し、前記発光手段の被写体反射光を撮像し、撮像した画像の光強度を用いて奥行き画像を得る、形状計測用または被写体抽出用のカメラであって、
タッチパネル付きの平面ディスプレイを備え、
そのタッチパネル上に前記撮影画像が表示されている際のそのタッチパネルに対する使用者によるタッチ動作によって、被写体中の複数個の点が指定された場合、その指定されたこれらの点間の実際の長さを、前記奥行き画像データから計算する距離計算部を有することを特徴とするカメラである。
発明4は、前記距離計算部は、使用者が指定する前記複数の点から得られた被写体各部の長さ情報から、その被写体の面積あるいは体積を計算することを特徴とする発明3のカメラである。
発明5は、特定の輻射パターンを持つ投射光を被写体に照射する発光手段を有し、前記発光手段の被写体反射光を撮像し、撮像した画像の光強度を用いて奥行き画像を得る、形状計測用または被写体抽出用のカメラであって、
タッチパネル付きの平面ディスプレイを備え、
そのタッチパネル上に前記撮影画像が表示されている際のそのタッチパネルに対する使用者によるタッチ動作によって、被写体中の複数個の点が指定された場合、使用者が指定する前記複数の点を通る円の直径、半径又は円弧の長さを、前記奥行き画像データから計算する距離計算部を有することを特徴とするカメラである。
発明6は、特定の輻射パターンを持つ投射光を被写体に照射する発光手段を有し、前記発光手段の被写体反射光を撮像し、撮像した画像の光強度を用いて奥行き画像を得る、形状計測用または被写体抽出用のカメラであって、
使用者により指定された距離以下に存在する被写体のみ、または、使用者によって指定された距離の範囲に存在する被写体のみ、前記撮像された奥行き画像を用いて、切り出す被写体切り出し手段を有することを特徴とするカメラである。
発明7は、前記切り出し処理の誤動作により背景又は前景を間違えた部分を使用者が前記タッチパネルに触れることにより指定することにより、誤った背景または前景切り出し動作を修正できることを特徴とする発明6のカメラである。
発明8は、前記タッチパネル付きの平面ディスプレイを指で操作する代わりに、ペン型のポインティングデバイスを用いて使用者が座標を入力することを特徴とする発明3〜6のいずれかのカメラである。
発明9は、前記タッチパネル付きの平面ディスプレイを指で操作する代わりに、通常の平面ディスプレイ上に画像上の位置を表すカーソルを表示し、マウスや押しボタンを使用者が操作することによってカーソル位置を移動し、所望の座標を使用者が入力することを特徴とする発明3〜6のいずれかのカメラである。
発明10は、前記撮像された画像データを利用して奥行き画像を得るための装置は、その撮像レンズを含む本体とは、通信手段を介して通信可能となっていることを特徴とする発明1〜9のいずれかのカメラである。
発明11は、前記発光手段は、前記撮像レンズを含む本体と分離可能であり、通常の映像撮像時には前記発光手段が取り外されて使用され、奥行き画像撮像時には前記発光手段を取り付けて使用することを特徴とする発明1〜10のいずれかのカメラである。
発明12は、特定の輻射パターンを持つ投射光を被写体に照射する発光手段を有し、前記発光手段の被写体反射光を撮像し、撮像した画像の光強度を用いて奥行き画像を得る、形状計測用または被写体抽出用のカメラであって、
前記発光手段の発光なしの状態にて動画像を撮像し記録媒体に録画できるビデオカメラを兼ねており、
前記発光手段が発光した時に撮像した画像データにインデックス信号を付加しておき、前記インデックス信号が付加された特定の画像のみを用いて奥行き画像を算出することを特徴とするカメラである。
発明13は、前記奥行き画像以外にもカラー画像も同時に生成し、奥行き画像とカラー画像を共に出力できることを特徴とする発明8〜12のいずれかのカメラである。
発明14は、前記被写体切り出し部は、使用者によって指定された距離以下に存在する被写体のみ、または、使用者によって指定された距離の範囲に存在する被写体のみのカラー画像を切り出すことを特徴とする発明6のカメラである。
As described above, according to the camera of the present invention, it is small when carried, but when used, the distance between the camera lens and the light source can be secured by several tens of centimeters, and the depth image measurement accuracy is not lowered. In addition, the length and size of the subject can be easily measured without contact, the size of the subject can be known from the color image once taken, and the subject of interest can be easily extracted from the taken image. It is possible to provide a camera for shape measurement and subject extraction that can be performed.
The above-described invention is as follows.
The light emitting means has a structure in which a light shielding plate having a hole is disposed in front of each of the plurality of linear light sources arranged, and the holes of the light shielding plates are displaced from each other in position.
The plurality of light sources emits light in a time division manner.
Invention 2 has a light emitting means for irradiating a subject with projection light having a specific radiation pattern, captures the subject reflected light of the light emitting means, and obtains a depth image using the light intensity of the captured image. Camera for subject extraction or subject extraction
In the light emitting means, a light modulation element having two-dimensionally different light transmittance is arranged in front of one light source, and the two-dimensional change distribution of the light transmittance can be switched.
The light emitting means emits light a plurality of times in accordance with switching of the light transmittance distribution.
It has a flat display with a touch panel,
When a plurality of points in the subject are specified by the touch operation by the user on the touch panel when the captured image is displayed on the touch panel, the actual length between the specified points Is a camera that includes a distance calculation unit that calculates from the depth image data.
A fourth aspect of the present invention is the camera according to the third aspect, wherein the distance calculating unit calculates an area or a volume of the subject from length information of each part of the subject obtained from the plurality of points designated by a user. is there.
It has a flat display with a touch panel,
When a plurality of points in the subject are designated by a touch operation by the user on the touch panel when the captured image is displayed on the touch panel, a circle passing through the plurality of points designated by the user It is a camera characterized by having a distance calculation part which calculates a diameter, a radius, or the length of a circular arc from the depth image data.
A sixth aspect of the present invention is a shape measurement that includes a light emitting unit that irradiates a subject with projection light having a specific radiation pattern, captures the subject reflected light of the light emitting unit, and obtains a depth image using the light intensity of the captured image. Camera for subject extraction or subject extraction
It has subject cutout means for cutting out only a subject existing within a distance specified by the user or only a subject existing within a range of a distance specified by the user using the captured depth image. It is a camera.
Invention 7 is a camera according to
The invention 8 is the camera according to any one of the
In the ninth aspect of the invention, instead of operating the flat display with the touch panel with a finger, a cursor representing the position on the image is displayed on the normal flat display, and the user moves the cursor position by operating a mouse or a push button. The camera according to any one of
A tenth aspect of the invention is characterized in that the apparatus for obtaining a depth image using the picked-up image data can communicate with a main body including the imaging lens via a communication means. ~ 9.
In the eleventh aspect of the invention, the light emitting means is separable from the main body including the imaging lens, and the light emitting means is detached and used for normal video imaging, and the light emitting means is attached and used for depth image imaging. It is the camera according to any one of
It also serves as a video camera that can capture a moving image and record it on a recording medium without the light emitting means emitting light,
In this camera, an index signal is added to image data captured when the light emitting unit emits light, and a depth image is calculated using only a specific image to which the index signal is added.
A thirteenth aspect of the invention is the camera according to any one of the eighth to twelfth aspects, wherein a color image can be simultaneously generated in addition to the depth image, and both the depth image and the color image can be output.
In a fourteenth aspect of the invention, the subject cutout unit cuts out a color image of only a subject existing within a distance specified by a user or only a subject existing within a distance range specified by the user. It is a camera of the
本発明に係るカメラによれば、構造が簡単で実用性の高い光源部を実現できるという長所を有しており有用である。 The camera according to the present invention is useful because it has a merit that a light source unit having a simple structure and high practicality can be realized.
1 カメラ
1a 赤外カメラ
2a 光源
2b 光源
3a 赤外透過フィルタ
3b 赤外透過フィルタ
4a 水平方向に透過率が変化するNDフィルタ
4b 水平方向に透過率が変化するNDフィルタ
5 光源制御部
6 距離計算部
7 閃光光源
8 閃光光源
9 反射板
10 反射板
11a フィールドメモリa
11b フィールドメモリb
12a 光強度変換部a
12b 光強度変換部b
13 光強度比計算部
14 距離変換部
101A レーザ光源
101B レーザ光源
102 ハーフミラー
103 光源制御部
104 回転ミラー
105 回転制御部
106 被写体
107 レンズ
108A 光波長分離フィルタ
108B 光波長分離フィルタ
109A 撮像素子
109B 撮像素子
109C カラー画像撮像素子
110A カメラの信号処理部
110B カメラの信号処理部
111 カラーカメラの信号処理部
112 距離計算部
113 制御部
201 半導体レーザ
202 第1光ファイバ
203 光分配器
204 コリメータレンズ
206 カメラ部
207 第2光ファイバ
501 筐体
502 筐体
503 レンズ
504 記録メディア
505 第1ストロボ
506 第2ストロボ
507 ファインダ
508 ストロボ部
509 カメラ本体筐体
510 接続部
511 カメラ本体
512 光源部筐体
513 光源部筐体
514 第3ストロボ
515 第4ストロボ
516 接続部
517 光源部
518 表示パネル
519 タッチパネル
520 被写体(前景)
521 被写体(背景)
527 誤動作により前景と判断された部分
528 遮光板
529 ストロボ発光管A
530 ストロボ発光管B
531 液晶バリア
532 表示部
533 撮像部
534 光制御部
535 距離計算部
536 カラー画像計算部
537 制御部
538 メディア記録・再生部
539 解析部
540 被写体(前景)
541 被写体(背景)
542 光源部からの光が遮られた部分
543 光源部3
544 光源部4
545 カメラ取り付けネジ
546 光源部筐体(1)
547 光源部筐体(2)
548 光源部固定台
549 光源部固定具(ストロボシュー金具)
550 画像メモリ
551 反射板(1)
552 反射板(2)
100 背景と判断された部分
DESCRIPTION OF
11b Field memory b
12a Light intensity conversion part a
12b Light intensity conversion part b
DESCRIPTION OF
521 Subject (background)
527 Portion determined to be foreground due to
530 Strobe arc tube B
531
541 Subject (background)
542 A portion where light from the light source is blocked 543
544 Light Source 4
545
547 Light source housing (2)
548 Light
550 Image memory 551 Reflector (1)
552 Reflector (2)
100 Parts judged to be background
Claims (2)
前記孔のそれぞれに対して、長手方向の発光面の一部が前記孔の対面に配置され、互いが平行に近い状態で設置される少なくとも2つの線状発光管と、
所定時間内において、前記線状発光管のいずれか一方のみが発光する制御を行う光源制御手段と、
前記線状発光管から照射される照射光による撮像データの光強度比と前記前記線状発光管から照射される照射光の角度との関係を用いて、前記撮像データの奥行き値を求める距離計算部と、
を具備し、
前記長手方向の発光面の一部が前記孔の対面に配置される前記線状発光管の配置は、前記線状発光管それぞれの長手方向の発光面の残り部分からの光が前記遮断板により遮断されることで、前記線状発光管それぞれからの光の光強度が、前記線状発光管からの水平方向の角度に対して互いに反対方向に段々変化する部分を有する配置である、カメラ。 A blocking plate having at least two holes, wherein the holes are arranged such that the centers of the holes are not on the same straight line in the horizontal direction and the centers of the holes are not located on the same straight line in the vertical direction;
For each of the holes, at least two linear arc tubes arranged in a state in which a part of the light emitting surface in the longitudinal direction is disposed on the opposite side of the hole and are substantially parallel to each other;
Light source control means for performing control to emit only one of the linear arc tubes within a predetermined time; and
Distance calculation for obtaining a depth value of the imaging data using a relationship between a light intensity ratio of imaging data by irradiation light irradiated from the linear arc tube and an angle of irradiation light irradiated from the linear arc tube And
Comprising
The arrangement of the linear arc tube in which a part of the light emitting surface in the longitudinal direction is disposed opposite to the hole is such that light from the remaining part of the light emitting surface in the longitudinal direction of each linear arc tube is caused by the blocking plate. The camera having an arrangement in which the light intensity of light from each of the linear arc tubes gradually changes in the opposite direction with respect to the horizontal angle from the linear arc tube by being blocked.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003284523A JP4209284B2 (en) | 1998-05-25 | 2003-07-31 | camera |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP14268298 | 1998-05-25 | ||
JP31611298 | 1998-11-06 | ||
JP11943599 | 1999-04-27 | ||
JP2003284523A JP4209284B2 (en) | 1998-05-25 | 2003-07-31 | camera |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002160274A Division JP3522732B2 (en) | 1998-05-25 | 2002-05-31 | camera |
Related Child Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006137697A Division JP4387377B2 (en) | 1998-05-25 | 2006-05-17 | camera |
JP2008123931A Division JP4332598B2 (en) | 1998-05-25 | 2008-05-09 | Camera and depth distance calculation method |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2004004118A JP2004004118A (en) | 2004-01-08 |
JP2004004118A5 JP2004004118A5 (en) | 2006-06-29 |
JP4209284B2 true JP4209284B2 (en) | 2009-01-14 |
Family
ID=30449448
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003284523A Expired - Lifetime JP4209284B2 (en) | 1998-05-25 | 2003-07-31 | camera |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4209284B2 (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8496575B2 (en) | 2006-11-14 | 2013-07-30 | Olympus Corporation | Measuring endoscope apparatus, program and recording medium |
JP5186286B2 (en) * | 2007-06-04 | 2013-04-17 | オリンパス株式会社 | Endoscope device for measurement and program |
KR101396328B1 (en) | 2007-11-12 | 2014-05-16 | 삼성전자주식회사 | Image pickup device and auto focusing method |
KR101630302B1 (en) * | 2010-02-02 | 2016-06-14 | 삼성전자주식회사 | Digital photographing apparatus and method for controlling the same |
-
2003
- 2003-07-31 JP JP2003284523A patent/JP4209284B2/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JP2004004118A (en) | 2004-01-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4332598B2 (en) | Camera and depth distance calculation method | |
JP4387377B2 (en) | camera | |
JP3415070B2 (en) | Range finder device | |
CN102401646B (en) | Method of structured light-based measurement | |
US7349104B2 (en) | System and a method for three-dimensional imaging systems | |
CN104730827B (en) | The control method of projecting apparatus, optical projection system and projecting apparatus | |
JP4115801B2 (en) | 3D imaging device | |
US6987531B2 (en) | Imaging system, photographing device and three-dimensional measurement auxiliary unit used for the system | |
JP4209284B2 (en) | camera | |
JP2002236332A (en) | Stereoscopic adapter, pattern projection adapter and adapter for light emitting member | |
JP3522732B2 (en) | camera | |
JP3793741B2 (en) | Range finder device | |
JP2008259085A (en) | Automatic photograph creating apparatus and automatic photograph creation method | |
JP2020160807A (en) | Position detection method, position detection device, and interactive projector | |
JP2002277225A (en) | Lighting system for optical shape measuring instrument | |
CN107018393A (en) | The control method of projecting apparatus and projecting apparatus | |
JP4020911B2 (en) | 3D imaging device | |
CA2388286C (en) | Color analyzing apparatus with polarized light source | |
JP2002286432A (en) | Pattern projection apparatus, and depth map inputting apparatus using the pattern projection apparatus | |
JP2006337930A (en) | Projector, distance measuring method using phase difference sensor, and program | |
JPH10243267A (en) | Video camera | |
JP2011239224A (en) | Stereoscopic image creation device and stereoscopic image creation method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060516 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060516 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071204 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080131 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080311 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080509 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20080516 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080722 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080728 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080930 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081022 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111031 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121031 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131031 Year of fee payment: 5 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |