JP5007863B2 - 3D object position measuring device - Google Patents

3D object position measuring device Download PDF

Info

Publication number
JP5007863B2
JP5007863B2 JP2008110387A JP2008110387A JP5007863B2 JP 5007863 B2 JP5007863 B2 JP 5007863B2 JP 2008110387 A JP2008110387 A JP 2008110387A JP 2008110387 A JP2008110387 A JP 2008110387A JP 5007863 B2 JP5007863 B2 JP 5007863B2
Authority
JP
Japan
Prior art keywords
voxel
dimensional
dimensional object
position measuring
space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008110387A
Other languages
Japanese (ja)
Other versions
JP2009258058A (en
Inventor
祐教 松本
善久 白田
猛 大川
賢二 戸田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Institute of Advanced Industrial Science and Technology AIST
Original Assignee
National Institute of Advanced Industrial Science and Technology AIST
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Institute of Advanced Industrial Science and Technology AIST filed Critical National Institute of Advanced Industrial Science and Technology AIST
Priority to JP2008110387A priority Critical patent/JP5007863B2/en
Publication of JP2009258058A publication Critical patent/JP2009258058A/en
Application granted granted Critical
Publication of JP5007863B2 publication Critical patent/JP5007863B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Description

本発明は、時間的に連続する複数の画像データを取得して、非接触で監視対象物の３次元物体の位置を計測することができる３次元物***置計測装置に関するものである。   The present invention relates to a three-dimensional object position measuring apparatus capable of acquiring a plurality of temporally continuous image data and measuring the position of a three-dimensional object of a monitoring target without contact.

従来、用いられていた３次元物体の距離計測方法としては、典型的には、２台のカメラを用いてステレオ撮影を行い、対象物の３次元位置を計測するものがある。例えば、特許文献１で提案されているように、周知の二点測量の原理を用い、２台のカメラを用い、２点から撮影するカメラの位置と角度から被写体までの距離を測定するものがある。この特許文献１に記載の立体カメラ用雲台装置の発明では、ある時間のカメラからの画像入力により正確な距離を測定するために、２台のカメラの位置と角度を制御する。   Conventionally, as a method of measuring the distance of a three-dimensional object, there is typically a method of measuring a three-dimensional position of an object by performing stereo photography using two cameras. For example, as proposed in Patent Document 1, using the well-known principle of two-point surveying, two cameras are used to measure the distance to the subject from the position and angle of the camera that shoots from two points. is there. In the invention of the stereoscopic camera pan / tilt head device described in Patent Document 1, the positions and angles of the two cameras are controlled in order to measure an accurate distance by inputting an image from the camera for a certain period of time.

また、複数台のカメラで撮影された画像のデータから対象物の３次元空間における位置を判定するために、ボクセル投票処理を利用しているものとして、特許文献２に記載のインタフェース方法の発明がある。この発明では、ボクセル投票処理を利用して実空間の３次元空間をボクセルに分割したボクセル空間における３次元位置の物体情報の判定を行う。
特開２００５−２４６２９号公報 特開２００５−３２１９６６号公報 In addition, the invention of the interface method described in Patent Document 2 assumes that voxel voting processing is used to determine the position of an object in a three-dimensional space from data of images taken by a plurality of cameras. is there. In the present invention, the object information of the three-dimensional position in the voxel space obtained by dividing the three-dimensional space of the real space into voxels using voxel voting processing is determined.
JP 2005-24629 A JP 2005-321966 A

従来における距離計測方法を利用して、立体物の３次元位置を判定するには、特許文献１に記載のように、複雑な装置構成を必要とし、装置全体の構成が大きくなり、かつ、複雑化する等の課題が存在していた。   In order to determine the three-dimensional position of a three-dimensional object using a conventional distance measurement method, as described in Patent Document 1, a complicated apparatus configuration is required, and the entire apparatus configuration becomes large and complicated. There were issues such as

また、特許文献２に記載されているインタフェース方法の発明では、ボクセル投票処理を利用して、実空間の３次元空間をボクセルに分割したボクセル空間における３次元位置の物体情報の判定を行うが、この場合に、対象の３次元空間内に固定された複数台のカメラで撮影した複数の入力画像から、操作者の体の部位の、該操作者の指し示した方向に関わる始点と終点の３次元座標を算出し、操作者の指し示す実空間上での３次元指示方向情報を求める処理など複雑な処理を必要としており、計算コストが大きいという問題がある。   Moreover, in the invention of the interface method described in Patent Document 2, the object information of the three-dimensional position in the voxel space obtained by dividing the three-dimensional space in the real space into voxels using the voxel voting process is described. In this case, from a plurality of input images photographed by a plurality of cameras fixed in the target three-dimensional space, the three-dimensional start and end points of the body part of the operator related to the direction indicated by the operator Complicated processing such as processing for calculating coordinates and obtaining three-dimensional pointing direction information in the real space indicated by the operator is required, and there is a problem that calculation cost is high.

本発明は、上記のような課題を解決するためになされたものであり、本発明の目的は、時間的に連続する複数の画像データを取得して、非接触で監視対象物の３次元物体の位置を計測することができる３次元物***置計測装置を提供することにある。   The present invention has been made to solve the above-described problems, and an object of the present invention is to acquire a plurality of temporally continuous image data and to perform a non-contact three-dimensional object to be monitored. An object of the present invention is to provide a three-dimensional object position measuring apparatus capable of measuring the position of the object.

上記の目的を達成するため、本発明の３次元物***置計測装置は、対象物を撮影し当該対象物に対して視差を有する複数の画像の時間的に連続な画像データを取得する撮影手段と、前記撮影手段により取得された画像データに基づいて、対象物からの距離情報を含む特徴量を抽出する複数の特徴量抽出手段と、前記特徴量抽出手段にて抽出された特徴量の距離情報に基づいて、対象とする３次元空間をボクセルに分割したボクセル空間において特徴量を抽出した対象物と撮影手段のレンズ中心を結ぶ直線をボクセル空間中に引いて、直線が交差するボクセルに１票ずつ投票する処理を行うボクセル投票処理手段と、前記ボクセル投票処理手段による投票結果の履歴データを保持するボクセル投票履歴保持手段と、前記ボクセル投票履歴を前記撮影手段が移動した移動ベクトルに基づいて補正する移動量補正手段と、前記ボクセル投票結果および補正されたボクセル投票履歴に基づいてボクセル空間内における対象物の位置を特定する３次元位置計測処理手段とを有することを特徴とするものである。   In order to achieve the above object, a three-dimensional object position measurement apparatus according to the present invention includes a photographing unit that photographs a target object and acquires temporally continuous image data of a plurality of images having parallax with respect to the target object. A plurality of feature quantity extraction means for extracting feature quantities including distance information from the object based on the image data acquired by the photographing means; and distance information of the feature quantities extracted by the feature quantity extraction means Based on the above, in the voxel space obtained by dividing the target three-dimensional space into voxels, a straight line connecting the object whose feature value is extracted and the lens center of the photographing means is drawn in the voxel space, and one vote is obtained for the voxel where the straight lines intersect. Voxel voting processing means for performing voting processing one by one, voxel voting history holding means for holding history data of voting results by the voxel voting processing means, and the voxel voting history A movement amount correcting means for correcting based on the movement vector moved by the shadow means; a three-dimensional position measurement processing means for specifying the position of the object in the voxel space based on the voxel voting result and the corrected voxel voting history; It is characterized by having.

また、本発明の３次元物***置計測装置は、一つの態様として、撮影手段は、カメラを制御して対象物を撮影し、対象物に対して視差を有する複数の画像の時間的に連続な画像データを取得すると共に、ボクセル投票処理手段は、カメラの移動速度によって、対象とする３次元空間の大きさとボクセルのサイズを変更するように構成される。   In addition, according to one aspect of the three-dimensional object position measurement apparatus of the present invention, the photographing unit controls the camera to photograph the object, and a plurality of images having parallax with respect to the object are temporally continuous. While acquiring image data, the voxel voting processing means is configured to change the size of the target three-dimensional space and the size of the voxel according to the moving speed of the camera.

また、本発明の３次元物***置計測装置は、別の態様として、撮影手段は、移動する単一のカメラにより対象物を撮影して、対象物に対して視差を有する複数の画像の時間的に連続な画像データを取得するように構成される。   In another aspect of the three-dimensional object position measuring apparatus of the present invention, the photographing unit photographs a target with a single moving camera, and temporally displays a plurality of images having parallax with respect to the target. It is configured to acquire continuous image data.

また、本発明の３次元物***置計測装置においては、更に、３次元位置計測処理手段により特定した対象物の位置と、自己の３次元モデルとボクセル空間内の対象物の間隔を測定する間隔測定手段を有することを特徴とするものである。   In the three-dimensional object position measurement apparatus of the present invention, the distance measurement is further performed to measure the position of the object specified by the three-dimensional position measurement processing means, and the distance between the own three-dimensional model and the object in the voxel space. It has the means.

また、本発明の３次元物***置計測装置においては、更に、計測した自己の３次元モデルとボクセル空間内の対象物との間隔と、現在から複数回分の間隔を測定した間隔計測履歴を用いて、自己の３次元モデルとボクセル空間内の対象物との間隔の変化量を計測する間隔変化量計測手段を有することを特徴とするものである。   Further, in the three-dimensional object position measuring apparatus of the present invention, the interval between the measured self three-dimensional model and the object in the voxel space and the interval measurement history obtained by measuring a plurality of intervals from the present are further used. The apparatus further comprises interval change amount measuring means for measuring the change amount of the interval between the self three-dimensional model and the object in the voxel space.

また、本発明の３次元物***置計測装置においては、３次元モデルは移動体であり、対象物は空間に固定された立体物であることを特徴とするものである。   In the three-dimensional object position measuring apparatus of the present invention, the three-dimensional model is a moving body, and the target is a three-dimensional object fixed in space.

また、本発明の３次元物***置計測装置においては、更に、間隔変化量計測手段からの出力に基づいて、対象物と自己モデルとの間の接触までの時間を判定する接触危険判定装置を有することを特徴とするものである。   Further, the three-dimensional object position measuring device of the present invention further includes a contact risk determining device that determines a time until contact between the object and the self model based on an output from the interval change amount measuring means. It is characterized by this.

また、本発明の３次元物***置計測装置において、更に、接触危険判定装置からの出力に基づいて警告情報を出力する接触警告装置を有することを特徴とするものである。   The three-dimensional object position measuring apparatus of the present invention further includes a contact warning device that outputs warning information based on an output from the contact risk determination device.

また、本発明の３次元物***置計測装置においては、更に、接触警告装置からの出力に基づいて安全装置を動作させる安全制御装置を有することを特徴とするものである。   Further, the three-dimensional object position measuring apparatus of the present invention further includes a safety control device that operates the safety device based on an output from the contact warning device.

このような特徴を有する本発明の３次元物***置計測装置によれば、単一もしくは複数のカメラにより取得された時間的に連続性のある画像データの情報により、対象とする３次元空間をボクセルに分割したボクセル空間において、自己の３次元モデルの立体物と、対象物である例えば周囲の立体物との距離を判定することでき、周囲の立体物と自己の３次元モデルである立体物の移動体との衝突の可能性を予測することができる。   According to the three-dimensional object position measuring apparatus of the present invention having such a feature, a target three-dimensional space is voxeled based on information of temporally continuous image data acquired by a single or a plurality of cameras. In the voxel space divided into two, it is possible to determine the distance between the three-dimensional object of its own three-dimensional model and the target object, for example, the surrounding three-dimensional object, and the three-dimensional object of its own three-dimensional model can be determined. The possibility of a collision with a moving object can be predicted.

従来の３次元位置の距離計測装置は、複数のカメラからの入力画像データに基づいて、物体の距離を測定するが、本発明の３次元物***置計測装置においては、時間的に連続する画像データによって、累積されたボクセル投票結果に基づいて３次元物体の位置を計測する。これにより、従来の３次元位置の距離計測装置に比べて多くの情報を利用できるため、ある時間の入力画像に対する処理量を削減することができ、装置構成の簡単化が可能となる。   A conventional distance measuring device for a three-dimensional position measures the distance of an object based on input image data from a plurality of cameras. In the three-dimensional object position measuring device of the present invention, temporally continuous image data The position of the three-dimensional object is measured based on the accumulated voxel vote result. As a result, a larger amount of information can be used as compared with a conventional distance measuring device for a three-dimensional position, so that the processing amount for an input image for a certain time can be reduced, and the device configuration can be simplified.

また、従来における３次元位置の距離測定方法では、ステレオカメラのように複数のカメラを用いることが必要であるが、本発明の３次元物***置計測装置においては、画像データを取得する撮像装置が移動するため、例えば、撮像装置が搭載された３次元物***置計測装置が移動するため、単一カメラにより時間的に連続する画像データを取得し、これを擬似的なステレオ画像として利用して、時間的に発生するカメラの視差を用いて、擬似的に複数のカメラと同様の機能を実現できる。   Further, in the conventional three-dimensional position distance measuring method, it is necessary to use a plurality of cameras such as a stereo camera. However, in the three-dimensional object position measuring apparatus according to the present invention, an imaging apparatus that acquires image data is used. In order to move, for example, because a three-dimensional object position measuring device on which an imaging device is mounted moves, image data that is temporally continuous is acquired by a single camera, and this is used as a pseudo stereo image. A function similar to that of a plurality of cameras can be realized in a pseudo manner using temporally generated parallax of the camera.

また、従来における３次元位置の距離測定方法では、物体の移動速度が高くなるに従って高速の処理を必要とするが、本発明の３次元物***置計測装置においては、画像データを取得する３次元物***置計測装置の移動速度に応じて、計測する対象の３次元空間の範囲と、それを分割するボクセルの大きさを変更することにより、移動速度が大きくなっても処理量をあまり増やさずに必要な計測を行うことができる。   In addition, the conventional method for measuring the distance of a three-dimensional position requires high-speed processing as the moving speed of the object increases. In the three-dimensional object position measuring apparatus of the present invention, a three-dimensional object that acquires image data is used. Necessary to increase the amount of processing even if the moving speed increases by changing the range of the 3D space to be measured and the size of the voxel that divides it according to the moving speed of the position measuring device Can be measured.

また、本発明による３次元物***置計測装置においては、この３次元物***置計測装置を搭載した自己モデルと対象物の周囲の立体物との間隔および間隔の変化量を測定し、自己モデルの立体物の移動体と周囲の３次元空間における立体物の対象物とが接触する可能性を予測して、ある時間内に接触すると予測される場合に、警告もしくは自己モデルの移動体の移動を制御し、接触を回避することが可能となる。   In the three-dimensional object position measuring apparatus according to the present invention, the distance between the self-model on which the three-dimensional object position measuring apparatus is mounted and the three-dimensional object around the target object and the amount of change in the distance are measured. Predicts the possibility of contact between a moving object and a three-dimensional object in the surrounding three-dimensional space, and controls the movement of a warning or self-model moving object when it is predicted that the object will contact within a certain period of time Thus, contact can be avoided.

以下、本発明を実施する場合に一つの形態について、具体的に図面を参照して説明する。図１は、本発明の一実施例の３次元物***置計測装置の構成を説明するブロック図であり、図２は、本発明の３次元物***置計測装置におけるボクセル投票処理を説明する説明図である。図２には、立方体形状の単位３次元空間であるボクセルと、３次元位置の距離を計測する対象の３次元空間のボクセル空間との関係が示されている。   Hereinafter, one embodiment of the present invention will be specifically described with reference to the drawings. FIG. 1 is a block diagram illustrating a configuration of a three-dimensional object position measuring apparatus according to an embodiment of the present invention. FIG. 2 is an explanatory diagram illustrating a voxel voting process in the three-dimensional object position measuring apparatus of the present invention. is there. FIG. 2 shows the relationship between a voxel, which is a cubic unit three-dimensional space, and a voxel space, which is a target three-dimensional space whose distance is measured.

図１において、１０１は第１カメラ画像入力部、１０２は第２カメラ画像入力部、１０３は第１特徴量抽出処理部、１０４は第２特徴量抽出処理部、１０５はボクセル投票処理部、１０６は３次元位置計測処理部、１０７はボクセル投票履歴データ納付部、１０８は移動量補正処理部、１０９は撮影装置移動量である。図２において、２０１は対象の３次元空間のボクセル空間、２０２は立方体形状の単位３次元空間であるボクセル、２０３は第１カメラ画像入力部の撮像装置のカメラ、２０４は第２カメラ画像入力部の撮像装置のカメラ、２０５は対象物の特徴量抽出結果をそれぞれ示している。   In FIG. 1, 101 is a first camera image input unit, 102 is a second camera image input unit, 103 is a first feature amount extraction processing unit, 104 is a second feature amount extraction processing unit, 105 is a voxel voting processing unit, 106 Is a three-dimensional position measurement processing unit, 107 is a voxel voting history data payment unit, 108 is a movement amount correction processing unit, and 109 is a moving amount of the photographing apparatus. 2, 201 is a voxel space of a target three-dimensional space, 202 is a voxel that is a cubic unit three-dimensional space, 203 is a camera of an imaging device of a first camera image input unit, and 204 is a second camera image input unit. Cameras 205 of the image pickup apparatus 205 respectively show the feature amount extraction results of the object.

図１および図２を参照して説明する。第１カメラ画像入力部１０１は、複数のカメラ（撮影装置）により対象物となる立体物を撮影して、複数のカメラのカメラ視線方向（レンズ中心軸方向）により対象物に対して視差を有する複数の画像の時間的に連続な画像データを取得する。第２カメラ画像入力部１０２は、複数のカメラ（撮影装置）により対象物となる立体物を撮影して、複数のカメラのカメラ視線方向（レンズ中心軸方向）により対象物に対して視差を有する複数の画像の時間的に連続な画像データを取得する。なお、第１カメラ画像入力部１０１および第２カメラ画像入力部１０２では、カメラが移動体に搭載されており、カメラにより時間的に連続する画像データを取得した場合には、取得した連続した画像データに時間的に発生するカメラ視差があるので、この画像データを用いることもできる。このような場合には、カメラは単一カメラでよい。   This will be described with reference to FIGS. The first camera image input unit 101 shoots a three-dimensional object as a target with a plurality of cameras (imaging devices), and has a parallax with respect to the target according to the camera viewing direction (lens central axis direction) of the plurality of cameras. Acquire temporally continuous image data of a plurality of images. The second camera image input unit 102 shoots a three-dimensional object as a target with a plurality of cameras (photographing devices), and has a parallax with respect to the target according to the camera line-of-sight direction (lens center axis direction) of the plurality of cameras. Acquire temporally continuous image data of a plurality of images. Note that in the first camera image input unit 101 and the second camera image input unit 102, when the camera is mounted on the moving body and the temporally continuous image data is acquired by the camera, the acquired continuous image Since there is a camera parallax that occurs temporally in the data, this image data can also be used. In such a case, the camera may be a single camera.

これらの第１カメラ画像入力部１０１および第２カメラ画像入力部１０２は、後述するように、ボクセル空間における対象物の識別性を高くするために、図２に示されるように、第１カメラ画像入力部１０１のカメラ２０３のカメラ視線方向と、第２カメラ画像入力部１０２におけるカメラ２０４のカメラ視線方向とは、互いに異なる方向に設定される。   As will be described later, the first camera image input unit 101 and the second camera image input unit 102 are configured so that the first camera image input unit 101 and the second camera image input unit 102 have a first camera image input as shown in FIG. The camera line-of-sight direction of the camera 203 in the input unit 101 and the camera line-of-sight direction of the camera 204 in the second camera image input unit 102 are set in different directions.

第１特徴量抽出処理部１０３は、第１カメラ画像入力部１０１から出力された時間的に連続な画像データに対して、複数の画像データにおける視差により、ステレオ法による画像処理を行い、対象物からの距離情報を含む特徴量を抽出する。ここで画像データから抽出する特徴量として、例えば、対象物を識別するための特徴量である形状データ、色データなどと共に撮像装置と対象物の間の距離情報が利用される。同じく、第２特徴量抽出処理部１０４は、第２カメラ画像入力部１０２から出力された時間的に連続な画像データに対し、複数の画像データにおける視差により、ステレオ法による画像処理を行い、対象物からの距離情報を含む特徴量を抽出する。   The first feature amount extraction processing unit 103 performs image processing by the stereo method on the temporally continuous image data output from the first camera image input unit 101, using the parallax in the plurality of image data, and the target object A feature amount including distance information from is extracted. Here, as the feature amount extracted from the image data, for example, distance information between the imaging device and the target object is used together with shape data, color data, and the like, which are feature quantities for identifying the target object. Similarly, the second feature quantity extraction processing unit 104 performs image processing by the stereo method on temporally continuous image data output from the second camera image input unit 102 by using parallax in a plurality of image data, Extract features including distance information from objects.

ボクセル投票処理部１０５は、第１特徴量抽出処理部１０３および第２特徴量抽出処理部１０４により抽出された特徴量の距離情報に基づいて、ボクセル投票処理を行う。ボクセル投票処理では、図２に示されるように、対象とする３次元空間をボクセル２０２に分割したボクセル空間２０１において特徴量を抽出した対象物２０５とカメラ（２０３，２０４）のレンズ中心を結ぶ直線をボクセル空間２０１中に引いて、直線が交差するボクセルに１票ずつ投票する処理を行い、その結果のボクセル投票結果データを出力する。そして、後述するように、ボクセル投票結果データに基づいて、ボクセル空間２０１における各ボクセル２０２の投票結果のデータに基づいて、対象物の位置が特定され、対象物の立体と自己の３次元モデルの立体との関係の距離がボクセルの単位で計測される。   The voxel voting processing unit 105 performs voxel voting processing based on the distance information of the feature amounts extracted by the first feature amount extraction processing unit 103 and the second feature amount extraction processing unit 104. In the voxel voting process, as shown in FIG. 2, a straight line that connects the object 205 from which the feature amount is extracted in the voxel space 201 obtained by dividing the target three-dimensional space into voxels 202 and the lens center of the camera (203, 204). In the voxel space 201, a process of voting one vote at a time on each voxel where the straight lines intersect, and outputting the resulting voxel voting result data. Then, as will be described later, based on the voxel voting result data, the position of the object is specified based on the voting result data of each voxel 202 in the voxel space 201, and the three-dimensional model of the object and its own three-dimensional model The distance of the relationship with the solid is measured in voxel units.

ボクセル投票履歴データ格納部１０７は、ボクセル投票結果の履歴を保持するため、ボクセル投票処理部１０５から出力されたボクセル投票結果データの履歴のデータを時系列データに対応させて格納する。また、時系列データは、３次元物***置計測装置の移動量のデータを対応させて保持される。   The voxel voting history data storage unit 107 stores the voxel voting result data history data output from the voxel voting processing unit 105 in association with time-series data in order to hold the voxel voting result history. The time-series data is held in correspondence with the movement amount data of the three-dimensional object position measuring device.

移動量補正処理部１０８は、ボクセル投票履歴データを撮像装置のカメラ位置が移動する移動ベクトルに基づいて補正する処理を行う。３次元位置計測処理部１０６は、ボクセル投票結果および補正されたボクセル投票履歴に基づいて、ボクセル空間内における対象物の位置を特定する処理を行う。   The movement amount correction processing unit 108 performs processing for correcting the voxel voting history data based on a movement vector in which the camera position of the imaging apparatus moves. The three-dimensional position measurement processing unit 106 performs processing for specifying the position of the object in the voxel space based on the voxel voting result and the corrected voxel voting history.

図３は、対象とする３次元空間の大きさとボクセルの分割サイズとの関係を説明する図である。図３（ａ）は移動速度が高い場合の３次元空間をボクセル空間に分割するボクセルのサイズを説明する図であり、図３（ｂ）は移動速度が低い場合の３次元空間をボクセル空間に分割するボクセルのサイズを説明する図である。３０１は移動速度が高い場合の３次元空間、３０２は移動速度が高い場合のボクセルであり、また、３１１は移動速度が低い場合の３次元空間、３１２は移動速度が低い場合のボクセルである。   FIG. 3 is a diagram illustrating the relationship between the size of the target three-dimensional space and the voxel division size. FIG. 3A is a diagram illustrating the size of a voxel that divides a three-dimensional space into a voxel space when the moving speed is high, and FIG. 3B is a diagram illustrating that the three-dimensional space when the moving speed is low is converted into a voxel space. It is a figure explaining the size of the voxel to divide. Reference numeral 301 denotes a three-dimensional space when the moving speed is high, 302 denotes a voxel when the moving speed is high, 311 denotes a three-dimensional space when the moving speed is low, and 312 denotes a voxel when the moving speed is low.

本発明の３次元物***置計測装置は移動体に搭載されており、前述したように、カメラ画像を入力するための撮像装置のカメラは、移動して対象物に対して視差を有する複数の画像の時間的に連続な画像データを取得する。その場合に、移動体の移動速度、すなわち、カメラの移動速度に応じて、ボクセル投票処理部１０５のボクセル投票処理では、ボクセルサイズが変更され、変更されたサイズのボクセルにより対象とする３次元空間のボクセル空間を分割する。その結果として、対象の３次元空間のボクセル空間のサイズについても変更される。これにより、移動速度が大きくなっても処理量をあまり増やさずに必要な計測を行うことができる。   The three-dimensional object position measurement apparatus of the present invention is mounted on a moving body, and as described above, the camera of the imaging apparatus for inputting a camera image moves and has a plurality of images having parallax with respect to the object. To obtain continuous image data. In that case, in the voxel voting process of the voxel voting processing unit 105 according to the moving speed of the moving body, that is, the moving speed of the camera, the voxel size is changed, and the target three-dimensional space is determined by the changed voxel size. Divide the voxel space. As a result, the size of the target three-dimensional space is also changed. Thereby, even if the moving speed increases, the necessary measurement can be performed without increasing the processing amount much.

図３（ａ）に示されるように、移動体の移動速度が高い場合には、ボクセルのサイズを大きくする。これにより、ボクセルにより分割する対象とする３次元空間のボクセル空間も大きくして処理を行う。また、移動体の移動速度が低い場合には、図３（ｂ）に示されるように、ボクセルのサイズを小さくして、ボクセルにより分割する対象とする３次元空間のボクセル空間も小さくして処理を行う。このようにすると、移動速度が高くなり、また低くなっても、処理量を増やすことなくデータ処理量により必要な計測を行うことができる。   As shown in FIG. 3A, when the moving speed of the moving body is high, the size of the voxel is increased. As a result, the processing is performed with the voxel space of the three-dimensional space to be divided by the voxel being enlarged. Also, when the moving speed of the moving object is low, as shown in FIG. 3B, the processing is performed by reducing the size of the voxel and the voxel space of the three-dimensional space to be divided by the voxel. I do. In this way, even if the moving speed increases and decreases, the necessary measurement can be performed based on the data processing amount without increasing the processing amount.

次に本発明の３次元物***置計測装置の変形例及び応用例について説明する。図４は、単一のカメラで対象物を撮影する構成の３次元物***置計測装置の構成を示すブロック図である。この場合には、移動する単一のカメラにより対象物を撮影して、対象物に対して視差を有する複数の画像の時間的に連続な画像データを取得する。動作については、図１により説明した３次元物***置計測装置と同様である。   Next, modified examples and application examples of the three-dimensional object position measuring apparatus of the present invention will be described. FIG. 4 is a block diagram illustrating a configuration of a three-dimensional object position measurement apparatus configured to capture an object with a single camera. In this case, the object is photographed by a single moving camera, and temporally continuous image data of a plurality of images having parallax with respect to the object is acquired. The operation is the same as that of the three-dimensional object position measuring apparatus described with reference to FIG.

図４に示す単一のカメラで対象物を撮影する構成の３次元物***置計測装置について説明する。４０１はカメラ画像入力部、４０２は特徴量抽出処理部、４０３はボクセル投票処理部、４０４は３次元位置計測処理部、４０５はボクセル投票履歴データ納付部、４０６は移動量補正処理部、４０７は撮影装置移動量である。   A three-dimensional object position measuring apparatus configured to capture an object with a single camera shown in FIG. 4 will be described. 401 is a camera image input unit, 402 is a feature amount extraction processing unit, 403 is a voxel voting processing unit, 404 is a three-dimensional position measurement processing unit, 405 is a voxel voting history data payment unit, 406 is a movement amount correction processing unit, and 407 is This is the moving amount of the photographing apparatus.

カメラ画像入力部４０１は、単一のカメラにより対象物となる立体物を撮影して、カメラ移動量による時間差で対象物に対して視差を有する複数の画像の時間的に連続な画像データを取得する。特徴量抽出処理部４０２は、カメラ画像入力部４０１から出力された時間的に連続な画像データに対して、複数の画像データにおける視差により、ステレオ法による画像処理を行い、対象物からの距離情報を含む特徴量を抽出する。特徴量抽出処理部４０２により抽出された特徴量は、ボクセル投票処理部４０３に入力される。ボクセル投票処理部４０３では、特徴量の距離情報に基づいて、ボクセル投票処理を行う。ボクセル投票処理は、対象とする３次元空間をボクセルに分割したボクセル空間において特徴量を抽出した対象物とカメラのレンズ中心を結ぶ直線をボクセル空間中に引いて、直線が交差するボクセルに１票ずつ投票する処理を行い、その結果のボクセル投票結果データを出力する。   The camera image input unit 401 shoots a three-dimensional object as a target with a single camera, and acquires temporally continuous image data of a plurality of images having parallax with respect to the target with a time difference depending on the amount of camera movement. To do. The feature amount extraction processing unit 402 performs image processing by a stereo method on temporally continuous image data output from the camera image input unit 401 by using parallax in a plurality of image data, and information on distance from the object The feature quantity including is extracted. The feature amount extracted by the feature amount extraction processing unit 402 is input to the voxel voting processing unit 403. The voxel voting processing unit 403 performs voxel voting processing based on the distance information of the feature amount. The voxel voting process draws a straight line connecting the object from which the feature amount is extracted in the voxel space obtained by dividing the target three-dimensional space into voxels in the voxel space, and gives one vote to the voxel where the straight lines intersect. The process of voting one by one is performed, and the voxel voting result data as a result is output.

ボクセル投票履歴データ格納部４０５は、ボクセル投票処理部４０３から出力されたボクセル投票結果データの履歴のデータを時系列データに対応させて格納する。また、時系列データは、３次元物***置計測装置の移動量のデータを対応させて保持される。   The voxel voting history data storage unit 405 stores the history data of the voxel voting result data output from the voxel voting processing unit 403 in association with time series data. The time-series data is held in correspondence with the movement amount data of the three-dimensional object position measuring device.

移動量補正処理部４０６は、ボクセル投票履歴データを撮像装置のカメラ位置が移動する移動ベクトルに基づいて補正する処理を行う。３次元位置計測処理部４０４では、ボクセル投票結果および補正されたボクセル投票履歴に基づいて、ボクセル空間内における対象物の位置を特定する処理を行う。これにより、ボクセル投票結果データに基づいて、ボクセル空間における各ボクセルの投票結果のデータに基づいて、対象物の位置を特定し、対象物の立体と自己の３次元モデルの立体との関係の距離がボクセルの単位で計測される。   The movement amount correction processing unit 406 performs processing for correcting the voxel voting history data based on a movement vector in which the camera position of the imaging apparatus moves. The three-dimensional position measurement processing unit 404 performs processing for specifying the position of the object in the voxel space based on the voxel voting result and the corrected voxel voting history. Thereby, based on the voxel voting result data, based on the voting result data of each voxel in the voxel space, the position of the object is specified, and the distance between the solid of the target and the solid of the own three-dimensional model Is measured in voxel units.

図５は、３次元物***置計測装置を利用して、３次元物体の間隔計測を行う場合の応用例の構成を示すブロック図であり、図６は、３次元物***置計測装置において作成された３次元空間のボクセル空間を利用して３次元物体の間隔計測を行う処理の一例を説明する図である。図６の（ａ）はボクセル空間を上から見た状態の図を示しており、図６の（ｂ）はボクセル空間を前から見た状態の図を示しており、図６の（ｃ）はボクセル空間を横から見た状態の図を示しており、立体図形の平面図、正面図、側面図に対応している。   FIG. 5 is a block diagram showing a configuration of an application example in the case of measuring the interval of a three-dimensional object using the three-dimensional object position measuring device, and FIG. 6 is created in the three-dimensional object position measuring device. It is a figure explaining an example of the process which performs the space | interval measurement of a three-dimensional object using the voxel space of three-dimensional space. 6A shows a view of the voxel space viewed from above, and FIG. 6B shows a view of the voxel space viewed from the front, FIG. 6C. Shows a view of the voxel space as viewed from the side, and corresponds to a plan view, a front view, and a side view of a three-dimensional figure.

図５および図６において、５０１は３次元物***置計測装置、５０２は間隔を測定する対象とする自己の三次元モデルのデータ、５０３は間隔測定装置、６００はボクセル空間、６０１は自己の３次元モデル、６０２は測定された対象物の第１の立体、６０３は測定された対象物の第１の立体である。   5 and 6, 501 is a three-dimensional object position measuring device, 502 is data of its own three-dimensional model whose interval is to be measured, 503 is an interval measuring device, 600 is a voxel space, and 601 is its own three-dimensional. The model, 602 is the first solid of the measured object, and 603 is the first solid of the measured object.

図５および図６を参照して３次元物体の間隔計測の処理について説明すると、３次元物体の間隔計測では、３次元物***置計測装置５０１においてボクセル空間の中で計測された対象物に対して、間隔を測定する対象とする自己の三次元モデルを、同じボクセル空間に導入する。そして、当該ボクセル空間において対象物と自己の３次元モデルとの立体との間隔を計測する。   The processing for measuring the interval between the three-dimensional objects will be described with reference to FIGS. 5 and 6. In the interval measurement of the three-dimensional object, the object measured in the voxel space by the three-dimensional object position measuring device 501 is used. The self three-dimensional model whose interval is to be measured is introduced into the same voxel space. And the space | interval with the solid of a target object and its own three-dimensional model is measured in the said voxel space.

間隔測定装置５０３には、３次元物***置計測装置５０１により計測された対象物の位置がボクセル空間の中で表現されており、これに対して、間隔を測定する対象とする自己の三次元モデル５０２を、同じボクセル空間に導入する。この状態のボクセル空間６００が、図６に示されている。そして、間隔測定装置５０３が、当該ボクセル空間において対象物と自己の３次元モデルとの立体との間隔を計測する。図６に示すように、ボクセル空間６００に自己の三次元モデル６０１が導入されており、また、ボクセル空間６００には、３次元物***置計測装置５０１により計測された対象物の位置データが、第１の立体６０２，第２の立体６０３として、その位置が表現されている。これらの立体の位置関係が、ボクセル空間６００において、それぞれのボクセルのサイズを基準の単位として計測されて、間隔測定が行われる。図６では、測定される間隔が、矢印で表記されている。   In the interval measuring device 503, the position of the object measured by the three-dimensional object position measuring device 501 is expressed in the voxel space. 502 is introduced into the same voxel space. The voxel space 600 in this state is shown in FIG. And the space | interval measuring apparatus 503 measures the space | interval with the solid of a target object and its own three-dimensional model in the said voxel space. As shown in FIG. 6, a self three-dimensional model 601 is introduced into the voxel space 600, and the position data of the object measured by the three-dimensional object position measuring device 501 is stored in the voxel space 600. The positions of the first solid 602 and the second solid 603 are represented. The positional relationship between these three-dimensional objects is measured in the voxel space 600 using the size of each voxel as a reference unit. In FIG. 6, the measured intervals are indicated by arrows.

このように、間隔測定装置５０３では、自己の３次元モデル（移動体）と対象物の立体との間隔が測定できるので、この間隔測定を継続して行うことにより、所定時間の間の変化量を計測できる。変化量が計測できると、自己の３次元モデル（移動体）と対象物の立体とが接近しているのか、遠ざかっているのかが判定できる。図７は、３次元物***置計測装置を利用して、３次元物体の間隔変化量の計測を行う応用例の構成を示すブロック図である。   As described above, the interval measuring device 503 can measure the interval between the own three-dimensional model (moving body) and the three-dimensional object, and thus the amount of change during a predetermined time can be obtained by continuously performing the interval measurement. Can be measured. If the amount of change can be measured, it can be determined whether the own three-dimensional model (moving body) and the three-dimensional object are approaching or moving away. FIG. 7 is a block diagram illustrating a configuration of an application example in which a three-dimensional object position measurement apparatus is used to measure the interval change amount of a three-dimensional object.

図７には、３次元物***置計測装置を間隔変化量計測装置に利用する場合の構成の一例が示されている。図７において、５０１は３次元物***置計測装置、５０２は間隔を測定する対象とする自己の三次元モデルのデータ、５０３は間隔測定装置、７０１は間隔計測データの履歴を格納する間隔計測履歴データ格納装置、７０２は間隔変化量計測装置である。   FIG. 7 shows an example of a configuration in the case where the three-dimensional object position measuring device is used for the interval change amount measuring device. In FIG. 7, reference numeral 501 denotes a three-dimensional object position measuring device, 502 denotes data of its own three-dimensional model whose interval is to be measured, 503 denotes an interval measuring device, and 701 denotes interval measurement history data for storing interval measurement data history. A storage device 702 is an interval variation measuring device.

前述したように、間隔測定装置５０３が、３次元位置計測装置５０１から測定される対象物の立体の位置データと、自己３次元モデルデータ５０２により、自己の３次元モデル（移動体）と対象物の立体との間隔が測定し、この間隔測定を継続して行い、間隔計測履歴データ格納装置７０１に測定結果のデータを履歴データとして、継続して蓄積しておく。間隔変化量計測装置７０２では、間隔計測履歴データ格納装置７０１に格納された所定の回数分の間隔測定履歴データと、間隔測定装置５０３から出力された間隔測定データにより、間隔変化量のデータが測定されて出力される。この間隔変化量のデータは、更に、接触・危険判定処理のためのデータとして利用される。   As described above, the interval measuring device 503 uses the three-dimensional position data of the target object measured from the three-dimensional position measuring device 501 and the self three-dimensional model data 502 to determine its own three-dimensional model (moving body) and the target object. The interval between the three-dimensional object is measured, the interval measurement is continuously performed, and the measurement result data is continuously accumulated as history data in the interval measurement history data storage device 701. In the interval change amount measuring device 702, the interval change amount data is measured by the interval measurement history data for a predetermined number of times stored in the interval measurement history data storage device 701 and the interval measurement data output from the interval measuring device 503. Is output. This interval change amount data is further used as data for contact / danger determination processing.

応用例として、ここでの自己の３次元モデルを、自動車などの移動体として、また、３次元位置を判定する対象物は周囲の空間に固定されて配置されている立体物とすると、その間隔変化量を測定することにより、移動体と立体物が接触するまでの時間を判定できる。判定された時間に応じて、接触の可能性の警告、危険の回避のための安全制御を行うことができる。   As an application example, if the three-dimensional model here is a moving object such as an automobile, and the object for determining the three-dimensional position is a three-dimensional object fixed in the surrounding space, the interval By measuring the amount of change, the time until the moving body and the three-dimensional object come into contact can be determined. Depending on the determined time, a warning of the possibility of contact and safety control for avoiding danger can be performed.

このような３次元物***置計測装置の応用例について、更に説明する。図８には、３次元物***置計測装置を利用して、３次元物体の間隔計測を行い、接触危険を判定し、接触警告を出力し、更に安全制御を行う応用例の構成を示すブロック図を示している。   An application example of such a three-dimensional object position measuring apparatus will be further described. FIG. 8 is a block diagram showing a configuration of an application example in which a three-dimensional object position measurement device is used to measure a distance between three-dimensional objects, a contact risk is determined, a contact warning is output, and further safety control is performed. Is shown.

これまでに、説明したように、本発明の３次元物***置計測装置を利用して、３次元物体の間隔計測を行い、接触危険を判定し、接触警告を出力し、更に安全制御を行う場合の装置構成が、図８のブロック図として示されている。図８において、５０１は３次元物***置計測装置、５０２は間隔を測定する対象とする自己の三次元モデルのデータ、５０３は間隔測定装置、７０１は間隔計測データの履歴を格納する間隔計測履歴データ格納装置、７０２は間隔変化量計測装置、７０３は接触・危険判定処理装置、７０４は接触警告装置、７０５は安全制御装置である。   As described above, when measuring the distance between three-dimensional objects using the three-dimensional object position measuring device of the present invention, determining contact danger, outputting a contact warning, and further performing safety control The apparatus configuration is shown as a block diagram in FIG. In FIG. 8, 501 is a three-dimensional object position measuring device, 502 is data of its own three-dimensional model whose interval is to be measured, 503 is an interval measuring device, and 701 is interval measurement history data for storing interval measurement data history. A storage device, 702 is an interval change amount measuring device, 703 is a contact / danger determination processing device, 704 is a contact warning device, and 705 is a safety control device.

図７を参照して説明したように、図８の装置構成においても、間隔測定装置５０３が、３次元位置計測装置５０１から測定される対象物の立体の位置データと、自己３次元モデルデータ５０２により、自己の３次元モデル（移動体）と対象物の立体との間隔が測定し、この間隔測定を継続して行い、間隔計測履歴データ格納装置７０１に測定結果のデータを履歴データとして、継続して蓄積しておく。間隔変化量計測装置７０２では、間隔計測履歴データ格納装置７０１に格納された所定の回数分の間隔測定履歴データと、間隔測定装置５０３から出力された間隔測定データにより、間隔変化量のデータが測定されて出力される。間隔変化量計測手装置７０２からの出力は、接触・危険判定処理装置７０３に入力される。接触・危険判定処理装置７０３には、危険を判定するために、予め接触するまでの時間が設定されており、間隔変化量のデータにより、対象物と自己モデルとの間の接触までの時間を判定すし、設定された時間に基づいて、接触・危険を判定する。   As described with reference to FIG. 7, also in the apparatus configuration of FIG. 8, the distance measurement device 503 is configured to measure the position of the three-dimensional object and the self three-dimensional model data 502 measured by the three-dimensional position measurement device 501. Thus, the interval between the self three-dimensional model (moving body) and the solid of the object is measured, the interval measurement is continuously performed, and the measurement result data is continuously stored as history data in the interval measurement history data storage device 701. And accumulate. In the interval change amount measuring device 702, the interval change amount data is measured by the interval measurement history data for a predetermined number of times stored in the interval measurement history data storage device 701 and the interval measurement data output from the interval measuring device 503. Is output. The output from the interval change amount measuring device 702 is input to the contact / danger determination processing device 703. In the contact / danger determination processing device 703, in order to determine the danger, a time until contact is set in advance, and the time until contact between the object and the self model is determined based on the data of the interval change amount. The contact / danger is determined based on the set time.

接触・危険判定処理装置７０３により、間隔変化量計測手装置７０２からの出力に基づいて、対象物と自己モデルとの間の接触までの時間が判定され、危険を判定すると、接触警告装置７０４により、モニタ表示、ブザー鳴動などにより、警告情報を出力する。更に、安全制御装置７０５が設けられており、安全制御装置７０５が、接触警告装置７０４からの出力に基づいて、ブレーキをかけるなどして安全制御を行い、安全装置を動作させる。   The contact / risk determination processing device 703 determines the time until contact between the object and the self-model based on the output from the interval change amount measuring device 702. When the risk is determined, the contact warning device 704 Warning information is output by monitor display, buzzer sound, etc. Further, a safety control device 705 is provided, and the safety control device 705 performs safety control by applying a brake or the like based on an output from the contact warning device 704 and operates the safety device.

このように、本発明の３次元物***置計測装置により計測されたボクセル空間の対象物の位置に基づいて、本発明では、計測装置を搭載した自己のモデルと周囲の３次元空間との間隔および間隔の変化量を測定し、自己のモデルと周囲の３次元空間とが接触する可能性を推定し、ある時間内に接触すると予測される場合に、警告もしくは自己の移動を制御することにより、接触を回避することが可能となる。   Thus, based on the position of the object in the voxel space measured by the three-dimensional object position measuring device of the present invention, in the present invention, the distance between the own model equipped with the measuring device and the surrounding three-dimensional space and By measuring the amount of change in the interval, estimating the possibility of contact between the model and the surrounding three-dimensional space, and controlling the warning or self movement when predicted to contact within a certain period of time, Contact can be avoided.

本発明の一実施例の３次元物***置計測装置のシステム構成を説明するブロック図である。It is a block diagram explaining the system configuration | structure of the three-dimensional object position measuring apparatus of one Example of this invention. 本発明の３次元物***置計測装置におけるボクセル投票処理を説明する説明図である。It is explanatory drawing explaining the voxel vote process in the three-dimensional object position measuring apparatus of this invention. 対象とする３次元空間の大きさとボクセルの分割サイズとの関係を説明する図である。It is a figure explaining the relationship between the magnitude | size of the target three-dimensional space, and the division | segmentation size of a voxel. 単一のカメラで対象物を撮影する３次元物***置計測装置の構成を示すブロック図である。It is a block diagram which shows the structure of the three-dimensional object position measuring apparatus which image | photographs a target object with a single camera. ３次元物***置計測装置を利用して、３次元物体の間隔計測を行う場合の応用例の構成を示すブロック図である。It is a block diagram which shows the structure of the application example in the case of measuring the space | interval of a three-dimensional object using a three-dimensional object position measuring apparatus. ３次元物***置計測装置において作成された３次元空間のボクセル空間を利用して３次元物体の間隔計測を行う処理の一例を説明する図である。It is a figure explaining an example of the process which measures the space | interval of a three-dimensional object using the voxel space of the three-dimensional space created in the three-dimensional object position measuring apparatus. ３次元物***置計測装置を利用して、３次元物体の間隔変化量の計測を行う応用例の構成を示すブロック図である。It is a block diagram which shows the structure of the application example which measures the space | interval variation | change_quantity of a three-dimensional object using a three-dimensional object position measuring apparatus. ３次元物***置計測装置を利用して、３次元物体の間隔計測を行い、接触危険を判定し、接触警告を出力し、更に安全制御を行う応用例の構成を示すブロック図である。It is a block diagram which shows the structure of the application example which measures the space | interval of a three-dimensional object using a three-dimensional object position measuring apparatus, determines a contact danger, outputs a contact warning, and also performs safety control.

符号の説明Explanation of symbols

１０１ 第１カメラ画像入力部
１０２ 第２カメラ画像入力部
１０３ 第１特徴量抽出処理部
１０４ 第２特徴量抽出処理部
１０５ ボクセル投票処理部
１０６ ３次元位置計測処理部
１０７ ボクセル投票履歴データ納付部
１０８ 移動量補正処理部
１０９ 撮影装置移動量
２０１ ボクセル空間
２０２ ボクセル、
２０３ カメラ、
２０４ カメラ、
２０５ 対象物の特徴量抽出結果
３０１ 移動速度が高い場合の３次元空間
３０２ 移動速度が高い場合のボクセル
３１１ 移動速度が低い場合の３次元空間
３１２ 移動速度が低い場合のボクセル
４０１ カメラ画像入力部
４０２ 特徴量抽出処理部
４０３ ボクセル投票処理部
４０４ ３次元位置計測処理部
４０５ ボクセル投票履歴データ納付部
４０６ 移動量補正処理部
４０７ 撮影装置移動量
５０１ ３次元物***置計測装置
５０２ 三次元モデルデータ、
５０３ 間隔測定装置
７０１ 間隔計測履歴データ格納装置、
７０２ 間隔変化量計測装置
７０３ 接触・危険判定処理装置
７０４ 接触警告装置、
７０５ 安全制御装置 101 First camera image input unit 102 Second camera image input unit 103 First feature quantity extraction processing unit 104 Second feature quantity extraction processing unit 105 Voxel voting processing unit 106 Three-dimensional position measurement processing unit 107 Voxel voting history data payment unit 108 Movement amount correction processing unit 109 Imaging device movement amount 201 Voxel space 202 Voxel,
203 camera,
204 cameras,
205 Object Feature Extraction Result 301 Three-Dimensional Space 302 When Movement Speed is High Voxel 311 When Movement Speed is High Three-Dimensional Space 312 When Movement Speed is Low Voxel 401 When Movement Speed is Low Camera Image Input Unit 402 Feature amount extraction processing unit 403 Voxel voting processing unit 404 3D position measurement processing unit 405 Voxel voting history data payment unit 406 Movement amount correction processing unit 407 Imaging device movement amount 501 3D object position measurement device 502 3D model data,
503 interval measurement device 701 interval measurement history data storage device,
702 Interval change amount measuring device 703 Contact / danger determination processing device 704 Contact warning device,
705 Safety control device

Claims (9)

対象物を撮影し当該対象物に対して視差を有する複数の画像の時間的に連続な画像データを取得する撮影手段と、
前記撮影手段により取得された画像データに基づいて対象物からの距離情報を含む特徴量を抽出する複数の特徴量抽出手段と、
前記特徴量抽出手段により抽出された特徴量の距離情報に基づいて、対象とする３次元空間をボクセルに分割したボクセル空間において特徴量を抽出した対象物と撮影手段のレンズ中心を結ぶ直線をボクセル空間中に引いて、直線が交差するボクセルに１票ずつ投票する処理を行うボクセル投票処理手段と、
前記ボクセル投票処理手段による投票結果の履歴データを保持するボクセル投票履歴保持手段と、
前記ボクセル投票履歴を前記撮影手段が移動した移動ベクトルに基づいて補正する移動量補正手段と、
前記ボクセル投票結果および補正されたボクセル投票履歴に基づいてボクセル空間内における対象物の位置を特定する３次元位置計測処理手段と、
を有することを特徴とする３次元物***置計測装置。 Photographing means for photographing an object and acquiring temporally continuous image data of a plurality of images having parallax with respect to the object;
A plurality of feature quantity extraction means for extracting feature quantities including distance information from the object based on the image data acquired by the imaging means;
Based on the distance information of the feature quantity extracted by the feature quantity extraction means, a straight line connecting the object from which the feature quantity is extracted in the voxel space obtained by dividing the target three-dimensional space into voxels and the lens center of the photographing means is voxel. Voxel voting processing means for performing a process of voting one by one on the voxels where the straight lines intersect with each other,
Voxel voting history holding means for holding history data of voting results by the voxel voting processing means;
A moving amount correcting means for correcting the voxel voting history based on a moving vector moved by the photographing means;
Three-dimensional position measurement processing means for specifying the position of the object in the voxel space based on the voxel voting result and the corrected voxel voting history;
A three-dimensional object position measuring apparatus comprising: 請求項１に記載の３次元物***置計測装置において、
前記撮影手段は、カメラを制御して対象物を撮影し、対象物に対して視差を有する複数の画像の時間的に連続な画像データを取得すると共に、
前記ボクセル投票処理手段は、前記カメラの移動速度によって、対象とする３次元空間の大きさとボクセルのサイズを変更する
ことを特徴とする３次元物***置計測装置。 The three-dimensional object position measuring apparatus according to claim 1,
The imaging means controls the camera to image an object, acquires temporally continuous image data of a plurality of images having parallax with respect to the object,
The voxel voting processing means changes the size of a target three-dimensional space and the size of a voxel according to the moving speed of the camera. 請求項１に記載の３次元物***置計測装置において、
前記撮影手段は、移動する単一のカメラにより対象物を撮影して、対象物に対して視差を有する複数の画像の時間的に連続な画像データを取得する
ことを特徴とする３次元物***置計測装置。 The three-dimensional object position measuring apparatus according to claim 1,
The three-dimensional object position is characterized in that the photographing unit photographs a target object with a single moving camera and acquires temporally continuous image data of a plurality of images having parallax with respect to the target object. Measuring device. 請求項１乃至３のいずれかに記載の３次元物***置計測装置において、更に、
前記３次元位置計測処理手段により特定した対象物の位置により、自己の３次元モデルとボクセル空間内の対象物の間隔を測定する間隔測定手段
を有することを特徴とする３次元物***置計測装置。 The three-dimensional object position measuring apparatus according to any one of claims 1 to 3, further comprising:
3. A three-dimensional object position measuring apparatus comprising interval measuring means for measuring an interval between a self three-dimensional model and an object in a voxel space based on the position of the object specified by the three-dimensional position measurement processing means. 請求項４に記載の３次元物***置計測装置において、更に、
計測した自己の３次元モデルとボクセル空間内の対象物との間隔と、現在から複数回分の間隔を測定した間隔計測履歴を用いて、
自己の３次元モデルとボクセル空間内の対象物との間隔の変化量を計測する間隔変化量計測手段
を有することを特徴とする３次元物***置計測装置。 The three-dimensional object position measuring apparatus according to claim 4, further comprising:
Using the measured interval between the 3D model of the measured self and the object in the voxel space, and the interval measurement history that measured multiple intervals from the present,
A three-dimensional object position measuring device comprising interval change amount measuring means for measuring a change amount of an interval between a self three-dimensional model and an object in a voxel space. 請求項４または５に記載の３次元物***置計測装置において、
前記３次元モデルは移動体であり、
前記対象物は空間に固定された立体物である
ことを特徴とする３次元物***置計測装置。 The three-dimensional object position measuring apparatus according to claim 4 or 5,
The three-dimensional model is a moving object,
The three-dimensional object position measuring apparatus according to claim 1, wherein the object is a three-dimensional object fixed in space. 請求項５に記載の３次元物***置計測装置において、更に、
前記間隔変化量計測手段からの出力に基づいて、対象物と自己モデルとの間の接触までの時間を判定する接触危険判定装置
を有することを特徴とする３次元物***置計測装置。 The three-dimensional object position measuring apparatus according to claim 5, further comprising:
A three-dimensional object position measuring device comprising a contact risk determining device for determining a time until contact between an object and a self model based on an output from the interval change amount measuring means. 請求項７に記載の３次元物***置計測装置において、更に、
前記接触危険判定装置からの出力に基づいて警告情報を出力する接触警告装置
を有することを特徴とする３次元物***置計測装置。 The three-dimensional object position measuring apparatus according to claim 7, further comprising:
A three-dimensional object position measuring device comprising a contact warning device that outputs warning information based on an output from the contact risk determination device. 請求項８に記載の３次元物***置計測装置において、更に
前記接触警告装置からの出力に基づいて安全装置を動作させる安全制御装置
を有することを特徴とする３次元物***置計測装置。 The three-dimensional object position measuring device according to claim 8, further comprising a safety control device that operates the safety device based on an output from the contact warning device.
JP2008110387A 2008-04-21 2008-04-21 3D object position measuring device Active JP5007863B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008110387A JP5007863B2 (en) 2008-04-21 2008-04-21 3D object position measuring device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008110387A JP5007863B2 (en) 2008-04-21 2008-04-21 3D object position measuring device

Publications (2)

Publication Number Publication Date
JP2009258058A JP2009258058A (en) 2009-11-05
JP5007863B2 true JP5007863B2 (en) 2012-08-22

Family

ID=41385648

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008110387A Active JP5007863B2 (en) 2008-04-21 2008-04-21 3D object position measuring device

Country Status (1)

Country Link
JP (1) JP5007863B2 (en)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4727689B2 (en) * 2008-04-28 2011-07-20 三菱重工業株式会社 Workpiece measuring device, collision prevention device and machine tool
US8805570B2 (en) 2009-11-10 2014-08-12 Mitsubishi Heavy Industries, Ltd. Workpiece measuring device, collision preventing device, and machine tool
US9110163B2 (en) * 2013-06-14 2015-08-18 Microsoft Technology Licensing, Llc Lidar-based classification of object movement
US9523772B2 (en) 2013-06-14 2016-12-20 Microsoft Technology Licensing, Llc Object removal using lidar-based classification
WO2016199508A1 (en) * 2015-06-09 2016-12-15 ソニー株式会社 Information processing device, information processing method, and program
WO2018074420A1 (en) * 2016-10-21 2018-04-26 株式会社ソニー・インタラクティブエンタテインメント Information processing device
US11416975B2 (en) 2016-10-21 2022-08-16 Sony Interactive Entertainment Inc. Information processing apparatus
KR102166236B1 (en) * 2018-12-19 2020-10-15 동의대학교 산학협력단 Method of 3d scanning and image correction
EP4131203A4 (en) * 2020-04-01 2023-09-13 Panasonic Intellectual Property Management Co., Ltd. Information processing device, and information processing method

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0949714A (en) * 1995-08-04 1997-02-18 Canon Inc Apparatus for extracting three-dimensional shape
JP2002032744A (en) * 2000-07-14 2002-01-31 Komatsu Ltd Device and method for three-dimensional modeling and three-dimensional image generation
JP2003333590A (en) * 2002-05-16 2003-11-21 Komatsu Ltd System for generating image at site
JP2004046464A (en) * 2002-07-10 2004-02-12 Nippon Telegr & Teleph Corp <Ntt> Apparatus and method for estimating three-dimensional position of mobile object, program, and recording medium thereof
JP4019854B2 (en) * 2002-08-12 2007-12-12 日産自動車株式会社 Travel route generator
JP2005257278A (en) * 2004-03-09 2005-09-22 Hitachi Ltd Image acquisition system, distance measurement method, distance measurement system using the method and record medium that recorded the method
JP4283816B2 (en) * 2006-03-31 2009-06-24 日本電信電話株式会社 Three-dimensional environment information acquisition apparatus, three-dimensional environment information acquisition method, and recording medium storing a program realizing the method

Also Published As

Publication number Publication date
JP2009258058A (en) 2009-11-05

Similar Documents

Publication Publication Date Title
JP5007863B2 (en) 3D object position measuring device
CN109737874B (en) Object size measuring method and device based on three-dimensional vision technology
US9672630B2 (en) Contour line measurement apparatus and robot system
JP4814669B2 (en) 3D coordinate acquisition device
JP5715735B2 (en) Three-dimensional measurement method, apparatus and system, and image processing apparatus
US20130223759A1 (en) Image processing method and device, and program
JP5011528B2 (en) 3D distance measurement sensor and 3D distance measurement method
US10347029B2 (en) Apparatus for measuring three dimensional shape, method for measuring three dimensional shape and three dimensional shape measurement program
EP3113150B1 (en) Local location computation device and local location computation method
EP2990757B1 (en) Three-dimensional shape measurement device, three-dimensional shape measurement method, and three-dimensional shape measurement program
US10477180B1 (en) Photogrammetry system and method of operation
WO2011125937A1 (en) Calibration data selection device, method of selection, selection program, and three dimensional position measuring device
JP2016148512A (en) Monocular motion stereo distance estimation method and monocular motion stereo distance estimation device
JP2010181919A (en) Three-dimensional shape specifying device, three-dimensional shape specifying method, three-dimensional shape specifying program
EP2551633B1 (en) Three dimensional distance measuring device and method
US8941732B2 (en) Three-dimensional measuring method
JP5299101B2 (en) Peripheral display device
JP6669182B2 (en) Occupant monitoring device
CN113034605B (en) Target object position determining method and device, electronic equipment and storage medium
JP2011024079A (en) Peripheral display device
JP6409769B2 (en) 3D shape measuring apparatus, 3D shape measuring method, and 3D shape measuring program
KR20180102080A (en) A method and apparatus for displaying a front-view around a vehicle,
CN106327465A (en) Method and device for determining object position
JP2022011821A (en) Information processing device, information processing method and mobile robot
JP5007786B2 (en) Video surveillance apparatus and method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20101129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110105

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120515

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120516

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120516

R150 Certificate of patent or registration of utility model

Ref document number: 5007863

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150608

Year of fee payment: 3

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250