JP7409163B2 - Stationary sensor calibration device and stationary sensor calibration method - Google Patents

Stationary sensor calibration device and stationary sensor calibration method Download PDF

Info

Publication number
JP7409163B2
JP7409163B2 JP2020038981A JP2020038981A JP7409163B2 JP 7409163 B2 JP7409163 B2 JP 7409163B2 JP 2020038981 A JP2020038981 A JP 2020038981A JP 2020038981 A JP2020038981 A JP 2020038981A JP 7409163 B2 JP7409163 B2 JP 7409163B2
Authority
JP
Japan
Prior art keywords
straight line
approximate straight
stationary sensor
point sequence
orientation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020038981A
Other languages
Japanese (ja)
Other versions
JP2021139809A (en
Inventor
円博 荒木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Central R&D Labs Inc
Original Assignee
Toyota Central R&D Labs Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Central R&D Labs Inc filed Critical Toyota Central R&D Labs Inc
Priority to JP2020038981A priority Critical patent/JP7409163B2/en
Publication of JP2021139809A publication Critical patent/JP2021139809A/en
Application granted granted Critical
Publication of JP7409163B2 publication Critical patent/JP7409163B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)

Description

本発明は、定置センサ較正装置、および、定置センサ較正方法に関する。 The present invention relates to a stationary sensor calibration device and a stationary sensor calibration method.

従来から、固定されたセンサの姿勢や位置を較正する定置センサ較正装置が知られている。例えば、特許文献1には、複数の定置カメラのそれぞれにおける撮像可能領域内を通る光を利用して、複数の定置カメラのそれぞれの位置および姿勢を較正する技術が開示されている。 2. Description of the Related Art Stationary sensor calibration devices that calibrate the posture and position of fixed sensors have been known. For example, Patent Document 1 discloses a technique for calibrating the position and orientation of each of a plurality of stationary cameras using light passing through the imageable area of each of the plurality of fixed cameras.

特許53111365号公報Patent No. 53111365

特許文献1に記載の技術では、複数の定置カメラのそれぞれにおいて撮像された複数の画像を、光が直線状となるように組み合わせることで、それぞれの定置カメラの座標や方位角、仰角の関係が算出され、複数の定置カメラどうしの位置や姿勢を較正することが可能となっている。しかしながら、特許文献1に記載の技術では、複数の定置カメラのそれぞれの撮像可能領域が重なっている必要があり、定置カメラが1台しか設置されていない場合、その定置カメラの位置や姿勢の較正を行うことができない。 In the technology described in Patent Document 1, by combining a plurality of images taken by each of a plurality of fixed cameras so that the light becomes linear, the relationship between the coordinates, azimuth angle, and elevation angle of each fixed camera is determined. It is now possible to calibrate the positions and orientations of multiple fixed cameras. However, with the technology described in Patent Document 1, the imageable areas of multiple fixed cameras must overlap, and if only one fixed camera is installed, the position and orientation of the fixed camera cannot be calibrated. can't do it.

本発明は、上述した課題を解決するためになされたものであり、定置センサ較正装置において、定置センサが1台であっても、位置や姿勢の較正を高精度に行うことができる技術を提供することを目的とする。 The present invention has been made in order to solve the above-mentioned problems, and provides a technology that can calibrate the position and orientation with high accuracy even when there is only one fixed sensor in a fixed sensor calibration device. The purpose is to

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。 The present invention has been made to solve at least part of the above-mentioned problems, and can be realized as the following forms.

(1)本発明の一形態によれば、定置センサの位置および姿勢を較正するために用いられる定置センサ較正装置が提供される。この定置センサ較正装置では、基準直線を設定する基準設定部と、前記定置センサの暫定的な位置および姿勢を表すパラメータとして予め設定されている位置姿勢パラメータと、三次元空間中の物体を検出した前記定置センサからの出力と、を用いて、前記物体の位置を計測する位置計測部と、前記位置計測部によって計測される、前記基準直線上を移動した前記物体の位置計測結果を点列として記憶する記憶部と、前記記憶部に記憶されている前記点列を用いて、前記点列の近似直線を作成する直線近似部と、前記基準直線と前記近似直線とを用いて、較正後の前記位置姿勢パラメータを算出するパラメータ較正部と、を備える。 (1) According to one aspect of the present invention, a stationary sensor calibration device is provided that is used to calibrate the position and orientation of a stationary sensor. This stationary sensor calibration device includes a reference setting unit that sets a reference straight line, a position and orientation parameter that is preset as a parameter representing the provisional position and orientation of the stationary sensor, and a unit that detects an object in a three-dimensional space. a position measurement unit that measures the position of the object using the output from the fixed sensor; and a position measurement result of the object that has moved on the reference straight line, which is measured by the position measurement unit, as a point sequence. a linear approximation unit that creates an approximate straight line of the point sequence using the point sequence stored in the storage unit; and a linear approximation unit that creates an approximate straight line of the point sequence using the reference straight line and the approximate straight line. and a parameter calibration unit that calculates the position and orientation parameters.

この構成によれば、直線近似部は、設定された基準直線上を移動した物体の位置計測結果を用いて、近似直線を作成する。パラメータ較正部は、直線近似部において作成された近似直線と、基準直線とを用いて、定置センサの位置および姿勢を表す位置姿勢パラメータを算出する。これにより、定置センサが1台であっても、作成された近似直線と設定された基準直線との対比によって、定置センサに設定されている位置姿勢パラメータを、実際の定置センサの位置および姿勢に近づくように較正することができる。したがって、較正対象の定置センサが1台であっても、位置や姿勢の較正を高精度に行うことができる。 According to this configuration, the straight line approximation section creates an approximate straight line using the position measurement result of the object that has moved on the set reference straight line. The parameter calibration unit calculates position and orientation parameters representing the position and orientation of the stationary sensor using the approximate straight line created by the linear approximation unit and the reference straight line. As a result, even if there is only one fixed sensor, the position and orientation parameters set for the fixed sensor can be adjusted to the actual position and orientation of the fixed sensor by comparing the created approximate straight line and the set reference straight line. It can be calibrated to get closer. Therefore, even if there is only one fixed sensor to be calibrated, the position and orientation can be calibrated with high accuracy.

(2)上記形態の定置センサ較正装置において、前記直線近似部は、前記点列の一部を用いて近似直線候補を作成し、前記点列の一部を前記近似直線候補に正射影した点の標準偏差を用いて、前記近似直線を決定してもよい。この構成によれば、パラメータ較正部において較正後の位置姿勢パラメータを算出するための近似直線は、点列の一部を用いて作成された近似直線候補に、当該点列の一部を正射影した点の標準偏差を用いて決定される。これにより、決定された近似直線は、実際の点列のばらつきの程度をより反映した近似直線となるため、この近似直線を用いて算出された位置姿勢パラメータは、より実態を反映した位置姿勢パラメータとなる。したがって、定置センサの位置や姿勢の較正をさらに高精度に行うことができる。 (2) In the stationary sensor calibration device of the above embodiment, the linear approximation unit creates an approximate straight line candidate using a part of the point sequence, and orthogonally projects the part of the point sequence onto the approximate straight line candidate. The approximate straight line may be determined using the standard deviation of . According to this configuration, the approximate straight line for calculating the position and orientation parameters after calibration in the parameter calibration unit is obtained by orthogonally projecting a part of the point sequence onto an approximate straight line candidate created using a part of the point sequence. It is determined using the standard deviation of the points. As a result, the determined approximate straight line becomes an approximate straight line that more closely reflects the degree of dispersion in the actual point sequence, so the position and orientation parameters calculated using this approximate straight line are the position and orientation parameters that more closely reflect the actual situation. becomes. Therefore, the position and orientation of the stationary sensor can be calibrated with even higher accuracy.

(3)上記形態の定置センサ較正装置において、前記直線近似部は、複数の前記点列の一部のそれぞれを用いて、複数の前記近似直線候補を作成し、複数の前記近似直線候補のうち、前記標準偏差が所定の標準偏差以上となる近似直線候補の中で、近似誤差が最小となる近似直線候補を、前記近似直線としてもよい。この構成によれば、直線近似部は、複数の近似直線候補の中で、標準偏差が所定の標準偏差以上となり、かつ、近似誤差が最小となる近似直線候補を、近似直線とする。これにより、近似直線は、点列における、標準偏差に関する情報と、近似誤差に関する情報とを含む近似直線となるため、この近似直線を用いて算出された位置姿勢パラメータは、より実態を反映した位置姿勢パラメータとなる。したがって、定置センサの位置や姿勢の較正をさらに高精度に行うことができる。 (3) In the stationary sensor calibration device of the above embodiment, the linear approximation unit creates a plurality of approximate straight line candidates using each of a portion of the plurality of point sequences, and selects among the plurality of approximate straight line candidates. Among the approximate straight line candidates whose standard deviation is equal to or greater than a predetermined standard deviation, an approximate straight line candidate with a minimum approximation error may be set as the approximate straight line. According to this configuration, the straight line approximation unit selects, among the plurality of approximate straight line candidates, an approximate straight line candidate whose standard deviation is equal to or greater than a predetermined standard deviation and whose approximation error is minimum, as an approximate straight line. As a result, the approximate straight line becomes an approximate straight line that includes information about the standard deviation and information about the approximation error in the point sequence, so the position and orientation parameters calculated using this approximate straight line will reflect the actual situation. It becomes a posture parameter. Therefore, the position and orientation of the stationary sensor can be calibrated with even higher accuracy.

(4)上記形態の定置センサ較正装置において、前記直線近似部は、前記点列から選択された選択点に対して主成分分析をおこなうことで、仮の近似直線を作成し、前記点列から選択されなかった点のうち、前記仮の近似直線までの距離が所定の距離以内の点と、前記選択点とを、前記点列の一部として用いて、前記近似直線候補を作成してもよい。この構成によれば、近似直線候補の作成において、点列からの選択点を用いた仮の近似直線までの距離に所定の距離より長い場合、近似直線候補の作成に用いられずに外される。これにより、近似直線の精度を低下させる外れ値を排除することができるため、この近似直線を用いた位置姿勢パラメータの較正は、より実態を反映したものとなる。したがって、定置センサの位置や姿勢の較正をさらに高精度に行うことができる。 (4) In the stationary sensor calibration device of the above form, the linear approximation unit creates a temporary approximate straight line from the point sequence by performing principal component analysis on selected points selected from the point sequence. Among the points that were not selected, the points whose distance to the temporary approximate straight line is within a predetermined distance and the selected points are used as part of the point sequence to create the approximate straight line candidate. good. According to this configuration, when creating an approximate straight line candidate, if the distance to the temporary approximate straight line using selected points from the point sequence is longer than a predetermined distance, it is not used for creating the approximate straight line candidate and is removed. . This makes it possible to eliminate outliers that reduce the accuracy of the approximate straight line, so that the calibration of the position and orientation parameters using this approximate straight line more reflects the actual situation. Therefore, the position and orientation of the stationary sensor can be calibrated with even higher accuracy.

(5)本発明の別の形態によれば、定置センサの位置および姿勢を較正するために用いられる定置センサ較正方法が提供される。この定置センサ較正方法は、基準直線を設定する基準設定工程と、前記定置センサの暫定的な位置および姿勢を表すパラメータとして予め設定されている位置姿勢パラメータと、三次元空間中の物体を検出した前記定置センサからの出力と、を用いて、前記物体の位置を計測する位置計測工程と、前記位置計測工程において計測される、前記基準直線上を移動した前記物体の位置計測結果を点列として記憶する記憶工程と、前記記憶工程において記憶された前記点列を用いて、前記点列の近似直線を作成する直線近似工程と、前記基準直線と前記近似直線とを用いて、較正後の前記位置姿勢パラメータを算出するパラメータ較正工程と、を備える。この構成によれば、直線近似工程は、設定された基準直線上を移動した物体の位置計測結果を用いて、近似直線を作成する。パラメータ較正工程は、直線近似部において作成された近似直線と、基準直線とを用いて、定置センサの位置および姿勢を表す位置姿勢パラメータを算出する。これにより、定置センサが1台であっても、作成された近似直線と設定された基準直線との対比によって、定置センサに設定されている位置姿勢パラメータを、実際の定置センサの位置および姿勢に近づくように較正することができる。したがって、較正対象の定置センサが1台であっても、位置や姿勢の較正を高精度に行うことができる。 (5) According to another aspect of the present invention, a stationary sensor calibration method is provided that is used to calibrate the position and orientation of a stationary sensor. This stationary sensor calibration method includes a reference setting step of setting a reference straight line, position and orientation parameters set in advance as parameters representing the provisional position and orientation of the stationary sensor, and detection of an object in three-dimensional space. a position measurement step of measuring the position of the object using the output from the fixed sensor; and a position measurement result of the object that has moved on the reference straight line measured in the position measurement step as a point sequence. a straight line approximation step of creating an approximate straight line of the point sequence using the point sequence stored in the storage process; and a linear approximation process of creating an approximate straight line of the point sequence using the reference straight line and the approximate straight line and a parameter calibration step of calculating position and orientation parameters. According to this configuration, in the straight line approximation step, an approximate straight line is created using the position measurement result of the object that has moved on the set reference straight line. In the parameter calibration step, position and orientation parameters representing the position and orientation of the stationary sensor are calculated using the approximate straight line created in the linear approximation section and the reference straight line. As a result, even if there is only one fixed sensor, the position and orientation parameters set for the fixed sensor can be adjusted to the actual position and orientation of the fixed sensor by comparing the created approximate straight line and the set reference straight line. It can be calibrated to get closer. Therefore, even if there is only one fixed sensor to be calibrated, the position and orientation can be calibrated with high accuracy.

なお、本発明は、種々の態様で実現することが可能であり、例えば、定置センサ較正装置を含むシステム、これら装置およびシステムの制御方法、これら装置およびシステムにおいて定置センサ較正方法を実行させるコンピュータプログラム、そのコンピュータプログラムを配布するためのサーバ装置、そのコンピュータプログラムを記憶した一時的でない記憶媒体等の形態で実現することができる。 Note that the present invention can be realized in various aspects, including, for example, a system including a stationary sensor calibration device, a control method for these devices and systems, and a computer program that causes these devices and systems to execute a stationary sensor calibration method. , a server device for distributing the computer program, a non-temporary storage medium storing the computer program, etc.

第1実施形態の定置センサ較正装置の概略構成を示す模式図である。FIG. 1 is a schematic diagram showing a schematic configuration of a stationary sensor calibration device according to a first embodiment. 定置センサ較正方法のフローチャートである。3 is a flowchart of a stationary sensor calibration method. 直線近似工程のフローチャートである。It is a flowchart of a straight line approximation process. 直線近似工程を説明する第1の図である。It is a 1st diagram explaining a straight line approximation process. 直線近似工程を説明する第2の図である。FIG. 3 is a second diagram illustrating a straight line approximation process. 直線近似工程を説明する第3の図である。FIG. 7 is a third diagram illustrating a straight line approximation process. 直線近似工程を説明する第4の図である。FIG. 4 is a fourth diagram illustrating a straight line approximation process. パラメータ較正工程を説明する第1の図である。FIG. 3 is a first diagram illustrating a parameter calibration process. パラメータ較正工程を説明する第2の図である。FIG. 3 is a second diagram illustrating a parameter calibration process. パラメータ較正工程を説明する第3の図である。FIG. 7 is a third diagram illustrating a parameter calibration process. 第1の比較例での近似直線の作成方法で作成した近似直線の図である。FIG. 7 is a diagram of an approximate straight line created by the approximate straight line creating method in the first comparative example. 第2の比較例での近似直線の作成方法を説明する第1の図である。FIG. 7 is a first diagram illustrating a method of creating an approximate straight line in a second comparative example. 第2の比較例での近似直線の作成方法を説明する第2の図である。FIG. 7 is a second diagram illustrating a method for creating an approximate straight line in a second comparative example. 第1実施形態での近似直線の作成方法で作成した近似直線の図である。It is a figure of the approximate straight line created by the approximate straight line creation method in 1st Embodiment.

<第1実施形態>
図1は、第1実施形態の定置センサ較正装置1の概略構成を示す模式図である。本実施形態の定置センサ較正装置1は、1か所に固定されて使用される定置センサを較正する装置であって、例えば、所定の場所に定置センサを設置するときに、定置センサの位置および姿勢を現場において修正する現地修正作業を行うときに用いられる。本実施形態の定置センサ較正装置1は、定置センサとしての定置式の単眼カメラ5を1台較正する。定置式の単眼カメラ5は、例えば、車両が走行する道路の近傍に定置され、道路上を走行する車両や、道路脇の歩行者6(図1参照)などを連続的に撮像する。定置センサ較正装置1は、計測器10と、較正処理器20とを備える。なお、本実施形態では、定置センサは、単眼カメラ5としたが、定置センサの種類は、これに限定されず、ステレオカメラ、レーダ、LiDAR(レーザレーダ)、ソナーなどであってもよい。
<First embodiment>
FIG. 1 is a schematic diagram showing a schematic configuration of a stationary sensor calibration device 1 according to the first embodiment. The fixed sensor calibration device 1 of the present embodiment is a device that calibrates a fixed sensor that is used while being fixed at one location. For example, when installing a fixed sensor at a predetermined location, It is used when performing on-site correction work to correct the posture on-site. The stationary sensor calibration device 1 of this embodiment calibrates one stationary monocular camera 5 as a stationary sensor. The fixed monocular camera 5 is, for example, fixedly placed near a road on which a vehicle travels, and continuously captures images of vehicles traveling on the road, pedestrians 6 on the side of the road (see FIG. 1), and the like. The stationary sensor calibration device 1 includes a measuring instrument 10 and a calibration processor 20. In this embodiment, the fixed sensor is the monocular camera 5, but the type of the fixed sensor is not limited to this, and may be a stereo camera, radar, LiDAR (laser radar), sonar, etc.

計測器10は、位置計測部11と、基準設定部12と、を備える。計測器10は、単眼カメラ5と電気的に接続されており、単眼カメラ5によって撮像される画像が入力される。 The measuring instrument 10 includes a position measuring section 11 and a reference setting section 12. The measuring instrument 10 is electrically connected to the monocular camera 5, and an image captured by the monocular camera 5 is input thereto.

位置計測部11は、単眼カメラ5が撮像する画像に含まれる物体の位置を計測する。位置計測部11には、単眼カメラ5の暫定的な位置および姿勢を表すパラメータとして予め設定されている単眼カメラ5の暫定的な位置を表す位置パラメータと、姿勢を表す姿勢パラメータとの両方を含む、暫定的な位置姿勢パラメータが入力されている。位置計測部11は、この位置姿勢パラメータと、単眼カメラ5が撮像した画像から、移動している物体(図1では、歩行者6)の位置を計測する。位置計測部11は、計測結果と、暫定的な位置姿勢パラメータと、を電気的に接続されている較正処理器20に出力する。 The position measurement unit 11 measures the position of an object included in an image captured by the monocular camera 5. The position measurement unit 11 includes both a position parameter representing the provisional position of the monocular camera 5 and a posture parameter representing the posture, which are set in advance as parameters representing the provisional position and posture of the monocular camera 5. , provisional position and orientation parameters have been input. The position measurement unit 11 measures the position of the moving object (the pedestrian 6 in FIG. 1) based on the position and orientation parameters and the image captured by the monocular camera 5. The position measurement unit 11 outputs the measurement results and provisional position and orientation parameters to the electrically connected calibration processor 20.

基準設定部12は、位置計測部11の座標系における基準直線を設定する。基準直線は、任意に設定される直線であり、例えば、道路上の車線を区別する白線や、車道と歩道とを区別する縁石など、現場において直線状に配置されているものが対象となる。なお、基準直線として設定される対象は、白線や縁石などに限定されない。 The reference setting unit 12 sets a reference straight line in the coordinate system of the position measurement unit 11. The reference straight line is a straight line that is arbitrarily set, and targets objects that are arranged in a straight line at the site, such as a white line that distinguishes lanes on a road or a curb that distinguishes a roadway from a sidewalk. Note that objects set as reference straight lines are not limited to white lines, curbs, and the like.

較正処理器20は、記憶部21と、CPU22と、を備える。較正処理器20は、位置計測部11によって計測された歩行者6の位置計測結果と、計測における暫定的な位置姿勢パラメータと、基準設定部12によって設定された基準直線とを用いて、単眼カメラ5における較正後の位置姿勢パラメータを算出する。較正処理器20は、較正後の位置姿勢パラメータを電気的に接続されている計測器10の位置計測部11に出力する。 The calibration processor 20 includes a storage section 21 and a CPU 22. The calibration processor 20 uses the position measurement result of the pedestrian 6 measured by the position measurement unit 11, the provisional position/posture parameters in the measurement, and the reference straight line set by the reference setting unit 12 to calibrate the monocular camera. Calculate the position and orientation parameters after calibration in step 5. The calibration processor 20 outputs the calibrated position and orientation parameters to the position measuring unit 11 of the measuring instrument 10 to which it is electrically connected.

記憶部21は、ハードディスク、フラッシュメモリ、メモリカードなどで構成される。記憶部21は、位置計測部11が計測した、基準直線上を移動した歩行者6の位置計測結果を点列として記憶する。また、記憶部21は、CPU22における各種演算結果を記憶する。記憶部21は、これらの記憶した情報をCPU22に適宜出力する。 The storage unit 21 includes a hard disk, flash memory, memory card, and the like. The storage unit 21 stores the position measurement result of the pedestrian 6 who has moved on the reference straight line, which is measured by the position measurement unit 11, as a sequence of points. Furthermore, the storage unit 21 stores various calculation results in the CPU 22. The storage unit 21 outputs the stored information to the CPU 22 as appropriate.

CPU22は、ROMに格納されているコンピュータプログラムをRAMに展開して実行することにより、計測器10も含む定置センサ較正装置1の各部を制御する。そのほか、CPU22は、直線近似部23およびパラメータ較正部24として機能し、位置計測部11が計測した歩行者6の位置計測結果から近似直線を作成し、その近似直線と基準直線との関係から、位置姿勢パラメータを較正する。 The CPU 22 controls each part of the stationary sensor calibration device 1 including the measuring instrument 10 by loading a computer program stored in the ROM into the RAM and executing it. In addition, the CPU 22 functions as a straight line approximation unit 23 and a parameter calibration unit 24, and creates an approximate straight line from the position measurement result of the pedestrian 6 measured by the position measuring unit 11, and from the relationship between the approximate straight line and the reference straight line, Calibrate the position and orientation parameters.

直線近似部23は、記憶部21に記憶されている、歩行者6の位置計測結果の点列を用いて、点列の近似直線を作成する。直線近似部23の詳細な機能は、後述する。 The straight line approximation unit 23 uses the point sequence of the position measurement result of the pedestrian 6 stored in the storage unit 21 to create an approximate straight line of the point sequence. The detailed function of the linear approximation unit 23 will be described later.

パラメータ較正部24は、直線近似部23が作成した近似直線と、基準直線と、暫定的な位置姿勢パラメータと、を用いて、較正後の位置姿勢パラメータを算出する。パラメータ較正部24の詳細な機能は、後述する。 The parameter calibration unit 24 calculates the position and orientation parameters after calibration using the approximate straight line created by the linear approximation unit 23, the reference straight line, and the provisional position and orientation parameters. Detailed functions of the parameter calibration section 24 will be described later.

図2は、定置センサ較正方法のフローチャートである。図3は、直線近似工程のフローチャートである。次に、本実施形態の定置センサ較正方法について説明する。本実施形態の定置センサ較正方法は、例えば、単眼カメラ5を所定の場所に組み付けた際、単眼カメラ5の組み付け位置や、単眼カメラ5の光軸の方向に影響する姿勢を確認し、単眼カメラ5の組み付け現場において修正する現地修正作業において行われる。この現地修正作業は、誤検出(単眼カメラ5の検出可能範囲内に計測対象の物体が存在しないのに「存在する」とすること)や未検出(単眼カメラ5の検出可能範囲内に計測対象の物体が存在するのに「存在しない」とすること)を減らすために行われる。したがって、単眼カメラ5の組み付け作業後に、現場での即応可能な較正が必要となっている。なお、単眼カメラ5の位置姿勢そのものの測量や、キャリブレーションボードによる較正では、この現地修正作業に対して即応できない。また、測位衛星受信やジャイロスコープなどの他のセンサによる位置姿勢の推定は、静止時の姿勢推定が適切に行えないことから、単眼カメラ5には適していない。 FIG. 2 is a flowchart of a stationary sensor calibration method. FIG. 3 is a flowchart of the linear approximation process. Next, the stationary sensor calibration method of this embodiment will be explained. The fixed sensor calibration method of the present embodiment is, for example, when the monocular camera 5 is assembled at a predetermined location, the monocular camera 5 is checked for its assembly position and the posture that affects the direction of the optical axis of the monocular camera 5, and This is done during the on-site correction work performed at the assembly site in step 5. This on-site correction work is performed to prevent false detection (the object to be measured is determined to exist even though it does not exist within the detectable range of the monocular camera 5) or non-detection (the object to be measured is detected within the detectable range of the monocular camera 5). This is done to reduce the number of objects that exist (saying that they do not exist). Therefore, after the monocular camera 5 is assembled, on-site calibration is required. Note that measuring the position and orientation of the monocular camera 5 itself or calibrating using a calibration board cannot immediately respond to this on-site correction work. Further, estimating the position and orientation using other sensors such as a positioning satellite reception or a gyroscope is not suitable for the monocular camera 5 because the orientation cannot be properly estimated when the camera is stationary.

最初に、基準直線を設定する(ステップS1:基準設定工程)。ステップS1では、基準設定部12は、現場に直線状に配置されている対象物を、位置計測部11の座標系における基準直線として設定する。ここでは、例えば、車道と歩道とを区画する縁石7(図1参照)を座標系のx軸として設定する。なお、基準直線とする対象は、これに限定されない。 First, a reference straight line is set (step S1: reference setting step). In step S1, the reference setting unit 12 sets a target object arranged in a straight line on the site as a reference straight line in the coordinate system of the position measuring unit 11. Here, for example, the curb 7 (see FIG. 1) that separates the roadway from the sidewalk is set as the x-axis of the coordinate system. Note that the object to be used as the reference straight line is not limited to this.

次に、歩行者6の位置を計測する(位置計測工程:ステップS2)。ステップS2では、位置計測部11は、あらかじめ設定されている単眼カメラ5の暫定的な位置姿勢パラメータと、単眼カメラ5の出力と、を用いて、縁石7上を移動する歩行者6の位置を計測する。ここで、単眼カメラ5の暫定的な位置姿勢パラメータとは、x軸、y軸、z軸のそれぞれの座標値st(ベクトル表記)で表される位置パラメータ、並びに、方位角atおよび仰角etで表される姿勢パラメータを指す。すなわち、位置計測部11は、暫定的な位置パラメータst(ベクトル表記)と、姿勢パラメータet、atとが設定されている状態の単眼カメラ5が出力する歩行者6の位置を計測する。位置計測部11は、この歩行者6の位置計測結果を記憶部21に出力する。なお、本文中に示す文字がベクトルである場合、対象文字の後に「(ベクトル表記)」と記載する。 Next, the position of the pedestrian 6 is measured (position measurement step: step S2). In step S2, the position measurement unit 11 uses the preset provisional position and orientation parameters of the monocular camera 5 and the output of the monocular camera 5 to determine the position of the pedestrian 6 moving on the curb 7. measure. Here, the provisional position and orientation parameters of the monocular camera 5 are the position parameters represented by coordinate values s t (vector notation) of the x-axis, y-axis, and z-axis, as well as the azimuth angle a t and the elevation angle. It refers to the posture parameter represented by e t . That is, the position measurement unit 11 measures the position of the pedestrian 6 output by the monocular camera 5 in a state in which the temporary position parameter s t (vector notation) and posture parameters e t and a t are set. . The position measurement unit 11 outputs the position measurement result of the pedestrian 6 to the storage unit 21. If the character shown in the text is a vector, "(vector notation)" will be written after the target character.

次に、ステップS2において計測された、縁石7上を移動した歩行者6の位置計測結果を点列として記憶させる(記憶工程:ステップS3)。記憶部21は、位置計測部11が出力する歩行者6の位置計測結果を、3次元空間での点列として記憶する。また、記憶部21は、基準設定部12が設定した縁石7の位置情報を、基準直線の位置情報として記憶する。 Next, the position measurement result of the pedestrian 6 who moved on the curb 7, which was measured in step S2, is stored as a point sequence (storage step: step S3). The storage unit 21 stores the position measurement result of the pedestrian 6 output by the position measurement unit 11 as a point sequence in a three-dimensional space. Furthermore, the storage unit 21 stores the position information of the curb 7 set by the reference setting unit 12 as the position information of the reference straight line.

次に、ステップS3において記憶部21に記憶された点列を用いて、点列の近似直線を作成する(直線近似工程:ステップS4)。直線近似部23は、記憶部21に記憶された歩行者6の位置計測結果の点列を用いて、単眼カメラ5の位置パラメータst(ベクトル表記)と、姿勢パラメータet、atを較正するための近似直線を作成する。 Next, using the point sequence stored in the storage unit 21 in step S3, an approximate straight line of the point sequence is created (linear approximation step: step S4). The linear approximation unit 23 calibrates the position parameter s t (vector notation) of the monocular camera 5 and the posture parameters e t , a t using the point sequence of the position measurement result of the pedestrian 6 stored in the storage unit 21. Create an approximate straight line to

図4は、直線近似工程を説明する第1の図である。図5は、直線近似工程を説明する第2の図である。図6は、直線近似工程を説明する第3の図である。図7は、直線近似工程を説明する第4の図である。ここで、直線近似工程の詳細について説明する。直線近似工程では、最初に、直線近似部23は、仮の近似直線を作成する(図3のステップS401)。直線近似部23は、記憶部21に記憶された歩行者6の位置計測結果の点列のうち、複数の点を選択し、選択した点を用いて主成分分析を行うことで、仮の近似直線を作成する。 FIG. 4 is a first diagram illustrating the linear approximation process. FIG. 5 is a second diagram illustrating the linear approximation process. FIG. 6 is a third diagram illustrating the linear approximation process. FIG. 7 is a fourth diagram illustrating the linear approximation process. Here, details of the linear approximation process will be explained. In the straight line approximation process, first, the straight line approximation unit 23 creates a temporary approximate straight line (step S401 in FIG. 3). The straight line approximation unit 23 selects a plurality of points from the point sequence of the position measurement results of the pedestrian 6 stored in the storage unit 21 and performs principal component analysis using the selected points to create a temporary approximation. Create a straight line.

図4に、点列の一例を示す。図4は、記憶部21に記憶された歩行者6の位置計測結果をプロットした2次元平面(xy平面)を示している。このxy平面に示されている複数の丸印のそれぞれは、点列における複数の位置計測結果のそれぞれを表す計測点Mとなっている。図4には、基準設定工程において設定された基準直線Lsが示されている。なお、図4~7では、説明の便宜上、点列を2次元平面で示している。 FIG. 4 shows an example of a point sequence. FIG. 4 shows a two-dimensional plane (xy plane) on which the position measurement results of the pedestrian 6 stored in the storage unit 21 are plotted. Each of the plurality of circles shown on this xy plane is a measurement point M representing each of the plurality of position measurement results in the point sequence. FIG. 4 shows the reference straight line Ls set in the reference setting step. Note that in FIGS. 4 to 7, the point sequence is shown on a two-dimensional plane for convenience of explanation.

ステップS401では、直線近似部23は、図4に示す点列について、無作為に複数の計測点Mを選択する。ここでは、例えば、図5に示すように、複数の計測点Mのうち、3点の計測点Mを選択点Msとして選択する(図5に示す太線の丸印Ms)。直線近似部23は、選択点Msに対して、主成分分析を行うことで、仮の近似直線Lpaを作成する(図5参照)。 In step S401, the linear approximation unit 23 randomly selects a plurality of measurement points M from the point sequence shown in FIG. Here, for example, as shown in FIG. 5, three measurement points M are selected as selection points Ms among the plurality of measurement points M (thick circle mark Ms shown in FIG. 5). The straight line approximation unit 23 creates a temporary approximate straight line Lpa by performing principal component analysis on the selected point Ms (see FIG. 5).

次に、直線近似部23は、ステップS401において作成した仮の近似直線Lpaを用いて外れ値を選択する(図3のステップS402)。ステップS402では、直線近似部23は、図6に示すように、仮の近似直線Lpaからの距離が、所定の距離(図6に示す符号D)より長い計測点(図6では、仮の近似直線Lpaからの距離が距離Dとなる境界線Lc1、Lc2の外側に位置するバツ印で示す計測点Mx)を、外れ値として選択する。外れ値Mxを除いた計測点Mの点列は、特許請求の範囲の「点列の一部」に相当する。 Next, the linear approximation unit 23 selects an outlier using the temporary approximate straight line Lpa created in step S401 (step S402 in FIG. 3). In step S402, as shown in FIG. 6, the linear approximation unit 23 selects a measurement point whose distance from the temporary approximate straight line Lpa is longer than a predetermined distance (symbol D shown in FIG. A measurement point Mx indicated by a cross located outside the boundary lines Lc1 and Lc2 whose distance from the straight line Lpa is a distance D is selected as an outlier. The point sequence of the measurement points M excluding the outlier Mx corresponds to "a part of the point sequence" in the claims.

次に、直線近似部23は、外れ値を除く計測点の数が下限数以上であるか否かを判定する(図3のステップS403)。ステップS403では、直線近似部23は、外れ値Mxを除く計測点Mの数が下限数以上である場合、ステップS404において近似実施フラグをYESとし、外れ値Mxを除いた近似直線候補を作成する(図3のステップS406)。一方、直線近似部23は、外れ値Mxを除く計測点Mの数が下限数未満である場合、ステップS405において近似実施フラグをNOとし、後述するステップS411に進み、近似直線候補の作成などを省略する。これは、外れ値Mxを除く計測点Mの数が下限数未満である場合、外れ値を除く計測点が点列を代表していないとみなせるためである。 Next, the linear approximation unit 23 determines whether the number of measurement points excluding outliers is equal to or greater than the lower limit number (step S403 in FIG. 3). In step S403, if the number of measurement points M excluding the outlier Mx is equal to or greater than the lower limit number, the linear approximation unit 23 sets the approximation execution flag to YES in step S404, and creates an approximate straight line candidate excluding the outlier Mx. (Step S406 in FIG. 3). On the other hand, if the number of measurement points M excluding the outlier Mx is less than the lower limit number, the linear approximation unit 23 sets the approximation implementation flag to NO in step S405, proceeds to step S411 described later, and creates an approximate straight line candidate. Omitted. This is because if the number of measurement points M excluding the outlier Mx is less than the lower limit number, it can be considered that the measurement points excluding the outlier do not represent the point sequence.

次に、直線近似部23は、ステップS406において作成した近似直線候補について、当該近似直線候補の作成に用いた計測点Mの標準偏差を算出する(図3のステップS407)。具体的には、直線近似部23は、図7に示すように、複数の計測点Mのそれぞれを近似直線候補Lpcに正射影し、近似直線候補Lpc上に射影点Mpを作成する。その後、直線近似部23は、複数の射影点Mpの標準偏差を算出する。 Next, the straight line approximation unit 23 calculates the standard deviation of the measurement point M used to create the approximate straight line candidate created in step S406 (step S407 in FIG. 3). Specifically, as shown in FIG. 7, the straight line approximation unit 23 orthogonally projects each of the plurality of measurement points M onto the approximate straight line candidate Lpc, and creates a projection point Mp on the approximate straight line candidate Lpc. After that, the linear approximation unit 23 calculates the standard deviation of the plurality of projection points Mp.

次に、直線近似部23は、ステップS407において算出した標準偏差が事前に設定している所定の標準偏差以上であるか否かを判定する(図3のステップS408)。ステップS407において算出した標準偏差が所定の標準偏差以上である場合、ステップS409において、当該近似直線候補Lpcは記憶部21に記憶される。ステップS407において算出した標準偏差が所定の標準偏差未満である場合、ステップS410において、当該近似直線候補Lpcは廃棄される。 Next, the linear approximation unit 23 determines whether the standard deviation calculated in step S407 is greater than or equal to a predetermined standard deviation set in advance (step S408 in FIG. 3). If the standard deviation calculated in step S407 is greater than or equal to the predetermined standard deviation, the approximate straight line candidate Lpc is stored in the storage unit 21 in step S409. If the standard deviation calculated in step S407 is less than the predetermined standard deviation, the approximate straight line candidate Lpc is discarded in step S410.

次に、直線近似部23は、記憶部21に記憶されている点列から複数の計測点Mの選択について、ステップS401からステップS409またはステップS410までをあらかじめ決めた回数行ったか否かを判定する(図3のステップS411)。あらかじめ決めた回数行っている場合、ステップS412において、直線近似部23は、記憶部21に記憶されている複数の近似直線候補Lpcの中から、近似誤差が最小とする近似直線候補Lpcを、近似直線Laに選定する。あらかじめ決めた回数行っていない場合、ステップS401に戻り、上述したステップS401からステップS409またはステップS410までを繰り返す。これにより、直線近似工程において、直線近似部23によって作成された近似直線Laは、計測点Mを正射影した射影点Mpの標準偏差が比較的大きく、かつ、近似誤差は比較的小さくなる。なお、本実施形態では、直線近似工程において、直線近似部23は、近似直線Laを選定すると、パラメータ較正工程のために、複数の計測点Mの平均値p0t(ベクトル表記)と、当該近似直線Laの第1固有ベクトルfev(ベクトル表記)を求める。直線近似部23は、複数の計測点Mの平均値p0t(ベクトル表記)と、近似直線Laの第1固有ベクトルfev(ベクトル表記)と、を記憶部21に記憶させる。 Next, the linear approximation unit 23 determines whether steps S401 to S409 or S410 have been performed a predetermined number of times for selecting a plurality of measurement points M from the point sequence stored in the storage unit 21. (Step S411 in FIG. 3). If the approximation has been performed a predetermined number of times, in step S412, the linear approximation unit 23 approximates the approximate straight line candidate Lpc with the minimum approximation error from among the plurality of approximate straight line candidates Lpc stored in the storage unit 21. The straight line La is selected. If the process has not been performed the predetermined number of times, the process returns to step S401 and the steps from step S401 to step S409 or step S410 described above are repeated. Thereby, in the straight line approximation step, the approximate straight line La created by the straight line approximation unit 23 has a relatively large standard deviation of the projection point Mp obtained by orthogonally projecting the measurement point M, and has a relatively small approximation error. In this embodiment, in the linear approximation step, when the linear approximation unit 23 selects the approximate straight line La, the linear approximation unit 23 calculates the average value p0 t (vector notation) of the plurality of measurement points M and the approximation for the parameter calibration step. The first eigenvector fev (vector notation) of the straight line La is determined. The straight line approximation unit 23 causes the storage unit 21 to store the average value p0 t (vector notation) of the plurality of measurement points M and the first eigenvector fev (vector notation) of the approximate straight line La.

図2に戻り、ステップS4の次に、基準直線と、ステップS4において選定された近似直線とを用いて、単眼カメラ5の較正後の位置パラメータおよび姿勢パラメータを算出する(ステップS5:パラメータ較正工程)。本実施形態では、パラメータ較正部24は、較正後の姿勢パラメータa、eを算出してから、較正後の位置パラメータsを算出する。 Returning to FIG. 2, after step S4, the calibrated position parameters and posture parameters of the monocular camera 5 are calculated using the reference straight line and the approximate straight line selected in step S4 (step S5: parameter calibration step). ). In this embodiment, the parameter calibration unit 24 calculates the post-calibration position parameters a and e, and then calculates the post-calibration position parameter s.

図8は、パラメータ較正工程を説明する第1の図である。ここで、パラメータ較正工程での較正後の位置姿勢パラメータの算出方法について、説明する。図8(a)は、3次元空間中のxy平面を示しており、複数の計測点Mのそれぞれをxy平面に投影した投影点Mxyと、近似直線Laをxy平面に投影した投影近似直線Laxyを示している。また、図8(a)には、xy平面における単眼カメラ5の暫定的な位置パラメータst(ベクトル表記)と、暫定的な姿勢を表す方位角atが示されている。ここでは、暫定的な方位角を、例えば、方位角at=15度と仮定する。図8(b)は、3次元空間中のxz平面を示しており、複数の計測点Mのそれぞれをxz平面に投影した投影点Mxzと、近似直線Laをxz平面に投影した投影近似直線Laxzを示している。また、図8(b)には、xz平面における単眼カメラ5の暫定的な位置パラメータst(ベクトル表記)と、暫定的な姿勢を表す仰角etが示されている。ここでは、暫定的な仰角を、例えば、仰角et=0度と仮定する。 FIG. 8 is a first diagram illustrating the parameter calibration process. Here, a method for calculating position and orientation parameters after calibration in the parameter calibration step will be described. FIG. 8(a) shows an xy plane in a three-dimensional space, and includes a projection point Mxy, which is obtained by projecting each of a plurality of measurement points M onto the xy plane, and a projected approximate line Laxy, which is a projection of an approximate straight line La onto the xy plane. It shows. Further, FIG. 8A shows a provisional position parameter s t (vector notation) of the monocular camera 5 in the xy plane and an azimuth a t representing the provisional attitude. Here, it is assumed that the provisional azimuth is, for example, azimuth a t =15 degrees. FIG. 8(b) shows an xz plane in a three-dimensional space, and includes a projection point Mxz, which is obtained by projecting each of the plurality of measurement points M onto the xz plane, and a projected approximate straight line Laxz, which is obtained by projecting the approximate straight line La onto the xz plane. It shows. Further, FIG. 8(b) shows a provisional position parameter s t (vector notation) of the monocular camera 5 in the xz plane and an elevation angle e t representing the provisional attitude. Here, it is assumed that the temporary elevation angle is, for example, elevation angle e t =0 degree.

ステップS5において、パラメータ較正部24は、最初に、ステップS1で設定した基準直線Lsを、x軸に設定する(図8参照)。このとき、複数の計測点Mのそれぞれは、単眼カメラ5を中心とした座標系(単眼カメラ5が三次元空間の原点にあって、単眼カメラ5の正面の軸をx軸とする座標系であって、x軸は、単眼カメラ5の光軸となる。)における点を、最初に、仰角et、次に、方位角atで回転してから、単眼カメラ5の位置が座標値st(ベクトル表記)となるように並進して、求められているとする。 In step S5, the parameter calibration unit 24 first sets the reference straight line Ls set in step S1 on the x-axis (see FIG. 8). At this time, each of the plurality of measurement points M is a coordinate system centered on the monocular camera 5 (a coordinate system in which the monocular camera 5 is at the origin of the three-dimensional space and the axis in front of the monocular camera 5 is the x-axis). , and the x-axis is the optical axis of the monocular camera 5.) is first rotated by the elevation angle e t and then by the azimuth angle a t , and then the position of the monocular camera 5 is determined by the coordinate value s. Suppose that it is found by translating it so that it becomes t (vector notation).

また、ステップS4において直線近似部23によって求められた複数の計測点Mの平均値p0t(ベクトル表記)と、近似直線Laの第1固有ベクトルfev(ベクトル表記)は、記憶部21に記憶されている。パラメータ較正部24は、これらの情報と、図8(a)、(b)のぞれぞれに示す2つの座標値p0t(ベクトル表記)と、座標値p1t(ベクトル表記)とを用いて、較正後の仰角ecおよび方位角acを導出する。ここで、座標値p1tは、座標値p0t(ベクトル表記)と近似直線Laの第1固有ベクトルfev(ベクトル表記)を用いて、次の式(1)で表される。

Figure 0007409163000001
Further, the average value p0 t (vector notation) of the plurality of measurement points M obtained by the linear approximation unit 23 in step S4 and the first eigenvector fev (vector notation) of the approximate straight line La are stored in the storage unit 21. There is. The parameter calibration unit 24 uses this information and the two coordinate values p0 t (vector notation) and coordinate value p1 t (vector notation) shown in FIGS. 8(a) and 8(b), respectively. Then, the calibrated elevation angle e c and azimuth angle a c are derived. Here, the coordinate value p1 t is expressed by the following equation (1) using the coordinate value p0 t (vector notation) and the first eigenvector fev (vector notation) of the approximate straight line La.
Figure 0007409163000001

ここで、単眼カメラ5を中心とした座標系において、仰角eに応じて、原点を中心に計測点を回転させる回転行列を求める関数E(e)、および、方位角aに応じて、原点を中心に計測点を回転させる回転行列を求める関数A(a)を導入する。仰角eは、y軸(南から北への軸)を中心として、x軸を南から見て反時計回りに回転させるため、式(2)のように定義される。

Figure 0007409163000002
Here, in a coordinate system centered on the monocular camera 5, a function E(e) that calculates a rotation matrix that rotates the measurement point around the origin according to the elevation angle e, and a function E(e) that calculates the rotation matrix that rotates the measurement point around the origin according to the azimuth angle a. A function A(a) is introduced to obtain a rotation matrix that rotates a measurement point around the center. The elevation angle e is defined as Equation (2) in order to rotate the x-axis counterclockwise when viewed from the south, centering on the y-axis (axis from south to north).
Figure 0007409163000002

方位角aは、z軸(下から上への軸)を中心として、x軸を上から見て反時計回りに回転させるため、式(3)のように定義される。

Figure 0007409163000003
The azimuth a is defined as in equation (3) because the x-axis is rotated counterclockwise when viewed from above, with the z-axis (axis from bottom to top) as the center.
Figure 0007409163000003

導出したい較正後の仰角ecおよび方位角acは、暫定的な位置姿勢パラメータの影響を打ち消したうえで、あらためて、仰角および方位角で回転したときに、投影近似直線Laxy、Laxzが、基準直線Lsであるx軸と平行になる仰角と方位角である。このとき、複数の計測点Mの平均値p0t(ベクトル表記)の姿勢パラメータのみを較正した較正後の平均値p0p(ベクトル表記)の座標値と、複数の計測点の平均値p1t(ベクトル表記)の姿勢パラメータのみを較正した較正後の平均値p1p(ベクトル表記)の座標値との差が、y成分およびz成分について、同時に0となる。較正後の平均値p0p(ベクトル表記)は、式(4)で表され、較正後の平均値p1p(ベクトル表記)は、式(5)で表される。

Figure 0007409163000004
The calibrated elevation angle e c and azimuth a c to be derived are determined by canceling the influence of the provisional position and orientation parameters, and then re-rotating in the elevation and azimuth angles so that the projected approximate straight lines Laxy and Laxz meet the standard. These are the elevation angle and azimuth angle that are parallel to the x-axis, which is the straight line Ls. At this time, the coordinate values of the average value p0 p (vector notation) after calibrating only the posture parameters of the average value p0 t (vector notation) of the plurality of measurement points M, and the average value p1 t ( The difference between the calibrated average value p1 p (vector notation) and the coordinate value of only the posture parameter (vector notation) becomes 0 for both the y component and the z component. The average value p0 p (vector notation) after calibration is expressed by equation (4), and the average value p1 p (vector notation) after calibration is expressed by equation (5).
Figure 0007409163000004

較正後の仰角ecおよび方位角acを導出するには、以下に示す式(6)および式(7)からなる連立方程式を仰角差Δe、および、方位角acについて解く。式(6)は、y成分に関する式であり、式(7)がz成分に関する式である。仰角差Δeは(ec-et)であり、仰角etは、暫定仰角として既知の値であるため、仰角差Δeが求まれば仰角etを求めることができる。

Figure 0007409163000005
To derive the elevation angle e c and azimuth angle a c after calibration, simultaneous equations consisting of equations (6) and (7) shown below are solved for the elevation angle difference Δe and the azimuth angle a c . Equation (6) is an equation regarding the y component, and Equation (7) is an equation regarding the z component. The elevation angle difference Δe is (e c -e t ), and since the elevation angle e t is a known value as a provisional elevation angle, the elevation angle e t can be found if the elevation angle difference Δe is found.
Figure 0007409163000005

式(6)および式(7)からなる連立方程式を解くと、式(8)および式(9)に示すように、方位角ac、および、仰角差Δeの式が導出される。これらの式を用いて、較正後の方位角acおよび仰角ecを算出する。

Figure 0007409163000006
When the simultaneous equations consisting of equations (6) and (7) are solved, equations for the azimuth angle a c and the elevation angle difference Δe are derived as shown in equations (8) and (9). Using these formulas, the azimuth angle a c and the elevation angle e c after calibration are calculated.
Figure 0007409163000006

図9は、パラメータ較正工程を説明する第2の図である。図9(a)、(b)に示す図は、図8(a)(b)のそれぞれに対応する図であって、式(8)および式(9)を用いて算出された較正後の方位角acおよび仰角ecを用いて、投影近似直線Laxy、Lxxzを修正したものである。図9に示すように、投影近似直線Laxy、Laxzのそれぞれが、基準直線Lsに平行となっている。具体的な数値で示すと、方位角aは、15度から6.1度となるように較正され、仰角eは、0度からマイナス3度に較正されている。 FIG. 9 is a second diagram illustrating the parameter calibration process. The diagrams shown in FIGS. 9(a) and (b) correspond to FIGS. 8(a) and (b), respectively, and are after the calibration calculated using equations (8) and (9). The projection approximation straight lines Laxy and Lxxz are modified using the azimuth angle a c and the elevation angle e c . As shown in FIG. 9, each of the projection approximation straight lines Laxy and Laxz is parallel to the reference straight line Ls. In terms of specific numerical values, the azimuth angle a is calibrated from 15 degrees to 6.1 degrees, and the elevation angle e is calibrated from 0 degrees to minus 3 degrees.

図10は、パラメータ較正工程を説明する第3の図である。次に、位置パラメータを較正する。位置パラメータの較正では、姿勢パラメータのみが較正された較正後の平均値p0pのy成分と、z成分とがそれぞれ0になるように、単眼カメラ5を並進させる。例えば、方位角aのみが較正された図9(a)については、投影近似直線Laxyをy軸のマイナスの方向に移動させて、基準直線Lsと一致させる(図10(a)参照)。また、仰角eのみが構成された図9(b)については、投影近似直線Laxzをz軸のプラスの方向に移動させて、基準直線Lsと一致させる(図10(a)参照)。これにより、近似直線Laは、基準直線Lsであるx軸と一致する。すなわち、並進後の単眼カメラ5の位置scは、式(10)で示すことができる。

Figure 0007409163000007
FIG. 10 is a third diagram illustrating the parameter calibration process. Next, calibrate the position parameters. In the position parameter calibration, the monocular camera 5 is translated so that the y and z components of the calibrated average value p0 p in which only the posture parameters are calibrated are respectively zero. For example, regarding FIG. 9(a) in which only the azimuth angle a is calibrated, the projection approximation straight line Laxy is moved in the negative direction of the y-axis to match the reference straight line Ls (see FIG. 10(a)). Further, regarding FIG. 9(b) in which only the elevation angle e is configured, the projection approximation straight line Laxz is moved in the positive direction of the z-axis to match the reference straight line Ls (see FIG. 10(a)). Thereby, the approximate straight line La coincides with the x-axis, which is the reference straight line Ls. That is, the position sc of the monocular camera 5 after translation can be expressed by equation (10).
Figure 0007409163000007

ステップS5においては、上述したように、パラメータ較正部24は、姿勢パラメータを較正してから、位置パラメータを較正する。パラメータ較正部24は、較正した位置姿勢パラメータを、計測器10に向けて出力する。計測器10では、入力された較正後の位置姿勢パラメータを用いて、これ以降の物体の位置測定を行う。 In step S5, as described above, the parameter calibration unit 24 calibrates the posture parameters and then calibrates the position parameters. The parameter calibration unit 24 outputs the calibrated position and orientation parameters to the measuring instrument 10. The measuring instrument 10 uses the input position and orientation parameters after calibration to perform subsequent position measurements of the object.

ここで、本実施形態の定置センサ較正装置1の効果について、特に、直線近似部において作成される近似直線の精度に関して、複数の比較例との比較によって説明する。第1の比較例は、主成分分析法を用いた近似直線の作成例であり、第2の比較例は、主成分分析法とRANSAC法とを組み合わせた方法を用いた近似直線の作成例である。 Here, the effects of the stationary sensor calibration device 1 of this embodiment will be explained by comparison with a plurality of comparative examples, particularly regarding the accuracy of the approximate straight line created in the straight line approximation section. The first comparative example is an example of creating an approximate straight line using the principal component analysis method, and the second comparative example is an example of creating an approximate straight line using a method that combines the principal component analysis method and the RANSAC method. be.

図11は、第1の比較例での近似直線の作成方法で作成した近似直線の図である。図11に示す丸印は、複数の計測点Mのそれぞれを示している。主成分分析法では、全ての計測点Mを用いて近似直線L01を作成するため、近似直線L01は、例えば、楕円R10内の計測点Mxのような外れ値の影響を受ける。このため、傾きが大きくなりやすく、基準直線Lsから乖離しやすい。 FIG. 11 is a diagram of an approximate straight line created by the approximate straight line creating method in the first comparative example. The circles shown in FIG. 11 indicate each of the plurality of measurement points M. In the principal component analysis method, since the approximate straight line L01 is created using all the measurement points M, the approximate straight line L01 is influenced by outliers such as the measurement point Mx within the ellipse R10, for example. Therefore, the slope tends to increase, and it tends to deviate from the reference straight line Ls.

図12は、第2の比較例での近似直線の作成方法を説明する第1の図である。第2の比較例では、最初に、第1ステップとして、全ての計測点Mのうちの一部をランダムに選択する。例えば、図12に示すように、複数の太線丸印M2を選択する。この選択した計測点M2に対して、主成分分析を用いて暫定の近似直線L02を求める。次に、第2ステップとして、選択されなかった計測点Mのうち、暫定の近似直線L02との距離が閾値を超える点を外れ値とみなして、外れ値以外の点で近似直線と近似誤差を求める。 FIG. 12 is a first diagram illustrating a method for creating an approximate straight line in the second comparative example. In the second comparative example, first, as a first step, some of all measurement points M are randomly selected. For example, as shown in FIG. 12, a plurality of bold circle marks M2 are selected. A provisional approximate straight line L02 is obtained for the selected measurement point M2 using principal component analysis. Next, as a second step, among the measurement points M that were not selected, points whose distance from the provisional approximate straight line L02 exceeds the threshold are regarded as outliers, and the approximate straight line and the approximation error are calculated at points other than the outliers. demand.

図13は、第2の比較例での近似直線の作成方法を説明する第2の図である。第2の比較例では、第3のステップとして、第1のステップと第2のステップとを反復して、近似誤差が最小となる場合の直線を近似直線L12とする。図13に示すバツ印は、第2ステップにおいて外れ値とみなした計測点Mである。近似直線L12は、第1の比較例よりも傾きが大きくなり、基準直線Lsからの乖離も大きくなっている。 FIG. 13 is a second diagram illustrating a method for creating an approximate straight line in the second comparative example. In the second comparative example, as a third step, the first step and the second step are repeated, and the straight line with the minimum approximation error is set as the approximate straight line L12. The cross mark shown in FIG. 13 is the measurement point M that was regarded as an outlier in the second step. The approximate straight line L12 has a larger slope than the first comparative example, and also has a larger deviation from the reference straight line Ls.

図14は、第1実施形態での近似直線の作成方法で作成した近似直線の図である。図14は、第1の比較例および第2の比較例で用いた点列と同じ点列を用いて、上述した近似直線の作成方法によって作成した近似直線L03を示している。図14に示すように、本実施形態によって作成した近似直線L03は、第1の比較例の近似直線L01に比べ傾きが小さく、基準直線Lsに近い妥当な結果が得られることが明らかとなった。なお、図11と、図13と、図14とのそれぞれに示す実線L01、L12、L03は、それぞれの方法によって求められた近似直線の一部を表す線分であり、線分の長さは、各計測点Mを近似直線に正射影した点から求めた標準偏差に比例する。 FIG. 14 is a diagram of an approximate straight line created by the approximate straight line creating method in the first embodiment. FIG. 14 shows an approximate straight line L03 created by the above-described method for creating an approximate straight line using the same point sequence as that used in the first comparative example and the second comparative example. As shown in FIG. 14, it is clear that the approximate straight line L03 created according to this embodiment has a smaller slope than the approximate straight line L01 of the first comparative example, and that a reasonable result close to the reference straight line Ls can be obtained. . Note that the solid lines L01, L12, and L03 shown in each of FIGS. 11, 13, and 14 are line segments that represent a part of the approximate straight line obtained by each method, and the length of the line segment is , is proportional to the standard deviation obtained from the orthogonal projection of each measurement point M onto the approximate straight line.

以上説明した、本実施形態の定置センサ較正装置1によれば、直線近似部23は、基準直線として設定された縁石7上を移動した歩行者6の位置計測結果を用いて、近似直線Laを作成する。パラメータ較正部24は、直線近似部23において作成された近似直線Laと、基準直線Lsとを用いて、単眼カメラ5の位置姿勢パラメータを算出する。これにより、単眼カメラ5が1台であっても、作成された近似直線Laと設定された基準直線Lsとの対比によって、単眼カメラ5に設定されている位置姿勢パラメータを、実際の単眼カメラ5の位置および姿勢に近づくように較正することができる。したがって、較正対象の単眼カメラ5が1台であっても、位置や姿勢の較正を高精度に行うことができる。 According to the fixed sensor calibration device 1 of the present embodiment described above, the straight line approximation unit 23 calculates the approximate straight line La using the position measurement result of the pedestrian 6 who has moved on the curb 7 set as the reference straight line. create. The parameter calibration unit 24 calculates the position and orientation parameters of the monocular camera 5 using the approximate straight line La created by the linear approximation unit 23 and the reference straight line Ls. As a result, even if there is only one monocular camera 5, the position and orientation parameters set for the monocular camera 5 can be adjusted to the actual monocular camera 5 by comparing the created approximate straight line La and the set reference straight line Ls. can be calibrated to approximate the position and orientation of Therefore, even if there is only one monocular camera 5 to be calibrated, the position and orientation can be calibrated with high accuracy.

また、本実施形態の定置センサ較正装置1によれば、単眼カメラ5を組み付けた現場において、1台の単眼カメラ5による撮像結果を用いて、自身の位置姿勢パラメータを較正することができる。これにより、上述したように、単眼カメラ5の組み付け作業後に、現場での状況に応じた較正に即応することができる。 Further, according to the stationary sensor calibration device 1 of this embodiment, the position and orientation parameters of the fixed sensor calibration device 1 can be calibrated at a site where the monocular camera 5 is assembled, using the imaging results obtained by one monocular camera 5. Thereby, as described above, after the monocular camera 5 has been assembled, it is possible to immediately respond to calibration according to the situation at the site.

また、本実施形態の定置センサ較正装置1によれば、パラメータ較正部24において較正後の位置姿勢パラメータを算出するための近似直線Laは、点列の一部を用いて作成された近似直線候補Lpcに、当該点列の一部を正射影した射影点Mpの標準偏差を用いて決定される。これにより、決定された近似直線Laは、実際の点列のばらつきの程度をより反映した近似直線となるため、この近似直線を用いて算出された位置姿勢パラメータは、より実態を反映した位置姿勢パラメータとなる。したがって、単眼カメラ5の位置や姿勢の較正をさらに高精度に行うことができる。 Further, according to the stationary sensor calibration device 1 of the present embodiment, the approximate straight line La for calculating the position and orientation parameters after calibration in the parameter calibration unit 24 is an approximate straight line candidate created using a part of the point sequence. It is determined by using the standard deviation of the projection point Mp obtained by orthogonally projecting a part of the point sequence to Lpc. As a result, the determined approximate straight line La becomes an approximate straight line that more reflects the degree of dispersion of the actual point sequence, so the position and orientation parameters calculated using this approximate straight line are the position and orientation that more closely reflects the actual situation. Becomes a parameter. Therefore, the position and orientation of the monocular camera 5 can be calibrated with even higher accuracy.

また、本実施形態の定置センサ較正装置1によれば、直線近似部23は、複数の近似直線候補Lpcの中で、標準偏差が所定の標準偏差以上となり、かつ、近似誤差が最小となる近似直線候補Lpcを、近似直線Laとする。これにより、近似直線Laは、点列における、標準偏差に関する情報と、近似誤差に関する情報とを含む近似直線となるため、この近似直線を用いて算出された位置姿勢パラメータは、より実態を反映した位置姿勢パラメータとなる。したがって、単眼カメラ5の位置や姿勢の較正をさらに高精度に行うことができる。 Further, according to the stationary sensor calibration device 1 of the present embodiment, the linear approximation unit 23 performs approximation such that the standard deviation is equal to or greater than a predetermined standard deviation and the approximation error is the minimum among the plurality of approximate straight line candidates Lpc. The straight line candidate Lpc is assumed to be an approximate straight line La. As a result, the approximate straight line La becomes an approximate straight line that includes information about the standard deviation and information about the approximation error in the point sequence, so the position and orientation parameters calculated using this approximate straight line better reflect the actual situation. It becomes a position and orientation parameter. Therefore, the position and orientation of the monocular camera 5 can be calibrated with even higher accuracy.

また、本実施形態の定置センサ較正装置1によれば、近似直線候補Lpcの作成において、点列からの選択点Msを用いた仮の近似直線Lpaまでの距離に所定の距離より長い場合、近似直線候補Lpcの作成に用いられずに外される。これにより、近似直線Laの精度を低下させる外れ値Mxを排除することができるため、この近似直線Laを用いた位置姿勢パラメータの較正は、より実態を反映したものとなる。したがって、単眼カメラ5の位置や姿勢の較正をさらに高精度に行うことができる。 Further, according to the fixed sensor calibration device 1 of the present embodiment, in creating the approximate straight line candidate Lpc, if the distance to the temporary approximate straight line Lpa using the selected point Ms from the point sequence is longer than a predetermined distance, the approximate line candidate It is not used to create the straight line candidate Lpc and is removed. This makes it possible to eliminate outliers Mx that reduce the accuracy of the approximate straight line La, so that the calibration of the position and orientation parameters using this approximate straight line La more reflects the actual situation. Therefore, the position and orientation of the monocular camera 5 can be calibrated with even higher accuracy.

また、複数の定置カメラのそれぞれにおける撮像可能領域内を通る光を利用して、複数の定置カメラのそれぞれの位置および姿勢を較正する場合にパラメータ探索の誤差関数を規定している固有値は、カメラが1台の場合には位置姿勢パラメータの変更に対して変化しないため、パラメータ探索ができなくなる。これは、固有値は、並進および回転に対して不変となるように定義されているためであり、位置姿勢パラメータの変更による点列の並進や回転の影響を受けないからである。しかしながら、本実施形態の定置センサ較正装置1では、歩行者6の位置計測結果に基づく近似直線と基準直線との対比によって、1台の単眼カメラ5における位置姿勢パラメータの較正を高精度に行ことができる。 In addition, when calibrating the position and orientation of each of multiple fixed cameras using the light passing through the imageable area of each of the multiple fixed cameras, the eigenvalues that define the error function for parameter search are If there is only one unit, the parameter does not change when the position and orientation parameters are changed, so parameter search becomes impossible. This is because the eigenvalues are defined to be invariant to translation and rotation, and are not affected by translation or rotation of the point sequence due to changes in position and orientation parameters. However, in the fixed sensor calibration device 1 of this embodiment, the position and orientation parameters of one monocular camera 5 can be calibrated with high precision by comparing the approximate straight line based on the position measurement result of the pedestrian 6 with the reference straight line. I can do it.

また、本実施形態の定置センサ較正方法によれば、直線近似工程では、設定された基準直線Ls上を移動した歩行者6の位置計測結果を用いて、近似直線Laを作成する。パラメータ較正工程では、直線近似工程において作成された近似直線Laと、基準直線Lsとを用いて、単眼カメラ5の位置姿勢パラメータを算出する。これにより、単眼カメラ5が1台であっても、作成された近似直線Laと設定された基準直線Lsとの対比によって、単眼カメラ5に設定されている位置姿勢パラメータを、実際の単眼カメラ5の位置および姿勢に近づくように較正することができる。したがって、較正対象の単眼カメラ5が1台であっても、位置や姿勢の較正を高精度に行うことができる。 Moreover, according to the fixed sensor calibration method of this embodiment, in the straight line approximation process, the approximate straight line La is created using the position measurement result of the pedestrian 6 who moved on the set reference straight line Ls. In the parameter calibration step, the position and orientation parameters of the monocular camera 5 are calculated using the approximate straight line La created in the linear approximation step and the reference straight line Ls. As a result, even if there is only one monocular camera 5, the position and orientation parameters set for the monocular camera 5 can be adjusted to the actual monocular camera 5 by comparing the created approximate straight line La and the set reference straight line Ls. can be calibrated to approximate the position and orientation of Therefore, even if there is only one monocular camera 5 to be calibrated, the position and orientation can be calibrated with high accuracy.

<本実施形態の変形例>
本発明は上記の実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。
<Modification of this embodiment>
The present invention is not limited to the above-described embodiments, and can be implemented in various forms without departing from the spirit thereof. For example, the following modifications are also possible.

[変形例1]
上述の実施形態では、定置センサ較正装置1は、1台の単眼カメラ5を較正するとした。しかしながら、「定置センサ」は、単眼カメラ5でなくてもよく、上述したように、ステレオカメラ、レーダ、LiDAR(レーザレーダ)、ソナーなどであってもよい。
[Modification 1]
In the embodiment described above, the fixed sensor calibration device 1 calibrates one monocular camera 5. However, the "fixed sensor" does not need to be the monocular camera 5, and may be a stereo camera, radar, LiDAR (laser radar), sonar, etc., as described above.

[変形例2]
上述の実施形態では、直線近似部23は、外れ値を除く計測点の数が下限数以上であるか否かを判定するとし、外れ値を除く計測点の数が下限数未満である場合、近似直線候補の作成などを省略するとした。しかしながら、直線近似部23での外れ値を除く計測点の数による判定はなくてもよい。
[Modification 2]
In the above embodiment, the linear approximation unit 23 determines whether the number of measurement points excluding outliers is equal to or greater than the lower limit number, and if the number of measurement points excluding outliers is less than the lower limit number, The process of creating approximate straight line candidates will be omitted. However, the determination based on the number of measurement points excluding outliers in the linear approximation unit 23 may not be necessary.

[変形例3]
上述の実施形態では、直線近似部23は、点列の一部を用いて近似直線候補Lpcを作成し、点列の一部を近似直線候補Lpcに正射影した点の標準偏差を用いて、近似直線Laを決定するとした。しかしながら、近似直線Laの決定方法は、これに限定されない。
[Modification 3]
In the above embodiment, the straight line approximation unit 23 creates the approximate straight line candidate Lpc using a part of the point sequence, and uses the standard deviation of the points obtained by orthogonally projecting the part of the point sequence onto the approximate straight line candidate Lpc, It is assumed that an approximate straight line La is determined. However, the method for determining the approximate straight line La is not limited to this.

[変形例4]
上述の実施形態では、直線近似部23は、点列の一部に関して、、複数の近似直線候補Lpcをあらかじめ決めた回数作成し、標準偏差が所定の標準偏差以上となり、かつ、近似誤差が最小となる近似直線候補Lpcを、近似直線Laにするとした。しかしながら、近似直線Laの決定方法は、これに限定されない。回数ではなく近似誤差などの閾値を条件としてもよい。また、点列の総数が少ない場合、全ての組合せを用いてもよい。
[Modification 4]
In the above-described embodiment, the linear approximation unit 23 creates a plurality of approximate straight line candidates Lpc for a part of the point sequence a predetermined number of times, and creates a plurality of approximate straight line candidates Lpc a predetermined number of times so that the standard deviation is equal to or larger than a predetermined standard deviation, and the approximation error is the minimum. The approximate straight line candidate Lpc is set as the approximate straight line La. However, the method for determining the approximate straight line La is not limited to this. The condition may be a threshold value such as an approximation error instead of the number of times. Furthermore, if the total number of point sequences is small, all combinations may be used.

[変形例5]
上述の実施形態では、直線近似部23は、点列から選択された選択点Msに対して主成分分析をおこなうことで、仮の近似直線Lpaを作成し、仮の近似直線Lpaまでの距離が所定の距離以内の点と選択点Msとを点列の一部として用いて近似直線候補Lpcを作成するとした。しかしながら、近似直線候補Lpcの作製方法は、これに限定されない。
[Modification 5]
In the above-described embodiment, the linear approximation unit 23 creates a temporary approximate straight line Lpa by performing principal component analysis on the selected point Ms selected from the point sequence, and calculates the distance to the temporary approximate straight line Lpa. It is assumed that an approximate straight line candidate Lpc is created using points within a predetermined distance and the selected point Ms as part of a point sequence. However, the method for creating the approximate straight line candidate Lpc is not limited to this.

[変形例6]
上述の実施形態では、定置センサ較正装置1は、計測器10と、較正処理器20とを備えるとし、2つの機器から構成されるとした。しかしながら、定置センサ較正装置は、計測器と較正処理器とが一体となっていてもよい。
[Modification 6]
In the above-described embodiment, the stationary sensor calibration device 1 includes the measuring instrument 10 and the calibration processor 20, and is configured from two devices. However, the stationary sensor calibration device may be an integral part of the measuring instrument and the calibration processor.

以上、実施形態、変形例に基づき本態様について説明してきたが、上記した態様の実施の形態は、本態様の理解を容易にするためのものであり、本態様を限定するものではない。本態様は、その趣旨並びに特許請求の範囲を逸脱することなく、変更、改良され得るとともに、本態様にはその等価物が含まれる。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することができる。 Although the present aspect has been described above based on the embodiments and modified examples, the embodiments of the above-described aspect are for facilitating understanding of the present aspect, and do not limit the present aspect. This aspect may be modified and improved without departing from the spirit and scope of the claims, and this aspect includes equivalents thereof. Furthermore, if the technical feature is not described as essential in this specification, it can be deleted as appropriate.

1…定置センサ較正装置
5…単眼カメラ
6…歩行者
10…計測器
11…位置計測部
12…基準設定部
20…較正処理器
21…記憶部
23…直線近似部
24…パラメータ較正部
La…近似直線
Lpa…仮の近似直線
Lpc…近似直線候補
Ls…基準直線
a,ac、at…方位角(姿勢パラメータ)
e,ec、et…仰角(姿勢パラメータ)
s,sc、st…座標値(位置パラメータ)
1... Fixed sensor calibration device 5... Monocular camera 6... Pedestrian 10... Measuring instrument 11... Position measurement section 12... Reference setting section 20... Calibration processor 21... Storage section 23... Straight line approximation section 24... Parameter calibration section La... Approximation Straight line Lpa...Temporary approximate straight line Lpc...Approximate straight line candidate Ls...Reference straight line a, a c , a t ...Azimuth (posture parameter)
e, e c , e t ...elevation angle (posture parameter)
s, s c , s t ...coordinate values (position parameters)

Claims (5)

定置センサの位置および姿勢を較正するために用いられる定置センサ較正装置であって、
基準直線を設定する基準設定部と、
前記定置センサの暫定的な位置および姿勢を表すパラメータとして予め設定されている位置姿勢パラメータと、三次元空間中の物体を検出した前記定置センサからの出力と、を用いて、前記物体の位置を計測する位置計測部と、
前記位置計測部によって計測される、前記基準直線上を移動した前記物体の位置計測結果を点列として記憶する記憶部と、
前記記憶部に記憶されている前記点列を用いて、前記点列の近似直線を作成する直線近似部と、
前記基準直線と前記近似直線とを用いて、較正後の前記位置姿勢パラメータを算出するパラメータ較正部と、を備える、
定置センサ較正装置。
A stationary sensor calibration device used to calibrate the position and orientation of a stationary sensor, comprising:
a reference setting section for setting a reference straight line;
The position of the object is determined using position and orientation parameters that are preset as parameters representing the provisional position and orientation of the stationary sensor, and the output from the stationary sensor that has detected the object in three-dimensional space. a position measuring unit for measuring;
a storage unit that stores a position measurement result of the object that has moved on the reference straight line, which is measured by the position measurement unit, as a point sequence;
a straight line approximation unit that creates an approximate straight line of the point sequence using the point sequence stored in the storage unit;
a parameter calibration unit that calculates the position and orientation parameters after calibration using the reference straight line and the approximate straight line;
Stationary sensor calibration equipment.
請求項1に記載の定置センサ較正装置であって、
前記直線近似部は、前記点列の一部を用いて近似直線候補を作成し、前記点列の一部を前記近似直線候補に正射影した点の標準偏差を用いて、前記近似直線を決定する、
定置センサ較正装置。
The stationary sensor calibration device according to claim 1,
The straight line approximation unit creates an approximate straight line candidate using a part of the point sequence, and determines the approximate straight line using a standard deviation of points obtained by orthogonally projecting the part of the point sequence onto the approximate straight line candidate. do,
Stationary sensor calibration equipment.
請求項2に記載の定置センサ較正装置であって、
前記直線近似部は、
複数の前記点列の一部のそれぞれを用いて、複数の前記近似直線候補を作成し、
複数の前記近似直線候補のうち、前記標準偏差が所定の標準偏差以上となる近似直線候補の中で、近似誤差が最小となる近似直線候補を、前記近似直線とする、
定置センサ較正装置。
The stationary sensor calibration device according to claim 2,
The linear approximation part is
creating a plurality of approximate straight line candidates using each of a portion of the plurality of point sequences;
Among the plurality of approximate straight line candidates, among the approximate straight line candidates whose standard deviation is equal to or greater than a predetermined standard deviation, the approximate straight line candidate with the smallest approximation error is selected as the approximate straight line;
Stationary sensor calibration equipment.
請求項2または請求項3に記載の定置センサ較正装置であって、
前記直線近似部は、
前記点列から選択された選択点に対して主成分分析をおこなうことで、仮の近似直線を作成し、
前記点列から選択されなかった点のうち、前記仮の近似直線までの距離が所定の距離以内の点と、前記選択点とを、前記点列の一部として用いて、前記近似直線候補を作成する、
定置センサ較正装置。
The stationary sensor calibration device according to claim 2 or 3,
The linear approximation part is
By performing principal component analysis on selected points selected from the point sequence, a temporary approximate straight line is created,
Among the points not selected from the point sequence, the points whose distance to the tentative approximate straight line is within a predetermined distance and the selected points are used as part of the point sequence to form the approximate straight line candidate. create,
Stationary sensor calibration equipment.
定置センサの位置および姿勢を較正するために用いられる定置センサ較正方法であって、
基準直線を設定する基準設定工程と、
前記定置センサの暫定的な位置および姿勢を表すパラメータとして予め設定されている位置姿勢パラメータと、三次元空間中の物体を検出した前記定置センサからの出力と、を用いて、前記物体の位置を計測する位置計測工程と、
前記位置計測工程において計測される、前記基準直線上を移動した前記物体の位置計測結果を点列として記憶する記憶工程と、
前記記憶工程において記憶された前記点列を用いて、前記点列の近似直線を作成する直線近似工程と、
前記基準直線と前記近似直線とを用いて、較正後の前記位置姿勢パラメータを算出するパラメータ較正工程と、を備える、
定置センサ較正方法。
A stationary sensor calibration method used to calibrate the position and orientation of a stationary sensor, the method comprising:
a reference setting step for setting a reference straight line;
The position of the object is determined using position and orientation parameters that are preset as parameters representing the provisional position and orientation of the stationary sensor, and the output from the stationary sensor that has detected the object in three-dimensional space. a position measurement process for measuring;
a storage step of storing a position measurement result of the object that has moved on the reference straight line, which is measured in the position measurement step, as a point sequence;
a straight line approximation step of creating an approximate straight line of the point sequence using the point sequence stored in the storage step;
a parameter calibration step of calculating the position and orientation parameters after calibration using the reference straight line and the approximate straight line;
Stationary sensor calibration method.
JP2020038981A 2020-03-06 2020-03-06 Stationary sensor calibration device and stationary sensor calibration method Active JP7409163B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020038981A JP7409163B2 (en) 2020-03-06 2020-03-06 Stationary sensor calibration device and stationary sensor calibration method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020038981A JP7409163B2 (en) 2020-03-06 2020-03-06 Stationary sensor calibration device and stationary sensor calibration method

Publications (2)

Publication Number Publication Date
JP2021139809A JP2021139809A (en) 2021-09-16
JP7409163B2 true JP7409163B2 (en) 2024-01-09

Family

ID=77668443

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020038981A Active JP7409163B2 (en) 2020-03-06 2020-03-06 Stationary sensor calibration device and stationary sensor calibration method

Country Status (1)

Country Link
JP (1) JP7409163B2 (en)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008022545A (en) 2006-06-15 2008-01-31 Kazuo Iwane Batch tracking device on the basis of cv value, cv region image preliminary apparatus using this batch tracking device on the basis of cv value
JP2011069796A (en) 2009-09-28 2011-04-07 Saxa Inc Method of calibrating camera and image processing apparatus
JP2015106287A (en) 2013-11-29 2015-06-08 キヤノン株式会社 Calibration device and method
JP2015149675A (en) 2014-02-07 2015-08-20 日本電信電話株式会社 Camera parameter estimation apparatus and camera parameter estimation program
CN106599776A (en) 2016-10-25 2017-04-26 长安大学 People counting method based on trajectory analysis
JP2018001332A (en) 2016-06-30 2018-01-11 セイコーエプソン株式会社 Robot, control device, and robot system
US20200005490A1 (en) 2016-09-28 2020-01-02 Chung Ang University Academic Cooperation Foundation Normalized metadata generation device, object occlusion detection device and method

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008022545A (en) 2006-06-15 2008-01-31 Kazuo Iwane Batch tracking device on the basis of cv value, cv region image preliminary apparatus using this batch tracking device on the basis of cv value
JP2011069796A (en) 2009-09-28 2011-04-07 Saxa Inc Method of calibrating camera and image processing apparatus
JP2015106287A (en) 2013-11-29 2015-06-08 キヤノン株式会社 Calibration device and method
JP2015149675A (en) 2014-02-07 2015-08-20 日本電信電話株式会社 Camera parameter estimation apparatus and camera parameter estimation program
JP2018001332A (en) 2016-06-30 2018-01-11 セイコーエプソン株式会社 Robot, control device, and robot system
US20200005490A1 (en) 2016-09-28 2020-01-02 Chung Ang University Academic Cooperation Foundation Normalized metadata generation device, object occlusion detection device and method
CN106599776A (en) 2016-10-25 2017-04-26 长安大学 People counting method based on trajectory analysis

Also Published As

Publication number Publication date
JP2021139809A (en) 2021-09-16

Similar Documents

Publication Publication Date Title
RU2727164C1 (en) Method and apparatus for correcting map data
WO2018142900A1 (en) Information processing device, data management device, data management system, method, and program
KR102054455B1 (en) Apparatus and method for calibrating between heterogeneous sensors
JP7404010B2 (en) Position estimation device and method
US20160063704A1 (en) Image processing device, image processing method, and program therefor
JP6515650B2 (en) Calibration apparatus, distance measuring apparatus and calibration method
WO2018212292A1 (en) Information processing device, control method, program and storage medium
JP2022087821A (en) Data fusion method and device
JP2017181476A (en) Vehicle location detection device, vehicle location detection method and vehicle location detection-purpose computer program
CN114838702A (en) Distance measuring method, electronic device, and storage medium
JP2017211307A (en) Measuring device, measuring method, and program
WO2020230390A1 (en) Position and attitude estimating device and position and attitude estimating method
JP7409163B2 (en) Stationary sensor calibration device and stationary sensor calibration method
RU2592711C1 (en) Method and system for calibration of complex for measurement of vehicle speed
KR20190086951A (en) System and Method for Calibration of Mobile Mapping System Using Terrestrial LiDAR
JP2000205821A (en) Instrument and method for three-dimensional shape measurement
JP6370234B2 (en) MAP DATA GENERATION DEVICE, MAP DATA GENERATION METHOD, MAP DATA GENERATION COMPUTER PROGRAM, AND VEHICLE POSITION DETECTION DEVICE
WO2002012830A1 (en) Height measurement apparatus
KR102008772B1 (en) System and Method for Calibration and Integration of Multi-Sensor using Feature Geometry
JP2006317418A (en) Image measuring device, image measurement method, measurement processing program, and recording medium
JP6819441B2 (en) Target position estimation method and target position estimation device
CN114755663A (en) External reference calibration method and device for vehicle sensor and computer readable storage medium
JP7363545B2 (en) Calibration judgment result presentation device, calibration judgment result presentation method and program
CN112669388B (en) Calibration method and device for laser radar and camera device and readable storage medium
JP2018125706A (en) Imaging apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230131

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231121

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231204

R150 Certificate of patent or registration of utility model

Ref document number: 7409163

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150