JP2020106475A - Sensor system and distance measuring method - Google Patents
Sensor system and distance measuring method Download PDFInfo
- Publication number
- JP2020106475A JP2020106475A JP2018247332A JP2018247332A JP2020106475A JP 2020106475 A JP2020106475 A JP 2020106475A JP 2018247332 A JP2018247332 A JP 2018247332A JP 2018247332 A JP2018247332 A JP 2018247332A JP 2020106475 A JP2020106475 A JP 2020106475A
- Authority
- JP
- Japan
- Prior art keywords
- sensor
- sensors
- detection target
- distance
- trajectory
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Measurement Of Optical Distance (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
Description
本発明は、複数の測距センサを有するセンサシステム及びこれを用いた距離測定方法に関する。 The present invention relates to a sensor system having a plurality of distance measuring sensors and a distance measuring method using the same.
光の伝達時間に基づいて物体までの距離を測定し(以下、TOF法:タイム・オブ・フライト)、画素毎に距離情報を有する距離画像を取得する測距センサが知られている。例えば特許文献1に記載の距離画像カメラは、複数のカメラユニットを備え、単一の撮像部の画角よりも広い画角を有するとともに距離精度の高い距離画像を得ることを目的としている。その構成として、「距離情報置換部で求められた前記平均距離情報と前記各距離画像の各画素の2次元画素位置とに基づいて各画素の2次元位置情報を補正する2次元位置補正部と、この2次元位置補正部で補正された各画素の前記2次元位置情報と前記距離情報とを共通の3次元座標系に変換することによって前記各距離画像を合成した合成距離画像を求める距離画像合成部とを有する」ことが開示されている。
There is known a distance measuring sensor that measures a distance to an object based on a light transmission time (hereinafter, TOF method: time of flight) and acquires a distance image having distance information for each pixel. For example, the range image camera described in
特許文献1では、各カメラユニットの距離画像を座標変換して合成する場合、「各カメラユニット10の設置時のキャリブレーションによって得られたカメラパラメータ(内部および外部)にしたがって、各距離画像の各画素のX値、Y値、Z値をカメラ座標系または世界座標系にそれぞれ座標変換することで各距離画像を合成する」と記載されている。
In
このキャリブレーション(補正)の一般的手法として、測定空間に特定の対象物(マーカ)を配置して各カメラユニットでマーカの位置を測定し、共通の座標値となるように座標変換を行うことが知られている。しかし、現実にはマーカを適切に配置するのが困難な場合がある。すなわち、各カメラユニットでカバーする測定領域は本来異なっている(分割されている)ので、マーカは各領域に跨るように配置せねばならず、カメラユニットの設置に応じて得られる距離画像を確認しながらマーカの配置を変更する、もしくはカメラユニットの設置を調整するという煩雑な繰返し作業になる。あるいはこれを避けるため、マーカを大型化し、または特殊な形状のマーカを用いることも考えられるが、現実の測定空間には様々な障害物が存在し、マーカを所望の位置に配置できない場合もある。 As a general method of this calibration (correction), a specific object (marker) is placed in the measurement space, the position of the marker is measured by each camera unit, and coordinate conversion is performed to obtain common coordinate values. It has been known. However, in reality, it may be difficult to properly arrange the markers. That is, since the measurement area covered by each camera unit is originally different (divided), the markers must be arranged so as to extend over each area, and the range image obtained according to the installation of the camera unit can be confirmed. However, it is a complicated and repetitive work of changing the arrangement of the markers or adjusting the installation of the camera unit. Alternatively, in order to avoid this, it is conceivable to enlarge the marker or use a marker having a special shape, but there are cases where various obstacles exist in the actual measurement space and the marker cannot be arranged at the desired position. ..
以上を鑑みて、本発明の目的は、複数の測距センサを備えたセンサシステムにおいて、各測距センサの設置の調整と各測距センサのから得られる距離データの補正が容易となるセンサシステム及び距離測定方法を提供することである。 In view of the above, an object of the present invention is to provide a sensor system including a plurality of distance measuring sensors, which facilitates adjustment of installation of each distance measuring sensor and correction of distance data obtained from each distance measuring sensor. And a distance measuring method.
上記課題を解決するため、本発明は、複数のセンサを設置し検出対象領域内の検出対象物までの距離を測定して距離画像を生成するセンサシステムにおいて、複数のセンサからの距離画像を合成するために、センサ間の座標合わせ処理を行うセンサ連携処理装置と、生成した距離画像を表示する表示装置と、を備える。センサ連携処理装置は、センサ間の座標合わせ処理を行うため、複数のセンサにより検出対象領域内を移動する移動体の軌跡データを取得し、各センサで検出した移動体の軌跡が連続または一致するように各センサの検出座標を変換する。 In order to solve the above problems, the present invention provides a sensor system in which a plurality of sensors are installed and a distance image is generated by measuring a distance to a detection target in a detection target area, and a range image from the plurality of sensors is combined. In order to do so, a sensor cooperation processing device that performs coordinate adjustment processing between the sensors and a display device that displays the generated distance image are provided. Since the sensor cooperation processing device performs coordinate adjustment processing between the sensors, the trajectory data of the moving body moving in the detection target area is acquired by the plurality of sensors, and the trajectory of the moving body detected by each sensor is continuous or coincident. Thus, the detection coordinates of each sensor are converted.
また本発明は、複数のセンサを設置し検出対象領域内の検出対象物までの距離を測定して距離画像を生成するための距離測定方法において、複数のセンサにより検出対象領域内を移動する移動体の軌跡データを取得するステップと、各センサで検出した移動体の軌跡が連続または一致するように各センサの検出座標を変換してセンサ間の座標合わせを行うステップと、座標合わせを行った状態で複数のセンサからの距離画像を合成して表示するステップと、を備える。 Further, the present invention provides a distance measuring method for generating a distance image by measuring the distance to a detection target in a detection target area by installing a plurality of sensors, and moving the sensor in the detection target area by the plurality of sensors. The steps of obtaining the trajectory data of the body, the steps of converting the detection coordinates of each sensor so that the trajectory of the moving body detected by each sensor are continuous or coincident, and performing the coordinate adjustment between the sensors, and the coordinate adjustment were performed. Synthesizing and displaying range images from a plurality of sensors in a state.
本発明によれば、複数の測距センサのキャリブレーションのために作業者の移動軌跡を利用するので、キャリブレーション用の専用のマーカを配置する必要がなく、測距センサの設置の調整が容易に行える。 According to the present invention, since the movement locus of the operator is used for the calibration of the plurality of distance measuring sensors, it is not necessary to dispose a dedicated marker for calibration, and it is easy to adjust the installation of the distance measuring sensors. Can be done.
以下、本発明の実施形態を図面を用いて説明する。また、測距センサは単に「センサ」とも呼ぶ。 Embodiments of the present invention will be described below with reference to the drawings. Further, the distance measuring sensor is also simply referred to as “sensor”.
実施例1では、室内の天井に複数のセンサを設置し、室内の人物を測距する場合について説明する。以下では、2個のセンサを用いた構成について説明するが、2以上のセンサの場合も同様である。 In the first embodiment, a case will be described where a plurality of sensors are installed on the ceiling of a room to measure the distance of a person in the room. Hereinafter, a configuration using two sensors will be described, but the same applies to the case of two or more sensors.
図1Aは、実施例1に係るセンサシステム1の外観図である。天井5には2個のセンサ11a,11bが設置され、床面4上の検出対象物体(例えば人物3)を撮影し、距離画像を生成する。各センサによる撮影領域2a,2bは隣接するように、センサの位置と撮影方向が調整される。各センサ11a,11bはネットワーク13を介して、センサ連携処理装置12と表示装置10に接続されている。表示装置10は、室内に存在する人物3の距離画像を表示する。例えば、本システムを店舗に適用することで、店舗内の客の動きを把握することができる。実施例1においては、広い室内をカバーするように複数のセンサの位置をずらして設置している。そのため、各センサの座標系を合わせるため、センサ設置作業時に座標変換処理を行う。
FIG. 1A is an external view of the
図1Bは、センサシステム1の構成を示すブロック図である。センサシステム1は、2個のセンサ11a,11bと、2個のセンサを連携して処理するセンサ連携処理装置12と、2個のセンサとセンサ連携処理装置12との間の通信を行うネットワーク13と、センサ連携処理装置12からの出力と実行結果を可視化して表示する表示装置10と、を備えている。
FIG. 1B is a block diagram showing the configuration of the
センサ11a,11bは、測定空間へ照射光を発光し、測定空間からの反射光を受光して、その遅延時間から空間内の各物体までの距離を測定し、距離画像を生成する。
センサ連携処理装置12は、2個のセンサ11a,11bの距離画像を合成するために、センサ間の座標合わせ処理(キャリブレーション)を行う。座標合わせ処理のため、床面検出処理と軌跡連結処理を行う。床面検出処理では、2個のセンサ11a,11bでそれぞれの撮影領域2a,2bの床面の座標(高さ)を測定して、それらの値を一致させる。軌跡連結処理では、床面4上を移動体(例えば作業者3)が移動してセンサ11a,11bで移動軌跡を測定し、撮影領域2a,2bにおける軌跡が連続に連結されるよう座標変換する。
The
The sensor
図2は、センサ11a,11bの内部構成を示すブロック図である。センサ11a,11bは、TOF方式により対象物までの距離を測定する。発光部21は測定空間へ照射光を出射し、受光部22は測定空間からの反射光を受光する。受光部22は、複数の画素センサが2次元状に配置されており、2次元状の遅延時間と反射光の強度の情報を生成する。距離画像生成部23は、発光部21での発光タイミングから受光部22での受光タイミングまでの遅延時間から、測定空間内の物体までの距離を測定し、距離値を例えば色分けして2次元表示した距離画像を生成する。輝度画像生成部24は、受光部22での反射光の強度から輝度画像を生成する。
FIG. 2 is a block diagram showing the internal configuration of the
通信部25は、距離画像、輝度画像、制御情報を、ネットワーク13を介してセンサ連携処理装置12と通信する。制御部26は、通信部25で受けたセンサ連携処理装置12からの制御信号に応じて、発光部21や受光部22などの各部を制御する。バッファメモリ27は距離画像を生成するために使用され、バッファメモリ28は輝度画像を生成するために使用される。なお、2つのバッファメモリ27,28は、1つメモリをアドレスを別々に割りあてて共有しても構わない。
The
図3は、センサ連携処理装置12の内部構成を示すブロック図である。通信部31は、ネットワーク13経由で、センサ11a,11bに実行モードの指示を送信し、センサ11a,11bから測定データの受信を行う。バッファメモリ32は、送受信するデータの一時格納エリアとして使用する。
FIG. 3 is a block diagram showing an internal configuration of the sensor
演算処理部35は、通信部31で受信したセンサ11a,11bからの距離データをバッファメモリ36に蓄積し、蓄積した距離データを基に、床面検出処理や軌跡連結処理などを含む座標合わせ処理を行う。また、センサ11a,11bで生成された距離画像や輝度画像を合成する。演算支援部33は、演算処理部35の処理の一部を実行することで、パフォーマンスを向上させる。演算処理部35から演算支援部33へのデータ入力や、演算支援部33から演算処理部35への演算結果出力などのデータ転送は、共有メモリ34を介して行われる。
The
表示出力部37は、演算処理部35で処理された結果(座標変換処理結果や合成した距離画像)を出力し、表示装置10に表示させる。バッファメモリ38は、表示データを一時的に蓄積する。なお、バッファメモリ32,36,38と共有メモリ34については、1つのメモリのアドレスを別々に割り当てて共有しても構わない。
The
次に、センサシステム1における複数のセンサのキャリブレーション動作(座標合わせ処理)について詳細に説明する。
図4は、キャリブレーション処理の概要を示す全体のフローチャートである。設置作業者の動作(S101−S106)とセンサシステム1の処理(S111−S120)を対応させて示している。また、各処理の詳細を示す後述の図面番号を記述している。
Next, the calibration operation (coordinate alignment processing) of the plurality of sensors in the
FIG. 4 is an overall flowchart showing an outline of the calibration process. The operation of the installer (S101-S106) and the processing of the sensor system 1 (S111-S120) are shown in association with each other. In addition, a drawing number described later showing details of each process is described.
作業者は複数のセンサを設置して処理動作を起動させると(S101)、センサシステム1は床面検出処理を開始する。各センサは撮影空間から距離データ(点群データ)を取得し(S111)、撮影空間内で平面状に分布する面(平面)を検出する(S112)。平面を検出すると、センサシステムから移動開始通知が送られ(S113)、作業者(移動体)は撮影空間内の床面上を移動し(S102)、各センサは移動体の距離データ(点群データ)を取得する(S114)。センサシステムは点群データから移動体の軌跡を検出し(S115)、S112で検出した平面と移動体の軌跡の成す面の平行度を判定することで(S116)、移動体の軌跡の成す面と最も平行な平面を床面として検出する。全てのセンサについてデータの取得(床面検出)が完了すると(S117)、作業者は移動を終了する(S103)。
When the worker installs a plurality of sensors and activates the processing operation (S101), the
次に、センサシステム1は軌跡連結処理に進む。S114で取得した移動体の点群データから、隣接する撮影空間2a,2bに跨る軌跡を取得する(S118)。そして、隣接する撮影空間2a,2bの連結部で移動体の軌跡が連続するように各センサの座標を変換る(S119)。連結結果を作業者に通知する(S120)。通知内容は、センサの初期設置状態が正常か不良か(S104)、不良の場合には座標変換(補正)の内容、又は補正不可の理由を示す(S105)。補正後の連結状態を示し(S106)、作業者が承認すればキャリブレーション動作(設置作業)を終了する。補正が不可能な場合や作業者が承認しない場合は、S101に戻りセンサを再度設置し直す。
Next, the
なお、S111の平面の距離データの取得とS114の移動体の距離データの取得は、同時に行うことができる。すなわち、撮影空間から動体抽出する際の背景と前景として取得すればよく、別々に取得するよりも高速に処理できる。また、S118における軌跡取得についても、S114で取得した移動体の点群データを利用することで、移動体(作業者)の一連の歩行動作は1回で済ますことができる。 The acquisition of the plane distance data in S111 and the acquisition of the distance data of the moving body in S114 can be performed simultaneously. That is, it is sufficient to acquire the background and the foreground when extracting the moving body from the shooting space, and the processing can be performed at a higher speed than the acquisition separately. Also, regarding the trajectory acquisition in S118, a series of walking motions of the mobile body (worker) can be performed only once by using the point cloud data of the mobile body acquired in S114.
S111〜S116の床面検出処理では、設置した各センサで撮影空間内の距離データと床面上を移動する移動体(作業者)の距離データを取得し、移動体の軌跡の成す面と平行な平面を床面と判定するものである。そして、床面検出処理の結果から、各センサの床面からの設置高さや向きなどの自己位置を取得し、各センサの設置高さと撮影方向(仰俯角)について座標合わせを行うことができる。 In the floor surface detection processing of S111 to S116, the distance data in the imaging space and the distance data of the moving body (worker) moving on the floor surface are acquired by the installed sensors and are parallel to the plane formed by the trajectory of the moving body. A flat surface is determined as the floor surface. Then, from the result of the floor surface detection processing, it is possible to obtain the self-position such as the installation height and orientation of each sensor from the floor surface, and coordinate the installation height of each sensor and the shooting direction (elevation and depression angle).
S118〜S119の軌跡連結処理では、移動体としての作業者が測定対象領域をくまなく歩行し、各センサで一連の歩行動作を少なくとも1回以上撮影する。各センサは、撮影した距離データから、歩行する作業者の座標データを時系列に並べた軌跡データを取得する。そして、軌跡データの先頭と末尾、すなわち、当該センサの撮影範囲に作業者が入ったときの軌跡のベクトルと、撮影範囲から出たときの軌跡のベクトルを算出する。この出現時のベクトルと消失時のベクトルが、隣接するセンサの撮影空間の間で連続して連結されるように、各センサの座標変換(ローカル座標からワールド座標への変換)を行う。これにより、センサシステムがカバーする全体の測定対象領域を、1つの座標系(ワールド座標)で捉えることができる。 In the trajectory link process of S118 to S119, the worker as a moving body walks all over the measurement target region, and each sensor captures a series of walking motions at least once. Each sensor acquires trajectory data in which coordinate data of a walking worker are arranged in time series from the captured distance data. Then, the start and end of the trajectory data, that is, the vector of the trajectory when the worker enters the imaging range of the sensor and the vector of the trajectory when exiting the imaging range are calculated. Coordinate conversion (conversion from local coordinates to world coordinates) of each sensor is performed so that the vector at the time of appearance and the vector at the time of disappearance are continuously connected between the imaging spaces of the adjacent sensors. As a result, the entire measurement target area covered by the sensor system can be captured in one coordinate system (world coordinates).
このように本実施例では、キャリブレーション動作のために移動体(作業者)の移動軌跡を利用するので、従来のような専用のマーカを配置する必要がなく、容易にセンサの設置作業を行うことができる。 As described above, in the present embodiment, since the moving locus of the moving body (worker) is used for the calibration operation, it is not necessary to dispose a dedicated marker as in the conventional case, and the sensor installation work is easily performed. be able to.
以下、個別の処理について詳細に説明する。
図5Aは、床面検出処理(S200)のフローチャートである。本フローは、センサ連携処理装置12から床面検出処理の指示を受けて、センサ11a,11bが撮影空間内の距離データと床面上を移動する移動体の距離データを取得する。そして、移動体の軌跡の成す面と平行な平面を床面と判定するものである。
The individual processing will be described in detail below.
FIG. 5A is a flowchart of the floor surface detection process (S200). In this flow, in response to an instruction of the floor surface detection processing from the sensor
S210では、センサ11a,11bが撮影空間内の距離データを取得し、撮影空間内で平面状に分布する面(平面)を検出する。詳細は図5B、図5Cに示す。
S220では、移動体(作業者)は撮影空間内の床面上を移動し、各センサは移動体の距離データを取得するとともに、移動体の軌跡を検出する。詳細は図5Dに示す。
In S210, the
In S220, the moving body (worker) moves on the floor surface in the imaging space, and each sensor acquires the distance data of the moving body and detects the trajectory of the moving body. Details are shown in FIG. 5D.
S230では、S210で検出した平面と、S220で検出した移動体の軌跡の成す面の平行度を判定し、移動体の軌跡の成す面と最も平行な平面を床面として検出する。詳細は図5Eに示す。
本フローは、床面検出処理の1回分の動作を示すものであり、繰り返し実行して平均化することや、ローレベル信号カットなどの方法と組み合わせることにより、センサで取得する距離データのノイズを除去して、床面検出の精度を向上できる。
In S230, the parallelism between the plane detected in S210 and the plane formed by the locus of the moving body detected in S220 is determined, and the plane most parallel to the plane formed by the locus of the moving body is detected as the floor surface. Details are shown in FIG. 5E.
This flow shows one operation of the floor surface detection processing, and by repeatedly performing the averaging and combining it with a method such as low level signal cut, the noise of the distance data acquired by the sensor is reduced. By removing it, the accuracy of floor surface detection can be improved.
図5Bは、図5Aにおける平面検出処理(S210)の詳細フローチャートである。
S211では、平面の垂直軸(すなわち平面の法線ベクトルに平行な軸)の角度の初期値を取得する。ここで、床面を検出対象の平面とし、センサを床面から離れた高さの天井に鉛直下向きに設置する。センサのローカル座標の向きとしてZ軸正方向をセンサの向きとする場合は、水平な床面の垂直軸の初期値は、Z軸正方向を基準の向きとして、基準の向きからの差分として、X軸回転角度=180度、Y軸回転角度=0度、と表現することができる。なお、検出対象の平面が床面ではなく、鉛直な壁面の場合は、壁面に垂直な水平軸を基準とすることで、以下に説明する処理と同様な処理で検出が可能となる。
FIG. 5B is a detailed flowchart of the plane detection process (S210) in FIG. 5A.
In S211, the initial value of the angle of the vertical axis of the plane (that is, the axis parallel to the normal vector of the plane) is acquired. Here, the floor surface is used as a plane to be detected, and the sensor is installed vertically downward on the ceiling at a height apart from the floor surface. When the Z-axis positive direction is used as the sensor local coordinate direction, the initial value of the vertical axis of the horizontal floor is the Z-axis positive direction as the reference direction, and the difference from the reference direction is It can be expressed as X-axis rotation angle=180 degrees and Y-axis rotation angle=0 degrees. When the flat surface to be detected is not the floor surface but a vertical wall surface, the horizontal axis perpendicular to the wall surface is used as a reference, and the detection can be performed by the same processing as that described below.
S212では、検出対象の平面が含まれる領域の距離データを取得する。この段階では、どの領域が平面か不明なので、センサで取得可能な全ての距離データを取得しておく。
S213では、S212で取得した距離データを、ワールド座標の3D点群データに変換する。点群データは、個々の距離データの位置をXYZ座標で表現したデータセットである。例えば、640×480画素の解像度を持つTOFセンサで取得できる距離データは、最大でおよそ30万画素分であり、各画素がもつセンサからの距離情報を、センサのローカル座標に変換して、XYZ座標値を30万個並べたデータセットが、距離データとなる。さらに、ワールド座標のZ軸正方向を鉛直下向きとし、ワールド座標の座標軸とローカル座標の座標軸の変換を、X軸回転角度と、Y軸回転角度で表現することで、ワールド座標とローカル座標の回転変換が可能となる。なお、1つのローカル座標をワールド座標に変換する場合は、Z軸回転が0度に固定しても問題ないが、複数のローカル座標をワールド座標に変換する場合は、Z軸回転の変換も必要となる。
In S212, the distance data of the area including the plane to be detected is acquired. At this stage, since it is unknown which region is the plane, all the distance data that can be acquired by the sensor are acquired.
In S213, the distance data acquired in S212 is converted into 3D point cloud data in world coordinates. The point cloud data is a data set in which the position of each distance data is represented by XYZ coordinates. For example, the maximum distance data that can be acquired by a TOF sensor having a resolution of 640×480 pixels is about 300,000 pixels, and the distance information from each sensor of each pixel is converted into the local coordinates of the sensor to obtain XYZ. A data set in which 300,000 coordinate values are arranged becomes distance data. In addition, the Z-axis positive direction of the world coordinates is set vertically downward, and the conversion between the world-coordinate axis and the local-coordinate axis is expressed by the X-axis rotation angle and the Y-axis rotation angle. Conversion is possible. When converting one local coordinate to the world coordinate, there is no problem if the Z-axis rotation is fixed to 0 degree, but when converting a plurality of local coordinates to the world coordinate, the conversion of the Z-axis rotation is also necessary. Becomes
S214では、検出対象の3次元空間を一定サイズの領域に分割する。例えば、一辺25cmの立方体がXYZ軸方向に隣接して3次元空間を充填するように分割する。この立方体をボクセル領域と呼ぶ。
S215では、各ボクセル領域に含まれる点群データごとに、平面検出を実行する。ボクセル領域の平面検出処理の詳細は、図5Cで説明する。
S216では、S215で検出した各領域で検出した平面と平面の距離が十分小さければ、同じ平面とみなす。
In S214, the three-dimensional space to be detected is divided into areas of a certain size. For example, a cube having a side of 25 cm is divided so as to be adjacent to each other in the XYZ axis directions and fill the three-dimensional space. This cube is called a voxel region.
In S215, plane detection is executed for each point cloud data included in each voxel region. Details of the voxel area plane detection processing will be described with reference to FIG. 5C.
In S216, if the distance between the plane detected in each area detected in S215 and the plane is sufficiently small, it is regarded as the same plane.
S217では、全てのボクセル領域で平面検出したかどうかを判定し、全てのボクセル領域で平面検出していれば、終了する。まだ平面検出していないボクセル領域が残っていれば、そのボクセル領域に対して、S215以下の処理を実行する。 In S217, it is determined whether or not planes have been detected in all voxel areas, and if planes have been detected in all voxel areas, the process ends. If there is a voxel area that has not been subjected to plane detection, the processing from S215 is executed on the voxel area.
図5Cは、図5Bにおける各ボクセル領域の平面検出処理(S215)の詳細フローチャートである。ここでの平面検出処理は、ボクセル領域内の点群データを投影した場合に最も点群が密集する投影軸の向きを求めることで、投影軸の向きを平面の法線ベクトルの向きとみなして平面検出を行うものである。 FIG. 5C is a detailed flowchart of the plane detection process (S215) of each voxel region in FIG. 5B. In the plane detection process here, when the point cloud data in the voxel area is projected, the direction of the projection axis at which the point cloud is most dense is obtained, and the direction of the projection axis is regarded as the direction of the normal vector of the plane. The plane is detected.
S2151では、平面検出対象のボクセル領域の投影軸の角度を設定する。投影軸の角度は、例えばX軸回転角度を5度刻みで72通り、Y軸とZ軸についても同様に72通りずつ、それらの組み合わせで計72×72×72=373248通りを試行することで粗探索し、さらに、その結果のうち候補となる角度の組み合わせを中心に、1度刻みで精査することで、高速かつ高精度に探索ができる。
S2152では、点群データを投影軸に射影し、S2153では、投影軸上の点群分布を一次元のヒストグラムとして作成する。
In S2151, the angle of the projection axis of the voxel area of the plane detection target is set. The angle of the projection axis is, for example, 72 ways in 5 degrees increments of the X-axis rotation angle, 72 ways in the same way for the Y axis and the Z axis, and a total of 72×72×72=373,248 ways in combination thereof. By performing a rough search and further scrutinizing in increments of 1 centering on a combination of candidate angles among the results, a search can be performed at high speed and with high accuracy.
In S2152, the point cloud data is projected onto the projection axis, and in S2153, the point cloud distribution on the projection axis is created as a one-dimensional histogram.
S2154では、S2153で作成したヒストグラムの極大点を求め、S2155では、極大点がはっきりとしたピークを持つかどうかを判定する。ピークを持つ(Yes)と判定されれば、S2156で、投影軸の角度を平面の法線ベクトルの候補としてリストアップする。S2155でピークを持たない(No)と判定されれば、平面に垂直な軸ではないと考えられるので、候補からは除外しリストアップしない。
S2157では、未実施の角度の組み合わせパターンが残っているかどうかを判定し、残っていれば(Yes)、S2151から繰り返し処理を行う。未実施の角度の組み合わせパターンが残っていなければ(No)、S2158へ進む。
In S2154, the maximum point of the histogram created in S2153 is obtained, and in S2155, it is determined whether or not the maximum point has a clear peak. If it is determined that there is a peak (Yes), the angle of the projection axis is listed as a candidate for the normal vector of the plane in S2156. If it is determined in S2155 that there is no peak (No), it is considered that it is not an axis perpendicular to the plane, so it is excluded from the candidates and is not listed.
In S2157, it is determined whether or not a combination pattern of unexecuted angles remains, and if there is a combination pattern (Yes), the processing is repeated from S2151. If no unexecuted combination pattern of angles remains (No), the process proceeds to S2158.
S2158では、S2151からS2157までの処理により、平面の法線ベクトルの候補としてリストアップした投影軸の向きと極大点のうち、最も鋭いピークとなった投影軸の角度を平面の法線ベクトルの向きとみなし、極大の座標をなす点群を、平面をなす点群とみなす。 In step S2158, the angle of the projection axis having the sharpest peak among the directions of the projection axis listed as candidates for the plane normal vector and the maximum points by the processing of steps S2151 to S2157 is the direction of the plane normal vector. And the point group forming the maximum coordinate is regarded as the point group forming a plane.
図5Dは、図5Aにおける移動体軌跡検出処理(S220)の詳細フローチャートである。ここでは、移動体の距離データから移動体の軌跡を求める。
S221では、床面上を移動する移動体の距離データを取得する。移動体が作業者である場合は、床面の上を歩行する様子を2個のセンサで測定することで距離データを取得する。移動体(作業者)が測定対象の領域をくまなく歩行し、各センサで一連の歩行動作を少なくとも1回以上測定することで、距離データを取得する。
FIG. 5D is a detailed flowchart of the moving body trajectory detection process (S220) in FIG. 5A. Here, the trajectory of the moving body is obtained from the distance data of the moving body.
In S221, the distance data of the moving body moving on the floor is acquired. When the moving body is a worker, distance data is acquired by measuring the state of walking on the floor with two sensors. The moving body (worker) walks all over the region to be measured, and each sensor measures a series of walking motions at least once to obtain distance data.
S222では、S221で取得した距離データから、移動体(作業者)の点群データを抽出し、移動体の位置をXYZ座標で時系列に並べることで、移動体の軌跡データを取得する。なお、移動体の点群データの抽出には、静止している点群を背景とし、動いている点群を前景として、動体を抽出することで実現できる。 In S222, the point cloud data of the moving body (worker) is extracted from the distance data acquired in S221, and the locus data of the moving body is acquired by arranging the positions of the moving body in time series with XYZ coordinates. The point cloud data of the moving body can be extracted by extracting the moving body with the stationary point cloud as the background and the moving point cloud as the foreground.
図5Eは、図5Aにおける平行判定処理(S230)の詳細フローチャートである。ここでは、図5Bおよび図5Cで検出した平面と、図5Dで検出した移動体軌跡を突き合わせて、軌跡と平面が平行である条件を満たす平面を床面とみなす。 FIG. 5E is a detailed flowchart of the parallel determination process (S230) in FIG. 5A. Here, the plane detected in FIGS. 5B and 5C and the moving body trajectory detected in FIG. 5D are butted against each other, and the plane satisfying the condition that the trajectory and the plane are parallel is regarded as the floor surface.
S231では、図5Dで検出した移動体の軌跡を、図5Bおよび図5Cで検出した平面の垂直軸に射影する。S232では、S231の垂直軸上の軌跡の分布を、一次元のヒストグラムとして作成する。S233では、S232で作成したヒストグラムの極大点を取得する。 In S231, the trajectory of the moving body detected in FIG. 5D is projected onto the vertical axis of the plane detected in FIGS. 5B and 5C. In S232, the distribution of the trajectory on the vertical axis in S231 is created as a one-dimensional histogram. In S233, the maximum point of the histogram created in S232 is acquired.
S234では、S233で取得した極大点が、鋭いピークを持つかどうかを判定する。ピークが鋭い場合(Yes)は、S235で軌跡と平面が平行であるとみなし、その平面を床面とみなす。S234でピークが鋭くない場合(No)は、他の平面に対して、S231からS234までの処理を繰り返す。 In S234, it is determined whether the maximum point acquired in S233 has a sharp peak. When the peak is sharp (Yes), it is considered that the locus and the plane are parallel to each other in S235, and the plane is considered as the floor surface. If the peak is not sharp in S234 (No), the processes from S231 to S234 are repeated for another plane.
なお、図5Eにおける軌跡と平面との平行判定処理は、移動体が作業者である場合は、作業者の頭頂部の軌跡と平面との距離が作業者の身長に等しいことを利用して判定することもできる。さらに、壁面沿いに歩く場合などは、壁面を床面と誤検出しないよう、移動時の重心の上下動と頭頂部の左右の揺れのパターンから、壁面と床面を区別することができる。すなわち、重心の上下動する方向は鉛直方向であり、左右に揺れる方向は水平方向であることから、鉛直な壁面と水平な床面を区別できる。また、移動体が作業者である場合は、壁面を床面と誤検出しないよう、作業者の足が接地している前提をもとに、平面と移動体の間の点群の存在しない領域の大きさが小さい方を床面とみなすことで、区別が可能である。 Note that the parallel determination process of the trajectory and the plane in FIG. 5E is performed by using the fact that the distance between the trajectory of the crown of the worker and the plane is equal to the height of the worker when the moving body is the worker. You can also do it. Furthermore, when walking along the wall surface, the wall surface and the floor surface can be distinguished from each other based on the vertical movement of the center of gravity during movement and the pattern of horizontal shaking of the crown so that the wall surface is not erroneously detected as the floor surface. That is, since the direction in which the center of gravity moves up and down is the vertical direction and the direction in which the center of gravity moves horizontally is the horizontal direction, it is possible to distinguish between a vertical wall surface and a horizontal floor surface. In addition, when the moving body is a worker, an area where there is no point cloud between the plane and the moving body is based on the assumption that the feet of the worker are in contact with the ground so that the wall surface is not erroneously detected as the floor surface. It is possible to distinguish by considering the smaller one as the floor surface.
図6Aは、軌跡連結処理(S300)のフローチャートである。本フローは、センサ連携処理装置12から軌跡連結処理の指示を受けて、センサ11a,11bが床面上を移動する移動体の軌跡を取得する。そして、センサ11a,11bで取得した移動体の軌跡が連続するように座標変換するものである。
FIG. 6A is a flowchart of the trajectory linking process (S300). In this flow, the locus of the moving body on which the
S310は、物理的なセンサ設置作業であり、作業者は複数のセンサ11a,11bを撮影領域をカバーするように設置する。
S320は、図5Aで行った床面検出処理(S200)の結果を用いて、各センサの床面からの設置高さや向きなどの自己位置を取得する。すなわちこれにより、各センサの設置高さと向き(仰俯角)について校正が可能となる。
S310 is a physical sensor installation work, and the operator installs the plurality of
In step S320, the self-position such as the installation height and orientation of each sensor from the floor surface is acquired using the result of the floor surface detection processing (S200) performed in FIG. 5A. That is, this enables calibration of the installation height and orientation (elevation depression angle) of each sensor.
S330では、隣接する撮影領域に跨るような移動体軌跡検出を行う。その処理の詳細は、図6Bで説明する。
S340では、S330で得られた軌跡を連結する処理、すなわちセンサ間の座標変換を行う。その処理の詳細は、図6Cで説明する。
In S330, the locus of the moving body is detected so as to straddle the adjacent photographing areas. Details of the processing will be described with reference to FIG. 6B.
In S340, a process for connecting the loci obtained in S330, that is, coordinate conversion between sensors is performed. Details of the processing will be described with reference to FIG. 6C.
図6Bは、図6Aにおける移動体軌跡検出処理(S330)の詳細フローチャートである。なお、この処理は、図5Dに示した移動体軌跡検出処理(S220)と兼用することができる。
S331では、各センサが移動体を測定できるよう、移動体(作業者)が動線を網羅するように歩行して移動する。
FIG. 6B is a detailed flowchart of the moving body trajectory detection process (S330) in FIG. 6A. Note that this processing can also be used as the moving body trajectory detection processing (S220) shown in FIG. 5D.
In S331, the moving body (worker) walks and moves so as to cover the flow line so that each sensor can measure the moving body.
S332では、作業者までの距離を各センサで測定し、得られた距離データから動体抽出を行い、移動体である作業者の点群を取得する。
S333では、S332で得られた作業者の点群から、軌跡を取得する。
In S332, the distance to the worker is measured by each sensor, the moving body is extracted from the obtained distance data, and the point cloud of the worker who is the moving body is acquired.
In S333, the locus is acquired from the point cloud of the worker obtained in S332.
図6Cは、図6Aにおける座標変換処理(S340)の詳細フローチャートである。図6Aで得られた各センサからの軌跡を時系列に並び替え、軌跡を最も滑らかに連結する座標変換のパラメータを取得するものである。 FIG. 6C is a detailed flowchart of the coordinate conversion process (S340) in FIG. 6A. The trajectories from the respective sensors obtained in FIG. 6A are rearranged in time series, and the parameter of coordinate conversion that most smoothly connects the trajectories is acquired.
S341では、図6B(S333)で取得した移動体(作業者)の軌跡を、移動体が出現した順番にソートする。このとき、連続する軌跡を1本と数え、ソートされた結果、軌跡の順番は異なるセンサの撮影空間を行き来することになる。なお、出現した順番ではなく、消失した順番でソートしてもよい。 In S341, the loci of the moving body (worker) acquired in FIG. 6B (S333) are sorted in the order in which the moving body appears. At this time, the number of continuous loci is counted as one, and as a result of sorting, the trajectories move back and forth between the imaging spaces of the sensors having different orders. Note that the sorting may be performed in the order of disappearance instead of the order of appearance.
S342では、S341でソートされた隣接するN番目とN+1番目の軌跡に着目する。これらは互いに異なるセンサで取得された軌跡である。そして、N番目の軌跡の消失時のベクトルと、N+1番目の軌跡の出現時のベクトルが、外挿して連続するように、N+1番目の軌跡を座標変換する。座標変換には、座標原点の移動と座標軸の回転を含む。 In S342, attention is paid to the adjacent Nth and N+1th loci sorted in S341. These are loci acquired by different sensors. Then, the N+1-th locus is coordinate-transformed so that the vector at the disappearance of the N-th locus and the vector at the appearance of the N+1-th locus are continuous by extrapolation. Coordinate conversion includes movement of the coordinate origin and rotation of the coordinate axes.
S343では、S342での座標変換により、N番目の軌跡とN+1番目の軌跡が連続しているかどうかを判定する。判定の結果、連続していなければ(No)、S344でエラー警告を行う。つまり、軌跡の連結が困難、もしくは、ソートされた軌跡のN番目の消失からN+1番目の出現までの時間が長く、軌跡の連続性が低いとみなせる場合は、軌跡連結処理(座標変換処理)が失敗した旨のエラー警告を行う。 In S343, it is determined by the coordinate conversion in S342 whether or not the Nth locus and the N+1th locus are continuous. If the result of determination is that they are not continuous (No), an error warning is issued in S344. In other words, if it is difficult to connect the loci, or if the time from the N-th disappearance of the sorted loci to the N+1-th appearance is long and the continuity of the loci can be regarded as low, the locus connection processing (coordinate conversion processing) is performed. It gives an error warning of failure.
S343の判定で、N番目とN+1番目の軌跡が連続していれば(Yes)、S345では、連結処理が未実施の軌跡が残っているかを判定する。残りの軌跡があれば、S341以降の処理を繰り返し、残っていなければ終了する。
なお、S343の判定で、軌跡が連続するように座標変換できた場合(Yes)にも、座標変換時のパラメータを表示装置10に表示するようにしてもよい。
If it is determined in S343 that the Nth and N+1th loci are continuous (Yes), in S345, it is determined whether or not there is a trajectory for which the connection process has not been performed. If there are remaining trajectories, the processing from S341 is repeated, and if there are no remaining trajectories, the processing ends.
Note that, in the determination of S343, even when the coordinate conversion can be performed so that the trajectory is continuous (Yes), the parameter at the time of the coordinate conversion may be displayed on the
次に、複数のセンサの具体的な設置状態を例に挙げて、座標変換処理(S342)を具体的に説明する。座標変換では、各センサによる撮影空間の位置関係が関係するので、センサの撮影空間の表記法から説明する。 Next, the coordinate conversion process (S342) will be specifically described by taking a specific installation state of the plurality of sensors as an example. In the coordinate conversion, since the positional relationship of the shooting space by each sensor is related, the description of the shooting space of the sensor will be given.
図7は、1個のセンサの撮影空間の表示の仕方を示す図であり、(a)は撮影空間を横方向から見た側面図、(b)は撮影空間を天井から見た平面図である。センサ11に対する座標軸(ローカル座標)は、前方方向をX軸、左右方向をY軸、上下方向をZ軸、床面をXY面とする。センサ11は、空間を斜め方向に見下ろすように設置されている。
7A and 7B are views showing how to display the shooting space of one sensor, where FIG. 7A is a side view of the shooting space viewed from the lateral direction, and FIG. 7B is a plan view of the shooting space viewed from the ceiling. is there. Regarding the coordinate axes (local coordinates) for the
符号41で示す扇形と円弧を組み合わせた稜線はセンサ11の画角を示す。符号42で示す点線の範囲は、センサ11による床面上の撮影平面を示す。従って、符号41と符号42で囲まれた空間が、センサ11の撮影空間(以下、センサ撮影空間)となる。
A ridge line formed by combining a sector and an arc indicated by
まず、2個のセンサの具体的な設置状態として、座標変換処理(S342)における座標回転変換が不要な場合から説明する。すなわち、回転変換処理を行わなくとも、隣接する2個のセンサの軌跡が連続している場合である。
図8Aは、回転変換が不要な設置状態の撮影空間を示す図である。(a)は側面図、(b)は平面図である。ここでの表示はワールド座標で表示している。XY面が床面で、Z軸方向が高さ方向である。
First, a case where the coordinate rotation conversion in the coordinate conversion processing (S342) is unnecessary will be described as a specific installation state of the two sensors. That is, this is a case where the loci of two adjacent sensors are continuous without performing the rotation conversion process.
FIG. 8A is a diagram showing a shooting space in an installation state in which rotation conversion is unnecessary. (A) is a side view and (b) is a plan view. The display here is in world coordinates. The XY plane is the floor surface, and the Z-axis direction is the height direction.
2個のセンサ11a,11bは、天井から同じ高さで同じ角度の姿勢で、撮影方向に所定距離Xoだけ平行移動して設置されている。言い換えれば、2個のセンサ11a,11bの設置位置をワールド座標で表記すれば、X座標は距離Xoだけずれた位置、Y座標は同じ位置、Z座標は同じ位置(天井面)である。また、2個のセンサ11a,11bの設置方向(X軸方向)は、ワールド座標とローカル座標で一致している。
The two
これにより、それぞれのセンサ撮影空間(符号41a,42aで囲まれた空間、及び符号41b,42bで囲まれた空間)もX軸方向に距離Xoだけ平行移動して形成される。ここで、2個のセンサ11a,11bのX方向の距離Xoを、1個のセンサによる撮影平面(符号42a,42b)のX方向の長さに等しくすることで、各センサの撮影平面42a,42bは境界が接した状態で連続に配置される。
As a result, the respective sensor imaging spaces (the space surrounded by the
一方、符号40(1点鎖線)で示す直方体の空間領域は、検出対象物(人物)の存在する検出対象領域を示す。つまり、検出対象領域40の範囲(X軸およびY軸方向)は検出対象物の移動範囲であり、高さ(Z軸方向)は、例えば、立ち姿勢の人物が手を上げた際の指先の床面からの高さを含む大きさとなる。 On the other hand, a rectangular parallelepiped space area indicated by reference numeral 40 (one-dot chain line) indicates a detection target area in which a detection target (person) exists. That is, the range of the detection target area 40 (X-axis and Y-axis directions) is the movement range of the detection target, and the height (Z-axis direction) is, for example, that of a fingertip when a person in a standing posture raises his/her hand. The size includes the height from the floor.
ここで図8Aに示した状態は、センサ11a及びセンサ11bによるセンサ撮影空間(画角41a、41bを空間上で重ね合わせた領域)は、検出すべき検出対象領域40を完全にカバーしている状態である。
Here, in the state shown in FIG. 8A, the sensor photographing space by the
次に、移動体(作業者)が検出対象領域40を移動して、その軌跡を基に行う座標変換処理(設置情報の生成)について説明する。
図8Bは、図8Aの設置状態における作業者の軌跡を示す図である。(a)は撮影空間の平面図、(b)は作業者の軌跡を拡大した図である。ここでの表示は各センサのローカル座標系に従っている。作業者が検出対象領域40を移動したときの、撮影平面42a及び42bにおける軌跡を、符号50a,50bで示している。ここでは、作業者は矢印で示すように、センサ11aによる撮影平面42aの左端境界から出現し、X軸右方向へ移動し、撮影平面42aの右端境界から消失する。次いで、センサ11bの撮影平面42bの左端境界から出現し、X軸右方向へ移動し、撮影平面42bの右端境界から消失する。このような順で、わずかにY軸方向に蛇行しながら移動したとする。
Next, a coordinate conversion process (generation of installation information) performed by a moving body (worker) moving the
FIG. 8B is a diagram showing the trajectory of the worker in the installation state of FIG. 8A. (A) is a plan view of the imaging space, and (b) is an enlarged view of the trajectory of the worker. The display here follows the local coordinate system of each sensor. The loci on the imaging planes 42a and 42b when the worker moves the
図に示した通り、センサ11a及び11bのローカル座標軸(Y座標、Z座標およびX軸方向)が揃っているため、軌跡50a及び50bは、撮影平面42aと42bの境界にて滑らかに連結されている、という様子が見て取れる。なお、図面(b)では、軌跡50aと50bを区別するためにY軸方向にずらして描いている。
As shown in the figure, since the local coordinate axes (Y coordinate, Z coordinate, and X axis direction) of the
前述の座標変換の工程(図6CのS342)では、軌跡50aの右端の消失時のベクトル51aと、軌跡50bの左端の出現時のベクトル51bの方向から、センサ11a及び11bの座標系の回転角度を定量的な情報として生成する。つまりセンサシステム1は設置作業者へ、センサ11a及び11bの連結部のベクトル51a及び51bの情報(角度ずれ)を提示する。本例では、両者のベクトル51a,51bが一致しており、角度ずれは0(座標回転不要)となる。これにより設置作業者は、センサ11a及び11bの設置状態が意図通り(位置・角度ずれなし)であることを定量的に確認し、設置作業を完了する。
In the coordinate conversion step (S342 of FIG. 6C), the rotation angles of the coordinate systems of the
次に、座標回転変換が必要となる設置状態の場合について説明する。
図9Aは、回転変換が必要な設置状態の撮影空間を示す図である。(a)は側面図、(b)は平面図である。ここでの表示はワールド座標で表示している。前記図8Aの設置状態と異なり、2個のセンサ11a,11bの設置位置と設置方向(撮影方向)がずれている。すなわち、両者の設置位置はX軸方向に距離Xoだけずれるとともに、Y軸方向に距離Yoだけずれている。また、設置方向も異なっており、センサ11aはセンサ11bに対して、X軸がZ軸の周りに角度θだけ回転した状態となっている。その結果、撮影平面42aと42bの方向が揃わず、両者の境界が非平行になっている。
Next, a case of an installation state in which coordinate rotation conversion is required will be described.
FIG. 9A is a diagram showing a shooting space in an installation state in which rotation conversion is required. (A) is a side view and (b) is a plan view. The display here is in world coordinates. Unlike the installation state of FIG. 8A, the installation position and the installation direction (imaging direction) of the two
図9Bは、図9Aの設置状態における作業者の軌跡を示す図である。(a)は撮影空間の平面図、(b)は軌跡を拡大した図である。ここでの表示はそれぞれのセンサのローカル座標の方向で表示しており、撮影平面42a,42bを平行に配置して示す。図から明らかなように、2つの軌跡50a,50bは撮影平面の境界で滑らかに連結されず、軌跡50aの消失時のベクトル51aと軌跡50bの出現時のベクトル51bの方向は、角度θだけずれている。
FIG. 9B is a diagram showing the trajectory of the worker in the installation state of FIG. 9A. (A) is a plan view of the photographing space, and (b) is an enlarged view of the locus. The display here is shown in the direction of the local coordinates of each sensor, and the imaging planes 42a and 42b are arranged in parallel. As is apparent from the figure, the two
このときセンサシステム1は、センサの設置情報として、連結部のベクトル51a及び51bの角度ずれθが存在することを知らせ、この角度ずれを座標変換工程(S342)で自動的に補正する。なお、座標変換で補正不可能な場合は、その旨のエラー警告を行う。
At this time, the
図9Cは、図9Bの軌跡を座標変換により補正した後の状態を示す図である。(a)は撮影空間の平面図、(b)は軌跡を拡大した図である。ここでは、2個のセンサに共通なワールド座標で表示している。センサ11aのローカル座標を図9Bに示す角度θだけ回転させること、すなわち、撮影平面42aを撮影平面42a’に回転させることで、ワールド座標において、センサ11aにおける軌跡50a’の消失時のベクトル51a’と、センサ11bにおける軌跡50bの出現時のベクトル51bを平行にすることができる。さらに座標変換では、Y軸方向のずれYoを補正することで、軌跡50a’と軌跡50bとを滑らかに連結させることができる。
FIG. 9C is a diagram showing a state after the trajectory of FIG. 9B is corrected by coordinate conversion. (A) is a plan view of the photographing space, and (b) is an enlarged view of the locus. Here, the world coordinates common to the two sensors are displayed. By rotating the local coordinates of the
なお、本例では、Z軸の周りに2個のセンサが傾いて設置された状態を説明したが、X軸やY軸を回転軸として傾いた状態でも同様に座標変換で補正することができる。ここで、補正不可能な設置状態について説明する。 Note that, in this example, the state in which the two sensors are installed tilted around the Z axis has been described, but correction can also be similarly performed by coordinate conversion even when tilted with the X axis or the Y axis as the rotation axis. .. Here, an uncorrectable installation state will be described.
図9Dは、補正不可能な設置状態の例を示す図である。例えば、2個のセンサの設置方向のずれ(角度θ)が過大のときには、座標変換により軌跡50a’と軌跡50bとが連結できたとしても、隣接する撮影平面42a’,42bの境界に隙間43が生じる場合がある。この隙間43の領域では、いずれのセンサでも検出動作が行えないことになり、不適当である。この場合には、エラー警告を表示する。
FIG. 9D is a diagram showing an example of an uncorrectable installation state. For example, when the deviation (angle θ) in the installation direction of the two sensors is excessive, even if the
図10A〜D、および図11A〜Dは、エラー警告およびセンサ設置支援情報の表示例である。表示装置10の画面10aには座標変換処理の結果を表示し、自動補正を行った結果、あるいは、自動補正が不可能な場合には、ユーザが手動でセンサ位置を調整するための支援情報を提供する。
10A to 10D and 11A to 11D are display examples of error warnings and sensor installation support information. The result of the coordinate conversion processing is displayed on the
図10A〜Dは、センサの設置角度にずれがある場合の表示例を示す。ここでは6台のセンサS1〜S6が設置され、それぞれの撮影平面42a〜42fが隣接して形成されている。そして、各撮影平面42a〜42fを作業者が移動し、軌跡50a〜50fが取得されたとする。
10A to 10D show display examples when the installation angle of the sensor is deviated. Here, six sensors S1 to S6 are installed, and respective photographing
図10Aは、センサの設置状態(角度)に不良があることを警告する画面である。画面10aには、6台のセンサS1〜S6で取得した軌跡50a〜50fが表示され、センサの設置状態に不良がある旨のメッセージ90が表示される。
図10Bは、不良内容の情報91と補正情報92を示す画面である。不良はセンサS1の角度に原因があり、Z軸周りに−10度回転の補正を行うことを示している。またこの補正により、撮影平面42aが符号42a’のように回転されることを示す。
FIG. 10A is a screen that warns that there is a defect in the installation state (angle) of the sensor. On the
FIG. 10B is a screen showing
図10Cは、補正結果を示す画面である。センサS1は、補正後の撮影平面42a’に置き換わっている。ユーザはこの画面で示された補正後の軌跡を確認し、問題ないと判定したらOKボタン93を押して、設置を完了する。問題ありと判定したら、NGボタン94を押し、再度センサを設置し直す。
FIG. 10C is a screen showing the correction result. The sensor S1 is replaced by the corrected photographing
図10Dは、補正不可を示す画面である。不良内容の情報91とともに、補正が不可能な理由と設置支援情報95を表示する。ここでは補正不可の理由として、「補正量が回転補正の範囲(±15度)を超えてしまい、隣接領域とに隙間が発生すること」(図9Dの状態)、対応として、「センサS1をZ軸周りに+15度以上回転するよう設置し直すこと」が表示されている。ユーザは提供された情報に基づいてセンサの設置方向を修正することで、センサの設置調整作業を容易に実施できる。
FIG. 10D is a screen showing that correction is impossible. The reason why the correction is impossible and the
図11A〜Dは、センサの設置高さにずれがある場合の表示例を示す。6台のTOFセンサS1〜S6が配置され、各撮影平面42a〜42fを作業者が移動する。そして、作業者の高さを示す軌跡60a〜60fを取得し、それぞれの撮影側面(XZ面)45a〜45fに表示している。この場合同一作業者が移動しているので、センサの設置高さにずれがなければ、高さの軌跡はいずれの撮影側面45a〜45fでも等しくなるはずである。
11A to 11D show display examples in the case where there is a deviation in the installation height of the sensor. Six TOF sensors S1 to S6 are arranged and an operator moves on each of the photographing
図11Aは、センサの設置状態(高さ)に不良があることを警告する画面である。画面10aには、6台のTOFセンサ(S1〜S6)で取得した作業者の高さの軌跡60a〜60fが表示される。
図11Bは、不良内容の情報91と補正情報92を示す画面である。不良はセンサS1の高さに原因があり、高さ方向に−200mmの補正を行うことを示している。またこの補正により、撮影側面45aが符号45a’のように平行移動されることを示す。
FIG. 11A is a screen that warns that there is a defect in the installation state (height) of the sensor. On the
FIG. 11B is a screen showing
図11Cは、補正結果を示す画面である。センサS1は、補正後の撮影平面45a’に置き換わっている。ユーザはこの画面で示された補正後の軌跡を確認し、問題ないと判定したらOKボタン93を押して、設置を完了する。問題ありと判定したら、NGボタン94を押し、再度センサを設置し直す。
FIG. 11C is a screen showing the correction result. The sensor S1 is replaced by the corrected photographing
図11Dは、補正不可を示す画面である。不良内容の情報91とともに、補正が不可能な理由と設置支援情報95を表示する。ここでは、補正不可の理由として、「補正量が高さ補正の範囲(500mm)を超えてしまい、人の全身をセンシングできなくなること」、対応として、「センサS1を500mm以上高い位置へ設置し直すこと」が表示されている。ユーザは提供された情報に基づいてセンサの設置位置を修正することで、センサの設置調整作業を容易に実施できる。
FIG. 11D is a screen showing that correction is impossible. The reason why the correction is impossible and the
このように座標変換の自動補正を行う際、角度や位置の補正範囲を超えている場合や、隣接して設置されたセンサの撮影領域に隙間が生じる場合に、エラー警告を出す。そして、どのセンサとどのセンサのつなぎ目でエラーが起きているか(特に、3個以上のセンサを使用する場合)、それらのセンサの向きや位置をどれだけ修正すべきか、などのセンサ設置支援情報を、表示装置10に表示する。これに従い設置作業者は、指摘された箇所を確認し、支援情報に従って迅速に修正することが可能となる。
When automatic correction of coordinate conversion is performed as described above, an error warning is issued when the correction range of the angle or position is exceeded, or when a gap occurs in the imaging area of an adjacent sensor. Then, the sensor installation support information such as which sensor is connected to which sensor has an error (especially when three or more sensors are used), how much the orientation and position of those sensors should be corrected, etc. , Are displayed on the
あるいは、移動体(作業者)の移動(歩行)がスムーズでなく、途切れるような場合にも警告を出す。例えば、歩行者が立ち止まったり、進路を急に変えたり、反転したり、といった動作を行った場合に警告を出す。また、廊下のコーナーや出入り口など、歩行者の移動の向きが変わりやすい場所での軌跡の連結は誤差を生じる恐れがあるので、避けるように警告する。これにより、軌跡の変化量が少ない区間で軌跡を連結することができ、座標合わせの精度を向上させることができる。 Alternatively, a warning is issued even when the movement (walking) of the moving body (worker) is not smooth and is interrupted. For example, a warning is issued when a pedestrian stops, suddenly changes his course, or reverses. In addition, warnings should be avoided as there is a risk of error in connecting the loci in places where the direction of pedestrian movement is likely to change, such as in corridors and entrances and exits. As a result, the loci can be connected in a section where the change amount of the loci is small, and the accuracy of coordinate alignment can be improved.
なお、センサを設置後、システム運用の途中でセンサの向きや位置にズレが生じると、隣接する撮影領域間で表示される距離画像や輝度画像が不連続になってしまう。これに対応するため、定期的にセンサ設置状態を確認し、センサの向きや位置にズレが発生している場合には自動補正を行うか、またはユーザに警告することが望ましい。その際の確認方法は、再度移動体(作業者)の軌跡を取得して上記した軌跡連結処理を行ってもよいが、簡便な方法として、撮影空間を歩行する任意の人物の軌跡を捉えて上記の軌跡連結処理を行うこともできる。 Note that if the orientation or position of the sensor deviates during the system operation after the sensor is installed, the distance image and the brightness image displayed between the adjacent imaging areas become discontinuous. In order to deal with this, it is desirable to periodically check the sensor installation state and, if there is a deviation in the orientation or position of the sensor, perform automatic correction or warn the user. The confirmation method at that time may be to re-obtain the trajectory of the moving body (worker) and perform the trajectory link processing described above, but as a simple method, the trajectory of an arbitrary person walking in the shooting space may be captured. It is also possible to perform the above trajectory link processing.
実施例1によれば、複数のセンサのキャリブレーション(座標合わせ)のために移動体(作業者)の移動軌跡を利用するので、測定空間に専用のマーカを配置する必要がなく、センサの設置作業を容易に行うことができるという効果がある。 According to the first embodiment, since the movement trajectory of the moving body (worker) is used for calibration (coordinate adjustment) of a plurality of sensors, it is not necessary to dispose a dedicated marker in the measurement space, and the sensors are installed. There is an effect that the work can be easily performed.
ここで、移動体の検出をより確実に行うための方法を説明する。移動体が人物であれば、ある特定の姿勢もしくはジェスチャを継続しながら移動することで、人物の姿勢やジェスチャを識別することで、検出対象の人物を特定できる。よって、撮影範囲に複数の人物が映り込む状況でも、移動体の軌跡の取得と座標合わせ処理が可能となる。特定の姿勢やジェスチャとは、例えば、両手を上げたまま移動する、腰に手を当てた状態で移動する、足元を見たまま移動する、などである。これらは移動開始時に取り決めて初期状態として設定すればよく、柔軟に対応が可能である。 Here, a method for more surely detecting the moving body will be described. If the moving body is a person, the person to be detected can be specified by identifying the posture or gesture of the person by moving while continuing a certain posture or gesture. Therefore, even when a plurality of people are reflected in the shooting range, it is possible to acquire the trajectory of the moving body and perform coordinate adjustment processing. The specific posture or gesture is, for example, moving with both hands raised, moving with both hands on the waist, moving with looking at the feet, and the like. These can be flexibly dealt with as long as they are agreed upon at the start of movement and set as the initial state.
また、移動体(人物)がジェスチャを行う代わりに、移動体を特定するマーカを持つ、もしくは貼付ける方法でもよい。すなわち、頭部にヘルメットや帽子など形状に特徴のあるものを装着して移動する、球体のように形状に特徴のあるものを持って移動する、特定の表面形状(テクスチャ)をもったマーカを掲げて移動する、などである。例えばTOFセンサの場合は、赤外線光を照射しその反射光を検出するので、赤外光を高反射率で反射するテープを貼付したヘルメットや、高反射率のテープで模様を構成したマーカを用いるとよい。模様としては、例えば、バーコードやQRコード(登録商標)、もしくはアルファベットなどの文字や記号でもよい。 Further, instead of making a gesture by the moving body (person), a method of holding or pasting a marker for identifying the moving body may be used. In other words, a marker with a specific surface shape (texture) that moves with the head or other item having a characteristic shape such as a helmet or hat moved, or a sphere that has a characteristic shape is used. Hold and move. For example, in the case of a TOF sensor, since infrared light is irradiated and the reflected light is detected, a helmet to which a tape that reflects infrared light with high reflectance is attached, or a marker that is patterned with a tape with high reflectance is used. Good. The pattern may be, for example, a bar code, a QR code (registered trademark), or characters or symbols such as an alphabet.
実施例2では、実施例1における床面検出処理の変形例について説明する。センサシステム1の構成要素は図1Bと同じであり、センサ11a,11bおよびセンサ連携処理装置12のブロック図は図2、図3と同じである。実施例1の床面検出処理(図5A〜図5E)を、以下のように置き換える。
In the second embodiment, a modified example of the floor surface detection processing in the first embodiment will be described. The constituent elements of the
図12Aは、床面検出処理(S400)のフローチャートである。実施例1における床面検出処理(S200)を置き換えたもので、図5A内の平面検出の工程(S210)を省略している。 FIG. 12A is a flowchart of the floor surface detection process (S400). The floor surface detecting process (S200) in the first embodiment is replaced, and the plane detecting step (S210) in FIG. 5A is omitted.
S410は、移動体の軌跡を検出する処理であり、図5A内の軌跡検出処理(S220)と同じである。その詳細は実施例1の図5Dで説明した。
S420では、S410で取得した移動体の軌跡と点群が平行かどうかを判定する。
S410 is a process for detecting the trajectory of the moving body, which is the same as the trajectory detection process (S220) in FIG. 5A. Details thereof have been described with reference to FIG. 5D of the first embodiment.
In S420, it is determined whether the locus of the moving body acquired in S410 and the point cloud are parallel.
図12Bは、図12Aにおける平行判定処理(S420)の詳細フローチャートである。これは、実施例1の図5Eの平行判定処理(S230)に対応している。
S421では、S410で取得した移動体の軌跡を、ある方向に、ある距離だけ平行移動させる。
FIG. 12B is a detailed flowchart of the parallelism determination process (S420) in FIG. 12A. This corresponds to the parallelism determination process (S230) of FIG. 5E of the first embodiment.
In S421, the trajectory of the moving body acquired in S410 is translated in a certain direction by a certain distance.
S422では、S421で移動させた軌跡と点群とのマッチング、すなわち、点群と軌跡との距離を演算する。
S423では、S421とS422の工程を、全ての方向と全ての距離の組み合わせ(パターン)について演算したかどうかを判定する。全パターンが終了したら(Yes)、S424に進む。終了していなければ(No)、S421に戻り上記工程を繰り返す。
In S422, matching between the locus moved in S421 and the point cloud, that is, the distance between the point cloud and the locus is calculated.
In S423, it is determined whether the steps of S421 and S422 have been calculated for combinations (patterns) of all directions and all distances. When all patterns are completed (Yes), the process proceeds to S424. If not completed (No), the process returns to S421 and the above steps are repeated.
S424では、最もマッチングが良かった平行移動の方向を鉛直方向とみなし、最もマッチングが良かった点群の領域を床面とみなす。 In S424, the direction of the parallel movement having the best matching is regarded as the vertical direction, and the region of the point cloud having the best matching is regarded as the floor surface.
実施例1では、平面を検出することで床面とみなしていたが、実施例2では、床面が平面でない場合でも、床面と平行に人が移動するという特徴をもとに、鉛直方向と床面の検出が可能となる。 In the first embodiment, the plane surface is regarded as the floor surface by detecting it, but in the second embodiment, even if the floor surface is not a flat surface, a person moves in parallel with the floor surface in the vertical direction. And the floor surface can be detected.
実施例3では、自動車などの車両に複数のセンサを設置し、車外の歩行者や他車を測距する場合について説明する。 In the third embodiment, a case in which a plurality of sensors are installed in a vehicle such as an automobile to measure the distance of a pedestrian outside the vehicle or another vehicle will be described.
図13Aは、実施例3に係るセンサシステム1’の外観図である。センサシステム1’において、車両7の前面には、2個のセンサ11a,11bを設置し、前方の路面6上の検出対象物体(例えば歩行者3)を撮影し、距離画像を生成する。各センサによる撮影領域2a,2bはほぼ一致するようセンサの方向が調整されている。各センサ11a,11bはネットワーク13を介して、車両7に搭載されたセンサ連携処理装置12と表示装置10に接続されている。車両7が走行中に、表示装置10には車外の歩行者や他車の距離画像を表示し、運転者に提供する。
FIG. 13A is an external view of a sensor system 1'according to the third embodiment. In the
図13Bは、センサシステム1’の構成を示すブロック図である。基本構成は図1Bのセンサシステム1と同じであるが、センサ連携処理装置12においては、床面ではなく路面の検出と軌跡重畳処理を行う。実施例3では、各センサによる撮影領域2a,2bがほぼ一致しているので、座標合わせの処理では、移動体の軌跡全体が一致するように座標変換を行う。これを「軌跡重畳処理」と呼ぶことにする。センサ11a,11bとセンサ連携処理装置12の構成は、実施例1の図2、図3と同様である。
FIG. 13B is a block diagram showing the configuration of the sensor system 1'. The basic configuration is the same as that of the
次いで、実施例3のセンサシステム1’における座標合わせ処理、すなわち、路面検出処理と軌跡重畳処理について説明する。
まず、路面検出処理は、実施例1における床面検出処理と同様に行う。すなわち、図5A〜5Eのフローチャートにおいて、「床面」を「路面」に読み替えればよい。あるいはその変形例として、実施例2の図12A〜12Bのフローチャートに従ってもよい。
Next, the coordinate matching process, that is, the road surface detecting process and the trajectory superimposing process in the sensor system 1'of the third embodiment will be described.
First, the road surface detection processing is performed in the same manner as the floor surface detection processing in the first embodiment. That is, in the flowcharts of FIGS. 5A to 5E, “floor surface” may be read as “road surface”. Alternatively, as a modified example thereof, the flowcharts of FIGS.
次に軌跡重畳処理では、2個のセンサ11a,11bで同時に検出されたそれぞれの軌跡の位置と方向を一致させるように座標変換する。具体的には、検出した1本の軌跡の出現時のベクトルと消失時のベクトルを求め、それぞれのベクトルが2個のセンサ間で一致するように座標変換する。
Next, in the trajectory superimposing process, coordinate conversion is performed so that the positions and the directions of the trajectories detected by the two
図14Aは、軌跡重畳処理(S500)のフローチャートである。このうち、S510〜S530は図6Aと同様であり、簡単に説明する。
S510では、作業者は、車両に複数のセンサ11a,11bを、撮影領域がほぼ一致するように設置する
S520では、各センサにて路面検出処理(図5Aのフロー)を行い、各センサの路面からの設置高さや向きなどの自己位置を取得する。
FIG. 14A is a flowchart of the trajectory superimposing process (S500). Of these, S510 to S530 are the same as those in FIG. 6A, and will be briefly described.
In S510, the worker installs the plurality of
S530では、移動体(作業者)が路面を歩行して移動体軌跡検出を行う。移動体軌跡検出の詳細は図6Bに説明した通りであるが、実施例3では、移動体は各センサの撮影範囲を超えるように移動し、得られる軌跡が複数に分断されるようにする。
S540では、S530で得られた軌跡を重畳する処理、すなわち座標変換処理を行う。この処理は図6AのS340(図6C)と異なっている。
In S530, the moving body (worker) walks on the road surface to detect the moving body trajectory. The details of the moving body locus detection are as described with reference to FIG. 6B, but in the third embodiment, the moving body moves so as to exceed the imaging range of each sensor, and the obtained locus is divided into a plurality of pieces.
In S540, a process of superimposing the loci obtained in S530, that is, a coordinate conversion process is performed. This process is different from S340 (FIG. 6C) of FIG. 6A.
図14Bは、座標変換処理(S540)の詳細フローチャートである。ここでは、S530で得られた各センサの軌跡を、ずれが最少となるように重畳するための座標変換のパラメータを取得する。 FIG. 14B is a detailed flowchart of the coordinate conversion process (S540). Here, the parameter of coordinate conversion for superimposing the trajectory of each sensor obtained in S530 so that the deviation is minimized is acquired.
S541では、2個のセンサ11a,11bにて同時刻に取得された2つの軌跡に対し、軌跡が出現する時のベクトルと軌跡が消失する時のベクトルを対とするベクトル(以下、特徴ベクトルと呼ぶ)を生成する。つまり特徴ベクトルは、分断された軌跡の両端におけるベクトルの組である。
S542では、S541で得られた2個のセンサ11a,11bの特徴ベクトルが、位置と方向が一致するように、いずれか一方の軌跡を座標変換する。座標変換では、座標軸の平行移動と回転を行う。
In S541, with respect to the two trajectories acquired at the same time by the two
In S542, one of the loci is subjected to coordinate conversion so that the feature vectors of the two
S543では、S542での座標変換により2つの特徴ベクトルが一致したかどうかを判定する。一致していれば(Yes)、S545へ進む。一致しなければ(No)、S544へ進み、座標合わせ処理が失敗した旨のエラー警告とセンサ設置支援情報の表示を行う。エラー警告とセンサ設置支援情報については、実施例1での説明と同様である。
S545では、重畳処理が未実施の軌跡が残っているかを判定する。残りの軌跡があれば、S541以降の処理を繰り返し、残っていなければ終了する。
In S543, it is determined whether or not the two feature vectors match by the coordinate conversion in S542. If they match (Yes), the process proceeds to S545. If they do not match (No), the process proceeds to S544, and an error warning indicating that the coordinate alignment process has failed and sensor installation support information are displayed. The error warning and the sensor installation support information are the same as those described in the first embodiment.
In S545, it is determined whether or not there is a trajectory for which superimposition processing has not been performed. If there are remaining trajectories, the processing from S541 is repeated, and if there are no remaining trajectories, the processing ends.
次に、複数のセンサの具体的な設置状態を例に挙げて、座標変換処理(S542)を具体的に説明する。
まず、センサの設置状態として、座標変換処理(S542)における座標回転変換が不要な場合から説明する。すなわち、回転変換処理を行わなくとも、2個のセンサの軌跡が重畳している場合である。
Next, the coordinate conversion process (S542) will be specifically described by taking a specific installation state of the plurality of sensors as an example.
First, the case where the coordinate rotation conversion in the coordinate conversion processing (S542) is not required as the installation state of the sensor will be described. That is, it is a case where the loci of the two sensors are superposed without performing the rotation conversion process.
図15Aは、回転変換が不要な設置状態の撮影空間を示す図である。(a)は側面図、(b)は平面図である。ここでの表示はワールド座標で表示している。X軸が車体幅方向、Y軸が車体前方、Z軸が車体上下方向で、XY面が路面となる。 FIG. 15A is a diagram showing a shooting space in an installation state in which rotation conversion is unnecessary. (A) is a side view and (b) is a plan view. The display here is in world coordinates. The X axis is the vehicle width direction, the Y axis is the front of the vehicle body, the Z axis is the vehicle body vertical direction, and the XY plane is the road surface.
2個のセンサ11a,11bは、車体に同じ高さで互いに向き合うように、X軸方向に所定距離Xoだけ平行移動して設置されている。言い換えれば、2個のセンサ11a,11bの設置位置をワールド座標で表記すれば、X座標は距離Xoだけずれた位置、Y座標とZ座標は双方同じ位置である。また、2個のセンサ11a,11bの設置方向(撮影方向)は、YZ面に関して対称に向き合う方向であり、ワールド座標とローカル座標とのY軸が一致している。これにより、センサ11aの撮影空間(画角41aと撮影平面42aで囲まれた空間)と、センサ11bの撮影空間(画角41bと撮影平面42bで囲まれた空間)は重なり、路面上での撮影平面42a,42bは一致している。そして、いずれのセンサ11a,11bの撮影空間も、検出対象物の存在する検出対象領域40(1点鎖線)をカバーしている状態である。
The two
次に、座標変換処理(設置情報の生成)について説明する。
図15Bは、図15Aの設置状態における作業者の軌跡を示す図である。(a)は撮影空間の平面図、(b)は作業者の軌跡を拡大した図である。ここでの表示はローカル座標系に従っている。作業者が検出対象領域40を移動するとき、撮影平面42a及び42bにおける軌跡を、符号50a,50bで示している。作業者は矢印で示すように、センサ11aによる撮影平面42aの左端境界から出現し、X軸右方向へ移動し、撮影平面42aの右端境界から消失する。これと同時刻に、センサ11bによる撮影平面42bの左端境界から出現し、X軸右方向へ移動し、撮影平面42bの右端境界から消失する。ここで、わずかにY軸方向に蛇行しながら移動したとする。
Next, the coordinate conversion process (generation of installation information) will be described.
FIG. 15B is a diagram showing the trajectory of the worker in the installation state of FIG. 15A. (A) is a plan view of the imaging space, and (b) is an enlarged view of the trajectory of the worker. The display here follows the local coordinate system. When the worker moves in the
図に示した通り、センサ11a及び11bのローカル座標軸(Y座標、Z座標およびX軸方向)が揃っているため、軌跡50a,50bは、撮影平面42aと42bにて完全に一致している、という様子が見て取れる。(なお、図面では2つの軌跡50a,50bを区別するため、わずかにずらして記述しているが、実際は一致している)。
As shown in the figure, since the local coordinate axes (Y coordinate, Z coordinate, and X axis direction) of the
前述の座標変換の工程(図14BのS542)では、軌跡50aの特徴ベクトル(出現時の52aと消失時の53aの組)の方向と、軌跡50bの特徴ベクトル(出現時の52bと消失時の53bの組)の方向から、センサ11a及び11bの座標系の回転角度を定量的な情報として生成する。つまりセンサシステム1’は設置作業者へ、センサ11a及び11bの撮影平面両端における特徴ベクトル52a,53a及び特徴ベクトル52b,53bの情報(角度ずれ)を提示する。本例では、両者の特徴ベクトルが一致しており、角度ずれは0(座標回転不要)となる。これにより設置作業者は、センサ11a及び11bの設置状態が意図通り(位置・角度ずれなし)であることを定量的に確認し、設置作業を完了する。
In the above-described coordinate conversion step (S542 in FIG. 14B), the direction of the feature vector of the
次に、座標回転変換が必要となる設置状態の場合について説明する。
図16Aは、回転変換が必要な設置状態の撮影空間を示す図である。(a)は側面図、(b)は平面図である。ここでの表示はワールド座標で表示している。前記図15Aの設置状態と異なり、2個のセンサ11a,11bの設置位置と設置方向(撮影方向)がずれている。すなわち、両者の設置位置はX軸方向に距離Xoだけずれるとともに、Y軸方向に距離Yoだけずれている。また、設置方向も異なっており、センサ11aはセンサ11bに対して、X軸がZ軸の周りに角度θだけ回転した状態となっている。その結果、撮影平面42aと42bの方向が揃わず、両者の外周線が非平行になっている。
Next, a case of an installation state in which coordinate rotation conversion is required will be described.
FIG. 16A is a diagram showing a shooting space in an installation state that requires rotation conversion. (A) is a side view and (b) is a plan view. The display here is in world coordinates. Unlike the installation state of FIG. 15A, the installation position and the installation direction (imaging direction) of the two
図16Bは、図16Aの設置状態における作業者の軌跡を示す図である。(a)は撮影空間の平面図、(b)は軌跡を拡大した図である。ここでの表示はそれぞれのセンサのローカル座標の方向で表示しており、撮影平面42a,42bの領域が平行で一致するよう配置して示す。2つの軌跡50a,50bは撮影平面内で一致せず、軌跡50aの特徴ベクトル52a,53aと軌跡50bの特徴ベクトル52b,53bの方向は、角度θだけずれている。
このときセンサシステム1’は、センサの設置情報として、両端部の特徴ベクトルの角度ずれθが存在することを知らせ、この角度ずれを座標変換工程(S542)で自動的に補正する。
FIG. 16B is a diagram showing the trajectory of the worker in the installation state of FIG. 16A. (A) is a plan view of the photographing space, and (b) is an enlarged view of the locus. The display here is shown in the direction of the local coordinates of the respective sensors, and is arranged so that the areas of the imaging planes 42a and 42b are parallel and coincide with each other. The two
At this time, the sensor system 1'notifies that there is an angular deviation θ of the feature vectors at both ends as the installation information of the sensor, and the angular deviation is automatically corrected in the coordinate conversion step (S542).
図16Cは、図16Bの軌跡を座標変換により補正した後の状態を示す図である。(a)は撮影空間の平面図、(b)は軌跡を拡大した図である。ここでは、2個のセンサに共通なワールド座標で表示している。センサ11aのローカル座標を図16Bに示す角度θだけ回転させること、すなわち、撮影平面42aを撮影平面42a’に回転させることで、ワールド座標において、センサ11aにおける軌跡50a’(特徴ベクトル52a’,53a’)を、センサ11bの軌跡50b(特徴ベクトル52b,53b)に一致させることができる。
FIG. 16C is a diagram showing a state after the trajectory of FIG. 16B is corrected by coordinate conversion. (A) is a plan view of the imaging space, and (b) is an enlarged view of the locus. Here, the world coordinates common to the two sensors are displayed. By rotating the local coordinates of the
ただし、座標変換で補正不可能な場合は、実施例1の図10Dや図11Dで示したようなエラー警告や、手動で調整するための支援情報を提供する。ユーザは提供された情報に基づいてセンサの設置方向や位置を修正することで、センサの設置調整作業を容易に実施できる。 However, when the correction cannot be performed by the coordinate conversion, the error warning as shown in FIGS. 10D and 11D of the first embodiment and the support information for the manual adjustment are provided. The user can easily perform the sensor installation adjustment work by correcting the sensor installation direction and position based on the provided information.
実施例3において座標合わせ処理が失敗する理由として、2個のセンサの撮影範囲が大幅にずれていることが挙げられる。そのときには、設置されたセンサの視野(撮影範囲)のずれが大きすぎる旨を警告する。あるいは、移動体(作業者)の移動(歩行)の仕方に問題がある場合もある。例えば、長時間立ち止まったり、一直線に高速で駆け抜けたりした場合には、適切な速度で移動するよう警告を出す。また、道路のコーナーや交差点など、人の移動の向きが変わりやすい場所で実施することで、特徴的な軌跡を得ることができ、軌跡を一致させる処理が容易になる。よって、実施例1の場合とは異なり、移動の軌跡の変化量が多い条件で移動を行うように指示することで、軌跡重畳時の誤差を低減することができる。 The reason why the coordinate alignment process fails in the third embodiment is that the image capturing ranges of the two sensors are significantly deviated. At that time, a warning is issued that the deviation of the field of view (imaging range) of the installed sensor is too large. Alternatively, there may be a problem in how the moving body (worker) moves (walks). For example, if the vehicle has stopped for a long time or has run through in a straight line at high speed, a warning is issued to move at an appropriate speed. Further, by performing the operation at a place where the direction of movement of a person is likely to change, such as a road corner or an intersection, a characteristic locus can be obtained, and the process of matching the loci becomes easy. Therefore, unlike the case of the first embodiment, it is possible to reduce the error at the time of overlapping the loci by instructing the movement under the condition that the change amount of the loci of movement is large.
なお、図15Aや図16Aの例では、2個のセンサ11a,11bの撮影方向はX軸方向に向き合う姿勢とし、検出対象領域40は2つのセンサに挟まれた領域とした。しかし、現実に車両の前方にいる歩行者等を検出する場合は、検出対象領域40はセンサの位置からY軸方向に離れた位置となる。この場合には、2個のセンサ11a,11bの撮影方向をY軸方向に所定角度だけ傾けて、斜め方向に向き合う姿勢で設置すればよい。そして、YZ面に関し対称にセンサを設置した状態を基準として、2個のセンサの座標合わせを行えばよい。
Note that in the example of FIGS. 15A and 16A, the imaging directions of the two
実施例3おいても、実施例1と同様に、複数のセンサのキャリブレーション(座標合わせ)のために移動体(作業者)の移動軌跡を利用するので、センサの設置作業を容易に行うことができるという効果がある。 In the third embodiment as well, similar to the first embodiment, since the movement locus of the moving body (worker) is used for the calibration (coordinate adjustment) of the plurality of sensors, the sensor installation work can be easily performed. There is an effect that can be.
さらに実施例3のセンサシステムは、同一の測定空間を複数のセンサで検出する構成であるので、測定空間に存在する物体を死角なしで検出することが可能である。また、センサとして異種の検出方式を組み合わせることが可能となる。すなわちTOFセンサだけでなく、例えば、スキャン型のレーザレーダ、ステレオカメラ、ミリ波レーダなど、測距が可能なセンサであればどの組み合わせでも使用でき、座標合わせを行うとともに距離画像を生成することができる。 Furthermore, since the sensor system of the third embodiment is configured to detect the same measurement space with a plurality of sensors, it is possible to detect an object existing in the measurement space without a blind spot. Further, it is possible to combine different types of detection methods as the sensor. That is, not only the TOF sensor, but also any combination of sensors such as a scan type laser radar, a stereo camera, a millimeter wave radar, etc. that can measure the distance can be used to perform coordinate adjustment and generate a range image. it can.
さらには、組み合わせる一方のセンサが測距センサ以外の場合でも、予めそのセンサから得られる非距離データに対応する空間座標情報を保持しておけば、距離データに換算できるので問題ない。あるいは、非測距センサから得られる非距離データに対して、機械学習や深層学習などの手法で距離情報を推定できることから、測距センサ同士の組み合わせと同様に、座標合わせを行うとともに距離画像を生成することができる。 Further, even if one of the sensors to be combined is other than the distance measuring sensor, if the spatial coordinate information corresponding to the non-distance data obtained from the sensor is held in advance, it can be converted into the distance data, and there is no problem. Alternatively, since distance information can be estimated by methods such as machine learning and deep learning for non-distance data obtained from a non-distance sensor, coordinate adjustment is performed and a distance image is obtained in the same manner as when combining distance sensors. Can be generated.
このように、異種の検出方式のセンサを組み合わせることにより、対象物体の種類や測定環境(温度、明るさ、距離)に応じて最適なセンサに切り替えることができ、センサシステムの測定精度が向上するという効果がある。 In this way, by combining sensors of different detection methods, it is possible to switch to the most suitable sensor according to the type of target object and the measurement environment (temperature, brightness, distance), and the measurement accuracy of the sensor system is improved. There is an effect.
1,1’…センサシステム、
10…表示装置、
11…センサ(測距センサ)、
12…センサ連携処理装置、
21…発光部、
22…受光部、
23…距離画像生成部、
24…輝度画像生成部、
35…演算処理部、
40…検出対象領域、
42…撮影平面、
50…移動体の軌跡、
51〜53…ベクトル、
90〜92…エラー情報、
95…設置支援情報。
1, 1'... Sensor system,
10... Display device,
11... Sensor (distance measuring sensor),
12...Sensor cooperation processing device,
21... Light emitting part,
22... Light receiving part,
23... Distance image generation unit,
24... Luminance image generation unit,
35... Arithmetic processing unit,
40... Detection target area,
42... shooting plane,
50... the locus of the moving body,
51-53... vector,
90-92... error information,
95... Installation support information.
Claims (12)
前記複数のセンサからの距離画像を合成するために、前記センサ間の座標合わせ処理を行うセンサ連携処理装置と、
生成した距離画像を表示する表示装置と、を備え、
前記センサ連携処理装置は、前記センサ間の座標合わせ処理を行うため、前記複数のセンサにより検出対象領域内を移動する移動体の軌跡データを取得し、各センサで検出した移動体の軌跡が連続または一致するように各センサの検出座標を変換することを特徴とするセンサシステム。 In a sensor system in which a plurality of sensors are installed and a distance image is generated by measuring a distance to a detection target in a detection target area,
A sensor cooperation processing device that performs coordinate adjustment processing between the sensors in order to synthesize distance images from the plurality of sensors,
A display device for displaying the generated distance image,
Since the sensor cooperation processing device performs coordinate adjustment processing between the sensors, the trajectory data of the moving body moving in the detection target area is acquired by the plurality of sensors, and the trajectory of the moving body detected by each sensor is continuous. Alternatively, the sensor system is characterized in that the detection coordinates of each sensor are converted so as to match each other.
前記複数のセンサは、それぞれの検出対象領域が互いに隣接するように設置され、
前記センサ連携処理装置は、前記センサ間の座標合わせ処理を行うため、各センサで検出した検出対象領域内の軌跡が隣接する検出対象領域の軌跡と滑らかに連結させるように座標変換を行うことを特徴とするセンサシステム。 The sensor system according to claim 1, wherein
The plurality of sensors are installed so that respective detection target areas are adjacent to each other,
The sensor cooperation processing device performs coordinate conversion processing so that the trajectory in the detection target area detected by each sensor is smoothly connected to the trajectory of the adjacent detection target area in order to perform the coordinate matching processing between the sensors. Characteristic sensor system.
前記複数のセンサは、それぞれの検出対象領域がほぼ一致するように設置され、
前記センサ連携処理装置は、前記センサ間の座標合わせ処理を行うため、各センサで検出した検出対象領域内の軌跡が互いに重畳されるように座標変換を行うことを特徴とするセンサシステム。 The sensor system according to claim 1, wherein
The plurality of sensors are installed so that respective detection target areas substantially match,
A sensor system, wherein the sensor cooperation processing device performs coordinate conversion so that loci within a detection target region detected by each sensor are superimposed on each other in order to perform coordinate adjustment processing between the sensors.
前記センサ連携処理装置は、前記センサ間の座標合わせ処理を行うため、各センサにより検出対象領域内の床面または路面を検出し、各センサで検出した床面または路面の位置と方向が一致するよう座標変換を行うことを特徴とするセンサシステム。 The sensor system according to claim 2 or 3,
The sensor cooperation processing device detects the floor surface or the road surface in the detection target area by each sensor in order to perform the coordinate adjustment processing between the sensors, and the position and the direction of the floor surface or the road surface detected by each sensor match. A sensor system characterized by performing coordinate conversion.
前記センサ連携処理装置は、前記床面または前記路面を検出するために、各センサにより検出対象領域内の距離データと、検出対象領域内を移動する移動体の軌跡データを取得し、前記距離データの成す平面のうち、前記軌跡データの成す面と平行な面を前記床面または前記路面と判定することを特徴とするセンサシステム。 The sensor system according to claim 4,
In order to detect the floor surface or the road surface, the sensor cooperation processing device acquires distance data in the detection target area by each sensor, and trajectory data of a moving object moving in the detection target area, and the distance data. Among the planes formed by, the sensor system is characterized by determining a surface parallel to the surface formed by the trajectory data as the floor surface or the road surface.
前記センサ連携処理装置は、前記床面または前記路面を検出するために、各センサにより検出対象領域内を移動する移動体の軌跡データを取得し、前記軌跡データの成す面を前記床面または前記路面と判定することを特徴とするセンサシステム。 The sensor system according to claim 4,
The sensor cooperation processing device, in order to detect the floor surface or the road surface, acquires the trajectory data of the moving body that moves in the detection target region by each sensor, the surface formed by the trajectory data is the floor surface or the A sensor system characterized by being judged as a road surface.
前記センサ連携処理装置は、前記センサ間の座標合わせ処理を行うときの補正情報として、補正するセンサ名とその回転角度または平行移動量を前記表示装置に表示することを特徴とするセンサシステム。 The sensor system according to claim 1, wherein
The sensor system is characterized in that the sensor cooperation processing device displays, on the display device, a name of a sensor to be corrected and a rotation angle or a parallel movement amount thereof as correction information when performing coordinate processing between the sensors.
前記センサ連携処理装置は、前記センサ間の座標合わせ処理が不可能な場合、ユーザが手動で調整する際のセンサ設置支援情報として、調整すべきセンサ名とその回転角度または平行移動量を前記表示装置に表示することを特徴とするセンサシステム。 The sensor system according to claim 1, wherein
If the sensor coordination processing device cannot perform coordinate processing between the sensors, the sensor cooperation processing device displays the sensor name to be adjusted and its rotation angle or parallel movement amount as the sensor installation support information when the user manually adjusts. A sensor system characterized by being displayed on a device.
前記複数のセンサ間の座標合わせ処理を行うとともに、各センサからの距離データを合成する演算処理部を有し、
前記演算処理部は、前記センサ間の座標合わせ処理を行うため、前記複数のセンサにより検出対象領域内を移動する移動体の軌跡データを取得し、各センサで検出した移動体の軌跡が連続または一致するように各センサの座標変換パラメータを定めることを特徴とするセンサ連携処理装置。 In the sensor cooperation processing device that processes the distance data in the detection target area measured by the plurality of sensors with different installation positions in cooperation with each other,
A coordinate processing process is performed between the plurality of sensors, and an arithmetic processing unit that synthesizes distance data from each sensor is provided.
In order to perform coordinate adjustment processing between the sensors, the arithmetic processing unit acquires trajectory data of a moving body moving in the detection target area by the plurality of sensors, and the trajectory of the moving body detected by each sensor is continuous or A sensor cooperation processing device characterized in that coordinate conversion parameters of each sensor are determined so as to match.
前記演算処理部は、前記センサ間の座標合わせ処理を行う際、各センサで検出した移動体の軌跡が前記検出対象領域に出現するときのベクトル、または前記検出対象領域から消失するときのベクトルを求め、求めたベクトルが各センサ間で一致するように各センサの座標変換パラメータを定めることを特徴とするセンサ連携処理装置。 In the sensor cooperation processing device according to claim 9,
The arithmetic processing unit, when performing coordinate processing between the sensors, a vector when the trajectory of the moving body detected by each sensor appears in the detection target area, or a vector when disappearing from the detection target area, A sensor cooperation processing device, characterized in that coordinate conversion parameters of each sensor are determined so that the obtained vector matches between the respective sensors.
前記複数のセンサにより検出対象領域内を移動する移動体の軌跡データを取得するステップと、
各センサで検出した移動体の軌跡が連続または一致するように各センサの検出座標を変換して前記センサ間の座標合わせを行うステップと、
座標合わせを行った状態で前記複数のセンサからの距離画像を合成して表示するステップと、
を備えることを特徴とする距離測定方法。 In the distance measuring method for installing a plurality of sensors and measuring the distance to the detection target in the detection target area to generate a distance image,
A step of acquiring trajectory data of a moving body moving in a detection target area by the plurality of sensors;
Converting the detection coordinates of each sensor so that the loci of the moving body detected by each sensor are continuous or coincident, and performing coordinate adjustment between the sensors,
A step of synthesizing and displaying distance images from the plurality of sensors in a state where the coordinates are adjusted,
A distance measuring method comprising:
検出対象領域内を移動する前記移動体として、人物が移動することを特徴とする距離測定方法。 The distance measuring method according to claim 11,
A distance measuring method, wherein a person moves as the moving body moving in the detection target area.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018247332A JP7194015B2 (en) | 2018-12-28 | 2018-12-28 | Sensor system and distance measurement method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018247332A JP7194015B2 (en) | 2018-12-28 | 2018-12-28 | Sensor system and distance measurement method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020106475A true JP2020106475A (en) | 2020-07-09 |
JP7194015B2 JP7194015B2 (en) | 2022-12-21 |
Family
ID=71450734
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018247332A Active JP7194015B2 (en) | 2018-12-28 | 2018-12-28 | Sensor system and distance measurement method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7194015B2 (en) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023278868A1 (en) * | 2021-07-01 | 2023-01-05 | Summer Robotics, Inc. | Calibration of sensor position offsets based on rotation and translation vectors for matched trajectories |
US11704835B2 (en) | 2021-07-29 | 2023-07-18 | Summer Robotics, Inc. | Dynamic calibration of 3D acquisition systems |
US11785200B1 (en) | 2022-03-14 | 2023-10-10 | Summer Robotics, Inc. | Stage studio for immersive 3-D video capture |
US11808857B2 (en) | 2021-08-27 | 2023-11-07 | Summer Robotics, Inc. | Multi-sensor superresolution scanning and capture system |
JP7452333B2 (en) | 2020-08-31 | 2024-03-19 | 株式会社デンソー | LIDAR correction parameter generation method, LIDAR evaluation method, and LIDAR correction device |
US11974055B1 (en) | 2022-10-17 | 2024-04-30 | Summer Robotics, Inc. | Perceiving scene features using event sensors and image sensors |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005346617A (en) * | 2004-06-07 | 2005-12-15 | East Japan Railway Co | Passer-by behavior analysis system |
JP2007256091A (en) * | 2006-03-23 | 2007-10-04 | Space Vision:Kk | Method and apparatus for calibrating range finder |
US20100253492A1 (en) * | 2009-04-02 | 2010-10-07 | Gm Global Technology Operations, Inc. | Daytime pedestrian detection on full-windscreen head-up display |
JP2014109464A (en) * | 2012-11-30 | 2014-06-12 | Toshiba Corp | Object measuring device and object measuring method |
JP2016008875A (en) * | 2014-06-24 | 2016-01-18 | 株式会社リコー | Distance measurement device |
JP2018077196A (en) * | 2016-11-11 | 2018-05-17 | スタンレー電気株式会社 | Monitoring system |
-
2018
- 2018-12-28 JP JP2018247332A patent/JP7194015B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005346617A (en) * | 2004-06-07 | 2005-12-15 | East Japan Railway Co | Passer-by behavior analysis system |
JP2007256091A (en) * | 2006-03-23 | 2007-10-04 | Space Vision:Kk | Method and apparatus for calibrating range finder |
US20100253492A1 (en) * | 2009-04-02 | 2010-10-07 | Gm Global Technology Operations, Inc. | Daytime pedestrian detection on full-windscreen head-up display |
JP2014109464A (en) * | 2012-11-30 | 2014-06-12 | Toshiba Corp | Object measuring device and object measuring method |
JP2016008875A (en) * | 2014-06-24 | 2016-01-18 | 株式会社リコー | Distance measurement device |
JP2018077196A (en) * | 2016-11-11 | 2018-05-17 | スタンレー電気株式会社 | Monitoring system |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7452333B2 (en) | 2020-08-31 | 2024-03-19 | 株式会社デンソー | LIDAR correction parameter generation method, LIDAR evaluation method, and LIDAR correction device |
WO2023278868A1 (en) * | 2021-07-01 | 2023-01-05 | Summer Robotics, Inc. | Calibration of sensor position offsets based on rotation and translation vectors for matched trajectories |
US11704835B2 (en) | 2021-07-29 | 2023-07-18 | Summer Robotics, Inc. | Dynamic calibration of 3D acquisition systems |
US11887340B2 (en) | 2021-07-29 | 2024-01-30 | Summer Robotics, Inc. | Dynamic calibration of 3D acquisition systems |
US11808857B2 (en) | 2021-08-27 | 2023-11-07 | Summer Robotics, Inc. | Multi-sensor superresolution scanning and capture system |
US11785200B1 (en) | 2022-03-14 | 2023-10-10 | Summer Robotics, Inc. | Stage studio for immersive 3-D video capture |
US11974055B1 (en) | 2022-10-17 | 2024-04-30 | Summer Robotics, Inc. | Perceiving scene features using event sensors and image sensors |
Also Published As
Publication number | Publication date |
---|---|
JP7194015B2 (en) | 2022-12-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2020106475A (en) | Sensor system and distance measuring method | |
US20210041222A1 (en) | Registration of three-dimensional coordinates measured on interior and exterior portions of an object | |
US10598479B2 (en) | Three-dimensional measuring device removably coupled to robotic arm on motorized mobile platform | |
US20170131085A1 (en) | Method for optically measuring three-dimensional coordinates and controlling a three-dimensional measuring device | |
US9746311B2 (en) | Registering of a scene disintegrating into clusters with position tracking | |
US11335182B2 (en) | Methods and systems for detecting intrusions in a monitored volume | |
JP7064163B2 (en) | 3D information acquisition system | |
JP3690581B2 (en) | POSITION DETECTION DEVICE AND METHOD THEREFOR, PLAIN POSITION DETECTION DEVICE AND METHOD THEREOF | |
JP2019041261A (en) | Image processing system and setting method of image processing system | |
JPH06137828A (en) | Detecting method for position of obstacle | |
JP2019101000A (en) | Distance measurement point group data measurement system and control program | |
US20220092345A1 (en) | Detecting displacements and/or defects in a point cloud using cluster-based cloud-to-cloud comparison | |
JP5198078B2 (en) | Measuring device and measuring method | |
JP6503278B2 (en) | Shape measuring apparatus and shape measuring method | |
JP2019045299A (en) | Three-dimensional information acquisition device | |
JP2001166881A (en) | Pointing device and its method | |
JPWO2017199785A1 (en) | Monitoring system setting method and monitoring system | |
JP6368503B2 (en) | Obstacle monitoring system and program | |
EP3460773B1 (en) | Monitoring system | |
WO2020179382A1 (en) | Monitoring device and monitoring method | |
JP7244802B2 (en) | Object detection system and object detection program | |
JP7244801B2 (en) | Object detection system and object detection program | |
JP3222664B2 (en) | Member position / posture measuring method and member joining method | |
JP2017111118A (en) | Registration calculation between three-dimensional(3d)scans based on two-dimensional (2d) scan data from 3d scanner | |
JP2005017203A (en) | Position detection device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210520 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220314 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220419 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220615 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221004 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221114 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221206 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221209 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7194015 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |