JP5561066B2 - Person detection device, person detection method, and program - Google Patents
Person detection device, person detection method, and program Download PDFInfo
- Publication number
- JP5561066B2 JP5561066B2 JP2010216147A JP2010216147A JP5561066B2 JP 5561066 B2 JP5561066 B2 JP 5561066B2 JP 2010216147 A JP2010216147 A JP 2010216147A JP 2010216147 A JP2010216147 A JP 2010216147A JP 5561066 B2 JP5561066 B2 JP 5561066B2
- Authority
- JP
- Japan
- Prior art keywords
- leg
- segment
- segments
- person
- range data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Manipulator (AREA)
- Image Processing (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Image Analysis (AREA)
Description
本発明は、人物検出装置、人物検出方法及びプログラムに関する。本発明は、人物検出装置を備えたロボット及び監視システム、並びにコンピュータに人物検出処理を実行させるプログラムが格納されたコンピュータ読み取り可能な記憶媒体にも関する。 The present invention relates to a person detection device, a person detection method, and a program. The present invention also relates to a robot and a monitoring system provided with a person detection device, and a computer-readable storage medium storing a program for causing a computer to execute a person detection process.
人物を正確、且つ、比較的簡単に検出する技術は、様々な分野で求められている。人物の検出が求められる一例としては、ユーザに各種サービスを提供するサービスロボットが挙げられる。サービスロボットは、商業施設、博物館、駅等の公共の空間で案内、搬送等のサービスを提供する際に、ユーザとのインタラクション（Interaction）を効率的に行うために、リアルタイムで人物を検出可能であることが望まれる。 A technique for accurately and relatively easily detecting a person is required in various fields. As an example in which detection of a person is required, there is a service robot that provides various services to a user. Service robots can detect people in real time in order to efficiently interact with users when providing services such as guidance and transportation in public spaces such as commercial facilities, museums, and stations. It is desirable to be.
従来、カメラが撮像した画像データに画像処理を施すことにより人物を検出する各種方法が提案されている。一例として、肌色を検出することで人物を検出する方法があるが、この方法では人物の顔等の肌色の部位が撮像されないと人物を検出することができないので、例えば後ろ向きの人物を検出することはできない。 Conventionally, various methods for detecting a person by performing image processing on image data captured by a camera have been proposed. As an example, there is a method of detecting a person by detecting the skin color, but this method cannot detect a person unless a skin color part such as a person's face is imaged. I can't.
カメラが撮像した画像データに画像処理を施すことにより人物を検出する方法では、扱う画像データの量が比較的多いため、リアルタイムで人物を検出したり、人物を検出した後のサービスへの連携動作を考慮して人物の移動方向や速度を検出することは難しい。更に、カメラが撮像した画像データは、照明や人物の周辺に位置する各種物体を含む環境（以下、人物検出環境と言う）に大きく影響される。例えば、非常に暗い照明のもとでは肌色が検出できなかったり、壁に人物のポスターが貼られているとポスターの人物のパターンを人物と誤検出しまう可能性がある。 In the method of detecting a person by performing image processing on the image data captured by the camera, the amount of image data to be handled is relatively large. Therefore, a person is detected in real time or linked to a service after the person is detected. It is difficult to detect the moving direction and speed of a person in consideration of the above. Furthermore, image data captured by the camera is greatly influenced by an environment including lighting and various objects located around the person (hereinafter referred to as a person detection environment). For example, if the skin color cannot be detected under extremely dark lighting, or if a poster of a person is stuck on the wall, the pattern of the person on the poster may be erroneously detected as a person.
他の例として、人物の形状に相当する二次元パターンを予め登録しておき、撮像された二次元パターンと比較することで人物を検出する方法があるが、人物の形状は姿勢により大きく異なり、全ての姿勢に対応する二次元パターンを登録しておくことはできないので、正確に人物を検出することは難しい。更に、人物のパターンを三次元モデルで形成する方法もあるが、二次元パターンを用いる場合と同様の理由で、正確に人物を検出することは難しい。 As another example, there is a method in which a two-dimensional pattern corresponding to the shape of a person is registered in advance and a person is detected by comparing with a captured two-dimensional pattern. Since it is impossible to register a two-dimensional pattern corresponding to all postures, it is difficult to accurately detect a person. Furthermore, there is a method of forming a person pattern with a three-dimensional model, but it is difficult to accurately detect a person for the same reason as when a two-dimensional pattern is used.
一方、センサにより人物の脚の特徴を抽出して人物を検出する方法も提案されている。脚の特徴を抽出して人物を検出する方法の場合、センサの出力データから背景差分により移動する脚を抽出できる。しかし、この方法では、検出対象となる人物の周辺に複数の物体等が存在する比較的混雑した空間において、静止或いは移動している人物の脚の特徴を抽出することは難しい。これは、このような空間では、人間の脚と似た多数の特徴が存在し、人のセグメントを正しく検知することが難しいことと、対象人物が移動する際には人のセグメントの幾何特徴が変動するため、静止時と移動時の脚の特徴が異なりシームレス（Seamless）に脚を抽出することが難しいこと等による。このように、上記の如き比較的混雑した空間では、人物の脚でない対象物（例えば、台車の脚等）を誤検出してしまったり、静止している脚を検出できない可能性がある。 On the other hand, a method for detecting a person by extracting a feature of a person's leg using a sensor has been proposed. In the method of detecting a person by extracting the features of the legs, the moving legs can be extracted from the output data of the sensor based on the background difference. However, with this method, it is difficult to extract the features of the legs of a person who is stationary or moving in a relatively congested space where a plurality of objects exist around the person to be detected. This is because in such a space, there are many features similar to human legs, and it is difficult to correctly detect human segments, and when the target person moves, the geometric characteristics of human segments Because it fluctuates, it is difficult to extract legs seamlessly (Seamless) due to differences in the characteristics of legs when stationary and when moving. As described above, in a relatively congested space as described above, an object that is not a human leg (for example, a leg of a carriage) may be erroneously detected, or a stationary leg may not be detected.
脚の特徴を抽出して人物を検出する従来の人物検出方法では、人物の移動時及び静止時にかかわらず脚の特徴を抽出することが難しいため、人物を正確、且つ、比較的簡単に検出することは難しいという問題があった。 In the conventional person detection method that detects the person by extracting the feature of the leg, it is difficult to extract the feature of the leg regardless of whether the person is moving or stationary, so that the person is detected accurately and relatively easily. There was a problem that it was difficult.
そこで、本発明は、人物の移動時及び静止時にかかわらず脚の特徴を抽出して人物を正確、且つ、比較的簡単に検出可能な人物検出装置、人物検出方法及びプログラムを提供することを目的とする。 Accordingly, an object of the present invention is to provide a person detection device, a person detection method, and a program capable of accurately and relatively easily detecting a person by extracting leg features regardless of whether the person is moving or stationary. And
本発明の一観点によれば、重力方向と略垂直な平面で走査範囲を走査して基準位置から前記走査範囲内の対象物までの距離を測定してレンジデータを出力する走査手段と、前記レンジデータを所定周期でサンプリングして連続する２つのサンプリング点において所定条件を満たすレンジデータから前記対象物のエッジを形成するセグメントを形成し、前記対象物のエッジを形成する複数のセグメントのレンジデータの集合で形成されたクラスタに基づいて脚の特徴を抽出する抽出手段と、抽出した特徴の運動特性及び幾何情報に基づいて人物を検出する検出手段を備え、前記抽出手段は、１つのクラスタを形成する全てのレンジデータが包含される仮想円の最小半径が予め定義された最小値より大きく、且つ、予め定義された最大値の２倍より小さいという第１の条件、前記最小半径内のレンジデータの数が４個より大きいという第２の条件、及び前記１つのクラスタを形成するレンジデータが直線を形成しないという第３の条件を満たしていると、前記１つのクラスタが脚の特徴を有すると判断し、最短距離近傍法を用いて取得した前記脚の特徴を有すると判断された複数のクラスタに含まれる２つのセグメントペアの移動特性に基づいて、各セグメントペアが静止している静止セグメントを分類する静止特徴強分類器と、各セグメントペアが移動している移動セグメントを分類する移動特徴強分類器を含み、分類されたセグメントの特徴に基づいて前記２つのセグメントペアから脚ペアを抽出する人物検出装置が提供される。 According to one aspect of the present invention, a scanning unit that scans a scanning range on a plane substantially perpendicular to the direction of gravity, measures a distance from a reference position to an object in the scanning range, and outputs range data; and in two sampling points continuously samples the range data in a predetermined cycle to form the segments forming the edge of the object from the predetermined condition is satisfied range data, range data of a plurality of segments forming the edge of the object extraction means for extracting a feature of the legs on the basis of the clusters formed by the aggregation of a detection means for detecting a person based on the extracted motion characteristics and geometric information feature, the extraction means, a cluster The minimum radius of the virtual circle that contains all the range data to be formed is larger than the predefined minimum value and is twice the predefined maximum value Satisfy the first condition that the number of range data within the minimum radius is greater than four, and the third condition that the range data forming the one cluster does not form a straight line. If so, the movement characteristics of the two segment pairs included in the plurality of clusters determined that the one cluster has a leg characteristic and is determined to have the leg characteristic acquired using the shortest distance neighborhood method A strong feature classifier that classifies stationary segments in which each segment pair is stationary, and a strong feature classifier that classifies moving segments in which each segment pair is moving. A person detection device is provided that extracts a leg pair from the two segment pairs based on features.
本発明の一観点によれば、重力方向と略垂直な平面で走査範囲を走査部により走査して基準位置から前記走査範囲内の対象物までの距離を測定してレンジデータを出力する工程と、前記レンジデータをプロセッサにより所定周期でサンプリングして連続する２つのサンプリング点において所定条件を満たすレンジデータから前記対象物のエッジを形成するセグメントを形成し、前記対象物のエッジを形成する複数のセグメントのレンジデータの集合で形成されたクラスタに基づいて脚の特徴を前記プロセッサにより抽出する工程と、抽出した特徴の運動特性及び幾何情報に基づいて前記プロセッサにより人物を検出する工程を含み、前記抽出する工程は、１つのクラスタを形成する全てのレンジデータが包含される仮想円の最小半径が予め定義された最小値より大きく、且つ、予め定義された最大値の２倍より小さいという第１の条件、前記最小半径内のレンジデータの数が４個より大きいという第２の条件、及び前記１つのクラスタを形成するレンジデータが直線を形成しないという第３の条件を満たしていると、前記１つのクラスタが脚の特徴を有すると判断し、最短距離近傍法を用いて取得した前記脚の特徴を有すると判断された複数のクラスタに含まれる２つのセグメントペアの移動特性に基づいて、各セグメントペアが静止している静止セグメントを分類する静止特徴強分類器と、各セグメントペアが移動している移動セグメントを分類する移動特徴強分類器を含み、分類されたセグメントの特徴に基づいて前記２つのセグメントペアから脚ペアを抽出する人物検出方法が提供される。 According to one aspect of the present invention, a step of scanning a scanning range by a scanning unit on a plane substantially perpendicular to the direction of gravity, measuring a distance from a reference position to an object in the scanning range, and outputting range data; The range data is sampled by a processor at a predetermined period, a segment that forms an edge of the object is formed from range data that satisfies a predetermined condition at two consecutive sampling points, and a plurality of edges that form the edge of the object are formed Extracting a leg feature by the processor based on a cluster formed of a set of segment range data, and detecting a person by the processor based on the motion characteristics and geometric information of the extracted feature, In the extraction process, the minimum radius of the virtual circle that includes all the range data forming one cluster is determined in advance. A first condition that is greater than a defined minimum value and less than twice a predefined maximum value; a second condition that the number of range data within the minimum radius is greater than four; and When one range data to form a cluster meets the third condition that does not form a straight line, it is determined that the one cluster has the characteristics of the legs, the characteristics of the legs obtained with the shortest distance neighbor method Based on the movement characteristics of two segment pairs included in a plurality of clusters determined to have a stationary feature strong classifier that classifies stationary segments in which each segment pair is stationary, and each segment pair moves A person detecting method including a strong feature classifier for classifying moving segments, and extracting a leg pair from the two segment pairs based on the characteristics of the classified segments It is provided.
本発明の一観点によれば、コンピュータに、走査部に指示を出力して重力方向と略垂直な平面で走査範囲を走査して基準位置から前記走査範囲内の対象物までの距離を測定してレンジデータを出力させる走査手順と、前記レンジデータを所定周期でサンプリングして連続する２つのサンプリング点において所定条件を満たすレンジデータから前記対象物のエッジを形成するセグメントを形成し、前記対象物のエッジを形成する複数のセグメントのレンジデータの集合で形成されたクラスタに基づいて脚の特徴を抽出させる抽出手順と、抽出した特徴の運動特性及び幾何情報に基づいて人物を検出させる検出手順を実行させるためのプログラムであって、前記抽出手順は、１つのクラスタを形成する全てのレンジデータが包含される仮想円の最小半径が予め定義された最小値より大きく、且つ、予め定義された最大値の２倍より小さいという第１の条件、前記最小半径内のレンジデータの数が４個より大きいという第２の条件、及び前記１つのクラスタを形成するレンジデータが直線を形成しないという第３の条件を満たしていると、前記１つのクラスタが脚の特徴を有すると判断し、最短距離近傍法を用いて取得した前記脚の特徴を有すると判断された複数のクラスタに含まれる２つのセグメントペアの移動特性に基づいて、各セグメントペアが静止している静止セグメントを分類する静止特徴強分類器と、各セグメントペアが移動している移動セグメントを分類する移動特徴強分類器を含み、分類されたセグメントの特徴に基づいて前記２つのセグメントペアから脚ペアを抽出するプログラムが提供される。 According to one aspect of the present invention, an instruction is output to a scanning unit to a computer, and a scanning range is scanned in a plane substantially perpendicular to the direction of gravity to measure a distance from a reference position to an object in the scanning range. Forming a segment that forms the edge of the object from range data that satisfies a predetermined condition at two consecutive sampling points obtained by sampling the range data at a predetermined cycle and outputting the range data . An extraction procedure for extracting leg features based on a cluster formed by a set of range data of a plurality of segments that form an edge, and a detection procedure for detecting a person based on the motion characteristics and geometric information of the extracted features The extraction procedure is a program for executing a virtual circle including all range data forming one cluster. The first condition that the small radius is greater than a predefined minimum value and less than twice the predefined maximum value, and the second condition that the number of range data within the minimum radius is greater than 4 And if the range data forming the one cluster satisfies the third condition that a straight line is not formed, it is determined that the one cluster has a leg characteristic, and the shortest distance neighborhood method is used. A stationary feature strong classifier that classifies stationary segments in which each segment pair is stationary based on the movement characteristics of two segment pairs included in a plurality of clusters determined to have the leg characteristics , and each segment pair Includes a moving feature strong classifier that classifies moving segments that are moving, and extracts leg pairs from the two segment pairs based on the characteristics of the classified segments Program is provided.
開示の人物検出装置、人物検出方法及びプログラムによれば、人物の移動時及び静止時にかかわらず脚の特徴を抽出して人物を正確、且つ、比較的簡単に検出することが可能となる。 According to the disclosed person detection apparatus, person detection method, and program, it is possible to detect the person accurately and relatively easily by extracting the features of the legs regardless of whether the person is moving or stationary.
開示の人物検出装置、人物検出方法及びプログラムでは、重力方向と略垂直な平面で走査範囲を走査して基準位置から走査範囲内の対象物までの距離を測定してレンジデータを出力し、レンジデータを所定周期でサンプリングしたセグメントに基づいて脚の特徴を抽出する。人物は、抽出した特徴の運動特性及び幾何情報に基づいて検出する。脚の特徴を抽出する抽出部は、最短距離近傍法を用いて取得した２つのセグメントペアの移動特性に基づいて、各セグメントペアが静止している静止セグメントを分類する静止特徴強分類器と、各セグメントペアが移動している移動セグメントを分類する移動特徴強分類器を含み、分類されたセグメントの特徴に基づいて２つのセグメントペアから脚ペアを抽出する。 In the disclosed person detection apparatus, person detection method, and program, the scanning range is scanned in a plane substantially perpendicular to the direction of gravity, the distance from the reference position to the object in the scanning range is measured, and range data is output. Leg features are extracted based on a segment of data sampled at a predetermined period. The person is detected based on the motion characteristics and geometric information of the extracted features. The extraction unit that extracts the features of the legs includes a stationary feature strong classifier that classifies stationary segments in which each segment pair is stationary based on the movement characteristics of the two segment pairs acquired using the shortest distance neighborhood method; A strong feature classifier that classifies the moving segment in which each segment pair is moving, and extracts a leg pair from the two segment pairs based on the characteristics of the classified segments.
基準位置から対象物までの距離の測定には、例えばレーザレンジファインダ等を用い、カメラ等の撮像手段を用いないので、人物検出環境に大きく影響されることなく距離を測定できる。又、人物を検出するためのデータ処理量は、カメラで撮像した画像データを処理する場合と比較すると非常に少ない。又、人物の移動時及び静止時にかかわらず人物の脚の特徴を正確、且つ、比較的簡単に抽出可能となる。このため、抽出した脚の特徴に基づいて人物を正確、且つ、比較的簡単に検出可能となる。 For the measurement of the distance from the reference position to the object, for example, a laser range finder or the like is used and no imaging means such as a camera is used. Therefore, the distance can be measured without being greatly influenced by the person detection environment. Further, the amount of data processing for detecting a person is very small compared to the case of processing image data captured by a camera. Also, it is possible to extract the characteristics of the leg of the person accurately and relatively easily regardless of whether the person is moving or stationary. Therefore, the person can be detected accurately and relatively easily based on the extracted leg features.
以下に、開示の人物検出装置、人物検出方法及びプログラムの各実施例を図面と共に説明する。 Hereinafter, embodiments of the disclosed person detection apparatus, person detection method, and program will be described with reference to the drawings.
（第１実施例）
先ず、本発明の第１実施例における人物検出装置について説明する。本実施例では、説明の便宜上、人物検出装置がサービスロボットに適用されているものとする。尚、以下の説明では、人物の「脚」とは、足首から脛（スネ）、膝（ヒザ）、腿（タイ）までを含む。尚、「腿」は、膝から上を指す上腿（ジョウタイ）と、膝から下を指す下腿（カタイ）を含む。
(First embodiment)
First, the person detection apparatus according to the first embodiment of the present invention will be described. In the present embodiment, for convenience of explanation, it is assumed that the person detection device is applied to a service robot. In the following description, the “leg” of a person includes an ankle, a shin, a knee, and a thigh. The “thigh” includes an upper leg (jotai) pointing up from the knee and a lower leg (cuttie) pointing down from the knee.
図１は、本実施例におけるサービスロボットの一例を示す側面図であり、図２は、走査装置又は走査手段として機能するレーザレンジファインダ（ＬＲＦ：Laser Range Finder）の走査範囲を説明する図である。 FIG. 1 is a side view showing an example of a service robot in this embodiment, and FIG. 2 is a diagram for explaining a scanning range of a laser range finder (LRF) that functions as a scanning device or scanning means. .
図１に示すように、ユーザに各種サービスを提供するサービスロボット１は、例えば人型のロボット本体２と、ベース部３を有する。ロボット本体２は、ユーザに対する案内等のサービスをアーム等の動きで提供する可動部と、ユーザに対する案内等のサービスを音声で提供する音声出力部と、ユーザに対する案内等のサービスを表示で行う表示部等を含む。ベース部３は、ＬＲＦ４を含む人物検出装置、サービスロボット１をＸＹ平面と平行な平面（以下、説明の便宜上「移動面」と言う）上の任意の方向へ移動させる駆動部（図示せず）等を含む。ＬＲＦ４は、人物の脚を検出して脚との距離を測定するので、移動面に対して人物の脚を検出するのに適した高さ位置のＸＹ平面を走査する位置に設けられている。サービスロボット１は、商業施設、博物館、駅等の公共の空間で案内、搬送等のサービスを提供する際に、ユーザ（即ち、人物）とのインタラクション（Interaction）を効率的に行うために、リアルタイムで人物を検出するよう構成されている。尚、ロボット本体２自体の構成は、提供するサービスに応じて適切に周知の構成を採用可能であるため、その詳細な図示及び説明は省略する。又、ベース部３内の駆動部の構成や駆動方法等も、周知の構成及び駆動方法を採用可能であるため、その詳細な図示及び説明は省略する。
As shown in FIG. 1, a
図２に示すように、ＬＲＦ４は、測定の開始、走査時間（又は、走査周期）、測定の終了等の指示に応答して、重力方向と平行な垂直面以外の任意平面の一例であるＸＹ平面で走査範囲９をレーザビームにより走査して基準位置から走査範囲９内の対象物までの距離を測定する。基準位置は、この例ではＬＲＦ４の位置である。走査範囲９は、ＬＲＦ４が距離の測定が可能な基準位置を中心とした所定の半径、且つ、所定の角度範囲で決まる扇状の領域である。この例では、走査範囲９は二次元に限定されている。走査時間（又は、走査周期）は、レーザビームが走査範囲９の一端から他端までを走査するのに要する時間である。ＬＲＦ４自体は周知であるため、その構成及び動作の説明は省略する。後述するように、人物検出装置は、ＬＲＦ４が測定した距離に基づいて対象物のＸＹ平面上の断面形状に相当するパターン（第１のパターン）を算出して人物検出に用いる。
As shown in FIG. 2, the LRF 4 is an example of an XY that is an example of an arbitrary plane other than a vertical plane parallel to the direction of gravity in response to an instruction such as start of measurement, scan time (or scan period), and end of measurement. The
図３は、人物検出装置の動作を説明するフローチャートである。図３において、ステップＳ１は、ＬＲＦ４が測定したレンジデータＤｒを所定周期でサンプリングする。又、ステップＳ２は、サンプリングされたレンジデータＤｒにフィルタ処理を施すと共に、レンジデータＤｒからセグメント（Segment）を形成してセグメントからクラスタ（Cluster）を形成する。 FIG. 3 is a flowchart for explaining the operation of the person detection apparatus. In FIG. 3, step S1 samples the range data Dr measured by the LRF 4 at a predetermined period. In step S2, the sampled range data Dr is filtered, and a segment is formed from the range data Dr to form a cluster from the segment.
図４は、レンジデータＤｒのクラスタ化を説明する図である。図４において、ＬＲＦ４の走査範囲９で検出された対象物１１〜１３のレンジデータＤｒのうち、ステップＳ１において所定周期でサンプリングされたレンジデータＤｒを丸印で示す。又、各対象物１１〜１３の輪郭（又は、エッジ）は太線で示す。ｒｉはＬＲＦ４により測定されたｉ番目のレンジデータＤｒｉの基準位置からの距離、ｒｉ＋１はＬＲＦ４により測定されたｉ＋１番目のレンジデータＤｒｉ＋１の基準位置からの距離、ｒｊはＬＲＦ４により測定されたｊ番目のレンジデータＤｒｊの基準位置からの距離、ｒｊ＋１はＬＲＦ４により測定されたｊ＋１番目のレンジデータＤｒｊ＋１の基準位置からの距離を示す。
FIG. 4 is a diagram for explaining clustering of the range data Dr. In FIG. 4, among the range data Dr of the
サンプリングされたレンジデータＤｒには、ステップＳ２においてスパイク（Spike）や反射によるノイズを減少させたり、細かい変動を無視させるためのフィルタ処理が施される。フィルタ処理は、例えばバウンドフィルタ（Bound Filter）、メディアンフィルタ（Median Filter）等の周知のフィルタにより施すことができる。 The sampled range data Dr is subjected to filter processing in step S2 to reduce noise due to spikes and reflections, or to ignore fine fluctuations. The filter process can be performed by a known filter such as a bound filter or a median filter.
フィルタ処理を施された連続する２つのサンプリング点におけるレンジデータＤｒは、ステップＳ２において例えば２点の基準位置からの距離の差が第１の閾値以下であり、且つ、２点のＸＹ平面上の距離が第２の閾値以下であると、同じ対象物のエッジの１つのセグメントを形成するものとして抽出され、同じ対象物のセグメントから１つのクラスタが形成される。つまり、１つのクラスタは、１つの対象物のセグメントを形成するレンジデータＤｒの集合である。 The range data Dr at the two consecutive sampling points subjected to the filter processing is, for example, that the difference in distance from the reference position of the two points is equal to or less than the first threshold in step S2, and the two points on the XY plane If the distance is less than or equal to the second threshold, it is extracted as forming one segment of the same object edge, and one cluster is formed from the same object segment. That is, one cluster is a set of range data Dr that forms a segment of one object.
尚、ＸＹ平面上における人物の脚の候補となる断面形状の半径、又は、半径の平均値、又は、半径の範囲は、予め経験値等から求めておくことができる。従って、例えば図４の例では、対象物１３の断面形状の半径が例えば人物の脚の候補と判定できる所定範囲外の値、或いは、対となる脚の候補の断面形状が後述する所定の位置関係になければ、対象物１３は人物の脚ではないと判定可能となる。尚、ＬＲＦ４の検出特性上、レンジデータＤｒは対象物の輪郭の約半分に対してのみ検出されるが、輪郭の約半分に対するレンジデータＤｒのＸＹ平面上の位置、隣接するレンジデータＤｒで形成されるセグメントのＸＹ平面上の曲率、１つのクラスタを形成する全てのレンジデータＤｒが包含される仮想円の最小半径等から対象物の半径を推定することができる。一方、対象物１１の断面形状の半径が人物の脚の候補と判定できる所定範囲内の値、且つ、対となる脚の候補の断面形状が後述する所定の位置関係にあれば、対象物１１は人物の脚であると判定可能となる。
It should be noted that the radius of the cross-sectional shape that is a candidate for a human leg on the XY plane, the average value of the radius, or the range of the radius can be obtained in advance from an experience value or the like. Therefore, in the example of FIG. 4, for example, the radius of the cross-sectional shape of the
例えばレンジデータＤｒｉを含む対象物１１とレンジデータＤｒｉ＋１を含む対象物１３の場合、基準位置からの距離ｒｉ，ｒｉ＋１の差が第１の閾値を超えており、対象物１１と対象物１３の断面形状が所定の位置関係を満たさないので、対象物１１と対象物１３は同じ人物の脚として検出されることはない。これに対し、レンジデータＤｒｉを含む対象物１１とレンジデータＤｒｊ＋１を含む対象物１２の場合、基準位置からの距離ｒｉ，ｒｊ＋１の差が第１の閾値以下であり、対象物１１と対象物１２の断面形状が所定の位置関係を満たすので、対象物１１と対象物１２は同じ人物の脚として検出される。
For example, in the case of the
このようにして、ステップＳ２では、測定されたレンジデータＤｒから各クラスタを管理するクラスタリストを作成する。クラスタリストには、レンジデータＤｒの数（測定点の数）、クラスタの中心座標、クラスタの中心座標から基準位置までの距離、クラスタを形成する全てのレンジデータＤｒが包含される仮想円の最小半径、クラスタを形成するレンジデータＤｒが直線を形成しているか否かの情報等が含まれる。尚、レンジデータＤｒの数、クラスタの中心座標、クラスタの中心座標から基準位置までの距離、クラスタを形成する全てのレンジデータＤｒが包含される仮想円の最小半径、クラスタを形成するレンジデータＤｒが直線を形成しているか否かの情報等は、いずれも周知の方法で算出可能であるため、その説明は省略する。 In this manner, in step S2, a cluster list for managing each cluster is created from the measured range data Dr. The cluster list includes the number of range data Dr (number of measurement points), the center coordinates of the cluster, the distance from the center coordinates of the cluster to the reference position, and the minimum of the virtual circle that includes all the range data Dr forming the cluster. The radius includes information on whether or not the range data Dr forming the cluster forms a straight line. The number of range data Dr, the center coordinates of the cluster, the distance from the center coordinates of the cluster to the reference position, the minimum radius of the virtual circle that includes all the range data Dr that forms the cluster, the range data Dr that forms the cluster Information on whether or not forms a straight line can be calculated by a well-known method, and a description thereof will be omitted.
図３の説明に戻るに、ステップＳ３は、ステップＳ２で形成されたクラスタリストに基づいてクラスタを選別して人物の脚の特徴を図５に示すパターン（第２のパターン）Ｐ１，Ｐ２，Ｐ３に基づいて抽出する。クラスタを選別して抽出される人物の脚の特徴とは、人物の脚に似ている特徴、或いは、人物の脚らしい（即ち、脚である可能性が高い）特徴である。図５は、基準位置に対する人物の両脚Ｌ１，Ｌ２のＸＹ平面上のパターンＰ１，Ｐ２，Ｐ３を説明する図である。パターンＰ１はＬＲＦ４が検出する両脚Ｌ１，Ｌ２が基準位置に対して前後しているパターン、パターンＰ２は両脚Ｌ１，Ｌ２が基準位置に対して並んで離間している（即ち、両脚Ｌ１，Ｌ２間に間隙が検出される）パターン、パターンＰ３は両脚Ｌ１，Ｌ２が基準位置に対して並んで接続している（即ち、両脚Ｌ１，Ｌ２間に間隙が検出されない）パターンである。図５では、説明の便宜上、パターンＰ１〜Ｐ３の移動方向の一例が太い矢印で示されている。 Returning to the description of FIG. 3, in step S3, clusters are selected based on the cluster list formed in step S2, and the characteristics of the legs of the person are shown in the patterns (second patterns) P1, P2, P3 shown in FIG. Extract based on The feature of the leg of the person extracted by selecting the cluster is a feature that resembles the leg of the person or a feature that is likely to be a leg of the person (that is, likely to be a leg). FIG. 5 is a diagram for explaining patterns P1, P2, and P3 on the XY plane of both the legs L1 and L2 of the person with respect to the reference position. The pattern P1 is a pattern in which both legs L1 and L2 detected by the LRF4 are back and forth with respect to the reference position, and the pattern P2 is such that both legs L1 and L2 are arranged side by side with respect to the reference position (that is, between the legs L1 and L2). The pattern P3 is a pattern in which both legs L1 and L2 are connected side by side with respect to the reference position (that is, no gap is detected between the legs L1 and L2). In FIG. 5, for convenience of explanation, an example of the movement direction of the patterns P1 to P3 is indicated by a thick arrow.
ステップＳ４では、ステップＳ３で抽出した特徴に基づいて対象物が人物であるか否かを判断して人物を検出する。この例では、ステップＳ４は、ステップＳ３で抽出した特徴の運動特性及び幾何情報に基づいて人物を検出する。特徴の運動特性は脚の候補の移動情報等を含み、特徴の幾何情報は同一人物の２脚の候補の情報等を含む。ステップＳ４の処理の詳細については後述する。 In step S4, a person is detected by determining whether or not the object is a person based on the feature extracted in step S3. In this example, step S4 detects a person based on the motion characteristics and geometric information of the feature extracted in step S3. The motion characteristic of the feature includes information on movement of the leg candidates, and the geometric information of the feature includes information on the two candidates for the same person. Details of the process of step S4 will be described later.
図６は、人物検出装置の一例を示すブロック図である。図６において、人物検出装置１１は、プログラムを実行するコンピュータを形成するＣＰＵ（Central Processing Unit）１２、メモリ１３、タイマ１４、他の装置とのインタフェースを形成する通信部１５、及びＬＲＦ４を有する。ＣＰＵ１２は、人物検出プログラムを実行することで上記ステップＳ１〜Ｓ４を含む人物検出処理の各手順を実行する。メモリ１３は、人物検出プログラム、及び、レンジデータＤｒ等の検出デーや上記クラスタリスト等の各種リストを含む各種データを格納する。タイマ１４は、リアルタイムクロック（ＲＴＣ：Real Time Clock）等で形成可能であり、レンジデータＤｒのサンプリング周期等の時間を管理する。タイマ１４は、ＣＰＵ１２内に設けられていても良い。通信部１５は、図１のサービスロボット１の場合であれば、ベース部３内の人物検出装置１１から見た外部装置（図示せず）に人物検出処理の結果等を通知したり、外部装置から人物検出処理を要求するコマンド等をＣＰＵ１２に入力したりする。この外部装置には、ロボット本体２内の可動部、音声出力部、表示部等が含まれる。
FIG. 6 is a block diagram illustrating an example of a person detection apparatus. In FIG. 6, the
尚、コンピュータに人物検出処理の各手順を実行させる人物検出プログラムは、メモリ１３を含む適切なコンピュータ読み取り可能な記憶媒体に格納されていれば良く、人物検出プログラムを格納する記憶媒体は特に限定されない。
The person detection program that causes the computer to execute each procedure of the person detection process may be stored in an appropriate computer-readable storage medium including the
ＣＰＵ１２は、測定の開始、走査時間（又は、走査周期）、測定の終了等の指示をＬＲＦ４に出力する。ＣＰＵ１２は、これらの指示に応答してＬＲＦ４が測定した距離に基づいて対象物のＸＹ平面上の断面形状に相当する第１のパターンを算出する算出部又は算出手段として機能する。メモリ１３は、人物の両脚に相当するＸＹ平面上の断面形状の第２のパターンＰ１〜Ｐ３が予め複数登録されている記憶部又は記憶手段として機能する。ＣＰＵ１２は、第１及び第２のパターンを比較して、比較結果に基づいて対象物から人物の脚の特徴を抽出する抽出部又は抽出手段、及び、抽出した特徴に基づいて対象物が人物であるか否かを判断する判断部又は判断手段としても機能する。
The
図７は、図３に示すステップＳ３の処理をより詳細に説明するフローチャートである。図７において、ステップＳ１１では、図３のステップＳ２で形成されたクラスタの中から未処理であるｋ番目のクラスタＣｋを取得する。ｋの初期値は例えば１である。ステップＳ１２では、前処理を行いクラスタＣｋが脚である可能性があるか否か、即ち、クラスタＣｋが脚の候補であるか否かを判定する。この前処理では、例えばクラスタＣｋを形成する全てのレンジデータＤｒが包含される仮想円の最小半径ＲＣｋを求め、最小半径ＲＣｋが予め定義された最小値Ｒｍｉｎより大きく、且つ、予め定義された最大値Ｒｍａｘの２倍より小さいという第１の条件、最小半径ＲＣｋ内のレンジデータＤｒの数が４個より大きいという第２の条件、及びクラスタＣｋを形成するレンジデータＤｒが直線を形成しないという第３の条件の全てを満たしていると、クラスタＣｋが脚である可能性がありステップＳ１２の判定結果がＹＥＳであると判断する。ステップＳ１２の判定結果がＮＯであると、ステップＳ１３では、ｋをｋ＝ｋ＋１にインクリメントして処理をステップＳ１２へ戻すことで、ステップＳ２で形成されたクラスタの中から次の未処理クラスタＣｋ＋１を取得する。 FIG. 7 is a flowchart for explaining the process of step S3 shown in FIG. 3 in more detail. In FIG. 7, in step S11, an unprocessed kth cluster Ck is acquired from the clusters formed in step S2 of FIG. The initial value of k is 1, for example. In step S12, preprocessing is performed to determine whether or not there is a possibility that the cluster Ck is a leg, that is, whether or not the cluster Ck is a leg candidate. In this preprocessing, for example, a minimum radius R Ck of a virtual circle including all the range data Dr forming the cluster Ck is obtained, and the minimum radius R Ck is larger than a predetermined minimum value Rmin and is defined in advance. The first condition that is less than twice the maximum value Rmax, the second condition that the number of range data Dr within the minimum radius RCk is greater than 4, and the range data Dr forming the cluster Ck form a straight line. If all the third conditions of not being satisfied are satisfied, the cluster Ck may be a leg, and it is determined that the determination result in step S12 is YES. If the decision result in the step S12 is NO, in a step S13, the next unprocessed cluster Ck + 1 is selected from the clusters formed in the step S2 by incrementing k to k = k + 1 and returning the process to the step S12. get.
ステップＳ１２の判定結果がＹＥＳであると、ステップＳ１４では、ｋをｋ＝ｋ＋１にインクリメントしてステップＳ２で形成されたクラスタの中から次の未処理クラスタＣｋ＋１を取得する。ステップＳ１５では、２個のクラスタＣｋ，Ｃｋ＋１がパターンＰ１に相当するか否かを判定し、判定結果がＹＥＳであると処理はステップＳ１６へ進み、判定結果がＮＯであると処理はステップＳ１７へ進む。ステップＳ１５の判定結果がＹＥＳの場合に実行されるステップＳ１６では、２個のクラスタＣｋ，Ｃｋ＋１を両脚の候補リストに追加し、処理はステップＳ１３へ進む。抽出された脚の特徴を表す両脚の候補リストには、クラスタＣｋの中心座標が脚Ｌ１の座標として登録され、クラスタＣｋ＋１の中心座標が脚Ｌ２の座標として登録される。ステップＳ１７では、ｋをｋ＝ｋ＋１にインクリメントしてステップＳ２で形成されたクラスタの中から次の未処理クラスタＣｋ＋２を取得する。 If the decision result in the step S12 is YES, in a step S14, k is incremented to k = k + 1 and the next unprocessed cluster Ck + 1 is acquired from the clusters formed in the step S2. In step S15, it is determined whether or not the two clusters Ck and Ck + 1 correspond to the pattern P1, and if the determination result is YES, the process proceeds to step S16, and if the determination result is NO, the process proceeds to step S17. move on. In step S16 executed when the determination result in step S15 is YES, two clusters Ck and Ck + 1 are added to the candidate list for both legs, and the process proceeds to step S13. In the candidate list of both legs representing the extracted leg characteristics, the center coordinates of the cluster Ck are registered as the coordinates of the leg L1, and the center coordinates of the cluster Ck + 1 are registered as the coordinates of the leg L2. In step S17, k is incremented to k = k + 1, and the next unprocessed cluster Ck + 2 is acquired from the clusters formed in step S2.
ステップＳ１８では、２個のクラスタＣｋ，Ｃｋ＋２がパターンＰ２に相当するか否かを判定し、判定結果がＹＥＳであると処理はステップＳ１６へ進み、判定結果がＮＯであると処理はステップＳ１９へ進む。ステップＳ１８の判定結果がＹＥＳの場合に実行されるステップＳ１６では、２個のクラスタＣｋ，Ｃｋ＋２を両脚の候補リストに追加し、処理はステップＳ１３へ進む。ステップＳ１９では、２個のクラスタＣｋ，Ｃｋ＋２がパターンＰ３に相当するか否かを判定し、判定結果がＹＥＳであると処理はステップＳ２０へ進み、判定結果がＮＯであると処理はステップＳ１３へ進む。ステップＳ２０では、２個のクラスタＣｋ，Ｃｋ＋２を単脚の候補リストに追加し、処理はステップＳ１３へ進む。抽出された脚の特徴を表す単脚の候補リストには、例えばクラスタＣｋの中心座標とクラスタＣｋ＋２の中心座標の中間点が単脚（接続状態の脚Ｌ１，Ｌ２）の座標として登録される。 In step S18, it is determined whether or not the two clusters Ck and Ck + 2 correspond to the pattern P2. If the determination result is YES, the process proceeds to step S16, and if the determination result is NO, the process proceeds to step S19. move on. In step S16 executed when the determination result in step S18 is YES, two clusters Ck and Ck + 2 are added to the candidate list for both legs, and the process proceeds to step S13. In step S19, it is determined whether or not the two clusters Ck and Ck + 2 correspond to the pattern P3. If the determination result is YES, the process proceeds to step S20, and if the determination result is NO, the process proceeds to step S13. move on. In step S20, two clusters Ck and Ck + 2 are added to the single leg candidate list, and the process proceeds to step S13. For example, an intermediate point between the center coordinates of the cluster Ck and the center coordinates of the cluster Ck + 2 is registered as the coordinates of the single leg (the connected legs L1 and L2) in the single leg candidate list representing the extracted leg characteristics.
図８は、パターン照合を説明するフローチャートである。図８に示す処理は、図７のステップＳ１５において２個のクラスタがパターンＰ１に相当するか否か、或いは、図７のステップＳ１８において２個のクラスタがパターンＰ２に相当するか否かを判断する際に実行される。予め定義した閾値α、β、γ、Ｌｒｍｉｎの値を適切に設定することにより、パターンＰ１或いはパターンＰ２との照合が可能となる。説明の便宜上、以下の説明ではパターンＰ１との照合を行うものとする。 FIG. 8 is a flowchart for explaining pattern matching. The process shown in FIG. 8 determines whether or not two clusters correspond to the pattern P1 in step S15 in FIG. 7, or whether or not two clusters correspond to the pattern P2 in step S18 in FIG. It is executed when By appropriately setting the threshold values α, β, γ, and Lr min defined in advance, the pattern P1 or the pattern P2 can be collated. For convenience of explanation, in the following explanation, it is assumed that collation with the pattern P1 is performed.
図８において、ステップＳ３１では、２個のクラスタＣｋ，Ｃｋ＋１のクラスタリストを参照してこれらのクラスタリストに登録された情報を取得する。ステップＳ３２では、クラスタＣｋを形成する全てのレンジデータＤｒが包含される仮想円ＲｃｋとクラスタＣｋ＋１を形成する全てのレンジデータＤｒが包含される仮想円Ｒｃｋ＋１の相似度Ｓｒ＝Ｒｃｋ／Ｒｃｋ＋１を算出する。ステップＳ３３では、クラスタＣｋの中心座標から基準位置までの距離ＤｋとクラスタＣｋ＋１の中心座標から基準位置までの距離Ｄｋ＋１の相似度Ｓｄ＝｜Ｄｋ−Ｄｋ＋１｜を算出する。又、ステップＳ３４では、クラスタＣｋの中心座標からクラスタＣｋ＋１の中心座標までの距離Ｄｃｋ，ｋ＋１を算出する。 In FIG. 8, in step S31, information registered in these cluster lists is acquired by referring to the cluster lists of the two clusters Ck and Ck + 1. In step S32, the virtual circle all range data Dr to form a virtual circle R ck and cluster Ck + 1 to all range data Dr to form a cluster Ck are included are encompassed R ck + 1 of the similarity Sr = R ck / R ck + 1 is calculated. In step S33, the distance D k + 1 of the similarity Sd = distance from D k and cluster Ck + 1 of the center coordinates of the center coordinates of the cluster Ck to the reference position to the reference position | D k -D k + 1 | is calculated. In step S34, a distance Dc k, k + 1 from the center coordinates of the cluster Ck to the center coordinates of the cluster Ck + 1 is calculated.
ステップＳ３５では、Ｓｒ＜α、Ｓｄ＜β、Ｄｃｋ，ｋ＋１＜γ、Ｒｃｋ＜Ｌｒｍｉｎ、Ｒｃｋ＋１＜Ｌｒｍｉｎの全ての条件を満足しているか否かを判定する。ここで、αは仮想円の相似度Ｓｒに対する閾値、βはクラスタ中心座標から基準位置までの距離の相似度Ｓｄに対する閾値、γはクラスタの中心座標間の距離に対する閾値、Ｌｒｍｉｎは人体の脚とみなす最小半径を示す閾値である。ステップＳ３５の判定結果がＮＯであると、ステップＳ３６は照合失敗、即ち、クラスタＣｋ，Ｃｋ＋１がパターンＰ１に相当しないと判断し、図７のステップＳ１５の判定結果はＮＯとなる。一方、ステップＳ３５の判定結果がＹＥＳであると、ステップＳ３７は照合成功、即ち、クラスタＣｋ，Ｃｋ＋１がパターンＰ１に相当すると判断し、図７のステップＳ１５の判定結果はＹＥＳとなる。 In step S35, it is determined whether or not all the conditions of Sr <α, Sd <β, Dk k, k + 1 <γ, R ck <Lr min , R ck + 1 <Lr min are satisfied. Here, α is a threshold for the similarity Sr of the virtual circle, β is a threshold for the similarity Sd of the distance from the cluster center coordinates to the reference position, γ is a threshold for the distance between the center coordinates of the clusters, and Lr min is a leg of the human body. This is a threshold value indicating the minimum radius to be considered. If the decision result in the step S35 is NO, the step S36 decides that the collation has failed, that is, the clusters Ck and Ck + 1 do not correspond to the pattern P1, and the decision result in the step S15 in FIG. On the other hand, if the decision result in the step S35 is YES, the step S37 decides that the collation is successful, that is, the clusters Ck and Ck + 1 correspond to the pattern P1, and the decision result in the step S15 in FIG.
パターンＰ２との照合を行う場合には、予め定義した閾値α、β、γ、Ｌｒｍｉｎの値をパターンＰ２との照合用の値に変更するだけで、ステップＳ３１〜Ｓ３７が上記パターンＰ１との照合の場合と同様に行われる。この場合、ステップＳ３５の判定結果がＮＯであると、ステップＳ３６は照合失敗、即ち、クラスタＣｋ，Ｃｋ＋２がパターンＰ２に相当しないと判断し、図７のステップＳ１８の判定結果はＮＯとなる。一方、ステップＳ３５の判定結果がＹＥＳであると、ステップＳ３７は照合成功、即ち、クラスタＣｋ，Ｃｋ＋２がパターンＰ２に相当すると判断し、図７のステップＳ１８の判定結果はＹＥＳとなる。 When collating with the pattern P2, only the values of the predefined threshold values α, β, γ, and Lr min are changed to values for collation with the pattern P2, and steps S31 to S37 are performed with the pattern P1. This is performed in the same manner as in the matching. In this case, if the decision result in the step S35 is NO, the step S36 decides that the collation has failed, that is, the clusters Ck and Ck + 2 do not correspond to the pattern P2, and the decision result in the step S18 in FIG. On the other hand, if the decision result in the step S35 is YES, the step S37 decides that the collation is successful, that is, the clusters Ck and Ck + 2 correspond to the pattern P2, and the decision result in the step S18 in FIG.
図７のステップＳ１９において２個のクラスタがパターンＰ３に相当するか否かは、例えば２個のクラスタを形成する全てのレンジデータＤｒが包含される仮想円の最小半径が予め定義された最小値Ｒｍｉｎより大きく、且つ、予め定義された最大値Ｒｍａｘより小さいか否かを判定することで判断可能である。この場合の仮想円は、２個のクラスタの中心座標の中間点を中心とするものであっても良い。 Whether or not the two clusters correspond to the pattern P3 in step S19 in FIG. 7 is determined based on, for example, the minimum value in which the minimum radius of the virtual circle including all the range data Dr forming the two clusters is defined in advance. This can be determined by determining whether or not it is larger than Rmin and smaller than a predefined maximum value Rmax. The virtual circle in this case may be centered on the midpoint of the center coordinates of the two clusters.
上記ステップＳ３で抽出した特徴は、人物の脚に似ている特徴、或いは、人物の脚らしい（即ち、脚である可能性が高い、脚の候補の）特徴である。従って、ステップＳ４では、抽出された脚の特徴を表す脚（両脚又は単脚）の候補リストから人物の脚を抽出する。ステップＳ４では更に、脚の候補リストから抽出した脚に基づいて人物の検出を行い、抽出した脚と検出結果となる人物との関連付けも行う。 The feature extracted in step S3 is a feature that resembles a person's leg or a feature that seems to be a person's leg (that is, a leg candidate that is likely to be a leg). Accordingly, in step S4, a human leg is extracted from a candidate list of legs (both legs or single legs) representing the extracted leg characteristics. In step S4, a person is detected based on the leg extracted from the leg candidate list, and the extracted leg is associated with the person as the detection result.
例えば、人物の脚は、候補が脚と特定された時点（又は、初期状態）の候補の位置を示すＸＹ座標InitPos、タイマ１４で管理されており候補が脚と特定された時の時間（又は、時刻）を示すタイムスタンプInitTimestamp、脚と特定された候補の現在位置を示すＸＹ座標CurrentPos、脚と特定された候補の予測位置を示すＸＹ座標PredictPos、脚と特定された候補の現在速度を表すベクトルCurrentVel、脚と特定された候補を脚として持つ人物Human等の情報で定義する。 For example, a person's leg is managed by an XY coordinate InitPos indicating the position of the candidate when the candidate is identified as a leg (or an initial state), and the time when the candidate is identified as a leg (or , Time) InitTimestamp, XY coordinates CurrentPos indicating the current position of the candidate identified as the leg, XY coordinates PredictPos indicating the predicted position of the candidate identified as the leg, and the current speed of the candidate identified as the leg It is defined by information such as a vector CurrentVel, a person Human having a leg identified as a leg, and the like.
一方、脚と特定された候補に基づいて検出した人物は、唯一の人物を示す識別情報ID、人物の現在位置を示すＸＹ座標CurrentPos、人物の予測位置を示すＸＹ座標PredictPos、人物の現在速度を示すベクトルCurrentVel、人物の両脚を示すLeftLeg, RightLeg等の情報（即ち、要素）で定義する。 On the other hand, the person detected based on the candidate identified as the leg is identified with the identification information ID indicating the only person, the XY coordinate CurrentPos indicating the current position of the person, the XY coordinate PredictPos indicating the predicted position of the person, and the current speed of the person. It is defined by information (namely, element) such as a vector CurrentVel indicating Left Leg and RightLeg indicating both legs of a person.
図９は、脚と人物との依存関係を説明する図である。図９において、実線は人物とこの人物を定義する情報の人物定義リストHuman、人物の左脚とこの人物の左脚を定義する情報の左脚定義リストLeftLeg、及び人物の右脚とこの人物の右脚を定義する右脚定義リストRightLegの関係を示す。又、破線は、人物定義リストHumanの情報、左脚定義リストLeftLegの情報、及び右脚定義リストRightLegの情報の依存関係を示す。 FIG. 9 is a diagram for explaining a dependency relationship between a leg and a person. In FIG. 9, a solid line indicates a person definition list Human of information defining the person and the person, a left leg definition list LeftLeg of information defining the left leg of the person and the left leg of the person, and a right leg of the person and the person The relationship of the right leg definition list RightLeg that defines the right leg is shown. A broken line indicates a dependency relationship between the information on the person definition list Human, the information on the left leg definition list LeftLeg, and the information on the right leg definition list RightLeg.
候補の脚への特定、脚と特定された候補とこの候補から検出された人物との関連付け、脚及び人物の状態更新等を含む処理は、上記の如き定義リストHuman, LeftLeg, RightLegに基づいて任意検出サイクルTiで実行される。このような処理に必要な情報には、直前の検出サイクル（以下、「前回検出サイクル」と言う）Ti-1の脚定義リストLegTi-1の情報、前回検出サイクルTi-1で検出された人物の人物定義リスト（前回検出サイクルTi-1の検出結果）HTi-1の情報、現在の検出サイクル（以下、「今回検出サイクル」と言う）Tiで抽出された候補が新たに脚と特定された脚定義リストLegTiの情報等が含まれる。 The processing including identification of a candidate's leg, association between a candidate identified as a leg and a person detected from this candidate, update of the state of the leg and person, etc. is based on the definition lists Human, LeftLeg, RightLeg as described above. It is executed in an arbitrary detection cycle Ti. Information necessary for such processing includes information on the leg definition list LegTi-1 of the immediately preceding detection cycle (hereinafter referred to as the “previous detection cycle”) Ti-1, and the person detected in the previous detection cycle Ti-1. Person definition list (previous detection cycle Ti-1 detection result) HTi-1 information, current detection cycle (hereinafter referred to as “current detection cycle”) Ti extracted candidates newly identified as legs This includes information on the leg definition list LegTi.
図１０は、図３に示すステップＳ４の処理をより詳細に説明するフローチャートである。図１０において、ステップＳ４１では、今回検出サイクルTiで抽出された候補が新たに脚と特定された新脚定義リストNLegTiを全てメモリ１３に登録する。又、ステップS４１では、今回検出サイクルTiで抽出された候補が新たに脚と特定された新脚定義リストNLegTi中の脚の現在位置を示すＸＹ座標CurrentPosと、前回検出サイクルTi-1の全ての脚定義リストLegTi-1中の脚の現在位置を示すＸＹ座標CurrentPosとを周知の最短距離近傍法（Nearest Neighborhood Algorithm）を用いて照合する。具体的には、新脚定義リストNLegTi中の脚の現在位置を示すＸＹ座標CurrentPosと、前回検出サイクルTi-1の全ての脚定義リストLegTi-1中の脚の現在位置を示すＸＹ座標CurrentPosとの最短距離を算出し、最短距離が閾値以下であれば最短距離近傍法により照合が成功した（以下、「照合成功」と言う）と判断して処理はステップ４２へ進む。一方、照合の結果最短距離が閾値以下である新脚定義リストNLegTi中の脚の現在位置を示すＸＹ座標CurrentPosが検出されないと、照合が不成功である（以下、「照合不成功」と言う）と判断して新脚定義リストNLegTiは他の脚又は人物と関連付けができていない非関連脚定義リストLegFeatureTiとしてメモリ１３に登録し、次の検出サイクル（以下、「次回検出サイクル」と言う）Ti+1で抽出された候補が新たに脚と特定された新脚定義リストNLegTi+1が作成されるまで待つ。ステップＳ４１で用いられる閾値は、新脚定義リストNLegTiが両脚に関するものであれば例えば人物の最大半径（例えば、１ｍ）に設定されて２脚と２脚の最短距離を算出し、新脚定義リストNLegTiが単脚に関するものであれば１脚と１脚の最短距離が算出される。２脚と２脚の最短距離とは、２脚の中心と２脚の中心との間の最短距離である。
FIG. 10 is a flowchart for explaining the process of step S4 shown in FIG. 3 in more detail. In FIG. 10, in step S <b> 41, all new leg definition lists NLegTi in which candidates extracted in the current detection cycle Ti are newly specified as legs are registered in the
図１１は、人物定義リストHuman、脚定義リストLeg及び非関連脚定義リストLegFeatureの一例を説明する図である。この例では、脚定義リストLeg1, Leg2が人物定義リストHuman1と関連付けられており、...、脚定義リストLegN, LegN+1が人物定義リストHumanMがと関連付けられているが、非関連脚定義リストLegFeature1, LegFeature2は他の脚又は人物と関連付けられていない。尚、新脚定義リストNLegの構成は、脚定義リストLegと同じ構成で良い。 FIG. 11 is a diagram illustrating an example of the person definition list Human, the leg definition list Leg, and the unrelated leg definition list LegFeature. In this example, leg definition list Leg1, Leg2 is associated with person definition list Human1, ..., leg definition list LegN, LegN + 1 is associated with person definition list HumanM, but unrelated leg definition The list LegFeature1, LegFeature2 is not associated with any other leg or person. The configuration of the new leg definition list NLeg may be the same as that of the leg definition list Leg.
ステップＳ４１において照合成功と判断されると、ステップＳ４２では、今回検出サイクルTiの脚定義リストLegTi中の脚の現在位置を示すＸＹ座標CurrentPosを新脚定義リストNLegTi中の対応するＸＹ座標CurrentPosで更新すると共に、脚定義リストLegTi中の現在速度を表すベクトルCurrentVelを更新してメモリ１３に登録する。現在速度を表すベクトルCurrentVelは、新脚定義リストNLegTi中の脚の現在位置を示すＸＹ座標CurrentPosと前回脚定義リストLegTi-1中の脚の現在位置を示すＸＹ座標CurrentPosの差分と、検出サイクルタイムDTから推定可能である。更に、ステップＳ４２では、今回検出サイクルTiまでに検出できていない脚の候補を更に抽出するため、照合できた候補を新脚定義リストNLegTiから削除すると共に、一定時間内に照合できない新脚定義リストNLegTiの要素も削除することで、新脚定義リストNLegTiを更新する。
If it is determined in step S41 that collation is successful, in step S42, the XY coordinate CurrentPos indicating the current position of the leg in the leg definition list LegTi of the current detection cycle Ti is updated with the corresponding XY coordinate CurrentPos in the new leg definition list NLegTi. At the same time, the vector CurrentVel representing the current speed in the leg definition list LegTi is updated and registered in the
ステップＳ４３では、他の脚又は人物と関連付けができていると判断され、且つ、更新した脚定義リストLegTiの要素を参照している人物定義リストHumanTiの要素を更新する。具体的には、人物定義リストHumanTiの対応するＸＹ座標CurrentPosと現在速度を表すベクトルCurrentVelを更新してメモリ１３に登録する。尚、例えば人物定義リストHumanTiの左脚要素LeftLeg又は右脚要素RightLegを無効（NULL）に更新することによって、この人物定義リストHumanTiが定義する人物に対して基準位置から見える脚の本数が変わる。
In step S43, it is determined that the association is made with another leg or person, and the element of the person definition list HumanTi that refers to the element of the updated leg definition list LegTi is updated. Specifically, the XY coordinate CurrentPos corresponding to the person definition list HumanTi and the vector CurrentVel indicating the current speed are updated and registered in the
このように、ステップＳ４２により今回検出サイクルTiの脚定義リストLegTiの要素（即ち、脚の状態）が更新され、ステップＳ４３により今回検出サイクルTiの人物定義リストHumanTiの要素（即ち、人物の状態）が更新される。 In this way, the element of the leg definition list LegTi of the current detection cycle Ti (ie, the leg state) is updated in step S42, and the element of the person definition list HumanTi of the current detection cycle Ti (ie, the state of the person) is updated in step S43. Is updated.
ステップＳ４４では、メモリ１３に登録されている、前回検出サイクルTi-1の他の脚又は人物と関連付けができていない非関連脚定義リストLegFeatureTi-1中の脚の現在位置を示すＸＹ座標CurrentPosがあれば、更新された今回検出サイクルTiの新脚定義リストNLegTi中の脚の現在位置を示すＸＹ座標CurrentPosとの最短距離を算出する。又、ステップＳ４４では、この最短距離が閾値以下であれば最短距離近傍法により照合が成功した（「照合成功」）と判断して、照合が成功した非関連脚定義リストLegFeatureTi-1中のＸＹ座標CurrentPosを非関連脚定義リストLegFeatureTi-1から削除すると共に、新たに脚と特定された候補の現在位置として、即ち、検出サイクルTiの脚定義リストLegTiの要素としてメモリ１３に登録することで脚定義リストLegTiを更新する。このように、ステップＳ４４では、新脚定義リストNLegTiから、前回検出サイクルTi-1で検出されていない脚の候補を抽出する。つまり、上記ステップＳ４１〜Ｓ４３の処理が完了した時点で新脚定義リストNLegTiが要素が登録されていない空リスト以外の場合、前回検出サイクルTi-1で検出されていない脚の候補と新脚定義リストNLegTiの各要素との最短距離を計算し、最短距離近傍法で候補を照合する。最短距離が閾値以下であれば、今回検出サイクルTiの新脚定義リストNLegTiの要素で定義した位置を新位置とする新たな脚を作成し、脚定義リストLegTiに追加する。
In step S44, the XY coordinates CurrentPos indicating the current position of the leg in the unrelated leg definition list LegFeatureTi-1 that is registered in the
ステップＳ４４の処理が完了した時点で、前回検出サイクルTi-1の脚定義リストLegTi-1と新脚定義リストNLegTiの要素の情報に基づいて、今回検出サイクルTiの脚定義リストLegTiの作成が完了する。この状態では、今回検出サイクルTiの脚定義リストLegTiを用いて人物の状態を更新することができる。 When the processing in step S44 is completed, the creation of the leg definition list LegTi for the current detection cycle Ti is completed based on the element information of the leg definition list LegTi-1 and the new leg definition list NLegTi of the previous detection cycle Ti-1. To do. In this state, the state of the person can be updated using the leg definition list LegTi of the current detection cycle Ti.
ステップＳ４５では、前回検出サイクルTi-1で検出されている人物の状態を更新する。つまり、上記如く更新した今回検出サイクルTiの脚定義リストLegTiと、この脚定義リストLegTiの要素を参照する人物定義リストHumanTiとの関連付けに基づいて、今回検出サイクルTiの人物の位置又は移動速度を以下のように更新する。先ず、人物の２脚を検出することができ、且つ、両脚の距離が人物の最大半径（例えば、１ｍ）以下の場合、両脚の中心で人物の位置を更新する。又、更新前後の脚の位置の差分とサイクルタイムDTで脚の移動速度を計算する。人物の２脚を検出することができ、且つ、両脚の距離が人物の最大半径を超える場合、両脚が同時に静止或いは移動する場合にはこの人物を人物定義リストHumanTiから削除する。この場合、両脚の静止或いは移動は、脚の移動速度から判断することが可能である。更に、人物の単脚しか検出できない場合、人物の位置をこの単脚の位置で更新し、上記の場合と同様に脚の速度も更新する。人物の脚が全て検出されない場合、脚が一時的に遮蔽されている可能性があるため、新たな脚の候補の全てに対し、人物の現在位置と最短距離を持つ２脚を選択する。この選択された２脚と人物との最短距離が探索半径Ｒｓ以内（例えば、Ｒｓ＝１．５×（人の最大半径））であれば、この２脚を使って人物の状態を更新し、上記の場合と同様に脚の移動速度も更新する。 In step S45, the state of the person detected in the previous detection cycle Ti-1 is updated. That is, based on the association between the leg definition list LegTi of the current detection cycle Ti updated as described above and the person definition list HumanTi referring to the elements of the leg definition list LegTi, the position or moving speed of the person of the current detection cycle Ti is determined. Update as follows. First, when two legs of a person can be detected and the distance between both legs is not more than the maximum radius (for example, 1 m) of the person, the position of the person is updated at the center of both legs. The leg moving speed is calculated from the difference between the leg positions before and after the update and the cycle time DT. When two legs of a person can be detected and the distance between both legs exceeds the maximum radius of the person, if both legs are stationary or moved simultaneously, the person is deleted from the person definition list HumanTi. In this case, the stillness or movement of both legs can be determined from the movement speed of the legs. Further, if only a single leg of a person can be detected, the position of the person is updated with the position of this single leg, and the speed of the leg is also updated as in the above case. If all the legs of the person are not detected, there is a possibility that the legs are temporarily shielded. Therefore, two legs having the shortest distance from the current position of the person are selected for all new leg candidates. If the shortest distance between the selected two legs and the person is within the search radius Rs (for example, Rs = 1.5 × (maximum radius of person)), the state of the person is updated using the two legs, The leg movement speed is also updated as in the above case.
尚、一定時間内（例えば、２検出サイクル）で人物定義リストHumanTi中の要素の更新がなければ、その人物定義リストHumanTiで表される人物は削除する。上記の如き処理が完了した時点で、前回検出サイクルTi-1で検出した人物の状態（位置、速度）、即ち、人今回検出サイクルTiの人物定義リストHumanTiの更新が全て完了する。 If no element in the person definition list HumanTi is updated within a certain time (for example, two detection cycles), the person represented by the person definition list HumanTi is deleted. When the processing as described above is completed, the update of the person status (position, speed) detected in the previous detection cycle Ti-1, that is, the person definition list HumanTi in the human current detection cycle Ti is completed.
ステップＳ４６では、新たな人物を検出する。つまり、脚定義リストLegTiで表される、人物定義リストHumanTiへの参照がなく、且つ、前回検出サイクルTi-1で検出した人物との関連付けができていない各脚に対し、脚定義リストLegTiで表される他の脚との距離を算出する。又、算出された最短距離が人物の最大半径以内である脚と関連付けができていない脚とで形成される脚ペアのうち、少なくとも一方の脚が静止していない脚ペアを新たな人物の２脚とみなして今回サイクルTiで新たに検出した人物の脚として人物定義リストHumanTiに追加する。これにより、新たな人物を検出することができ、処理はステップＳ４１へ戻る。
In step S46, a new person is detected. In other words, for each leg that is represented in the leg definition list LegTi and has no reference to the person definition list HumanTi and is not associated with the person detected in the previous detection cycle Ti-1, the leg definition list LegTi Calculate the distance to the other leg represented. In addition, among the leg pairs formed with the legs whose calculated shortest distance is within the maximum radius of the person and the legs that are not associated with each other, the leg pair whose at least one leg is not stationary is selected as a
尚、ステップＳ４において、ステップＳ３で抽出した人物の脚に似ている特徴（或いは、人物の脚らしい（即ち、脚である可能性が高い）特徴）に基づいて対象物が人物であるか否かを判断して人物を検出する方法は、図１０の手順を用いる方法に限定されるものではなく、人物の脚に似ている特徴に基づいて対象物が人物であるか否かを判断する方法であれば特に限定されない。 In step S4, whether or not the object is a person based on a feature similar to the leg of the person extracted in step S3 (or a feature that is likely to be a leg of the person (that is, a feature that is likely to be a leg)). The method of detecting whether or not a person is detected is not limited to the method using the procedure of FIG. 10, and it is determined whether or not the object is a person based on features similar to the legs of the person. If it is a method, it will not specifically limit.
（第２実施例）
ところで、検出対象となる人物の周辺に複数の物体等が存在する比較的混雑した空間において、静止或いは移動している人物を検出することは難しい。これは、このような空間では、人間の脚と似た多数の特徴が存在し、人のセグメントを正しく検知することが難しいことと、対象人物が移動する際には人のセグメントの幾何特徴が変動するため、静止時と移動時の脚の特徴が異なりシームレス（Seamless）に脚を抽出することが難しいこと等による。このような比較的混雑した空間では、人の脚を抽出できない場合や、人の脚でない物体を脚と誤検出する場合もある。
(Second embodiment)
By the way, it is difficult to detect a stationary or moving person in a relatively congested space where a plurality of objects exist around the person to be detected. This is because in such a space, there are many features similar to human legs, and it is difficult to correctly detect human segments, and when the target person moves, the geometric characteristics of human segments Because it fluctuates, it is difficult to extract legs seamlessly (Seamless) due to differences in the characteristics of legs when stationary and when moving. In such a relatively congested space, a human leg cannot be extracted, or an object that is not a human leg may be erroneously detected as a leg.
そこで、静止している人の脚と移動している人の脚を確実に抽出可能な第２実施例を、以下に説明する。図１２は、本発明の第２実施例におけるサービスロボットの一例を示すブロック図である。図１２中、図６と同一部分には同一符号を付し、その説明は省略する。 Therefore, a second embodiment capable of reliably extracting the legs of a stationary person and the legs of a moving person will be described below. FIG. 12 is a block diagram showing an example of a service robot in the second embodiment of the present invention. In FIG. 12, the same parts as those in FIG.
図１２において、サービスロボット１１１は、駆動部１１７、通信及び制御部１１５、及びＣＰＵ１１２を有する。ＣＰＵ１１２は、脚抽出部１１２Ａ及び人検知部１１２Ｂを形成する。脚抽出部１１２Ａは、図３のステップＳ３に相当する処理を実行して人物の脚の特徴、即ち、人物の脚に似ている特徴、或いは、人物の脚らしい（即ち、脚である可能性が高い）特徴を抽出する。人検知部１１２Ｂは、図３のステップＳ４に相当する処理を実行して、脚抽出部１１２Ａで抽出した特徴に基づいて対象物が人物であるか否かを判断して人物を検出する。通信及び制御部１１５は、図６の通信部１５の機能を備えると共に、駆動部１１７を制御する機能を有する。尚、駆動部１１７を制御する機能は、ＣＰＵ１１２により実現しても良く、この場合、駆動部１１７はＣＰＵ１１２に接続すれば良い。
In FIG. 12, the service robot 111 includes a drive unit 117, a communication and
図１３は、脚抽出処理の一例を説明するフローチャートである。図１２に示すＣＰＵ１１２は、図１３に示す脚抽出処理を実行することで脚抽出部１１２Ａの機能を実現する。
FIG. 13 is a flowchart illustrating an example of leg extraction processing. The
図３に示すステップＳ２では、フィルタ処理を施された連続する２つのサンプリング点におけるレンジデータＤｒは、例えば２点の基準位置からの距離の差が第１の閾値以下であり、且つ、２点のＸＹ平面上の距離が第２の閾値以下であると、同じ対象物のエッジの１つのセグメントを形成するものとして抽出され、同じ対象物のセグメントから１つのクラスタが形成される。図１３に示すステップＳ５１は、ステップＳ２の一部を形成する。 In step S2 shown in FIG. 3, the range data Dr at two consecutive sampling points subjected to the filter processing is, for example, a difference in distance from a reference position of two points is equal to or less than a first threshold value, and two points If the distance on the XY plane is equal to or smaller than the second threshold value, it is extracted as one segment of the same object edge, and one cluster is formed from the same object segment. Step S51 shown in FIG. 13 forms part of step S2.
ステップＳ５１では、ＬＲＦ４が測定したレンジデータＤｒから脚の特徴を抽出するために、レンジデータＤｒのエッジを抽出するセグメンテーションを行う。具体的には、２つの相隣サンプリング点（又は、レンジ点）の値、即ち、レンジ点同士の距離が一定閾値を超えると、セグメント（レンジ点の集合）の１つのエッジとして処理する。２つのエッジで、１つのセグメントを抽出する。 In step S51, in order to extract the leg features from the range data Dr measured by the LRF 4, segmentation for extracting the edges of the range data Dr is performed. Specifically, when the value of two adjacent sampling points (or range points), that is, the distance between the range points exceeds a certain threshold value, it is processed as one edge of a segment (a set of range points). One segment is extracted with two edges.
ステップＳ５２では、クラスタリストから任意の２つのセグメントペア（即ち、セグメントの対）を取得する。ステップＳ５３では、最短距離近傍法（Nearest Neighborhood Algorithm、以下ＮＮ法と言う）を用いて取得した２つのセグメントペアの移動特性を判断する。ＮＮ法は距離空間における最も近い点を探す最適化問題の一種、或いは、その解法である。ＮＮ法自体は、例えば非特許文献１等から周知である。ステップＳ５３では、人物検出環境の情報を使わずに、ＬＲＦ４が測定したレンジデータＤｒのフレーム間のセグメントの関連付けに基づいて各セグメントの移動状態を判別するために、極座標の状態ベクタ（Ｒ，θ）にＮＮ法を適用する。
In step S52, arbitrary two segment pairs (ie, segment pairs) are acquired from the cluster list. In step S53, the movement characteristics of the two segment pairs acquired using the nearest distance algorithm (hereinafter referred to as the NN method) are determined. The NN method is a kind of optimization problem for finding the closest point in the metric space, or a solution thereof. The NN method itself is well known from
図１４は、ＮＮ法を適用した場合のセグメント状態定義を説明する図である。図１４は、セグメントの移動状態を極座標で定義した場合を示し、各セグメントseg1,seg2の基準位置からの距離（レンジ）Ｒと角度θを状態とする。例えば、セグメントseg1の状態は、Ｘｉ（Ｒｔ，θｔ）で表される実線で示す状態からＸｉ＋１（Ｒｔ＋１，θｔ＋１）で表される破線で示す状態に変化する。ＬＲＦ４の検出サイクル間の各セグメントの移動量dＸは、距離Ｒと角度θの重みを調整するゲイン行列をＷで表すと、例えば次式のように定義される。 FIG. 14 is a diagram for explaining the segment state definition when the NN method is applied. FIG. 14 shows a case where the movement state of the segment is defined by polar coordinates, and the distance (range) R and the angle θ from the reference position of each segment seg1, seg2 are the states. For example, the state of the segment seg1 changes from a state represented by a solid line represented by X i (R t , θ t ) to a state represented by a broken line represented by X i + 1 (R t + 1 , θ t + 1 ). The movement amount dX of each segment during the detection cycle of the LRF 4 is defined by, for example, the following expression, where W represents a gain matrix for adjusting the weight of the distance R and the angle θ.
尚、人間の脚では、最大速度や、短時間内の移動軌跡に物理制限条件があり、これらの物理制限条件をフィルタとして用いることができる。 In human legs, there are physical restriction conditions on the maximum speed and the movement trajectory within a short time, and these physical restriction conditions can be used as a filter.
ステップＳ５４では、各セグメントペアが静止しているセグメント（以下、静止セグメントと言う）であるか否かを判定し、判定結果がＹＥＳであると処理はステップＳ５５−１へ進み、移動するセグメント（以下、移動セグメントと言う）であり判定結果がＮＯであると処理はステップＳ５５−２へ進む。ステップＳ５５−１，Ｓ５５−２は、ブースティング（Boosting）分類処理を行うブースティング分類ステップＳ５５を形成する。ブースティングとは、教師の有る学習を実行するための機械学習メタアルゴリズムの一種である。ステップＳ５５−１は静止特徴強分類器の機能を実現し、ステップＳ５５−２は移動特徴（又は、運動特性）強分類器の機能を実現する。弱分類器は真の分類と若干の相関のある学習機（learner）であるのに対し、強分類器は真の分類と良く相関する学習機である。分類ステップＳ５５は、例えば後述するアダブースト（Adaptive Boosting: AdaBoost）分類器の機能を実現するものであっても良い。AdaBoostは、前の分類器の間違いに応じて調整された次の分類器を作成する周知の機械学習アルゴリズムである。 In step S54, it is determined whether or not each segment pair is a stationary segment (hereinafter referred to as a stationary segment). If the determination result is YES, the process proceeds to step S55-1, and the moving segment ( Hereinafter, it is referred to as a movement segment), and if the determination result is NO, the process proceeds to step S55-2. Steps S55-1 and S55-2 form a boosting classification step S55 for performing boosting classification processing. Boosting is a kind of machine learning meta-algorithm for performing learning with a teacher. Step S55-1 realizes the function of a stationary feature strong classifier, and step S55-2 realizes the function of a moving feature (or motion characteristic) strong classifier. A weak classifier is a learner that has a slight correlation with the true classification, while a strong classifier is a learning machine that correlates well with the true classification. For example, the classification step S55 may realize a function of an AdaBoost classifier described later. AdaBoost is a well-known machine learning algorithm that creates the next classifier that is adjusted according to the mistakes of the previous classifier.
尚、上記の如き分類器自体、或いは、データマイニング（Data Mining）自体は、例えば非特許文献２等から周知である。
The classifier itself or the data mining itself as described above is well known from
ステップＳ５６では、ステップＳ５５−１又はステップＳ５５−２で分類されたセグメントの特徴に基づいて、セグメントペアを両脚として抽出するか否かを判定し、判定結果がＮＯであると処理はステップＳ５２へ戻る。一方、ステップＳ５６の判定結果がＹＥＳであると、ステップＳ５７では、抽出したセグメントペア、即ち、２つのセグメントを脚ペアとみなし、処理はステップＳ５８へ進む。ステップＳ５８では、未評価のセグメントペアが有るか否かを判定し、判定結果がＹＥＳであると処理はステップＳ５２へ戻る。ステップＳ５８の判定結果がＮＯであると、ステップＳ５９では、ＬＲＦ４の次の検出サイクルへ進み、処理はステップＳ５１へ戻る。 In step S56, it is determined whether or not the segment pair is extracted as both legs based on the feature of the segment classified in step S55-1 or step S55-2. If the determination result is NO, the process proceeds to step S52. Return. On the other hand, if the decision result in the step S56 is YES, in a step S57, the extracted segment pair, that is, two segments are regarded as a leg pair, and the process advances to a step S58. In step S58, it is determined whether there is an unevaluated segment pair. If the determination result is YES, the process returns to step S52. If the decision result in the step S58 is NO, in a step S59, the process proceeds to the next detection cycle of the LRF 4, and the process returns to the step S51.
このように、本実施例では、脚の特徴を抽出する際に、背景との差分又はフレーム間差分等を使用しないので、サービスロボット１１１の移動時に背景の更新又は管理を行う必要はなく、セグメントのサイズ変更によるフレーム差分の誤差も発生しない。又、セグメントの状態ベクタを用いて脚の特徴を抽出するため、全レンジデータの差分を求める場合と比べると計算量を大幅に削減可能となる。更に、脚の物理制限条件を適用した脚の抽出を行うことにより、脚である可能性が低いセグメントを分離することができ、後述するAdaBoost分類器の学習サンプルの作成及びオンライン（Online）分類を効率的に行うことができる。 As described above, in this embodiment, when extracting the leg feature, the difference from the background or the interframe difference is not used, so there is no need to update or manage the background when the service robot 111 moves, and the segment There is no frame difference error due to the size change. In addition, since the leg features are extracted using the state vector of the segment, the amount of calculation can be greatly reduced as compared with the case of obtaining the difference of all range data. Furthermore, by extracting the legs with physical restriction conditions of the legs, it is possible to separate the segments that are not likely to be legs, and to create a learning sample of the AdaBoost classifier described later and online classification Can be done efficiently.
又、分類ステップＳ５５では、対象となるデータに対する既知の性質（移動、静止）を判別し、判別結果を利用してデータに対する選択操作を前処理として行う。更に、分類ステップＳ５５の処理結果を利用して、静止セグメントの特徴及び移動セグメントの特徴を別々で学習させることで、特徴データの次元を低減して分類器の作成及び訓練データの少量化が可能となる。オンライン分類の場合、各分類器に必要となる特徴のみを計算すれば良いため、計算量が比較的少なくて済み、ＣＰＵ１１２への負荷を小さく抑えることができる。
In the classification step S55, a known property (moving or stationary) with respect to the target data is determined, and a selection operation for the data is performed as preprocessing using the determination result. Furthermore, by using the processing result of the classification step S55, the feature of the stationary segment and the feature of the moving segment are learned separately, so that the dimension of the feature data can be reduced, the classifier can be created, and the training data can be reduced. It becomes. In the case of online classification, since only the features required for each classifier need be calculated, the amount of calculation is relatively small, and the load on the
図１５は、ＮＮ法を用いた静止セグメントペアの判定処理を説明するフローチャートである。図１５において、ステップＳ６１は図１３に示すステップＳ５２に相当し、ステップＳ６２〜Ｓ６９は図１３に示すステップＳ５３，Ｓ５４に相当する。 FIG. 15 is a flowchart for explaining still segment pair determination processing using the NN method. In FIG. 15, step S61 corresponds to step S52 shown in FIG. 13, and steps S62 to S69 correspond to steps S53 and S54 shown in FIG.
ステップＳ６１では、クラスタリストから任意の２つのセグメントペアを取得する。ステップＳ６２では、ＮＮ法を用いて取得した２つのセグメントペアについて、現在のフレームと直前のフレームとの関連付けを行う。ステップＳ６３では、セグメントペアの移動量dＸを上記の式に基づいて取得する。 In step S61, two arbitrary segment pairs are acquired from the cluster list. In step S62, for the two segment pairs acquired using the NN method, the current frame is associated with the immediately preceding frame. In step S63, the movement amount dX of the segment pair is acquired based on the above formula.
ステップＳ６４では、セグメントペアが脚の物理制限条件を満たしているか否かを判定する。例えば、セグメントの速度Ｖ又は加速度Ａが脚の物理制限条件を満たしていなければ、ステップＳ６４の判定結果はＮＯとなり処理はステップＳ６５へ進む。ステップＳ６５では、該当するセグメントペアの処理が完了したと判断するので、図１３においてステップＳ５６の判定結果がＮＯである場合と同様の処理となる。 In step S64, it is determined whether or not the segment pair satisfies the leg physical restriction condition. For example, if the segment velocity V or acceleration A does not satisfy the leg physical restriction condition, the determination result in step S64 is NO and the process proceeds to step S65. In step S65, since it is determined that the processing of the corresponding segment pair has been completed, the processing is the same as in the case where the determination result of step S56 in FIG. 13 is NO.
セグメントの速度Ｖ及び加速度Ａの条件について見ると、人間の脚の最大速度及び加速度が物理制限条件により制限されることから、次のような関係が成立する。ここで、Ｖminはセグメントの最小速度、Ｖmaxはセグメントの最大速度、Ａmaxはセグメントの最大加速度を示す。
Ｖmin ＜ Ｖ ＜ Ｖmax
Ａ ＜ Ａmax
従って、セグメントの速度Ｖ及び加速度Ａが上記の関係を満たしていなければ、脚の物理制限条件を満たしていないと判断できる。
Looking at the conditions of segment velocity V and acceleration A, the following relationship is established because the maximum velocity and acceleration of a human leg are limited by physical limiting conditions. Here, Vmin is the minimum speed of the segment, Vmax is the maximum speed of the segment, and Amax is the maximum acceleration of the segment.
Vmin <V <Vmax
A <Amax
Therefore, if the segment velocity V and acceleration A do not satisfy the above relationship, it can be determined that the leg physical restriction condition is not satisfied.
尚、セグメントの直線移動及び速度方向変化の条件について見ると、通常、脚の短時間での速度方向の変化は少ないことから、次式で示すように、連続する２フレーム間の速度ベクタＶjを位置情報Ｐjと時間の差分dtで計算することができる。
Ｖji+1 ＝ (Ｐji＋１−Ｐji)/dt
Ｖji+2 ＝ (Ｐji＋２−Ｐji+1)/dt
Looking at the conditions for the linear movement of the segment and the speed direction change, since the speed direction change of the leg in a short time is usually small, the speed vector Vj between two consecutive frames is expressed as shown in the following equation. It can be calculated by the position information Pj and the time difference dt.
Vji + 1 = (Pji + 1-Pji) / dt
Vji + 2 = (Pji + 2-Pji + 1) / dt
上記２つの速度ベクタＶji+1，Ｖji+2の角度αjを以下に示す関係のように一定範囲βj内に限定することによって、セグメントが略直線移動したか、或いは、セグメントの移動方向（又は、進行方向）が変化したかを判断することができる。
｜αｊ｜ < βj
By limiting the angle αj of the two velocity vectors Vji + 1 and Vji + 2 within a certain range βj as shown in the following relationship, the segment has moved substantially linearly, or the moving direction of the segment (or It can be determined whether the direction of travel has changed.
| Αj | <βj
図１５は、セグメントの直線移動及び速度方向変化の条件を説明する図である。図１５は、直線移動及び移動方向変化の判断の概要と、セグメントが直線移動して移動方向が変化しない例と移動方向が変化する例を示す。あるフレームＦｉ＋１におけるセグメントの位置が次のフレームＦｉ＋２では図１５（ａ）に示す位置へ移動する際、太い実線で示す２βjの範囲内（即ち、速度ベクタの角度αｊが一定範囲βj内）で移動すれば図１５（ｂ）に示すようにセグメントは略直線移動したと判断し、２βjの範囲を超えて移動すれば図１５（ｃ）に示すようにセグメントの速度方向が変化したと判断することができる。 FIG. 15 is a diagram for explaining conditions for linear movement of segments and change in speed direction. FIG. 15 shows an outline of determination of linear movement and movement direction change, an example in which the segment moves linearly and the movement direction does not change, and an example in which the movement direction changes. When the position of a segment in a certain frame F i + 1 moves to the position shown in FIG. 15A in the next frame F i + 2 , it is within the range of 2βj indicated by a thick solid line (that is, the velocity vector angle αj is within a certain range βj). 15c, it is determined that the segment has moved substantially linearly as shown in FIG. 15 (b). If the segment moves beyond the range of 2βj, it is determined that the speed direction of the segment has changed as shown in FIG. 15 (c). can do.
従って、ステップＳ６４では、セグメントの速度方向変化が脚では起こりえない短時間で起これば、脚の物理制限条件を満たしていないと判断することもできる。更に、ステップＳ６４における脚の物理制限条件を満たしているか否かの判定は、上記セグメントの速度Ｖ、加速度Ａ、及び速度方向変化の少なくとも１つのパラメータに基づいて行うようにしても良い。 Accordingly, in step S64, if a change in the speed direction of the segment occurs in a short time that cannot occur in the leg, it can be determined that the physical restriction condition of the leg is not satisfied. Further, the determination as to whether or not the leg physical restriction condition in step S64 is satisfied may be made based on at least one parameter of the velocity V, acceleration A, and velocity direction change of the segment.
一方、ステップＳ６４の判定結果がＹＥＳであると、ステップＳ６６では、セグメントペアが移動セグメントであるか否かを判定する。ステップＳ６６では、例えばセグメントの移動量dＸが一定閾値以上であるか否かを判定することで、セグメントペアが移動セグメントであるか否かを判定する。ステップＳ６６の判定結果がＹＥＳであると、ステップＳ６７ではセグメントが移動セグメントであると判断し、ステップＳ６９では対応する移動特徴強分類器の処理（図１３に示すステップＳ５５−２の処理）を実行する。一方、ステップＳ６６の判定結果がＮＯであると、ステップＳ６８ではセグメントが静止セグメントであると判断し、ステップＳ６９では対応する静止特徴強分類器の処理（図１３に示すステップＳ５５−１の処理）を実行する。 On the other hand, if the decision result in the step S64 is YES, in a step S66, it is judged whether or not the segment pair is a moving segment. In step S66, for example, it is determined whether or not the segment pair is a moving segment by determining whether or not the segment movement amount dX is greater than or equal to a certain threshold value. If the decision result in the step S66 is YES, it is judged in a step S67 that the segment is a moving segment, and the corresponding moving feature strong classifier process (the process in the step S55-2 shown in FIG. 13) is executed in a step S69. To do. On the other hand, if the decision result in the step S66 is NO, it is judged that the segment is a stationary segment in a step S68, and the corresponding stationary feature strong classifier process (the process of the step S55-1 shown in FIG. 13) is determined in a step S69. Execute.
次に、図１３に示すステップＳ５６，Ｓ５７における静止セグメントペアからの脚の抽出を説明する。人間の両脚は同じ幾何情報を持つと仮定すれば、２つのセグメント間の幾何特徴の相似度を評価して両脚を特定することができる。幾何特徴の相似度の判断には、セグメント間の幾何サイズ又は幅及び距離の相似度に基づいて有向バウンディングボックス（ＯＢＢ：Oriented Bounding Box）を用いた判断を行っても、２つのセグメント間の幾何形状の相似度を評価して、２つのセグメント間の最大ハウスドルフ距離（Hausdorff Distance）を用いた判断を行うようにしても良い。最大ハウスドルフ距離は、ハウスドルフ空間（Hausdorff Space）において最大となるハウスドルフ距離である。 Next, the extraction of legs from a stationary segment pair in steps S56 and S57 shown in FIG. 13 will be described. Assuming that both human legs have the same geometric information, both legs can be identified by evaluating the similarity of geometric features between two segments. The similarity of geometric features can be determined by using a directed bounding box (OBB) based on the geometric size between segments or the similarity of width and distance. You may make it judge by using the maximum Hausdorff distance (Hausdorff Distance) between two segments by evaluating the similarity degree of geometric shape. The maximum Hausdorff distance is the Hausdorff distance that is maximum in the Hausdorff Space.
ＯＢＢは３つの要素、中心点の座標、各座標軸の傾きを表す方向ベクトル、ＯＢＢの各座標軸に沿った長さの半分を有し、３次元（又は、２次元）における任意の大きさと傾きを持った直方体（又は、長方形）を表現する。２次元又は３次元の点列を包囲するＯＢＢの作成方法自体は、例えば非特許文献３、非特許文献４等から周知である。
The OBB has three elements, the coordinates of the center point, a direction vector representing the inclination of each coordinate axis, and half of the length along each coordinate axis of the OBB, and an arbitrary size and inclination in three dimensions (or two dimensions). Represents a rectangular parallelepiped (or rectangle). A method of creating an OBB that surrounds a two-dimensional or three-dimensional point sequence is known from
図１７は、ＯＢＢの作成及びパラメータの定義を説明する図である。図１７（ａ）はセグメントのＯＢＢ（以下、セグメントＯＢＢとも言う）とセグメント（レンジ点の集合）の関係を示し、図１７（ｂ）はＯＢＢのパラメータを示す。図１７中、黒い丸印はレンジ点を示す。 FIG. 17 is a diagram for explaining OBB creation and parameter definition. FIG. 17A shows the relationship between the segment OBB (hereinafter also referred to as segment OBB) and the segment (a set of range points), and FIG. 17B shows the parameters of the OBB. In FIG. 17, black circles indicate range points.
セグメント間の幾何サイズ又は幅及び距離の相似度は、例えば次のように評価することができる。先ず、周知のＯＢＢ作成方法よりセグメントＯＢＢを作成し、以下の如きＯＢＢのパラメータを抽出する。
・ＯＢＢの指向性θi
・ＯＢＢのＸ軸のサイズ（又は、長さ）ＤＸi
・ＯＢＢのＹ軸のサイズ（又は、長さ）ＤＹi
・ＯＢＢの中心から原点までの距離Ｒi
・ＯＢＢの中心座標Ｏ'
The geometric size or the similarity between the width and the distance between the segments can be evaluated as follows, for example. First, a segment OBB is created by a known OBB creation method, and the following OBB parameters are extracted.
・ Direction of OBB θi
・ OBB X-axis size (or length) DXi
・ OBB Y-axis size (or length) DYi
・ Distance Ri from the center of the OBB to the origin
・ OBB center coordinates O '
セグメントｉ，ｊ間の幾何サイズ又は幅及び距離の相似度を評価するために、任意のセグメントペアに対して以下の両脚静止条件ｃ１〜ｃ４を満足するか否かを計算により求める。 In order to evaluate the geometric size or the similarity of the width and distance between the segments i and j, whether or not the following both-leg stationary conditions c1 to c4 are satisfied for an arbitrary segment pair is obtained by calculation.
両脚幅条件ｃ１：
Ｗmin ＜ ＤＸi/ＤＸj ＜ Ｗmax, Ｗmin ＜ ＤＹi/ＤＹj ＜ Ｗmax
両脚距離条件ｃ２：
Distance(O'i, O'j) ＜ Ｄmax
ＯＢＢの中心から原点までの距離条件ｃ３：
Ｒmin ＜ Ｒi/Ｒj ＜ Ｒmax
ＯＢＢの指向性条件ｃ４：
| |θi| − |θj| | ＜ θmax
Both leg width conditions c1:
Wmin <DXi / DXj <Wmax, Wmin <DYi / DYj <Wmax
Both legs distance condition c2:
Distance (O'i, O'j) <Dmax
Distance condition c3 from the center of the OBB to the origin:
Rmin <Ri / Rj <Rmax
OBB directivity condition c4:
|| θi | − | θj || <θmax
上記両脚静止条件ｃ１〜ｃ４を満足する場合は、静止脚ペアを抽出することができる。又、上記両脚静止条件ｃ１〜ｃ４を弱分類器とし、後述するAdaBoost分類器による分類を行うこともできる。 When the both leg stationary conditions c1 to c4 are satisfied, a stationary leg pair can be extracted. In addition, the above-described both-leg stationary conditions c1 to c4 can be used as weak classifiers, and classification can be performed by an AdaBoost classifier described later.
セグメントｉ，ｊ間の幾何形状の相似度の評価は、例えば上記の如く作成したＯＢＢを利用し、最大ハウスドルフ距離でセグメントペアの幾何形状の相似度を評価し、相似度が閾値以上の場合は静止脚ペアを抽出するものであっても良い。最大ハウスドルフ距離を評価する場合、予めセグメントの位置と方位を調整しておく。 For example, when the similarity of the geometric shape between the segments i and j is evaluated by using the OBB created as described above, the similarity of the geometric shape of the segment pair is evaluated at the maximum Hausdorff distance. May extract stationary leg pairs. When evaluating the maximum Hausdorff distance, the position and orientation of the segment are adjusted in advance.
図１８は、セグメントＯＢＢの指向性及び原点位置の調整方法を説明する図である。図１８（ａ）は、第１セグメントｉ及び第２セグメントｊを示し、図１８（ｂ）は第１セグメントｉのＯＢＢｉと第２セグメントｊのＯＢＢｊを示す。又、図１８（ｃ）は、図１８（ｂ）のＯＢＢｉ，ＯＢＢｊに座標変換（即ち、回転及び移動）処理を施した結果を示す。図１８中、梨地の丸印はレンジ点を示し、破線は脚の輪郭を示し、大きな黒丸印は重心（ＣＯＧ：Center Of Gravity）を示す。 FIG. 18 is a diagram for explaining a method of adjusting the directivity of the segment OBB and the origin position. 18A shows the first segment i and the second segment j, and FIG. 18B shows the OBBi of the first segment i and the OBBj of the second segment j. FIG. 18C shows the result of performing coordinate transformation (that is, rotation and movement) processing on OBBi and OBBj in FIG. 18B. In FIG. 18, a satin circle indicates a range point, a broken line indicates an outline of a leg, and a large black circle indicates a center of gravity (COG).
ＯＢＢの作成で取得した原点座標及び角度θより、計測点Ｐの座標を From the origin coordinates and angle θ obtained in the creation of OBB, the coordinates of the measurement point P are
調整したＯＢＢペアのハウスドルフ距離による形の相似度を評価することができる。図１９は、ハウスドルフ距離の計算例を説明する図である。図１９（ａ）はハウスドルフ距離による相似度の評価用データを示し、この例では評価用データは単純な２次元曲線である。一方、図１９（ｂ）は目標曲線とのハウスドルフ距離の変化を示し、この例では図１９（ａ）に示す各曲線の形をベースにしたハウスドルフ距離の計算結果である。図１９（ａ）中、太い実線で示す目標曲線との相似度が一番高い曲線を特定することで、調整したＯＢＢペアのハウスドルフ距離による形の相似度を評価することができる。図１９（ａ）中、縦軸はｙ軸を任意単位で示し、横軸はｘ軸を任意単位で示す。図１９（ｂ）中、縦軸は各曲線の目標の曲線とのハウスドルフ距離を示し、横軸は各曲線の識別番号を示す。この例では、図１９（ａ）中、便宜上一番下の曲線から目標曲線を除いて順に識別番号１，２，...，１０が付けられており、目標曲線との相似度は識別番号５の曲線が一番高い。
The similarity of the shape according to the Hausdorff distance of the adjusted OBB pair can be evaluated. FIG. 19 is a diagram for explaining a calculation example of the Hausdorff distance. FIG. 19A shows similarity evaluation data based on the Hausdorff distance. In this example, the evaluation data is a simple two-dimensional curve. On the other hand, FIG. 19B shows the change in the Hausdorff distance from the target curve, and in this example, is a calculation result of the Hausdorff distance based on the shape of each curve shown in FIG. In FIG. 19A, by specifying a curve having the highest similarity to the target curve indicated by a thick solid line, the similarity of the shape of the adjusted OBB pair according to the Hausdorff distance can be evaluated. In FIG. 19A, the vertical axis represents the y axis in arbitrary units, and the horizontal axis represents the x axis in arbitrary units. In FIG. 19B, the vertical axis represents the Hausdorff distance between each curve and the target curve, and the horizontal axis represents the identification number of each curve. In this example, in FIG. 19 (a),
次に、図１３に示すステップＳ５６，Ｓ５７における移動セグメントペアからの脚の抽出を説明する。移動セグメントペアが脚であることを特定するために、次のような両脚移動条件（又は、両脚運動条件）ｃ５〜ｃ８を設定する。 Next, leg extraction from the moving segment pair in steps S56 and S57 shown in FIG. 13 will be described. In order to specify that the moving segment pair is a leg, the following both-leg movement condition (or both-leg movement condition) c5 to c8 is set.
両脚相隣条件ｃ５：
人間が両脚で移動するため、連続する３フレームにおけるセグメントペアの空間距離Ｄｓが全て一定閾値Ｄmax以下、即ち、Ｄ＜Ｄmaxである。
Both leg adjacent condition c5:
Since a human moves with both legs, the spatial distances Ds of the segment pairs in three consecutive frames are all equal to or less than a certain threshold value Dmax, that is, D <Dmax.
両脚移動方向条件ｃ６：
連続する３フレームでは脚は同じ方向へ移動する可能性が高いことから、連続する３フレームにおけるセグメントペアの平均速度の角度差が一定閾値ｄθmax 以下である。
Both-leg moving direction condition c6:
Since there is a high possibility that the legs move in the same direction in three consecutive frames, the angle difference between the average speeds of the segment pairs in the three consecutive frames is equal to or less than a certain threshold dθmax.
両脚速度差条件ｃ７：
人間が両脚で移動するとき、片脚がサポート（Support）、片脚がスイング（Swing）するため、殆どの場合に両脚間に速度差があることから、ＬＲＦ４の３検出サイクルでの平均速度の比率が一定閾値ＶＲ以上である。
Both leg speed difference condition c7:
When a person moves with both legs, one leg supports and the other leg swings, so in most cases there is a speed difference between the legs, so the average speed of the three detection cycles of LRF4 ratio is greater than or equal a predetermined threshold value V R.
両脚垂直距離条件ｃ８：
人間が両脚で移動するとき、両脚の速度方向と垂直方向に沿った距離Ｄｖが一定閾値Ｄｖｔ以下である。
Both legs vertical distance condition c8:
When a person moves with both legs, the distance Dv along the direction perpendicular to the speed direction of both legs is equal to or less than a certain threshold value Dvt .
任意の連続する３フレームのセグメントペアに対し、両脚移動条件ｃ５〜ｃ８を満足する場合は、移動セグメントペアを抽出することができる。又、上記両脚移動条件ｃ５〜ｃ８を弱分類器とし、後述するAdaBoost分類器による分類を行うこともできる。 When both leg movement conditions c5 to c8 are satisfied for an arbitrary continuous three-frame segment pair, the moving segment pair can be extracted. Further, the above-described both-leg movement conditions c5 to c8 can be used as weak classifiers, and classification can be performed by an AdaBoost classifier described later.
次に、AdaBoost分類器による脚の分類及び選別を説明する。AdaBoost分類器による脚の分類及び選別は、次のように行うことができる。 Next, leg classification and selection by the AdaBoost classifier will be described. Leg classification and selection by the AdaBoost classifier can be performed as follows.
上記両脚静止条件ｃ１〜ｃ４及び両脚移動条件ｃ５〜ｃ８を予め用意したパラメータで判別することも可能であるが、各条件ｃ１〜ｃ８の重みを適切に決めることは難しい。そこで、AdaBoost分類器を利用し、上記条件ｃ１〜ｃ８を弱分類器とし、弱分類器を学習データで学習させることによって、強分類器を作成することもできる。 Although it is possible to discriminate the both leg stationary conditions c1 to c4 and the both leg moving conditions c5 to c8 with parameters prepared in advance, it is difficult to appropriately determine the weights of the conditions c1 to c8. Therefore, a strong classifier can be created by using an AdaBoost classifier, using the above conditions c1 to c8 as weak classifiers, and learning the weak classifiers with learning data.
AdaBoost分類器は、低精度の分類器、即ち、弱分類器を組み合わせて、高精度の分類器、即ち、強分類器を作成する。図２０は、AdaBoost分類器を用いた脚抽出処理の一例を説明するフローチャートである。図２０中、図１３と同一ステップには同一符号を付し、その説明は省略する。 The AdaBoost classifier combines a low-precision classifier, that is, a weak classifier, to create a high-precision classifier, that is, a strong classifier. FIG. 20 is a flowchart illustrating an example of leg extraction processing using the AdaBoost classifier. In FIG. 20, the same steps as those in FIG. 13 are denoted by the same reference numerals, and the description thereof is omitted.
図２０において、ステップＳ１５３では、ＮＮ法を用いて取得した２つのセグメントペアの移動特性を上記条件ｃ１〜ｃ８を用いて判断し、処理はステップＳ５４へ進む。ステップＳ５４の判定結果がＹＥＳであると処理はステップＳ１５５−１へ進み、判定結果がＮＯであると処理はステップＳ１５５−２へ進む。ステップＳ１５５−１，Ｓ１５５−２は、AdaBoost分類処理を行うAdaBoost分類ステップＳ１５５を形成する。ステップＳ１５５−１は、両脚幅条件ｃ１を学習する両脚幅分類器、両脚距離条件ｃ２を学習する両脚距離分類器、ＯＢＢの中心から原点までの距離条件ｃ３を学習するＯＢＢの距離・指向性分類器、及びＯＢＢの指向性条件ｃ４を学習する幾何相似度分類器の機能を実現し、これらの分類器を学習させることで静止特徴強分類器の機能を実現する。一方、ステップＳ１５５−２は、両脚相隣条件ｃ５を学習する両脚相隣分類器、両脚移動方向条件ｃ６を学習する両脚移動方向分類器、両脚速度差条件ｃ７を学習する両脚速度差分類器、及び両脚垂直距離条件ｃ８を学習する両脚垂直距離分類器（又は、歩幅距離分類器）の機能を実現し、これらの分類器を学習させることで移動特徴強分類器の機能を実現する。 In FIG. 20, in step S153, the movement characteristics of the two segment pairs acquired using the NN method are determined using the above conditions c1 to c8, and the process proceeds to step S54. If the determination result in step S54 is YES, the process proceeds to step S155-1, and if the determination result is NO, the process proceeds to step S155-2. Steps S155-1 and S155-2 form AdaBoost classification step S155 for performing AdaBoost classification processing. Step S155-1 is a both-leg width classifier that learns the both-leg width condition c1, a both-leg distance classifier that learns the both-leg distance condition c2, and a distance / directivity classification of the OBB that learns the distance condition c3 from the center of the OBB to the origin. And the function of the geometric similarity classifier that learns the OBB directivity condition c4, and the function of the static feature strong classifier is realized by learning these classifiers. On the other hand, the step S155-2 includes a both-leg phase-adjacent classifier that learns the both-leg phase-adjacent condition c5, a both-leg movement direction classifier that learns the both-leg movement direction condition c6, a both-leg speed difference classifier that learns the both-leg speed difference condition c7, The function of both legs vertical distance classifier (or stride distance classifier) that learns both legs vertical distance condition c8 is realized, and the function of the moving feature strong classifier is realized by learning these classifiers.
図２１は、AdaBoost分類器の学習及びオンライン分類を説明する図である。図２１は、ｎ個の分類器５００−１〜５００−ｎが細い実線で示す学習用サンプルに基づいて細い破線で示すようにオフライン学習を行い、太い実線で示すオンライン入力に基づいて太い破線で示すようにオフライン学習した分類器５００−１〜５００ｎの重みを用いてオンライン分類を行い、分類結果として次式に従って出力Ｈ（ｘ）が計算される例を示す。分類器５００−１〜５００ｎは弱分類器として機能し、弱分類器をオフライン学習させることでオンライン分類を行う際は強分類器として機能させる。次式中、ｈt（ｘ）はオフライン学習用サンプルで示されるルール、αtはオンライン入力で示されるルールｈt（ｘ）の信頼度（confidence）である。オンライン入力は、サービスロボット１１１の通信及び制御部１１５が外部の装置（図示せず）から受信する学習用データである。このように、オンライン入力を用いた分類（又は、識別）を、オンライン分類（又は、オンライン識別）と言う。
FIG. 21 is a diagram for explaining learning by the AdaBoost classifier and online classification. In FIG. 21, n classifiers 500-1 to 500-n perform offline learning based on the learning sample indicated by a thin solid line as indicated by a thin broken line, and the thick broken line indicates an online input indicated by a thick solid line. As shown, an example is shown in which online classification is performed using the weights of the classifiers 500-1 to 500n learned offline, and the output H (x) is calculated according to the following equation as a classification result. The classifiers 500-1 to 500n function as weak classifiers and function as strong classifiers when performing online classification by offline learning of the weak classifiers. In the following equation, h t (x) is a rule indicated by the offline learning sample, and α t is a confidence of the rule h t (x) indicated by the online input. The online input is learning data that the communication and
説明の便宜上、弱分類器の一例として、両脚静止条件ｃ１〜ｃ４のうち両脚幅条件ｃ１を学習する両脚幅分類器を作成するものとする。この場合、静止しているセグメントペアのＯＢＢi,ＯＢＢjの座標軸に沿った長さ（幅）を計算し、上記の両脚幅条件ｃ１が成立の場合は例えば弱分類器の出力を「１」とし、成立しない場合は例えば弱分類器の出力を「０」とする。ＷminとＷmaxは予め定義しておく閾値であるため、例えばＷmin，ＷmaxをＷmin＝０．６，Ｗmax＝１．４に設定しておくことができる。静止特徴強分類器と移動特徴強分類器を別々学習させ、セグメント（脚の特徴）のオンライン分類を行うことで、学習時間を短縮、或いは、分類の性能を向上することができる。 For convenience of explanation, as an example of the weak classifier, a both leg width classifier that learns the both leg width condition c1 among the both leg stationary conditions c1 to c4 is created. In this case, the length (width) of the stationary segment pair along the coordinate axes of OBBi and OBBj is calculated, and when the above-mentioned both leg width condition c1 is satisfied, for example, the output of the weak classifier is set to “1”, If not, for example, the output of the weak classifier is set to “0”. Since Wmin and Wmax are predefined thresholds, for example, Wmin and Wmax can be set to Wmin = 0.6 and Wmax = 1.4. By learning the stationary feature strong classifier and the moving feature strong classifier separately and performing online classification of the segments (leg features), the learning time can be shortened or the classification performance can be improved.
次に、人間の二足歩行を図２２と共に説明する。図２２は、人間の二足歩行の一例を示す図である。図２２では、人間の右側と左側が区別し易いように、左手と左脚を黒塗りで示す。又、ＬＲＦ４の床からの設置位置（即ち、高さ）Ｌｓを破線で示す。人間の二足歩行を分析することで、図１３に示すステップＳ５４においてセグメントペアが静止セグメントであるか、或いは、移動セグメントであるかを判別するようにしても良い。 Next, human biped walking will be described with reference to FIG. FIG. 22 is a diagram illustrating an example of human biped walking. In FIG. 22, the left hand and the left leg are shown in black so that the human right side and left side can be easily distinguished. Further, the installation position (ie, height) Ls of the LRF 4 from the floor is indicated by a broken line. By analyzing human biped walking, it may be determined in step S54 shown in FIG. 13 whether the segment pair is a stationary segment or a moving segment.
図２２に示すように、人間の二足歩行は、両脚が床に付いているＤＳ（Double Support）期間と片脚しか床に付いていない（ＳＳ）Single Support期間の繰り返しであることがわかる。二足歩行に特有なＤＳ期間とＳＳ期間の切り替えパターンを抽出することにより、人間の脚の移動状態を抽出することができる。具体的には、ＬＲＦ４の床からの高さＬｓを例えば１ｃｍ〜２ｃｍに設定することで、足首周辺を検出してＤＳ期間及びＳＳ期間の切り替えを観測することができる。ＬＲＦ４の高さＬｓが高すぎるとＳＳ期間の観測が難しくなるので、この例では高さＬｓはＬＲＦ４を配置可能な１ｃｍ〜２ｃｍの範囲に設定されるが、ＳＳ期間を観測可能であれば高さＬｓ（＞０）は１ｃｍより低くても良い。一定時間内（例えば、２秒）に検出される全セグメントを時刻を表すタイムスタンプ付でメモリ１３に保存し、極座標上の角度をインデックス（Index）としてセグメントを関連付けることで、以下に説明する時間及び空間の特徴を計算することができる。
As shown in FIG. 22, it can be seen that human biped walking is a repetition of a DS (Double Support) period in which both legs are on the floor and a (SS) Single Support period in which only one leg is on the floor. The movement state of the human leg can be extracted by extracting the switching pattern of the DS period and the SS period peculiar to bipedal walking. Specifically, by setting the height Ls of the LRF 4 from the floor to, for example, 1 cm to 2 cm, it is possible to detect the vicinity of the ankle and observe the switching between the DS period and the SS period. If the height Ls of the LRF4 is too high, it is difficult to observe the SS period. In this example, the height Ls is set in a range of 1 cm to 2 cm where the LRF4 can be arranged. The length Ls (> 0) may be lower than 1 cm. All the segments detected within a certain time (for example, 2 seconds) are stored in the
セグメントサイズの変化の有無は、例えば歩行中に脚（又は、靴）と床の角度に応じてセグメントサイズが変化することから検出可能である。又、ＳＳ→ＤＳ→ＳＳ、或いは、ＤＳ→ＳＳ→ＤＳの切り替えパターンの有無に応じてセグメントペアを分類可能である。例えば、セグメントサイズに変化が無く、ＤＳ期間しか存在しない場合には、セグメントペアが静止セグメントであると分類可能である。一方、例えばセグメントサイズに変化が有るか、或いは、二足歩行パターンが観測された場合には、セグメントペアを移動セグメントであると分類可能である。このようにセグメントペアを静止セグメントと移動セグメントに分類してAdaBoost分類器に渡すことができる。 The presence or absence of a change in segment size can be detected because the segment size changes according to the angle between the leg (or shoes) and the floor during walking, for example. Also, segment pairs can be classified according to the presence / absence of a switching pattern of SS → DS → SS or DS → SS → DS. For example, when there is no change in the segment size and only the DS period exists, the segment pair can be classified as a stationary segment. On the other hand, for example, when there is a change in the segment size or when a bipedal walking pattern is observed, the segment pair can be classified as a moving segment. In this way, segment pairs can be classified into stationary segments and moving segments and passed to the AdaBoost classifier.
表１は、上記の如き二足歩行の判断に用いるセグメントに関するＬＲＦ４の２検出サイクル分のデータを示す。セグメントＩＤ（IDentifier）は、各セグメントを識別するための識別子である。 Table 1 shows data for two detection cycles of LRF4 related to the segment used for the determination of biped walking as described above. The segment ID (IDentifier) is an identifier for identifying each segment.
表１の如き時間列で管理されメモリ１３に保存されたデータより、一定時間内（例えば、０．５秒）観測されているセグメントを軸脚とし、一定範囲（例えば、１ｍ）内に存在する相隣セグメントの有無を判断することにより、ＤＳ期間にあるセグメントペアを静止セグメントとして抽出し、ＳＳ期間とＤＳ期間の間で遷移するセグメントペアを移動セグメントとして抽出することができる。
Based on the data managed in the time sequence as shown in Table 1 and stored in the
従って、ステップＳ６４における脚の物理制限条件を満たしているか否かの判定は、上記セグメントの速度Ｖ、加速度Ａ、速度方向変化、及びＳＳ期間とＤＳ期間の間の遷移の少なくとも１つのパラメータに基づいて行うようにしても良い。 Therefore, the determination as to whether the leg physical restriction condition is satisfied in step S64 is based on at least one parameter of the speed V, acceleration A, speed direction change, and transition between the SS period and the DS period of the segment. May be performed.
図２３は、ＳＳ期間とＤＳ期間の間の遷移に基づいてセグメントペアが静止セグメント、或いは、移動セグメントであるかを判断する処理を説明するフローチャートである。 FIG. 23 is a flowchart for describing processing for determining whether a segment pair is a stationary segment or a moving segment based on a transition between the SS period and the DS period.
図２３において、ステップＳ７１では、時刻Tiにおけるセグメントのリスト（以下、セグメントリストと言う）Siを作成し、ＮＮ法に基づいて極座標上の角度をインデックス（Index）としてセグメントを関連付けて新セグメントのセグメントＩＤを発行する。ステップＳ７２では、時刻TiよりTm秒前のセグメントリストSi-mの履歴から位置変動が一定値Dv以下のセグメントＩＤリストStを抽出する。ステップＳ７３では、セグメントＩＤリストStの各セグメントＩＤに対応するセグメント同士の距離Rcを計算する。ステップＳ７４では、計算した距離Rc以下のセグメントペアをＤＳ期間にある静止セグメントであると判断し、セグメントＩＤリストStから削除する。ステップＳ７５では、セグメントＩＤリストStの各セグメントＩＤに対応するセグメントサイズに変化があるセグメントを軸足候補とし、現在時刻の全セグメントリストと距離Rcを計算する。ステップＳ７６では、距離Rc以下のセグメントペアを移動セグメント（即ち、ＳＳ期間からＤＳ期間に遷移している)であると判断し、セグメントリストSiおよびセグメントＩＤリストStから削除する。 23, in step S71, a list of segments at time Ti (hereinafter referred to as a segment list) Si is created, and the segments of the new segment are created by associating the segments with the polar angle as an index based on the NN method. Issue an ID. In step S72, a segment ID list St whose position variation is equal to or less than a certain value Dv is extracted from the history of the segment list Si-m Tm seconds before the time Ti. In step S73, a distance Rc between segments corresponding to each segment ID in the segment ID list St is calculated. In step S74, it is determined that a segment pair equal to or less than the calculated distance Rc is a stationary segment in the DS period, and is deleted from the segment ID list St. In step S75, a segment having a change in the segment size corresponding to each segment ID in the segment ID list St is set as a pivot candidate, and the entire segment list and distance Rc at the current time are calculated. In step S76, it is determined that a segment pair having a distance Rc or less is a moving segment (that is, transition from the SS period to the DS period), and is deleted from the segment list Si and the segment ID list St.
このように、ＳＳ期間とＤＳ期間の間の遷移に基づいてセグメントペアが静止セグメント、或いは、移動セグメントであるかを判断する処理は、ＳＳ期間の脚同士の遮蔽に影響されず、且つ、服の影響（即ち、依存関係）も少ない。又、一歩行サイクル（ＤＳ→ＳＳ→ＤＳ又はＳＳ→ＤＳ→ＳＳ）を観測することで、歩幅及び速度を推定することができる。更に、非常に低速で移動して（歩いて）いる人、或いは、非常に高速で移動して（走って）いる人をフィルタして検出対象が除外することができる。 As described above, the process of determining whether the segment pair is a stationary segment or a moving segment based on the transition between the SS period and the DS period is not affected by the shielding of the legs of the SS period, and The influence (that is, the dependency) is also small. Also, the stride and speed can be estimated by observing one walking cycle (DS → SS → DS or SS → DS → SS). Furthermore, it is possible to filter out persons who are moving (walking) at a very low speed or persons who are moving (running) at a very high speed to exclude detection targets.
図２３に示す処理でセグメントペアが静止セグメント、或いは、移動セグメントであるかを判断する場合、常に脚の連続移動速度を推定することができないため、AdaBoost分類器の移動特徴強分類器の作成方法を修正する必要である。図２４は、ＤＳ期間とＳＳ期間の切り替えパターンを識別するための条件を説明する図である。 When determining whether a segment pair is a stationary segment or a moving segment in the process shown in FIG. 23, it is not always possible to estimate the continuous movement speed of the leg, so a method for creating a moving feature strong classifier of the AdaBoost classifier Need to be corrected. FIG. 24 is a diagram illustrating conditions for identifying a switching pattern between the DS period and the SS period.
図２４では、説明の便宜上、最初のＤＳ期間ＤＳ１から片脚がスイングしてＳＳ期間ＳＳを経て、次の期間ＤＳ２又はＤｘへ遷移するものとする。図２４において、Ｄｗは脚幅又は両脚間の距離（図２４中、遊脚の着地位置と軸脚の横方向の距離）、Ｌｗは歩幅（図２４中、遊脚の着地位置と軸脚の縦方向の距離）を示す。ＳＳ期間ＳＳから片脚がスイングして次にＤＳ期間ＤＳ２へ遷移した場合は、次の歩幅条件ｃ９、脚幅条件ｃ１０及び着地位置条件ｃ１１が満足されるので、移動セグメントペアが脚であることを特定することができる。 In FIG. 24, for convenience of explanation, it is assumed that one leg swings from the first DS period DS1 and transits to the next period DS2 or Dx through the SS period SS. 24, Dw is the leg width or the distance between both legs (in FIG. 24, the landing position of the free leg and the lateral distance of the axle leg), and Lw is the stride (in FIG. 24, the landing position of the free leg and the axis leg). (Vertical distance). When one leg swings from the SS period SS and then transitions to the DS period DS2, the next stride condition c9, leg width condition c10, and landing position condition c11 are satisfied, so the moving segment pair is a leg. Can be specified.
歩幅条件ｃ９：
最初のＤＳ期間ＤＳ１と、ＳＳ期間からの遷移先の期間とで歩幅Ｌｗの相似度が一定値以上である。
Stride condition c9:
The similarity of the stride Lw is equal to or greater than a certain value in the first DS period DS1 and the transition destination period from the SS period.
脚幅条件ｃ１０：
最初のＤＳ期間ＤＳ１と、ＳＳ期間からの遷移先の期間とで脚幅Ｄｗの相似度が一定値以上である。
Leg width condition c10:
The similarity of the leg width Dw is equal to or greater than a certain value in the first DS period DS1 and the transition destination period from the SS period.
着地位置条件ｃ１１：
ＳＳ期間における遊脚が遷移先の期間で着地する際に、ＳＳ期間と軸脚に対して同じ位置関係（例えば、軸脚が左脚であれば着地する遊脚はその右側に位置する右脚である関係）にある。
Landing position condition c11:
When the free leg in the SS period lands in the transition destination period, the same positional relationship with respect to the SS period and the axis leg (for example, if the axis leg is the left leg, the landing leg is located on the right side of the right leg). Is a relationship).
一方、ＳＳ期間ＳＳから片脚がスイングして次に期間Ｄｘへ遷移した場合は、上記の歩幅条件ｃ９、脚幅条件ｃ１０及び着地位置条件ｃ１１のうち、着地位置条件ｃ１１が満足されることはないので、移動セグメントペアが脚ではないことを特定することができる。これは、移動セグメントペアが脚の場合、例えば軸脚が左脚であれば着地する遊脚はその左側に位置することはないからである。 On the other hand, when one leg swings from the SS period SS and then transitions to the period Dx, the landing position condition c11 is satisfied among the stride condition c9, the leg width condition c10, and the landing position condition c11. Since there is no, it can be specified that the moving segment pair is not a leg. This is because, when the moving segment pair is a leg, for example, if the axle leg is the left leg, the landing free leg is not located on the left side.
図２５は、作成方法が修正されたAdaBoost分類器を用いた脚抽出処理の一例を説明するフローチャートである。図２５中、図２０と同一ステップには同一符号を付し、その説明は省略する。 FIG. 25 is a flowchart illustrating an example of leg extraction processing using an AdaBoost classifier with a modified creation method. In FIG. 25, the same steps as those in FIG. 20 are denoted by the same reference numerals, and the description thereof is omitted.
図２５において、ステップＳ２５３では、ＤＳ期間とＳＳ期間の切り替えパターンを検出し、処理はステップＳ５４へ進む。ステップＳ５４の判定結果がＹＥＳであると処理はステップＳ１５５−１へ進み、判定結果がＮＯであると処理はステップＳ１５５−２Ａへ進む。ステップＳ１５５−１，Ｓ１５５−２Ａは、AdaBoost分類処理を行うAdaBoost分類ステップＳ１５５Ａを形成する。ステップＳ１５５−２Ａは、歩幅条件ｃ９を学習する歩幅相似度分類器、脚幅条件ｃ１０を学習する脚幅相似度分類器、及び着地位置条件ｃ１１を学習する着地位置判別分類器の機能を実現し、これらの分類器を学習させることで移動特徴強分類器の機能を実現する。 In FIG. 25, in step S253, a switching pattern between the DS period and the SS period is detected, and the process proceeds to step S54. If the determination result in step S54 is YES, the process proceeds to step S155-1, and if the determination result is NO, the process proceeds to step S155-2A. Steps S155-1 and S155-2A form an AdaBoost classification step S155A for performing AdaBoost classification processing. Step S155-2A realizes the functions of a stride similarity classifier that learns the stride condition c9, a leg width similarity classifier that learns the leg width condition c10, and a landing position discrimination classifier that learns the landing position condition c11. By learning these classifiers, the function of a strong moving feature classifier is realized.
このように、本実施例によれば、静止している脚を抽出するために、抽出対象の特徴、即ち、レンジデータのセグメントの特徴の幾何相似度に着目し、相似度条件に基づいた複数の静止特徴弱分類器を作成する。各静止特徴弱分類器を予め用意した学習サンプルで学習させ、学習した各静止特徴弱分類器の重みを用いてセグメントを分類することで、学習した静止特徴弱分類器を静止特徴強分類器として機能させる。 As described above, according to the present embodiment, in order to extract a stationary leg, attention is paid to the geometric similarity of the feature to be extracted, that is, the feature of the segment of the range data, and a plurality of features based on the similarity condition are selected. Create a static feature weak classifier. Each stationary feature weak classifier is trained with a learning sample prepared in advance, and the segments are classified using the weights of each learned stationary feature weak classifier. Make it work.
又、移動している脚を抽出するために、例えば人間の二足走行の特性を分析し、抽出対象特徴、即ち、レンジデータのセグメントの特徴の移動情報に着目し、移動情報に基づいた複数の移動特徴弱分類器を作成する。各移動特徴弱分類器を予め用意した学習サンプルで学習させ、学習した各移動特徴弱分類器の重みを用いてセグメントを分類することで、学習した移動特徴弱分類器を移動特徴強分類器として機能させる。 In addition, in order to extract the moving leg, for example, the characteristics of human biped running are analyzed, and attention is paid to the movement information of the characteristics to be extracted, that is, the segment characteristics of the range data. Create a moving feature weak classifier. Each moving feature weak classifier is trained with a learning sample prepared in advance, and the learned moving feature weak classifier is used as a moving feature strong classifier by classifying segments using the weights of each learned moving feature weak classifier. Make it work.
更に、上記の静止特徴強分類器と移動特徴強分類器の出力に基づいてセグメントの移動状態を判定することにより、同時に静止又は移動している脚ペアを判別することができる。セグメントの静止及び移動を判別する際には、背景との差分又はフレーム間差分等を使用することなく、計測フレーム間のセグメントの関連付けで各セグメントの移動状態を判別するので、例えば極座標の状態ベクタを利用したＮＮ法での関連付けを行い、移動特性を取得することができる。又、ＬＲＦを足首周辺を検出可能な位置に配置し、二足歩行のＤＳ期間とＳＳ起案の切り替えパターンを着目し、各セグメントの移動状態を判別することもできる。 Further, by determining the movement state of the segment based on the outputs of the stationary feature strong classifier and the moving feature strong classifier, it is possible to determine a pair of legs that are stationary or moving at the same time. When determining whether a segment is stationary or moving, the moving state of each segment is determined by associating the segment between measurement frames without using the difference from the background or the inter-frame difference. It is possible to obtain the movement characteristic by performing the association by the NN method using. It is also possible to determine the movement state of each segment by placing the LRF at a position where the ankle periphery can be detected and paying attention to the biped walking DS period and the SS drafting switching pattern.
本実施例によれば、静止している人の脚と移動している人の脚を確実に抽出することができる。このため、検出対象となる人物の周辺に複数の物体等が存在する比較的混雑した空間においても、人のセグメントを正しく検知することができ、静止時と移動時の脚の特徴が異なってもシームレスに、且つ、安定に脚を抽出することができる。 According to the present embodiment, it is possible to reliably extract the legs of a stationary person and the legs of a moving person. For this reason, even in a relatively congested space where there are multiple objects around the person to be detected, human segments can be detected correctly, even if the leg features differ between stationary and moving Legs can be extracted seamlessly and stably.
（第３実施例）
上記第１実施例では、ＬＲＦ４は、測定の開始、走査時間（又は、走査周期）、測定の終了等の指示に応答して、重力方向と平行な垂直面以外の任意平面の一例であるＸＹ平面を走査するが、本発明の第３実施例においては、ＬＲＦ４はＸＹ平面に対して９０°以外の任意の角度傾斜させた任意平面を走査する。
(Third embodiment)
In the first embodiment, the LRF 4 is an example of an XY that is an example of an arbitrary plane other than a vertical plane parallel to the direction of gravity in response to instructions such as measurement start, scan time (or scan period), and measurement end. Although the plane is scanned, in the third embodiment of the present invention, the LRF 4 scans an arbitrary plane inclined at an arbitrary angle other than 90 ° with respect to the XY plane.
尚、上記第１実施例及び以下に説明する第３実施例において、重力方向と平行な垂直面以外の任意平面を走査するのは、直立している人物の脚は概ね重力方向と平行であるため重力方向と平行な垂直面を走査しても人物の脚を検出することは極めて難しいからである。 In the first embodiment and the third embodiment described below, an arbitrary plane other than a vertical plane parallel to the gravity direction is scanned because the leg of an upright person is generally parallel to the gravity direction. Therefore, it is extremely difficult to detect a person's leg even if a vertical plane parallel to the direction of gravity is scanned.
図２６は、本発明の第３実施例におけるサービスロボット１のベース部３の一例を示す図である。図２６中、図１と同一部分には同一符号を付し、その説明は省略する。図２６に示す例では、ＬＲＦ４はＸＹ平面に対して角度θ傾斜させた任意走査面を走査する。この例では、ＬＲＦ４の走査面はＸＹ平面に対して下向きに傾斜しているが、上向きに傾斜していても良い。又、角度調整機構６により角度θを可変設定（又は、チルト）可能な構成としても良い。
FIG. 26 is a diagram illustrating an example of the
任意平面で走査範囲を走査して基準位置から前記走査範囲内の対象物までの距離を測定可能な距離測定装置としてＬＲＦを用いる場合、ＬＲＦは人物の脚を検出するのに適した高さ位置に設けられる。上記角度θが０≦θ＜９０°の場合、ＬＲＦの高さ位置は人物の膝から下腿にかけての部位を検出するのに適した高さ位置に設けられることが望ましく、上記角度θが０＜θ＜９０°の場合、ＬＲＦの走査面はＸＹ平面に対して下向きに傾斜していることが望ましい。ＬＲＦの高さ位置が人物の膝や下腿を検出するのに適した高さ位置に設けられることが望ましい理由は、ＬＲＦから見て同一人物の膝対や下腿対の方が上腿対と比較すると互いを遮蔽する確率が低いからである。 When an LRF is used as a distance measuring device capable of measuring a distance from a reference position to an object in the scanning range by scanning the scanning range in an arbitrary plane, the LRF is a height position suitable for detecting a human leg. Is provided. When the angle θ is 0 ≦ θ <90 °, the height position of the LRF is preferably provided at a height position suitable for detecting a part from the knee to the lower leg of the person, and the angle θ is 0 < When θ <90 °, the LRF scanning plane is preferably inclined downward with respect to the XY plane. The reason why it is desirable that the height position of the LRF is set at a height suitable for detecting the knee and lower leg of the person is that the knee pair and lower leg pair of the same person compared with the upper leg pair as viewed from the LRF. This is because the probability of shielding each other is low.
（第４実施例）
上記第１実施例では、ＬＲＦ４はサービスロボット１に１個設けられているが、ＬＲＦ４を複数設けても良い。本発明の第４実施例においては、ＬＲＦ４はサービスロボット１に２個設けられる。
(Fourth embodiment)
In the first embodiment, one LRF 4 is provided in the
図２７は、本発明の第４実施例におけるサービスロボット１のベース部３の一例を示す図である。図２７中、図２６と同一部分には同一符号を付し、その説明は省略する。図２７に示す例では、ＬＲＦ４がサービスロボット１に２個設けられている。２個のＬＲＦ４は、互いに平行な任意平面を走査しても、互いに交差する任意平面を走査しても良い。例えば、図２７において上側のＬＲＦ４の走査角度を角度調整機構６により調整可能な構成とし、且つ、下側のＬＲＦ４は位置が固定されてＸＹ平面を走査する構成としても良い。尚、ＬＲＦ４が２個の場合、サービスロボット１の基準位置は、各々のＬＲＦ４の位置となる。
FIG. 27 is a diagram illustrating an example of the
２個以上のＬＲＦを用いてサービスロボットの基準位置から対象物までの距離を測定する場合、２個以上のＬＲＦによる２以上の平面における測定結果のマッチングを行うことにより測定結果の精度を向上させることができる。例えば、１個のＬＲＦでは遮蔽等により脚が測定しにくい場合であっても、２個以上のＬＲＦの測定結果のマッチングを行うことで、１個のＬＲＦの走査面では少なくとも一部が遮蔽されている脚であっても他のＬＲＦの走査面における測定結果から脚である確率を、周知のマッチング手法により正確に演算することができる。 When measuring the distance from the reference position of the service robot to the object using two or more LRFs, the accuracy of the measurement results is improved by matching the measurement results on two or more planes using two or more LRFs. be able to. For example, even if it is difficult to measure a leg with one LRF due to shielding or the like, at least a part of the scanning surface of one LRF is shielded by matching the measurement results of two or more LRFs. Even if the leg is a leg, the probability of being a leg can be accurately calculated from the measurement result on the scanning plane of another LRF by a known matching method.
尚、２個以上のＬＲＦを用いる場合、少なくとも１個のＬＲＦはサービスロボットに設け、他のＬＲＦは壁等に固定的に設けても良い。又、少なくとも１個のＬＲＦを設けたサービスロボットを複数用いても良い。これらの場合、言うまでもなく、少なくとも１個のＬＲＦが設けられた１台のサービスロボットは、壁や他のサービスロボットに設けられたＬＲＦの測定結果を無線通信により図６に示す通信部１５等を介して受信すれば、２以上の平面での測定結果のマッチングを行うことができる。これらの場合、複数のＬＲＦで共通に用いるＸＹ座標の原点は、壁等の固定点であっても、基準となる１台のサービスロボットの基準点であっても良い。
When two or more LRFs are used, at least one LRF may be provided in the service robot and the other LRFs may be fixedly provided on a wall or the like. A plurality of service robots provided with at least one LRF may be used. In these cases, it goes without saying that one service robot provided with at least one LRF transmits the measurement result of the LRF provided on the wall or other service robot by wireless communication to the
又、同じＸＹ平面を走査する１個のＬＲＦが設けられた２台以上のサービスロボットの測定結果のマッチングを行う場合であっても、２台以上のサービスロボットのＬＲＦは対象物に対して異なる位置から走査しているので、同じＸＹ平面上の異なる位置からの測定結果のマッチングを行うことで、測定結果の精度を向上させることができる。 Further, even when matching the measurement results of two or more service robots provided with one LRF that scans the same XY plane, the LRFs of the two or more service robots differ with respect to the object. Since scanning is performed from the position, the accuracy of the measurement result can be improved by matching the measurement result from different positions on the same XY plane.
更に、第４実施例を上記第２実施例に適用しても良い。この場合、２個のＬＲＦは床と平行で互いに交差しない走査面、即ち、重力方向と略垂直な平面を走査すれば良いため、角度調整機構６は不要である。２個のＬＲＦの床から高さは、例えば１ｃｍ〜２ｃｍの範囲内に設定することで、検出対象となる人物の足首周辺を検出してＤＳ期間及びＳＳ期間の切り替えを観測するようにしても良い。
Furthermore, the fourth embodiment may be applied to the second embodiment. In this case, the
（変形例）
言うまでもなく、上記各実施例による人物検出結果を、カメラを用いる人物検出方法等の他の人物検出方法による人物検出結果と組み合わせて人物検出の精度を向上することが可能である。この場合、人物検出環境によらず人物検出の精度を向上できる。
(Modification)
Needless to say, it is possible to improve the accuracy of human detection by combining the human detection results according to the above embodiments with the human detection results obtained by other human detection methods such as the human detection method using a camera. In this case, the accuracy of human detection can be improved regardless of the human detection environment.
上記各実施例では、サービスロボットの基準位置から対象物までの距離をＬＲＦを用いて測定しているが、任意平面で二次元に限定された走査範囲を走査して基準位置から前記走査範囲内の対象物までの距離を測定可能な距離測定装置 （ＤＭＥ：Distance Measuring Equipment）であれば、距離を測定する走査装置又は走査手段はＬＲＦ以外の距離測定装置を用いるものであっても良い。 In each of the above embodiments, the distance from the reference position of the service robot to the object is measured using the LRF. However, the scanning range limited to two dimensions on an arbitrary plane is scanned and the distance from the reference position within the scanning range is measured. As long as the distance measuring device (DME: Distance Measuring Equipment) is capable of measuring the distance to the object, the distance measuring device other than the LRF may be used as the scanning device or scanning means for measuring the distance.
又、人物検出装置の適用はサービスロボットに限定されるものではなく、人物検出処理を要求するコマンドを人物検出装置に出力し、人物検出装置からの人物検出処理の結果の通知が入力される監視制御部（又は、コンピュータ）を備えた監視システム等へも適用可能である。 The application of the person detection device is not limited to a service robot, but a command that requests a person detection process is output to the person detection apparatus, and a notification of the result of the person detection process from the person detection apparatus is input. The present invention can also be applied to a monitoring system provided with a control unit (or a computer).
以上の実施例を含む実施形態に関し、更に以下の付記を開示する。
（付記１）
重力方向と略垂直な平面で走査範囲を走査して基準位置から前記走査範囲内の対象物までの距離を測定してレンジデータを出力する走査手段と、
前記レンジデータを所定周期でサンプリングしてセグメントを形成し、前記セグメントに基づいて脚の特徴を抽出する抽出手段と、
抽出した特徴の運動特性及び幾何情報に基づいて人物を検出する検出手段を備え、
前記抽出手段は、最短距離近傍法を用いて取得した２つのセグメントペアの移動特性に基づいて、各セグメントペアが静止している静止セグメントを分類する静止特徴強分類器と、各セグメントペアが移動している移動セグメントを分類する移動特徴強分類器を含み、分類されたセグメントの特徴に基づいて前記２つのセグメントペアから脚ペアを抽出する、人物検出装置。
（付記２）
前記抽出手段は、セグメントの特徴の幾何相似度条件に基づいて作成された複数の静止特徴弱分類器を予め用意した学習サンプルで学習させ、学習した各静止特徴弱分類器の重みを用いてセグメントを分類することで学習した静止特徴弱分類器を前記静止特徴強分類器として機能させ、セグメントの特徴の移動情報に基づいて作成された複数の移動特徴弱分類器を予め用意した学習サンプルで学習させ、学習した各移動特徴弱分類器の重みを用いてセグメントを分類することで学習した移動特徴弱分類器を移動特徴強分類器として機能させる、付記１記載の人物検出装置。
（付記３）
前記抽出手段は、前記２つのセグメントペアが脚の物理制限条件を満たしており、且つ、セグメントの移動状態を前記基準位置からの距離Ｒと角度θの極座標で表し、Ｘｉ（Ｒｔ，θｔ）で表される状態からＸｉ＋１（Ｒｔ＋１，θｔ＋１）で表される状態に変化した場合に前記走査手段の検出サイクル間の各セグメントの移動量dＸが距離Ｒと角度θの重みを調整するゲイン行列をＷで表され
（付記４）
前記抽出手段は、
セグメントｉの有向バウンディングボックス（ＯＢＢ：Oriented Bounding Box）のパラメータとして、ＯＢＢの指向性θi、ＯＢＢのＸ軸のサイズＤＸi、ＯＢＢのＹ軸のサイズＤＹi、ＯＢＢの中心から原点までの距離Ｒi、及びＯＢＢの中心座標Ｏ'を抽出し、
セグメントペアｉ，ｊに対して以下の両脚静止条件ｃ１〜ｃ４を満足するか否かを計算により求め、
両脚幅条件ｃ１：
Ｗmin ＜ ＤＸi/ＤＸj ＜ Ｗmax, Ｗmin ＜ ＤＹi/ＤＹj ＜ Ｗmax
両脚距離条件ｃ２：
Distance(O'i, O'j) ＜ Ｄmax
ＯＢＢの中心から原点までの距離条件ｃ３：
Ｒmin ＜ Ｒi/Ｒj ＜ Ｒmax
ＯＢＢの指向性条件ｃ４：
| |θi| − |θj| | ＜ θmax
前記両脚静止条件ｃ１〜ｃ４を満足する場合は静止脚ペアを抽出する、付記１乃至３のいずれか１項記載の人物検出装置。
（付記５）
前記抽出手段は、
セグメントの有向バウンディングボックス（ＯＢＢ：Oriented Bounding Box）の作成時に取得した原点座標及び角度θより、計測点Ｐの座標を
（付記６）
前記抽出手段は、任意の連続する３フレームのセグメントペアに対して以下の両脚移動条件ｃ５〜ｃ８を満足するか否かを計算により求め、
両脚相隣条件ｃ５：
連続する３フレームにおけるセグメントペアの空間距離Ｄｓが全て一定閾値Ｄmax以下
両脚移動方向条件ｃ６：
連続する３フレームにおけるセグメントペアの平均速度の角度差が一定閾値ｄθmax 以下
両脚速度差条件ｃ７：
前記走査手段の３検出サイクルでの平均速度の比率が一定閾値ＶＲ以上
両脚垂直距離条件ｃ８：
両脚の速度方向と垂直方向に沿った距離Ｄｖが一定閾値Ｄｖｔ以下
前記両脚移動条件ｃ５〜ｃ８を満足する場合は移動脚ペアを抽出する、付記４又は５記載の人物検出装置。
（付記７）
前記抽出手段は、両脚が床に付いているＤＳ（Double Support）期間と片脚しか床に付いていない（ＳＳ）Single Support期間の切り替えパターンに基づいて脚の移動状態を抽出する、付記４又は５記載の人物検出装置。
（付記８）
前記判断手段は、抽出した前記特徴の運動特性及び幾何情報に基づいて人物を検出する、付記１乃至７のいずれか１項記載の人物検出装置。
（付記９）
前記走査手段は、レーザレンジファインダ（ＬＲＦ）を有する、付記１乃至８のいずれか１項記載の人物検出装置。
（付記１０）
付記１乃至９のいずれか１項記載の人物検出装置と、
人物検出処理を要求するコマンドを前記人物検出装置に出力し、前記人物検出装置からの人物検出処理の結果の通知が入力されるロボット本体を備えた、サービスロボット。
（付記１１）
付記１乃至９のいずれか１項記載の人物検出装置と、
人物検出処理を要求するコマンドを前記人物検出装置に出力し、前記人物検出装置からの人物検出処理の結果の通知が入力される監視制御部を備えた、監視システム。
（付記１２）
重力方向と略垂直な平面で走査範囲を走査部により走査して基準位置から前記走査範囲内の対象物までの距離を測定してレンジデータを出力する工程と、
前記レンジデータをプロセッサにより所定周期でサンプリングしてセグメントを形成し、前記セグメントに基づいて脚の特徴を前記プロセッサにより抽出する工程と、
抽出した特徴の運動特性及び幾何情報に基づいて前記プロセッサにより人物を検出する工程を含み、
前記抽出する工程は、最短距離近傍法を用いて取得した２つのセグメントペアの移動特性に基づいて、各セグメントペアが静止している静止セグメントを分類する静止特徴強分類器と、各セグメントペアが移動している移動セグメントを分類する移動特徴強分類器を含み、分類されたセグメントの特徴に基づいて前記２つのセグメントペアから脚ペアを抽出する、人物検出方法。
（付記１３）
前記抽出する工程は、セグメントの特徴の幾何相似度条件に基づいて作成された複数の静止特徴弱分類器を予め用意した学習サンプルで学習させ、学習した各静止特徴弱分類器の重みを用いてセグメントを分類することで学習した静止特徴弱分類器を前記静止特徴強分類器として機能させ、セグメントの特徴の移動情報に基づいて作成された複数の移動特徴弱分類器を予め用意した学習サンプルで学習させ、学習した各移動特徴弱分類器の重みを用いてセグメントを分類することで学習した移動特徴弱分類器を移動特徴強分類器として機能させる、付記１２記載の人物検出方法。
（付記１４）
前記抽出する工程は、前記２つのセグメントペアが脚の物理制限条件を満たしており、且つ、セグメントの移動状態を前記基準位置からの距離Ｒと角度θの極座標で表し、Ｘｉ（Ｒｔ，θｔ）で表される状態からＸｉ＋１（Ｒｔ＋１，θｔ＋１）で表される状態に変化した場合に前記走査部の検出サイクル間の各セグメントの移動量dＸが距離Ｒと角度θの重みを調整するゲイン行列をＷで表され
（付記１５）
前記抽出する工程は、両脚が床に付いているＤＳ（Double Support）期間と片脚しか床に付いていない（ＳＳ）Single Support期間の切り替えパターンに基づいて脚の移動状態を抽出する、付記１２乃至１４のいずれか１項記載の人物検出方法。
（付記１６）
コンピュータに、
走査部に指示を出力して重力方向と略垂直な平面で走査範囲を走査して基準位置から前記走査範囲内の対象物までの距離を測定してレンジデータを出力させる走査手順と、
前記レンジデータを所定周期でサンプリングしてセグメントを形成し、前記セグメントに基づいて脚の特徴を抽出させる抽出手順と、
抽出した特徴の運動特性及び幾何情報に基づいて人物を検出させる検出手順
を実行させるためのプログラムであって、
前記抽出手順は、最短距離近傍法を用いて取得した２つのセグメントペアの移動特性に基づいて、各セグメントペアが静止している静止セグメントを分類する静止特徴強分類器と、各セグメントペアが移動している移動セグメントを分類する移動特徴強分類器を含み、分類されたセグメントの特徴に基づいて前記２つのセグメントペアから脚ペアを抽出する、プログラム。
（付記１７）
前記抽出手順は、セグメントの特徴の幾何相似度条件に基づいて作成された複数の静止特徴弱分類器を予め用意した学習サンプルで学習させ、学習した各静止特徴弱分類器の重みを用いてセグメントを分類することで学習した静止特徴弱分類器を前記静止特徴強分類器として機能させ、セグメントの特徴の移動情報に基づいて作成された複数の移動特徴弱分類器を予め用意した学習サンプルで学習させ、学習した各移動特徴弱分類器の重みを用いてセグメントを分類することで学習した移動特徴弱分類器を移動特徴強分類器として機能させる、付記１６記載のプログラム。
（付記１８）
前記抽出手順は、前記２つのセグメントペアが脚の物理制限条件を満たしており、且つ、セグメントの移動状態を前記基準位置からの距離Ｒと角度θの極座標で表し、Ｘｉ（Ｒｔ，θｔ）で表される状態からＸｉ＋１（Ｒｔ＋１，θｔ＋１）で表される状態に変化した場合に前記走査部の検出サイクル間の各セグメントの移動量dＸが距離Ｒと角度θの重みを調整するゲイン行列をＷで表され
（付記１９）
前記抽出手順は、
セグメントｉの有向バウンディングボックス（ＯＢＢ：Oriented Bounding Box）のパラメータとして、ＯＢＢの指向性θi、ＯＢＢのＸ軸のサイズＤＸi、ＯＢＢのＹ軸のサイズＤＹi、ＯＢＢの中心から原点までの距離Ｒi、及びＯＢＢの中心座標Ｏ'を抽出し、
セグメントペアｉ，ｊに対して以下の両脚静止条件ｃ１〜ｃ４を満足するか否かを計算により求め、
両脚幅条件ｃ１：
Ｗmin ＜ ＤＸi/ＤＸj ＜ Ｗmax, Ｗmin ＜ ＤＹi/ＤＹj ＜ Ｗmax
両脚距離条件ｃ２：
Distance(O'i, O'j) ＜ Ｄmax
ＯＢＢの中心から原点までの距離条件ｃ３：
Ｒmin ＜ Ｒi/Ｒj ＜ Ｒmax
ＯＢＢの指向性条件ｃ４：
| |θi| − |θj| | ＜ θmax
前記両脚静止条件ｃ１〜ｃ４を満足する場合は静止脚ペアを抽出する、付記１６乃至１８のいずれか１項記載のプログラム。
（付記２０）
前記抽出手順は、
セグメントの有向バウンディングボックス（ＯＢＢ：Oriented Bounding Box）の作成時に取得した原点座標及び角度θより、計測点Ｐの座標を
（付記２１）
前記抽出手順は、任意の連続する３フレームのセグメントペアに対して以下の両脚移動条件ｃ５〜ｃ８を満足するか否かを計算により求め、
両脚相隣条件ｃ５：
連続する３フレームにおけるセグメントペアの空間距離Ｄｓが全て一定閾値Ｄmax以下
両脚移動方向条件ｃ６：
連続する３フレームにおけるセグメントペアの平均速度の角度差が一定閾値ｄθmax 以下
両脚速度差条件ｃ７：
前記走査部の３検出サイクルでの平均速度の比率が一定閾値ＶＲ以上
両脚垂直距離条件ｃ８：
両脚の速度方向と垂直方向に沿った距離Ｄｖが一定閾値Ｄｖｔ以下
前記両脚移動条件ｃ５〜ｃ８を満足する場合は移動脚ペアを抽出する、付記１９又は２０記載のプログラム。
（付記２２）
前記抽出手順は、両脚が床に付いているＤＳ（Double Support）期間と片脚しか床に付いていない（ＳＳ）Single Support期間の切り替えパターンに基づいて脚の移動状態を抽出する、付記１９又は２０記載のプログラム。
（付記２３）
付記１６乃至２２のいずれか１項記載のプログラムが格納された、コンピュータ読み取り可能な記憶媒体。
The following additional notes are further disclosed with respect to the embodiment including the above examples.
(Appendix 1)
Scanning means for scanning a scanning range in a plane substantially perpendicular to the direction of gravity, measuring a distance from a reference position to an object in the scanning range, and outputting range data;
Sampling means for sampling the range data at a predetermined period to form segments, and extracting means for extracting leg features based on the segments;
A detecting means for detecting a person based on the motion characteristics and geometric information of the extracted features;
The extraction means includes a stationary feature strong classifier that classifies stationary segments in which each segment pair is stationary based on the movement characteristics of two segment pairs acquired using the shortest distance neighborhood method, and each segment pair moves. A human detection device that includes a moving feature strong classifier that classifies moving segments that are moving, and extracts leg pairs from the two segment pairs based on the characteristics of the classified segments.
(Appendix 2)
The extraction means trains a plurality of stationary feature weak classifiers created based on the geometric similarity condition of the segment features with a learning sample prepared in advance, and uses the weight of each learned stationary feature weak classifier to segment The weak feature classifiers learned by classifying them are made to function as the static feature strong classifiers, and a plurality of moving feature weak classifiers created based on the movement information of segment features are learned using the prepared learning samples. The person detection apparatus according to
(Appendix 3)
The extraction means indicates that the two segment pairs satisfy the physical restriction condition of the legs, and the movement state of the segment is expressed by polar coordinates of a distance R from the reference position and an angle θ, and X i (R t , θ When the state represented by t ) changes from the state represented by X i + 1 (R t + 1 , θ t + 1 ) to the state represented by X i + 1 (R t + 1 , θ t + 1 ), the moving amount dX of each segment during the detection cycle of the scanning means gives the weight of the distance R and the angle θ. The gain matrix to be adjusted is represented by W
(Appendix 4)
The extraction means includes
As parameters of the directed bounding box (OBB) of the segment i, the directivity θi of the OBB, the size DXi of the OBB X axis, the size DYi of the OBB Y axis, the distance Ri from the center of the OBB to the origin, And OBB center coordinates O ′,
It is determined by calculation whether or not the following both leg stationary conditions c1 to c4 are satisfied for the segment pair i, j.
Both leg width conditions c1:
Wmin <DXi / DXj <Wmax, Wmin <DYi / DYj <Wmax
Both legs distance condition c2:
Distance (O'i, O'j) <Dmax
Distance condition c3 from the center of the OBB to the origin:
Rmin <Ri / Rj <Rmax
OBB directivity condition c4:
|| θi | − | θj || <θmax
The person detecting apparatus according to any one of
(Appendix 5)
The extraction means includes
From the origin coordinates and angle θ obtained when creating the directed bounding box (OBB) of the segment, the coordinates of the measurement point P are
(Appendix 6)
The extraction means obtains by calculation whether or not the following two leg movement conditions c5 to c8 are satisfied for an arbitrary continuous three-frame segment pair,
Both leg adjacent condition c5:
The spatial distances Ds of the segment pairs in three consecutive frames are all equal to or less than a certain threshold value Dmax. Both-leg movement direction condition c6:
Angular difference of the average speed of the segment pair in three consecutive frames is below a certain threshold value dθmax Biped speed difference condition c7:
3 the ratio of the average speed of the detection cycle is constant threshold V R or legs perpendicular distance condition of the scanning means c8:
The human detection apparatus according to
(Appendix 7)
The extraction means extracts a movement state of the legs based on a switching pattern between a DS (Double Support) period in which both legs are attached to the floor and a (SS) Single Support period in which only one leg is attached to the floor, or 4 5. The person detection device according to 5.
(Appendix 8)
The person detection device according to any one of
(Appendix 9)
The person detection device according to any one of
(Appendix 10)
The person detection device according to any one of
A service robot comprising a robot body that outputs a command for requesting a person detection process to the person detection apparatus and to which a notification of a result of the person detection process from the person detection apparatus is input.
(Appendix 11)
The person detection device according to any one of
A monitoring system comprising a monitoring control unit that outputs a command for requesting a person detection process to the person detection apparatus and to which a notification of a result of the person detection process from the person detection apparatus is input.
(Appendix 12)
Scanning a scanning range by a scanning unit on a plane substantially perpendicular to the direction of gravity, measuring a distance from a reference position to an object in the scanning range, and outputting range data;
Sampling the range data at a predetermined period by a processor to form a segment, and extracting leg features by the processor based on the segment;
Detecting the person by the processor based on the motion characteristics and geometric information of the extracted features,
The extracting step includes a stationary feature strong classifier that classifies stationary segments in which each segment pair is stationary based on the movement characteristics of the two segment pairs acquired using the shortest distance neighborhood method, and each segment pair includes A person detection method comprising: a moving feature strong classifier for classifying moving moving segments, and extracting leg pairs from the two segment pairs based on the characteristics of the classified segments.
(Appendix 13)
In the extracting step, a plurality of stationary feature weak classifiers created on the basis of the geometric similarity condition of the segment features are learned with a learning sample prepared in advance, and the weight of each learned stationary feature weak classifier is used. A learning sample prepared by preliminarily preparing a plurality of moving feature weak classifiers created based on movement information of segment features by causing a stationary feature weak classifier learned by classifying a segment to function as the stationary feature strong classifier The person detection method according to
(Appendix 14)
In the extracting step, the two segment pairs satisfy the physical restriction condition of the leg, and the movement state of the segment is expressed by polar coordinates of the distance R from the reference position and the angle θ, and X i (R t , When the state represented by θ t ) changes to the state represented by X i + 1 (R t + 1 , θ t + 1 ), the movement amount dX of each segment during the detection cycle of the scanning unit is the weight of the distance R and the angle θ. The gain matrix for adjusting
(Appendix 15)
The extracting step extracts a movement state of the legs based on a switching pattern between a DS (Double Support) period in which both legs are on the floor and a single support period in which only one leg is on the floor (SS). 15. The person detection method according to any one of
(Appendix 16)
On the computer,
A scanning procedure that outputs an instruction to the scanning unit, scans a scanning range in a plane substantially perpendicular to the direction of gravity, measures a distance from a reference position to an object in the scanning range, and outputs range data;
An extraction procedure for sampling the range data at a predetermined period to form a segment and extracting a leg feature based on the segment;
A program for executing a detection procedure for detecting a person based on motion characteristics and geometric information of an extracted feature,
The extraction procedure includes a stationary feature strong classifier that classifies stationary segments in which each segment pair is stationary based on the movement characteristics of the two segment pairs acquired using the shortest distance neighborhood method, and each segment pair moves. A program that includes a moving feature strong classifier that classifies moving segments that are moving, and extracts leg pairs from the two segment pairs based on the characteristics of the classified segments.
(Appendix 17)
In the extraction procedure, a plurality of stationary feature weak classifiers created on the basis of the geometric similarity condition of the segment features are learned from a prepared learning sample, and the weights of the learned stationary feature weak classifiers are used to determine the segment. The weak feature classifiers learned by classifying them are made to function as the static feature strong classifiers, and a plurality of moving feature weak classifiers created based on the movement information of segment features are learned using the prepared learning samples. The program according to supplementary note 16, wherein the learned moving feature weak classifier functions as a moving feature strong classifier by classifying segments using the weights of the learned moving feature weak classifiers.
(Appendix 18)
In the extraction procedure, the two segment pairs satisfy the physical restriction condition of the legs, and the movement state of the segment is expressed by polar coordinates of the distance R from the reference position and the angle θ, and X i (R t , θ t ) changes from the state represented by X) to the state represented by X i + 1 (R t + 1 , θ t + 1 ), the amount of movement dX of each segment during the detection cycle of the scanning unit gives the weight of the distance R and the angle θ. The gain matrix to be adjusted is represented by W
(Appendix 19)
The extraction procedure is:
As parameters of the directed bounding box (OBB) of the segment i, the directivity θi of the OBB, the size DXi of the OBB X axis, the size DYi of the OBB Y axis, the distance Ri from the center of the OBB to the origin, And OBB center coordinates O ′,
It is determined by calculation whether or not the following both leg stationary conditions c1 to c4 are satisfied for the segment pair i, j.
Both leg width conditions c1:
Wmin <DXi / DXj <Wmax, Wmin <DYi / DYj <Wmax
Both legs distance condition c2:
Distance (O'i, O'j) <Dmax
Distance condition c3 from the center of the OBB to the origin:
Rmin <Ri / Rj <Rmax
OBB directivity condition c4:
|| θi | − | θj || <θmax
The program according to any one of supplementary notes 16 to 18, wherein a stationary leg pair is extracted when the both leg stationary conditions c1 to c4 are satisfied.
(Appendix 20)
The extraction procedure is:
From the origin coordinates and angle θ obtained when creating the directed bounding box (OBB) of the segment, the coordinates of the measurement point P are
(Appendix 21)
The extraction procedure determines whether or not the following two-leg movement conditions c5 to c8 are satisfied for any continuous three-frame segment pair by calculation,
Both leg adjacent condition c5:
The spatial distances Ds of the segment pairs in three consecutive frames are all equal to or less than a certain threshold value Dmax. Both-leg movement direction condition c6:
Angular difference of the average speed of the segment pair in three consecutive frames is below a certain threshold value dθmax Biped speed difference condition c7:
3 the ratio of the average speed of the detection cycle is constant threshold V R or legs perpendicular distance condition of the scanning unit c8:
The program according to
(Appendix 22)
The extraction procedure extracts the movement state of the legs based on a switching pattern between a DS (Double Support) period in which both legs are on the floor and a single support period (SS) in which only one leg is on the floor (SS), 20. The program according to 20.
(Appendix 23)
A computer-readable storage medium in which the program according to any one of supplementary notes 16 to 22 is stored.
以上、開示の人物検出装置、人物検出方法及びプログラムを実施例により説明したが、本発明は上記実施例に限定されるものではなく、本発明の範囲内で種々の変形及び改良が可能であることは言うまでもない。 As described above, the disclosed person detection apparatus, person detection method, and program have been described by way of examples. However, the present invention is not limited to the above examples, and various modifications and improvements can be made within the scope of the present invention. Needless to say.
４ ＬＲＦ
１３ メモリ
１４ タイマ
１１１ サービスロボット
１１２ ＣＰＵ
１１２Ａ 脚抽出部
１１２Ｂ 人検知部
１１５ 通信及び制御部
１１７ 駆動部
4 LRF
13
112A
Claims (6)
前記レンジデータを所定周期でサンプリングして連続する２つのサンプリング点において所定条件を満たすレンジデータから前記対象物のエッジを形成するセグメントを形成し、前記対象物のエッジを形成する複数のセグメントのレンジデータの集合で形成されたクラスタに基づいて脚の特徴を抽出する抽出手段と、
抽出した特徴の運動特性及び幾何情報に基づいて人物を検出する検出手段を備え、
前記抽出手段は、１つのクラスタを形成する全てのレンジデータが包含される仮想円の最小半径が予め定義された最小値より大きく、且つ、予め定義された最大値の２倍より小さいという第１の条件、前記最小半径内のレンジデータの数が４個より大きいという第２の条件、及び前記１つのクラスタを形成するレンジデータが直線を形成しないという第３の条件を満たしていると、前記１つのクラスタが脚の特徴を有すると判断し、最短距離近傍法を用いて取得した前記脚の特徴を有すると判断された複数のクラスタに含まれる２つのセグメントペアの移動特性に基づいて、各セグメントペアが静止している静止セグメントを分類する静止特徴強分類器と、各セグメントペアが移動している移動セグメントを分類する移動特徴強分類器を含み、分類されたセグメントの特徴に基づいて前記２つのセグメントペアから脚ペアを抽出する、人物検出装置。 Scanning means for scanning a scanning range in a plane substantially perpendicular to the direction of gravity, measuring a distance from a reference position to an object in the scanning range, and outputting range data;
The range data to form a segment which forms the edge of the object from the predetermined condition is satisfied range data at two sampling points continuously sampled at a predetermined period, the range of a plurality of segments forming the edge of the object Extraction means for extracting leg features based on clusters formed of a set of data ;
A detecting means for detecting a person based on the motion characteristics and geometric information of the extracted features;
The extraction means has a first feature that a minimum radius of a virtual circle including all range data forming one cluster is larger than a predefined minimum value and smaller than twice a predefined maximum value. Satisfying the above condition, the second condition that the number of range data within the minimum radius is greater than four, and the third condition that the range data forming the one cluster does not form a straight line, determines one cluster to have the characteristics of the legs, based on the transfer characteristics of the two segment pairs included in the plurality of clusters that are determined to have the characteristics of the legs obtained with the shortest distance neighbor method, the Includes a strong feature classifier that classifies stationary segments where segment pairs are stationary, and a strong feature classifier that classifies moving segments where each segment pair is moving A person detection device that extracts a leg pair from the two segment pairs based on the characteristics of the classified segments.
前記幾何特徴の相似度は、前記２つのセグメント間の幾何サイズ又は幅及び距離の相似度に基づいて有向バウンディングボックス（ＯＢＢ：Oriented Bounding Box）を用いて、或いは、前記２つのセグメント間の幾何形状の相似度を評価して、ハウスドルフ空間（Hausdorff Space）において最大となるハウスドルフ距離で定義される、前記２つのセグメント間の最大ハウスドルフ距離（Hausdorff Distance）を用いて判断される、請求項１乃至３のいずれか１項記載の人物検出装置。 The extraction means performs the extraction of the leg based on the similarity of geometric features between two segments forming a stationary segment pair included in a plurality of clusters determined to have the leg characteristics;
The similarity of the geometric features may be determined by using a directed bounding box (OBB) based on the geometric size or the similarity of width and distance between the two segments, or the geometry between the two segments. The shape similarity is evaluated and determined using the maximum Hausdorff Distance between the two segments, defined by the largest Hausdorff distance in the Hausdorff Space. Item 4. The person detection device according to any one of Items 1 to 3.
前記レンジデータをプロセッサにより所定周期でサンプリングして連続する２つのサンプリング点において所定条件を満たすレンジデータから前記対象物のエッジを形成するセグメントを形成し、前記対象物のエッジを形成する複数のセグメントのレンジデータの集合で形成されたクラスタに基づいて脚の特徴を前記プロセッサにより抽出する工程と、
抽出した特徴の運動特性及び幾何情報に基づいて前記プロセッサにより人物を検出する工程を含み、
前記抽出する工程は、１つのクラスタを形成する全てのレンジデータが包含される仮想円の最小半径が予め定義された最小値より大きく、且つ、予め定義された最大値の２倍より小さいという第１の条件、前記最小半径内のレンジデータの数が４個より大きいという第２の条件、及び前記１つのクラスタを形成するレンジデータが直線を形成しないという第３の条件を満たしていると、前記１つのクラスタが脚の特徴を有すると判断し、最短距離近傍法を用いて取得した前記脚の特徴を有すると判断された複数のクラスタに含まれる２つのセグメントペアの移動特性に基づいて、各セグメントペアが静止している静止セグメントを分類する静止特徴強分類器と、各セグメントペアが移動している移動セグメントを分類する移動特徴強分類器を含み、分類されたセグメントの特徴に基づいて前記２つのセグメントペアから脚ペアを抽出する、人物検出方法。 Scanning a scanning range by a scanning unit on a plane substantially perpendicular to the direction of gravity, measuring a distance from a reference position to an object in the scanning range, and outputting range data;
The range data is sampled at a predetermined cycle by a processor, a segment forming an edge of the object is formed from range data satisfying a predetermined condition at two consecutive sampling points, and a plurality of segments forming the edge of the object Extracting a leg feature by the processor based on a cluster formed of a set of range data of :
Detecting the person by the processor based on the motion characteristics and geometric information of the extracted features,
In the extracting step, the minimum radius of a virtual circle including all the range data forming one cluster is larger than a predefined minimum value and smaller than twice the predefined maximum value. When the first condition, the second condition that the number of range data within the minimum radius is greater than four, and the third condition that the range data forming the one cluster does not form a straight line, It said one cluster is determined to have the characteristics of the legs, based on the transfer characteristics of the two segment pairs included in the plurality of clusters that are determined to have the characteristics of the legs obtained with the shortest distance neighbor method, A strong feature classifier that classifies stationary segments in which each segment pair is stationary, and a strong feature classifier that classifies moving segments in which each segment pair is moving. A person detection method comprising: extracting leg pairs from the two segment pairs based on the characteristics of the segments that are included and classified.
走査部に指示を出力して重力方向と略垂直な平面で走査範囲を走査して基準位置から前記走査範囲内の対象物までの距離を測定してレンジデータを出力させる走査手順と、
前記レンジデータを所定周期でサンプリングして連続する２つのサンプリング点において所定条件を満たすレンジデータから前記対象物のエッジを形成するセグメントを形成し、前記対象物のエッジを形成する複数のセグメントのレンジデータの集合で形成されたクラスタに基づいて脚の特徴を抽出させる抽出手順と、
抽出した特徴の運動特性及び幾何情報に基づいて人物を検出させる検出手順
を実行させるためのプログラムであって、
前記抽出手順は、１つのクラスタを形成する全てのレンジデータが包含される仮想円の最小半径が予め定義された最小値より大きく、且つ、予め定義された最大値の２倍より小さいという第１の条件、前記最小半径内のレンジデータの数が４個より大きいという第２の条件、及び前記１つのクラスタを形成するレンジデータが直線を形成しないという第３の条件を満たしていると、前記１つのクラスタが脚の特徴を有すると判断し、最短距離近傍法を用いて取得した前記脚の特徴を有すると判断された複数のクラスタに含まれる２つのセグメントペアの移動特性に基づいて、各セグメントペアが静止している静止セグメントを分類する静止特徴強分類器と、各セグメントペアが移動している移動セグメントを分類する移動特徴強分類器を含み、分類されたセグメントの特徴に基づいて前記２つのセグメントペアから脚ペアを抽出する、プログラム。 On the computer,
A scanning procedure that outputs an instruction to the scanning unit, scans a scanning range in a plane substantially perpendicular to the direction of gravity, measures a distance from a reference position to an object in the scanning range, and outputs range data;
The range data to form a segment which forms the edge of the object from the predetermined condition is satisfied range data at two sampling points continuously sampled at a predetermined period, the range of a plurality of segments forming the edge of the object An extraction procedure for extracting leg features based on clusters formed from a set of data ;
A program for executing a detection procedure for detecting a person based on motion characteristics and geometric information of an extracted feature,
The extraction procedure includes a first method in which a minimum radius of a virtual circle including all range data forming one cluster is larger than a predefined minimum value and smaller than twice a predefined maximum value. Satisfying the above condition, the second condition that the number of range data within the minimum radius is greater than four, and the third condition that the range data forming the one cluster does not form a straight line, determines one cluster to have the characteristics of the legs, based on the transfer characteristics of the two segment pairs included in the plurality of clusters that are determined to have the characteristics of the legs obtained with the shortest distance neighbor method, the Includes a strong feature classifier that classifies stationary segments where segment pairs are stationary, and a strong feature classifier that classifies moving segments where each segment pair is moving A program for extracting leg pairs from the two segment pairs based on the characteristics of the classified segments.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010216147A JP5561066B2 (en) | 2010-09-27 | 2010-09-27 | Person detection device, person detection method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010216147A JP5561066B2 (en) | 2010-09-27 | 2010-09-27 | Person detection device, person detection method, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2012073683A JP2012073683A (en) | 2012-04-12 |
| JP5561066B2 true JP5561066B2 (en) | 2014-07-30 |
Family
ID=46169816
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010216147A Expired - Fee Related JP5561066B2 (en) | 2010-09-27 | 2010-09-27 | Person detection device, person detection method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5561066B2 (en) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6893630B2 (en) * | 2016-03-24 | 2021-06-23 | 株式会社国際電気通信基礎技術研究所 | Service provision robot system |
| RU2695888C2 (en) * | 2017-03-24 | 2019-07-29 | Общество С Ограниченной Ответственностью "Многопрофильное Предприятие "Элсис" | Method for assessing person's psychophysiological state |
| TW201839557A (en) * | 2017-04-24 | 2018-11-01 | 金寶電子工業股份有限公司 | Electronic device and method for executing interactive functions |
| CN110609561A (en) * | 2019-11-18 | 2019-12-24 | 深圳市优必选科技股份有限公司 | Pedestrian tracking method and device, computer readable storage medium and robot |
| CN112083434B (en) * | 2020-09-09 | 2023-12-29 | 上海有个机器人有限公司 | Laser-based robot detection method and device |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002133389A (en) * | 2000-10-26 | 2002-05-10 | Nippon Telegr & Teleph Corp <Ntt> | Data classification learning method, data classification method, data classification learner, data classifier, storage medium with data classification learning program recorded, and recording medium with data classification program recorded |
| JP4012952B2 (en) * | 2002-12-09 | 2007-11-28 | 財団法人生産技術研究奨励会 | Passer-trajectory extraction apparatus and system |
| JP4100239B2 (en) * | 2003-04-22 | 2008-06-11 | 松下電工株式会社 | Obstacle detection device and autonomous mobile robot using the same device, obstacle detection method, and obstacle detection program |
| JP4493415B2 (en) * | 2004-06-07 | 2010-06-30 | 東日本旅客鉄道株式会社 | Passer behavior analysis system |
| JP2006047134A (en) * | 2004-08-05 | 2006-02-16 | Advanced Telecommunication Research Institute International | Pedestrian position detector |
| JP4767595B2 (en) * | 2005-06-15 | 2011-09-07 | パナソニック株式会社 | Object detection device and learning device thereof |
| JP2007066114A (en) * | 2005-08-31 | 2007-03-15 | Fujifilm Software Co Ltd | Sorting method and apparatus using sorter |
| JP2008288684A (en) * | 2007-05-15 | 2008-11-27 | Toyota Central R&D Labs Inc | Person detection device and program |
| JP4631036B2 (en) * | 2007-10-29 | 2011-02-16 | 東日本旅客鉄道株式会社 | Passer-by behavior analysis device, passer-by behavior analysis method, and program thereof |
-
2010
- 2010-09-27 JP JP2010216147A patent/JP5561066B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2012073683A (en) | 2012-04-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108496127B (en) | Efficient three-dimensional reconstruction focused on an object | |
| KR101896131B1 (en) | Mobile camera localization using depth maps | |
| Siddiqui et al. | Human pose estimation from a single view point, real-time range sensor | |
| KR101650799B1 (en) | Method for the real-time-capable, computer-assisted analysis of an image sequence containing a variable pose | |
| Bagautdinov et al. | Probability occupancy maps for occluded depth images | |
| CN114616588A (en) | Image processing apparatus, image processing method, and non-transitory computer-readable medium storing image processing program | |
| JP5561066B2 (en) | Person detection device, person detection method, and program | |
| Qian et al. | Grasp pose detection with affordance-based task constraint learning in single-view point clouds | |
| CN104850219A (en) | Equipment and method for estimating posture of human body attached with object | |
| CN110046677B (en) | Data preprocessing method, map construction method, loop detection method and system | |
| Ni et al. | A new approach based on two-stream cnns for novel objects grasping in clutter | |
| JP4419543B2 (en) | Detection apparatus and detection method | |
| JP2005351814A (en) | Detector and detecting method | |
| JP5581758B2 (en) | Person detection device, person detection method, and program | |
| JP7501622B2 (en) | IMAGE SELECTION DEVICE, IMAGE SELECTION METHOD, AND PROGRAM | |
| JP7409499B2 (en) | Image processing device, image processing method, and program | |
| KR101350387B1 (en) | Method for detecting hand using depth information and apparatus thereof | |
| JP7361342B2 (en) | Learning methods, learning devices, and programs | |
| JP7364077B2 (en) | Image processing device, image processing method, and program | |
| JP7435781B2 (en) | Image selection device, image selection method, and program | |
| JP7491380B2 (en) | IMAGE SELECTION DEVICE, IMAGE SELECTION METHOD, AND PROGRAM | |
| Dong et al. | Gesture recognition using quadratic curves | |
| JP5626011B2 (en) | Program and image processing apparatus | |
| Kaneko et al. | Fast obstacle detection for monocular autonomous mobile robots | |
| JP2011043863A (en) | Apparatus, method, program for determining/tracking object region, and apparatus for determining object region |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130702 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140210 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140218 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140417 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140513 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140526 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5561066 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |