JP2007272474A - Wheelchair user detection system using stereo camera - Google Patents

Wheelchair user detection system using stereo camera Download PDF

Info

Publication number
JP2007272474A
JP2007272474A JP2006096010A JP2006096010A JP2007272474A JP 2007272474 A JP2007272474 A JP 2007272474A JP 2006096010 A JP2006096010 A JP 2006096010A JP 2006096010 A JP2006096010 A JP 2006096010A JP 2007272474 A JP2007272474 A JP 2007272474A
Authority
JP
Japan
Prior art keywords
stereo camera
wheelchair user
detection system
wheelchair
user detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006096010A
Other languages
Japanese (ja)
Other versions
JP4811651B2 (en
Inventor
Ikushi Yoda
育士 依田
Katsuhiko Sakagami
勝彦 坂上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Institute of Advanced Industrial Science and Technology AIST
Original Assignee
National Institute of Advanced Industrial Science and Technology AIST
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Institute of Advanced Industrial Science and Technology AIST filed Critical National Institute of Advanced Industrial Science and Technology AIST
Priority to JP2006096010A priority Critical patent/JP4811651B2/en
Publication of JP2007272474A publication Critical patent/JP2007272474A/en
Application granted granted Critical
Publication of JP4811651B2 publication Critical patent/JP4811651B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a wheelchair user detection system using a stereo camera, which is capable of stably detecting a wheelchair user without attaching special devices to a wheelchair and the wheelchair used while minimizing remodeling of a structure when installing the system. <P>SOLUTION: In the wheelchair user detection system using a stereo camera, whether or not an object detected within a monitor range of a stereo camera 1 is a wheelchair user 4 is discriminated depending on variation in height from a vertex of the object in a direction of a horizontal 5, on the basis of three-dimensional distance information obtained from the stereo camera 1. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

本発明は、ステレオビジョンを用いたシーン中の車椅子使用者の検出システムに関するものである。   The present invention relates to a detection system for a wheelchair user in a scene using stereo vision.

車椅子使用者の移動速度や回転自由度は、健常者と比べて低くなる。そのような車椅子使用者がエレベータ、エスカレータなどの機械設備を使用する際は、設備自体の稼働速度を調節する必要がある。そのためには車椅子使用者が存在することを設備に知らせなければならない。しかし、例えば押し釦等では、設置位置によっては車椅子使用者がうまく押せない場合がある。そのため、車椅子使用者の自動検出技術が求められる。すでに、いくつかの車椅子の自動検出方法が提案されている。   The moving speed and rotational freedom of the wheelchair user are lower than that of the healthy person. When such a wheelchair user uses mechanical equipment such as an elevator or an escalator, it is necessary to adjust the operating speed of the equipment itself. To do so, the facility must be informed that there are wheelchair users. However, for example, with a push button, the wheelchair user may not be able to press well depending on the installation position. Therefore, an automatic detection technology for wheelchair users is required. Several automatic wheelchair detection methods have already been proposed.

特許文献１では、地面に対して垂直の直線上に、車輪の高さまで光センサの投光・受光機を並べ、その間を車椅子の車輪が通過することによって起こる遮蔽パターンを基に車椅子を検出する。   In Patent Document 1, light projectors and light receivers are arranged up to the height of the wheels on a straight line perpendicular to the ground, and the wheelchair is detected based on a shielding pattern caused by the wheelchair wheels passing between them. .

特許文献２では、車椅子使用者を前方斜め上から見下ろす様に３台のカメラを設置し、そこから得られる画像に対して基準背景画像を基にして背景以外の物体のエッジを検出し、そのエッジを用いてステレオマッチングを行い、得られた距離情報中の距離点の固まりに対して、車椅子の様な高さを持っているか否か、人のような直立した板の形状をしているか否か、また、その足下の点群が車輪の回転のような周期性を持っているか否かを判定し、車椅子検出を行っている。   In Patent Document 2, three cameras are installed so that a wheelchair user is looked down diagonally from above, and an edge of an object other than the background is detected based on a reference background image with respect to an image obtained therefrom. Stereo matching is performed using edges, and whether the distance points in the obtained distance information have a height like a wheelchair or whether it is in the shape of an upright board like a person The wheelchair is detected by determining whether or not the point cloud under the foot has a periodicity such as rotation of a wheel.

特許文献３，４には、加算引き出し法による人物検出・トラッキング処理方法が開示されており、その処理方法は以下のようである。   Patent Documents 3 and 4 disclose a person detection / tracking processing method based on an additive drawing method, and the processing method is as follows.

（１）あるフレームにおいて、ステレオカメラから得られた、カメラのレンズ正面を原点とする３次元座標系に属する距離情報を、監視範囲の中心の床を原点とする３次元座標系へ変換する。（２）変換した後の距離情報を、任意の高さで区切り、その区切られた各空間内で床平面に向けて射影し、２値画像を作成する（プレーン群の作成。後述する本発明の実施例の図３では４段のプレーン）。このとき、点と点の間の隙間を埋めるために、２値画像の縮小を行う。（３）プレーン内に存在する領域の重心を求める（後述する本発明の実施例の図３におけるプレーン４の、斜め線の領域内の十字が重心を表す）。これらを最上段のプレーンから下段のプレーンに向かって行う。このとき、各領域に関して、自分の属するプレーンより上の段において検出された重心のＸＹ座標が含まれる場合、それらは同一人物を指しているので、その領域では重心を求めない（後述する本発明の実施例の図３ではプレーン３，２，１の斜め十字網かけ、チェッカー、点々の領域にはプレーン４で検出された重心のＸＹ座標が含まれるため、重心は求めない）。このようにして、対象人物の頂点が決まる。（４）上記（３）のシーケンシャル処理で得られたこれらの頂点を、ＸＹ平面上での距離が近いもの同士で結び、動線を形成していく。
特開平１０−１４６３６１号公報 特表２００５−５３５０１６号公報 特開２００４−２４６８５６号公報 特開２００４−５８７３７号公報 (1) In a certain frame, distance information belonging to a three-dimensional coordinate system obtained from a stereo camera and originating from the front of the lens of the camera is converted into a three-dimensional coordinate system originating from the floor at the center of the monitoring range. (2) The converted distance information is divided at an arbitrary height, and projected toward the floor plane in each divided space to create a binary image (creation of a plane group; the present invention described later). FIG. 3 shows a four-stage plane). At this time, the binary image is reduced in order to fill the gap between the points. (3) The center of gravity of the area existing in the plane is obtained (the cross in the diagonal line area of the plane 4 in FIG. 3 of the embodiment of the present invention described later represents the center of gravity). These are performed from the uppermost plane toward the lower plane. At this time, when the XY coordinates of the center of gravity detected in the stage above the plane to which the area belongs are included for each area, they indicate the same person, and therefore the center of gravity is not obtained in that area (the present invention described later). In FIG. 3 of this embodiment, the XY coordinates of the center of gravity detected by the plane 4 are included in the areas of the diagonal crosses, checkers, and dots of the planes 3, 2, and 1, so the center of gravity is not obtained. In this way, the vertex of the target person is determined. (4) These vertices obtained by the sequential processing of (3) are connected with those having a short distance on the XY plane to form a flow line.
JP-A-10-146361 JP 2005-535016 A JP 2004-246856 A JP 2004-58737 A

しかしながら、上記した従来の車椅子検出方法によっては、その安定で、かつ正確な検知には難があった。   However, depending on the conventional wheelchair detection method described above, there has been difficulty in the stable and accurate detection.

本発明は、上記状況に鑑みて、車椅子およびその使用者に特別な装置を装着することなく、また、システム設置の際の、構造物への改修を最小限に抑えつつ、安定した車椅子使用者の検出を行うことできるステレオカメラを用いた車椅子使用者検出システムを提供することを目的とする。   In view of the above situation, the present invention provides a stable wheelchair user without attaching a special device to the wheelchair and its user and minimizing the modification to the structure when installing the system. An object of the present invention is to provide a wheelchair user detection system using a stereo camera capable of detecting the above.

〔１〕ステレオカメラを用いた車椅子使用者検出システムにおいて、ステレオカメラから得られる３次元距離情報を基に、前記ステレオカメラの監視範囲内で検出した物体に対して、この物体の頂点から水平５方向に向かっての高さの変化によって車椅子利用者であるか否かを判定することを特徴とする。   [1] In a wheelchair user detection system using a stereo camera, an object detected within the monitoring range of the stereo camera based on the three-dimensional distance information obtained from the stereo camera is horizontally 5 from the top of the object. It is characterized by determining whether it is a wheelchair user by the change of the height toward a direction.

〔２〕上記〔１〕記載のステレオカメラを用いた車椅子使用者検出システムにおいて、前記監視範囲がエレベータやエスカレータなどの車椅子使用者に対する特別なサービスが必要となる場所のエントランスであることを特徴とする。   [2] In the wheelchair user detection system using the stereo camera according to [1], the monitoring range is an entrance where a special service is required for a wheelchair user such as an elevator or an escalator. To do.

〔３〕上記〔２〕記載のステレオカメラを用いた車椅子使用者検出システムにおいて、前記エントランスの周囲の柱や梁などの構造物に前記ステレオカメラを配置するとともに、このステレオカメラは、前記車椅子使用者が通過することが予想される場所を斜め下に見下ろすように設置することを特徴とする。   [3] In the wheelchair user detection system using the stereo camera described in [2] above, the stereo camera is disposed on a structure such as a pillar or a beam around the entrance, and the stereo camera is used for the wheelchair use. It is characterized in that it is installed so as to look down at a place where a person is expected to pass.

〔４〕上記〔１〕記載のステレオカメラを用いた車椅子使用者検出システムにおいて、前記車椅子使用者と歩行者の３次元距離情報を多数取得し、それらから、５方向表面形状ベクトルを作成し、この５方向表面形状ベクトル群を特徴空間上において前記車椅子使用者のものと歩行者のものとの間で分割可能な超平面を、サポートベクタマシンによって推定し、学習することを特徴とする。   [4] In the wheelchair user detection system using the stereo camera according to [1], a plurality of three-dimensional distance information of the wheelchair user and the pedestrian is acquired, and a five-direction surface shape vector is created from them. A hyperplane that can divide the five-direction surface shape vector group between those of the wheelchair user and those of the pedestrian in the feature space is estimated and learned by a support vector machine.

〔５〕上記〔４〕記載のステレオカメラを用いた車椅子使用者検出システムにおいて、前記ステレオカメラにより未知の３次元距離情報を取得し、この３次元距離情報における物体に対して５方向表面形状ベクトルを作成し、この５方向表面形状ベクトルが、特徴空間上において前記超平面の車椅子使用者側に位置するのか、歩行者側に位置するのかを判定することにより、前記物体が車椅子使用者であるか検出することを特徴とする。   [5] In the wheelchair user detection system using the stereo camera according to [4] above, unknown three-dimensional distance information is acquired by the stereo camera, and a five-direction surface shape vector is obtained for an object in the three-dimensional distance information. And the object is the wheelchair user by determining whether the five-way surface shape vector is located on the wheelchair user side of the hyperplane or the pedestrian side in the feature space. It is characterized by detecting.

〔６〕上記〔４〕又は〔５〕記載のステレオカメラを用いた車椅子使用者検出システムにおいて、前記５方向表面形状ベクトルは、ステレオカメラから３次元距離情報を得て、この３次元距離画像情報に対して加算引き出し法による人物検出・トラッキング処理を行い、そこで得られたプレーン（水平面）群において、検出された物体の中心点Ｏから水平方向に、プレーンに対する高さを値とするベクトルを作成し、このベクトル作成を前記ステレオカメラの光軸に平行な直線上のステレオカメラに向かう１方向Ｃと、垂直な直線上２方向Ａ，Ｅと、４５°の直線上２方向Ｂ，Ｄの合計５方向に対して行うことにより作成することを特徴とする。   [6] In the wheelchair user detection system using the stereo camera according to [4] or [5], the five-direction surface shape vector obtains three-dimensional distance information from the stereo camera, and the three-dimensional distance image information The person is detected and tracked by the additive extraction method, and in the plane (horizontal plane) group obtained there, a vector whose value is the height relative to the plane is created in the horizontal direction from the center point O of the detected object. Then, this vector generation is the sum of one direction C toward the stereo camera on the straight line parallel to the optical axis of the stereo camera, two directions A and E on the vertical straight line, and two directions B and D on the 45 ° straight line. It is characterized in that it is created by performing in five directions.

本発明によれば、例えばエレベータやエスカレータなどの視覚障害者に対する特別なサービスが必要となる場所のエントランスで、車椅子使用者を正確に検知することができ、車椅子使用者に適合したサービスを提供することができる。   ADVANTAGE OF THE INVENTION According to this invention, a wheelchair user can be detected correctly in the entrance of the place where special services with respect to visually impaired persons, such as an elevator and an escalator, are required, and the service suitable for the wheelchair user is provided. be able to.

本発明のステレオカメラを用いた車椅子使用者検出システムは、ステレオカメラから得られる３次元距離情報を基に、監視範囲内で検出した物体に対して、その物体の頂点から水平５方向に向かっての高さの変化によって車椅子利用者であるか否かを判定する。   The wheelchair user detection system using the stereo camera of the present invention is directed toward five horizontal directions from the vertex of the object detected within the monitoring range based on the three-dimensional distance information obtained from the stereo camera. It is determined whether or not the user is a wheelchair user based on a change in height.

以下、本発明の実施の形態について詳細に説明する。   Hereinafter, embodiments of the present invention will be described in detail.

図１は本発明の実施例を示すステレオカメラを用いた車椅子使用者検出システムの模式図、図２はそのステレオカメラから得られる車椅子使用者の監視範囲内での検出状態を示す模式図、図３はそのステレオカメラから得られる３次元距離情報を基に、監視範囲内で検出した物体に対して、その頂点から水平５方向に向かっての高さの変化によって車椅子であるか否かを判定する模式図、図４はその５方向表面形状ベクトルの取り方〔プレーン（水平面）上〕を示す図、図５はステレオカメラと車椅子使用者の中心に対する水平５方向を示す図、図６はプレーンからのベクトルの変換の模式図である。   FIG. 1 is a schematic diagram of a wheelchair user detection system using a stereo camera according to an embodiment of the present invention. FIG. 2 is a schematic diagram showing a detection state within a monitoring range of a wheelchair user obtained from the stereo camera. 3 determines whether or not the object is a wheelchair, based on the three-dimensional distance information obtained from the stereo camera, based on the change in height from the apex to the horizontal direction of the object detected within the monitoring range. FIG. 4 is a diagram showing how to take the five-direction surface shape vector [on the plane (horizontal plane)], FIG. 5 is a diagram showing the horizontal five directions with respect to the center of the stereo camera and the wheelchair user, and FIG. It is a schematic diagram of conversion of the vector from.

図１に示すように、エレベータやエスカレータなどの、車椅子使用者４に対する特別なサービスが必要となる場所のエントランス２において、車椅子使用者４が通過することが予想される場所を斜め下に見下ろすようにステレオカメラ１を周囲の柱や梁などの構造物３を利用し、設置する。   As shown in FIG. 1, at an entrance 2 where a special service for a wheelchair user 4 is required such as an elevator or an escalator, the place where the wheelchair user 4 is expected to pass is looked down diagonally. Next, the stereo camera 1 is installed using the surrounding structures 3 such as pillars and beams.

そして、図２に示すように、ｘ，ｙ，ｚ軸を基準として、ステレオカメラ１を用いて取得した３次元距離情報を基に、監視範囲内に車椅子使用者４がいるかを検出するようにする。   Then, as shown in FIG. 2, based on the three-dimensional distance information acquired using the stereo camera 1 with reference to the x, y, and z axes, it is detected whether there is a wheelchair user 4 within the monitoring range. To do.

具体的には、図３に示すように、ステレオカメラ１から得られる３次元距離情報を基に、監視範囲内で検出した物体（ここでは、車椅子）に対して、その頂点から水平５方向Ａ，Ｂ，Ｃ，Ｄ，Ｅ（図５参照）に向かっての高さの変化によって車椅子であるか否かを判定する。ここで、高さの変化とは、頭の頂点から地面まで体の表面をなぞったときに、その線がどのような変化をしているかを指している（時系列の変化ではない）。この情報における、具体的な車椅子使用者と歩行者の差は、線に階段状の部分ができるか否かとなる。直立した歩行者の場合は、なぞる線は、頭の中心から頭の周縁部までは水平の段ができ、後は地面までほぼ垂直に下りる（特に正面、背面）。一方、車椅子使用者の場合は、その正面にできる線は、頭の周縁部までで水平部分が一段できて、その後、頭から胸・腹を垂直に下り、大腿部分において水平部分がもう一段できる。この違いにより対象を車椅子使用者か歩行者か識別できる。実際には、対象の正面方向は正確には分からないので、対象の、カメラから見える範囲を５方向に分けて等しくベクトルを取り、それらを加算平均して扱うことによって対象の回転による影響を吸収している。   Specifically, as shown in FIG. 3, based on the three-dimensional distance information obtained from the stereo camera 1, the object detected in the monitoring range (here, a wheelchair) is horizontally five directions A from its apex. , B, C, D, E (see FIG. 5), it is determined whether the wheelchair is a change in height. Here, the change in height indicates how the line changes when tracing the surface of the body from the top of the head to the ground (not a change in time series). The specific difference between the wheelchair user and the pedestrian in this information is whether or not a stepped portion is formed on the line. In the case of an upright pedestrian, the trace line has a horizontal step from the center of the head to the periphery of the head, and then descends almost vertically to the ground (especially the front and back). On the other hand, in the case of a wheelchair user, the line that can be in front of the head can be leveled up to the periphery of the head, and then the head and chest and abdomen can be lowered vertically, and the horizontal part can be further leveled at the thigh. . This difference allows the subject to be identified as a wheelchair user or a pedestrian. Actually, since the front direction of the target is not accurately known, the range of the target that can be seen from the camera is divided into five directions, the same vector is taken, and the results of averaging are absorbed to absorb the influence of the target's rotation. is doing.

図３においては、水平方向Ａの高さ、即ち、プレーン４、プレーン３、プレーン２、プレーン１におけるそれぞれの高さ１１，１２，１３，１４を求めている（図６参照）。そして、それらの高さの変化によって車椅子であるか否かを判定する。つまり、水平５方向Ａ，Ｂ，Ｃ，Ｄ，Ｅに向かっての高さが上述したように、車椅子使用者と歩行者とでは異なるので、この特徴を、本発明のステレオカメラを用いた車椅子使用者検出システムによって正確に検出することができる。   In FIG. 3, the height in the horizontal direction A, that is, the respective heights 11, 12, 13, and 14 in the plane 4, plane 3, plane 2, and plane 1 are obtained (see FIG. 6). And it is determined whether it is a wheelchair by the change of those heights. That is, as described above, the heights toward the five horizontal directions A, B, C, D, and E are different between the wheelchair user and the pedestrian, so this feature is used for the wheelchair using the stereo camera of the present invention. It can be accurately detected by the user detection system.

なお、本発明の副次的効果として、例えば、車椅子が転倒したような場合には、その車椅子使用者の５方向表面形状ベクトルが大きく変化するので、加算引き出し法による人物検出・トラッキング処理による追跡データと併せて処理することにより、車椅子使用者のラベルを持った追跡対象の特徴ベクトルが急激に変化した場合、何事かが起こった（例えば、車椅子使用者の転倒など）として警報を発することもできる。   As a side effect of the present invention, for example, when a wheelchair falls, the wheelchair user's five-direction surface shape vector changes greatly, so tracking by person detection / tracking processing by the additive drawing method By processing it together with the data, if the feature vector of the tracking target with the wheelchair user's label changes suddenly, an alarm may be issued as something happened (for example, a wheelchair user falls) it can.

本発明の実施例を示すステレオカメラを用いた車椅子使用者検出システムは事前の学習を必要とする。   The wheelchair user detection system using the stereo camera according to the embodiment of the present invention requires prior learning.

まず、図７に示すように、車椅子使用者と歩行者の３次元距離情報を多数取得する（ステップＳ１）。それらから、後述する５方向表面形状ベクトルを作成する（ステップＳ２）。それら５方向表面形状ベクトル群を特徴空間上において車椅子使用者のものと歩行者のものとの間で分割可能な超平面を、サポートベクタマシンによって推定する（ステップＳ３）。   First, as shown in FIG. 7, a large amount of three-dimensional distance information between the wheelchair user and the pedestrian is acquired (step S1). From these, a 5-direction surface shape vector, which will be described later, is created (step S2). A hyperplane that can divide these five-direction surface shape vector groups between those of wheelchair users and those of pedestrians in the feature space is estimated by the support vector machine (step S3).

次に、本発明の実施例を示すステレオカメラを用いた車椅子使用者検出システムの判別フローについて説明する。   Next, a determination flow of the wheelchair user detection system using the stereo camera showing the embodiment of the present invention will be described.

図８に示すように、まず、ステレオカメラにより、未知の３次元距離情報を取得する（ステップＳ１１）、次に、取得した３次元距離情報中の物体に対して図７と同様に５方向表面形状ベクトルを作成する（ステップＳ１２）。次に、その作成された５方向表面形状ベクトルが特徴空間上において超平面の車椅子使用者側に位置するのか、歩行者側に位置するのかを判定する（ステップＳ１３）。   As shown in FIG. 8, first, unknown three-dimensional distance information is acquired by a stereo camera (step S11). Next, the object in the acquired three-dimensional distance information is subjected to a five-direction surface as in FIG. A shape vector is created (step S12). Next, it is determined whether the created five-direction surface shape vector is located on the hyperplane wheelchair user side or the pedestrian side in the feature space (step S13).

次に、図７のステップＳ２、図８のステップＳ１２における、本発明の実施例を示す５方向表面形状ベクトルの作成フローについて説明する。   Next, the flow of creating a five-direction surface shape vector showing the embodiment of the present invention in step S2 of FIG. 7 and step S12 of FIG.

まず、図９に示すように、ステレオカメラを用いて３次元距離情報を得る（ステップＳ２１）。次に、その３次元距離情報に対して加算引き出し法による人物検出・トラッキング処理（上記特許文献３，４参照）を行う（ステップＳ２２）。そこで得られたプレーン群において、図４に示すように検出された各物体の中心点Ｏから水平方向に３０点分の、プレーンに対する高さを値とするベクトルを作成する。このベクトル作成はステレオカメラの光軸に平行な直線上のステレオカメラに向かう１方向Ｃと、垂直な直線上２方向Ａ，Ｅと、４５°の直線上２方向Ｂ，Ｄの合計５方向に対して行う。ただし、４５°方向Ｂ，Ｄの場合は２１点分をベクトルとし、それを２１０点に拡大した後、７点毎にｍｅｄｉａｎを求め、３０次元のベクトルに直す（ステップＳ２３）。次に、それら５本のベクトルの加算平均を取り、３０次元のベクトルとして保存する（ステップＳ２４）。   First, as shown in FIG. 9, three-dimensional distance information is obtained using a stereo camera (step S21). Next, person detection / tracking processing (see Patent Documents 3 and 4 above) is performed on the three-dimensional distance information (step S22). In the plane group thus obtained, as shown in FIG. 4, a vector having a height relative to the plane for 30 points in the horizontal direction from the center point O of each detected object is created. This vector generation is performed in a total of five directions: one direction C toward a stereo camera on a straight line parallel to the optical axis of the stereo camera, two directions A and E on a vertical straight line, and two directions B and D on a 45 ° straight line. Against. However, in the case of 45 ° directions B and D, 21 points are used as vectors, and after expanding them to 210 points, median is obtained every 7 points and converted to a 30-dimensional vector (step S23). Next, the average of these five vectors is taken and stored as a 30-dimensional vector (step S24).

また、上記ではベクトルの長さは３０点としたが、これはプレーンの縮小率によって変わる。実際に高さの変化を取らなければならない長さは、頭の中心から体の端までの水平距離となる（実測値では８００〜９００ｍｍ程度）。プレーンにおいて、この８００〜９００ｍｍの長さに対応する点列をベクトルとして扱う。その意味では、３０点は一例にすぎない。   In the above description, the length of the vector is 30 points, but this varies depending on the reduction ratio of the plane. The length that must actually take a change in height is the horizontal distance from the center of the head to the end of the body (measured values are about 800 to 900 mm). In the plane, the point sequence corresponding to the length of 800 to 900 mm is handled as a vector. In that sense, 30 points is only an example.

なお、本発明は上記実施例に限定されるものではなく、本発明の趣旨に基づき種々の変形が可能であり、これらを本発明の範囲から排除するものではない。   In addition, this invention is not limited to the said Example, Based on the meaning of this invention, a various deformation | transformation is possible and these are not excluded from the scope of the present invention.

本発明のステレオカメラを用いた車椅子使用者検出システムは、車椅子使用者を確実に検知するシステムとして利用可能である。   The wheelchair user detection system using the stereo camera of the present invention can be used as a system for reliably detecting a wheelchair user.

本発明の実施例を示すステレオカメラを用いた車椅子使用者検出システムの模式図である。It is a schematic diagram of the wheelchair user detection system using the stereo camera which shows the Example of this invention. 本発明の実施例を示すステレオカメラから得られる車椅子使用者の監視範囲内での検出状態を示す模式図である。It is a schematic diagram which shows the detection state within the monitoring range of the wheelchair user obtained from the stereo camera which shows the Example of this invention. 本発明の実施例を示すステレオカメラから得られる３次元距離情報を基に、監視範囲内で検出した物体に対して、その頂点から水平５方向に向かっての高さの変化によって車椅子であるか否かを判定する模式図である。Based on the three-dimensional distance information obtained from the stereo camera according to the embodiment of the present invention, whether the object is detected in the monitoring range or is a wheelchair due to a change in height from the apex toward the horizontal five directions. It is a schematic diagram which determines whether or not. 本発明の実施例を示す５方向表面形状ベクトルの取り方（プレーン上）を示す図である。It is a figure which shows how to take the 5-direction surface shape vector (on a plane) which shows the Example of this invention. 本発明の実施例を示すステレオカメラと車椅子使用者の中心に対する水平５方向を示す図である。It is a figure which shows the horizontal five directions with respect to the center of the stereo camera which shows the Example of this invention, and a wheelchair user. 本発明の実施例を示すプレーンからのベクトルの変換の模式図である。It is a schematic diagram of the conversion of the vector from the plane which shows the Example of this invention. 本発明の実施例を示すステレオカメラを用いた車椅子使用者検出システムの学習フローを示す図である。It is a figure which shows the learning flow of the wheelchair user detection system using the stereo camera which shows the Example of this invention. 本発明の実施例を示すステレオカメラを用いた車椅子使用者検出システムの判別フローを示す図である。It is a figure which shows the discrimination | determination flow of the wheelchair user detection system using the stereo camera which shows the Example of this invention. 本発明の実施例を示すステレオカメラを用いた車椅子使用者検出システムの５方向表面形状ベクトルの作成フローを示す図である。It is a figure which shows the creation flow of the 5-way surface shape vector of the wheelchair user detection system using the stereo camera which shows the Example of this invention.

符号の説明Explanation of symbols

１ ステレオカメラ
２ エントランス
３ 構造物
４ 車椅子使用者
Ａ，Ｂ，Ｃ，Ｄ，Ｅ 水平５方向
１１ プレーン４における高さ
１２ プレーン３における高さ
１３ プレーン２における高さ
１４ プレーン１における高さ DESCRIPTION OF SYMBOLS 1 Stereo camera 2 Entrance 3 Structure 4 Wheelchair user A, B, C, D, E Horizontal 5 direction 11 Height in plane 4 12 Height in plane 3 13 Height in plane 2 14 Height in plane 1

Claims (6)

ステレオカメラから得られる３次元距離情報を基に、前記ステレオカメラの監視範囲内で検出した物体に対して、該物体の頂点から水平５方向に向かっての高さの変化によって車椅子利用者であるか否かを判定することを特徴とするステレオカメラを用いた車椅子使用者検出システム。   Based on the three-dimensional distance information obtained from the stereo camera, it is a wheelchair user due to a change in height from the vertex of the object toward the five horizontal directions with respect to the object detected within the monitoring range of the stereo camera. A wheelchair user detection system using a stereo camera, characterized by determining whether or not. 請求項１記載のステレオカメラを用いた車椅子使用者検出システムにおいて、前記監視範囲がエレベータやエスカレータなどの車椅子使用者に対する特別なサービスが必要となる場所のエントランスであることを特徴とするステレオカメラを用いた車椅子使用者検出システム。   The wheelchair user detection system using the stereo camera according to claim 1, wherein the monitoring range is an entrance of a place where a special service is required for a wheelchair user such as an elevator or an escalator. Wheelchair user detection system used. 請求項２記載のステレオカメラを用いた車椅子使用者検出システムにおいて、前記エントランスの周囲の柱や梁などの構造物に前記ステレオカメラを配置するとともに、該ステレオカメラは、前記車椅子使用者が通過することが予想される場所を斜め下に見下ろすように設置することを特徴とするステレオカメラを用いた車椅子使用者検出システム。   The wheelchair user detection system using the stereo camera according to claim 2, wherein the stereo camera is disposed on a structure such as a column or a beam around the entrance, and the wheelchair user passes through the stereo camera. A wheelchair user detection system using a stereo camera, which is installed so as to look down at a place where it is expected to be obliquely below. 請求項１記載のステレオカメラを用いた車椅子使用者検出システムにおいて、前記車椅子使用者と歩行者の３次元距離情報を多数取得し、それらから、５方向表面形状ベクトルを作成し、該５方向表面形状ベクトル群を特徴空間上において前記車椅子使用者のものと歩行者のものとの間で分割可能な超平面を、サポートベクタマシンによって推定し、学習することを特徴とするステレオカメラを用いた車椅子使用者検出システム。   The wheelchair user detection system using the stereo camera according to claim 1, wherein a plurality of three-dimensional distance information of the wheelchair user and a pedestrian is acquired, and a five-direction surface shape vector is created therefrom, A wheelchair using a stereo camera, characterized in that a hyperplane that can divide a shape vector group between those of a wheelchair user and those of a pedestrian in a feature space is estimated and learned by a support vector machine User detection system. 請求項４記載のステレオカメラを用いた車椅子使用者検出システムにおいて、前記ステレオカメラにより未知の３次元距離情報を取得し、該３次元距離情報における物体に対して５方向表面形状ベクトルを作成し、該５方向表面形状ベクトルが、特徴空間上において前記超平面の車椅子使用者側に位置するのか、歩行者側に位置するのかを判定することにより、前記物体が車椅子使用者であるか検出することを特徴とするステレオカメラを用いた車椅子使用者検出システム。   The wheelchair user detection system using the stereo camera according to claim 4, wherein unknown three-dimensional distance information is acquired by the stereo camera, and a five-direction surface shape vector is created for an object in the three-dimensional distance information, Detecting whether the object is a wheelchair user by determining whether the five-direction surface shape vector is positioned on the hyperplane wheelchair user side or the pedestrian side in the feature space A wheelchair user detection system using a stereo camera. 請求項４又は５記載のステレオカメラを用いた車椅子使用者検出システムにおいて、前記５方向表面形状ベクトルは、ステレオカメラから３次元距離情報を得て、該３次元距離画像情報に対して加算引き出し法による人物検出・トラッキング処理を行い、そこで得られたプレーン（水平面）群において、検出された物体の中心点Ｏから水平方向に、プレーンに対する高さを値とするベクトルを作成し、このベクトル作成を前記ステレオカメラの光軸に平行な直線上のステレオカメラに向かう１方向Ｃと、垂直な直線上２方向Ａ，Ｅと、４５°の直線上２方向Ｂ，Ｄの合計５方向に対して行うことにより作成することを特徴とするステレオカメラを用いた車椅子使用者検出システム。   The wheelchair user detection system using a stereo camera according to claim 4 or 5, wherein the five-direction surface shape vector obtains three-dimensional distance information from the stereo camera, and adds and extracts the three-dimensional distance image information. In the plane (horizontal plane) group obtained there, a vector having the height relative to the plane as a value is created in the horizontal direction from the center point O of the detected object. For a total of five directions: one direction C toward a stereo camera on a straight line parallel to the optical axis of the stereo camera, two directions A and E on a vertical straight line, and two directions B and D on a 45 ° straight line A wheelchair user detection system using a stereo camera.
JP2006096010A 2006-03-30 2006-03-30 Wheelchair user detection system using stereo camera Expired - Fee Related JP4811651B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006096010A JP4811651B2 (en) 2006-03-30 2006-03-30 Wheelchair user detection system using stereo camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006096010A JP4811651B2 (en) 2006-03-30 2006-03-30 Wheelchair user detection system using stereo camera

Publications (2)

Publication Number Publication Date
JP2007272474A true JP2007272474A (en) 2007-10-18
JP4811651B2 JP4811651B2 (en) 2011-11-09

Family

ID=38675229

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006096010A Expired - Fee Related JP4811651B2 (en) 2006-03-30 2006-03-30 Wheelchair user detection system using stereo camera

Country Status (1)

Country Link
JP (1) JP4811651B2 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9086700B2 (en) 2011-11-09 2015-07-21 Panasonic Intellectual Property Management Co., Ltd. Autonomous locomotion apparatus, autonomous locomotion method, and program for autonomous locomotion apparatus
JP2019087130A (en) * 2017-11-09 2019-06-06 株式会社国際電気通信基礎技術研究所 Human attribute recognition system and program
CN112313165A (en) * 2018-07-03 2021-02-02 三菱电机株式会社 Elevator user identification system
JP2021073618A (en) * 2016-03-18 2021-05-13 日本電気株式会社 Video monitoring system, video monitoring method, and program

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08149516A (en) * 1994-11-16 1996-06-07 Secom Co Ltd Three-dimensional image decoder
JPH0981897A (en) * 1995-09-08 1997-03-28 Fujitsu General Ltd Parking lot management system
JPH09190594A (en) * 1996-01-10 1997-07-22 Toyota Motor Corp Vehicle kind discriminating device
JPH11268879A (en) * 1998-03-20 1999-10-05 Mitsubishi Electric Corp Operation controller for elevator
JPH11283174A (en) * 1998-03-26 1999-10-15 Toyota Motor Corp Passing vehicle detector
JP2000232299A (en) * 1999-02-12 2000-08-22 Juki Corp Method and device for recognizing part
JP2001208844A (en) * 2000-01-25 2001-08-03 Sumitomo Electric Ind Ltd Optical vehicle sensing device and optical vehicle sensing method
WO2004012142A1 (en) * 2002-07-26 2004-02-05 Mitsubishi Denki Kabushiki Kaisha Image processing apparatus
JP2006048322A (en) * 2004-08-04 2006-02-16 Seiko Epson Corp Object image detecting device, face image detection program, and face image detection method

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08149516A (en) * 1994-11-16 1996-06-07 Secom Co Ltd Three-dimensional image decoder
JPH0981897A (en) * 1995-09-08 1997-03-28 Fujitsu General Ltd Parking lot management system
JPH09190594A (en) * 1996-01-10 1997-07-22 Toyota Motor Corp Vehicle kind discriminating device
JPH11268879A (en) * 1998-03-20 1999-10-05 Mitsubishi Electric Corp Operation controller for elevator
JPH11283174A (en) * 1998-03-26 1999-10-15 Toyota Motor Corp Passing vehicle detector
JP2000232299A (en) * 1999-02-12 2000-08-22 Juki Corp Method and device for recognizing part
JP2001208844A (en) * 2000-01-25 2001-08-03 Sumitomo Electric Ind Ltd Optical vehicle sensing device and optical vehicle sensing method
WO2004012142A1 (en) * 2002-07-26 2004-02-05 Mitsubishi Denki Kabushiki Kaisha Image processing apparatus
JP2006048322A (en) * 2004-08-04 2006-02-16 Seiko Epson Corp Object image detecting device, face image detection program, and face image detection method

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9086700B2 (en) 2011-11-09 2015-07-21 Panasonic Intellectual Property Management Co., Ltd. Autonomous locomotion apparatus, autonomous locomotion method, and program for autonomous locomotion apparatus
JP2021073618A (en) * 2016-03-18 2021-05-13 日本電気株式会社 Video monitoring system, video monitoring method, and program
JP7047944B2 (en) 2016-03-18 2022-04-05 日本電気株式会社 Video surveillance system, video monitoring method, and program
US11361452B2 (en) 2016-03-18 2022-06-14 Nec Corporation Information processing apparatus, control method, and program
US11823398B2 (en) 2016-03-18 2023-11-21 Nec Corporation Information processing apparatus, control method, and program
JP2019087130A (en) * 2017-11-09 2019-06-06 株式会社国際電気通信基礎技術研究所 Human attribute recognition system and program
JP7079466B2 (en) 2017-11-09 2022-06-02 株式会社国際電気通信基礎技術研究所 Human attribute recognition system and program
CN112313165A (en) * 2018-07-03 2021-02-02 三菱电机株式会社 Elevator user identification system
CN112313165B (en) * 2018-07-03 2022-08-12 三菱电机株式会社 Elevator user identification system

Also Published As

Publication number Publication date
JP4811651B2 (en) 2011-11-09

Similar Documents

Publication Publication Date Title
EP3087341B1 (en) Method for reconstructing a surface using spatially structured light and a dynamic vision sensor
CN103578115B (en) Moving body identifying system and moving body recognition methods
KR101461185B1 (en) Apparatus and method for building 3D map using structured light
JP5075672B2 (en) Object detection apparatus and method
CN105158257B (en) Slide plate measurement method and device
US7142694B2 (en) Image processing apparatus
JP6145373B2 (en) People counting device
JP6206957B2 (en) Trolley wire measuring device and trolley wire measuring method
CN103377471B (en) Object positioning method and device, optimum video camera are to determining method and apparatus
JP2011065338A (en) Object tracking device and program
JP5956248B2 (en) Image monitoring device
JP2015518138A (en) Method, apparatus and computer program for extracting information about one or more spatial objects
JP2002024986A (en) Pedestrian detector
KR102584527B1 (en) Method and Apparatus for counting the number of person
JP4811651B2 (en) Wheelchair user detection system using stereo camera
EP2476999A1 (en) Method for measuring displacement, device for measuring displacement, and program for measuring displacement
KR101090082B1 (en) System and method for automatic measuring of the stair dimensions using a single camera and a laser
KR20220026422A (en) Apparatus and method for calibrating camera
JP2007274234A (en) White cane user detection system using stereo camera
JP2006260098A (en) Obstacle detection unit
Wang et al. Monitoring the earthquake response of full‐scale structures using UAV vision‐based techniques
JP2007271554A (en) Face attitude detection method
JPWO2020105499A1 (en) Image processing device, image processing method, and program
CN109670391B (en) Intelligent lighting device based on machine vision and dynamic identification data processing method
JP5891802B2 (en) Vehicle position calculation device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080905

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110301

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110428

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110524

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110707

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110809

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110810

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140902

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140902

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees