JP6481960B2 - Information processing system, information processing method, and program for detecting position of foot - Google Patents
Information processing system, information processing method, and program for detecting position of foot Download PDFInfo
- Publication number
- JP6481960B2 JP6481960B2 JP2015059409A JP2015059409A JP6481960B2 JP 6481960 B2 JP6481960 B2 JP 6481960B2 JP 2015059409 A JP2015059409 A JP 2015059409A JP 2015059409 A JP2015059409 A JP 2015059409A JP 6481960 B2 JP6481960 B2 JP 6481960B2
- Authority
- JP
- Japan
- Prior art keywords
- foot
- foot position
- template
- information processing
- detecting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Description
本発明に係るいくつかの態様は、情報処理システム、情報処理方法及びプログラムに関する。 Some embodiments according to the present invention relate to an information processing system, an information processing method, and a program.
従来より、単眼カメラを車に取り付けて前方を監視し、得られた画像から危険性の高い歩行者を検出して警告する装置等が開発されている。このような装置においては、画像から歩行者を見つけることが極めて重要である。特に歩行者の中でも、車と接近している歩行者ほど衝突の危険性が高いため、車から歩行者までの距離を検出できることが望ましい。例えばミリ波レーダ等の測距センサを用いれば距離を容易に検出することが可能であるが、製品コストの上昇などの課題が生じる 2. Description of the Related Art Conventionally, a device that attaches a monocular camera to a car, monitors the front, detects a pedestrian with high risk from the obtained image, and warns is developed. In such a device, it is extremely important to find a pedestrian from the image. In particular, among pedestrians, pedestrians that are closer to the car have a higher risk of collision, so it is desirable to be able to detect the distance from the car to the pedestrian. For example, distance can be easily detected by using a distance measuring sensor such as a millimeter wave radar, but problems such as an increase in product cost arise.
ここで、もし歩行者の足元位置を画像上で正確に検出することができれば、カメラと実世界との対応関係により、単眼カメラの画像からでも車と歩行者との距離を測定することが可能である。 Here, if the pedestrian's foot position can be accurately detected on the image, the distance between the car and the pedestrian can be measured even from the image of the monocular camera based on the correspondence between the camera and the real world. It is.
ところで、人物が写る画像に対する画像処理には、例えば特許文献1記載の手法がある。特許文献1には、複数のテンプレート画像を用意し、それらのテンプレート画像と入力画像との一致度を算出することにより、腕や足の状態を同定すること等が開示されている。
その他、特許文献2−4にも関連技術が開示されている。
Incidentally, for example, there is a method described in
In addition, Patent Documents 2-4 also disclose related technologies.
しかしながら、特許文献1記載の手法は、腕や足などの各部位の状態は同定しているものの、足元等、特定の部位の位置を検出する手法については何ら考慮されていない。
However, although the technique described in
本発明のいくつかの態様は前述の課題に鑑みてなされたものであり、好適に足元位置を検出することのできる情報処理システム、情報処理方法及びプログラムを提供することを目的の1つとする。 Some aspects of the present invention have been made in view of the above-described problems, and an object thereof is to provide an information processing system, an information processing method, and a program capable of suitably detecting a foot position.
本発明に係る情報処理システムは、入力画像と、複数のテンプレートとを照合することにより足元領域を検出する検出手段と、前記複数のテンプレートの各テンプレート毎に、足元の位置に関する足元位置情報を管理する管理手段と、前記足元領域の検出に用いたテンプレートに対応する前記足元位置情報に基づき、足元位置を出力する出力手段とを備える。 An information processing system according to the present invention manages a foot position information relating to a foot position for each template of the plurality of templates, and a detecting unit that detects a foot region by comparing an input image with a plurality of templates. Management means, and output means for outputting the foot position based on the foot position information corresponding to the template used for detecting the foot area.
本発明に係る情報処理方法は、入力画像と、複数のテンプレートとを照合することにより足元領域を検出するステップと、前記複数のテンプレートの各テンプレート毎に、足元の位置に関する足元位置情報を管理するステップと、前記足元領域の検出に用いたテンプレートに対応する前記足元位置情報に基づき、足元位置を出力するステップとを情報処理装置が行う。 An information processing method according to the present invention includes a step of detecting a foot area by comparing an input image with a plurality of templates, and manages foot position information relating to a foot position for each template of the plurality of templates. The information processing apparatus performs a step and a step of outputting a foot position based on the foot position information corresponding to the template used for detecting the foot area.
本発明に係るプログラムは、入力画像と、複数のテンプレートとを照合することにより足元領域を検出する処理と、前記複数のテンプレートの各テンプレート毎に、足元の位置に関する足元位置情報を管理する処理と、前記足元領域の検出に用いたテンプレートに対応する前記足元位置情報に基づき、足元位置を出力する処理とをコンピュータに実行させる。 The program according to the present invention includes a process of detecting a foot area by comparing an input image and a plurality of templates, and a process of managing foot position information relating to a foot position for each template of the plurality of templates. And causing the computer to execute a process of outputting the foot position based on the foot position information corresponding to the template used for detecting the foot area.
なお、本発明において、「部」や「手段」、「装置」、「システム」とは、単に物理的手段を意味するものではなく、その「部」や「手段」、「装置」、「システム」が有する機能をソフトウェアによって実現する場合も含む。また、1つの「部」や「手段」、「装置」、「システム」が有する機能が2つ以上の物理的手段や装置により実現されても、2つ以上の「部」や「手段」、「装置」、「システム」の機能が1つの物理的手段や装置により実現されても良い。 In the present invention, “part”, “means”, “apparatus”, and “system” do not simply mean physical means, but “part”, “means”, “apparatus”, “system”. This includes the case where the functions possessed by "are realized by software. Further, even if the functions of one “unit”, “means”, “apparatus”, and “system” are realized by two or more physical means or devices, two or more “parts” or “means”, The functions of “device” and “system” may be realized by a single physical means or device.
本発明によれば、好適に足元位置を検出することのできる情報処理システム、情報処理方法及びプログラムを提供することができる。 ADVANTAGE OF THE INVENTION According to this invention, the information processing system, the information processing method, and program which can detect a foot position suitably can be provided.
以下に本発明の実施形態を説明する。以下の説明及び参照する図面の記載において、同一又は類似の構成には、それぞれ同一又は類似の符号が付されている。 Embodiments of the present invention will be described below. In the following description and the description of the drawings to be referred to, the same or similar components are denoted by the same or similar reference numerals.
(1 第1実施形態)
図1乃至図4は、第1実施形態を説明するための図である。以下、これらの図を参照しながら、以下の流れに沿って本実施形態を説明する。まず「1.1」で全体の概要を説明した上で、「1.2」でシステムの機能構成の概要を説明する。続いて「1.3」で処理の流れを、「1.4」で本システムを実現可能なハードウェア構成の具体例を示す。最後に「1.5」以降で、本実施形態に係る効果等を説明する。
(1 First Embodiment)
1 to 4 are diagrams for explaining the first embodiment. Hereinafter, the present embodiment will be described along the following flow with reference to these drawings. First, an overview of the entire system is described in “1.1”, and then an overview of the functional configuration of the system is described in “1.2”. Next, “1.3” shows the flow of processing, and “1.4” shows a specific example of a hardware configuration capable of realizing this system. Finally, the effects and the like according to the present embodiment will be described after “1.5”.
(1.1 概要)
従来から、単眼カメラを車に取り付けて前方を監視し、得られた画像から危険性の高い歩行者を検出して警告する装置が存在する。このように、画像から歩行者を検出することは重要である。歩行者を検出するための手法としては、例えば歩行者の画像と歩行者ではない画像とを大量に集め、これらの画像を元に統計的識別器を生成する手法が考えられる。
(1.1 Overview)
2. Description of the Related Art Conventionally, there is a device that attaches a monocular camera to a car, monitors the front, and detects and warns a pedestrian with high risk from the obtained image. Thus, it is important to detect a pedestrian from an image. As a method for detecting a pedestrian, for example, a method of collecting a large amount of pedestrian images and non-pedestrian images and generating a statistical classifier based on these images can be considered.
ここで、検出された歩行者の中でも、特に車と接近している歩行者ほど衝突の危険性が高いと考えられる。よって、車から歩行者までの距離を検出できることが望ましい。距離を検出する方法としては、例えばミリ波レーダ等の測距センサを用いることも考えられるが、当該手法はセンサをカメラとは別に用意する必要があるため、製品コストの上昇を招く。 Here, among the detected pedestrians, the pedestrians approaching the car are considered to have a higher risk of collision. Therefore, it is desirable to be able to detect the distance from the car to the pedestrian. As a method for detecting the distance, for example, a distance measuring sensor such as a millimeter wave radar may be used. However, since the sensor needs to be prepared separately from the camera, the product cost increases.
この点、もし歩行者の足元位置を画像上で正確に検出することができれば、カメラと実世界との対応関係により、単眼カメラの画像からでも車と歩行者との距離を測定することが可能である。 In this regard, if the pedestrian's foot position can be accurately detected on the image, the distance between the car and the pedestrian can be measured even from the image of a monocular camera based on the correspondence between the camera and the real world. It is.
歩行者の足元を見つける方法としては、先述の歩行者を検出する方法と同様に、足元の画像と、足元ではない画像とを大量に集め、これらの画像を元に統計的識別器を生成する手法が考えられる。特に、歩行者を検出する手法の1つとして、歩行者の全身の画像を用いるのではなく、歩行者を頭部や下半身、足元等に分解して各々検出し、その結果を統合する方法がある。このような手法により歩行者を検出している場合には、当該検出結果を利用することで、計算コストを追加することなく画像中の足元の領域を特定することができる。 As a method for finding the pedestrian's feet, similar to the method for detecting pedestrians described above, a large amount of images of the feet and non-foot are collected, and a statistical discriminator is generated based on these images. A method can be considered. In particular, as one of the methods for detecting a pedestrian, there is a method in which the pedestrian is decomposed into the head, the lower body, the feet, etc., and each result is detected instead of using an image of the pedestrian, and the results are integrated. is there. When a pedestrian is detected by such a method, the area of the foot in the image can be specified without adding a calculation cost by using the detection result.
しかしながら、このような手法で足元の領域を見つけられたとしても、足元の位置を特定することは難しい。足元の領域を示す画像にも、向こうずねよりも下のみを足元の領域として検出される場合、太もも辺りよりも下全てを含む領域として検出される場合、歩行中等の事情により脚が開いている場合、等様々な状態がありうる。このような豊富なバリエーション故に、たとえ足元の領域が特定されたとしても、足元の位置を高い精度で検出することはできない。 However, even if a foot region is found by such a method, it is difficult to specify the foot position. In the image showing the area of the foot, if only the area below the shin is detected as the area of the foot, if it is detected as the area including all below the thigh, the leg may be open due to circumstances such as walking There can be various states. Because of such abundant variations, even if the foot region is specified, the foot position cannot be detected with high accuracy.
更に、車に取り付ける車載機で利用できる計算リソースの量は、一般的なPC(Personal Computer)やワークステーションに比べるとかなり限られる場合が通常である。利用できる電力量や装置の発熱量に対する制約が厳しいためである。よって、なるべく小さい計算コストで、足元位置の推定精度を向上させることが必要である。本実施形態に係る、足元位置を検出する手法は、この点に配慮している。 Furthermore, the amount of computing resources that can be used by an in-vehicle device attached to a car is usually considerably limited as compared with a general PC (Personal Computer) or workstation. This is because there are severe restrictions on the amount of power that can be used and the amount of heat generated by the device. Therefore, it is necessary to improve the estimation accuracy of the foot position with as little calculation cost as possible. The method of detecting the foot position according to the present embodiment takes this point into consideration.
以下、本実施形態に係る手法の概要を説明する。本実施形態に係る足元位置検出装置は、歩行者の足元を見つける方法として、足元の画像と、足元ではない画像とを多数集め、これらを元に統計的識別子を生成することにより足元領域を見つけるものとする。 Hereinafter, an outline of the method according to the present embodiment will be described. The foot position detection apparatus according to the present embodiment collects a large number of foot images and non-foot images as a method for finding the foot of a pedestrian, and finds a foot region by generating a statistical identifier based on these images. Shall.
本実施形態においては、統計的識別器には、GLVQ(Generalized Learning Vector Quantization)のような、テンプレート型の識別器を用いる。テンプレート型の識別器は、足元のテンプレートと、非足元のテンプレートとを特徴空間上で学習し、当該学習結果であるテンプレートを用いて足元領域を識別する。このような識別器を用いた足元検出処理では、足元と考えられる部分画像領域の特徴量と最も近いテンプレートを探し、当該テンプレートが足元のテンプレートであれば当該部分画像領域を足元領域として判定し、非足元のテンプレートであれば非足元領域として判定する。 In this embodiment, a template classifier such as GLVQ (Generalized Learning Vector Quantization) is used as the statistical classifier. The template type discriminator learns a foot template and a non-foot template on the feature space, and identifies a foot region using the template that is the learning result. In the step detection process using such a discriminator, a template that is closest to the feature amount of the partial image region that is considered to be a step is searched, and if the template is a step template, the partial image region is determined as the step region, If it is a non-foot template, it is determined as a non-foot area.
ここで、足元テンプレートが例えば100個あったとすると、100個の足元テンプレートは、それぞれ様々な足元の形状を表現している。よって、それぞれの足元テンプレート毎に、対応する足元の位置(座標位置)は異なる。例えば、1番目の足元テンプレートにおいては右下部分に足元位置があり、2番目の足元テンプレートでは左下部分に足元位置がある、といった具合に、足元テンプレート毎に足元とみなすべき位置(座標)にはばらつきが生じる。 Here, if there are 100 foot templates, for example, the 100 foot templates represent various foot shapes. Therefore, the corresponding foot position (coordinate position) is different for each foot template. For example, in the first foot template, the foot position is in the lower right part, and in the second foot template, the foot position is in the lower left part. Variation occurs.
本実施形態に係る足元位置の検出方法では、テンプレート毎の足元位置のばらつきを事前に学習することにより、簡易な構成により足元位置の検出精度を高めることができる。 In the foot position detection method according to the present embodiment, the foot position detection accuracy can be increased with a simple configuration by learning in advance the variation in the foot position for each template.
(1.2 システムの機能構成)
以下、図1を参照しながら、本実施形態に係る情報処理システムである足元位置検出装置100のシステム構成を説明する。図1は、足元位置検出装置100の機能構成を示すブロック図である。足元位置検出装置100は、入力部110、足元識別器120、足元位置算出部130、出力部140、及び記憶部150を含む。
(1.2 System functional configuration)
Hereinafter, the system configuration of the foot
入力部110は、例えば図示しない記憶媒体や入力インタフェース等から画像を1枚ずつ読込み、その中の部分領域である入力部分画像を足元識別器120へと渡す。
The
足元識別器120は、入力部分画像の特徴量と、予め学習された足元/非足元を示す複数のテンプレート151とを照合する。その結果、最も照合スコアの高いテンプレート151及びその照合スコアを、足元識別器120は足元位置算出部130へと出力する。
The
足元位置算出部130は、足元識別器120から入力された、最も確からしい、すなわち最も照合スコアの高いテンプレート151のテンプレート番号をキーとして、当該テンプレートに対応する足元位置分布情報152を記憶部150から検索する。
The foot
出力部140は、この結果得られた足元位置分布情報152を外部のソフトウェアや表示装置等に出力する。なお、出力部140が出力する情報は、足元位置分布情報152そのものではなくとも、例えば分布の平均位置や、分布のピーク位置等であっても良い。
記憶部150は、テンプレート151及び足元位置分布情報152を記憶する記憶装置である。
The
The
テンプレート151は、多数の足元の画像と足元ではない画像とを集めて学習させた結果得られるものである。テンプレート151には、様々な形状の足元部分画像の特徴量に対応する複数の足元テンプレート、及び様々な形状の非足元の部分画像の特徴量に対応する複数の非足元テンプレートを含むことができる。先述の通り足元識別器120は、入力された入力部分画像とそれぞれのテンプレート151とを照合し、最も確からしいテンプレート151を選択することにより、当該入力部分画像が足元領域であるか、非足元領域であるかを判別することができる。
The
足元位置分布情報152は、複数のテンプレート151の各々に対応する足元位置の分布に関する情報である。足元位置分布情報152は、後述する図3の学習により生成される。
The foot
(1.3 処理の流れ)
次に、足元位置検出装置100の処理の流れを、図2及び図3を参照しながら説明する。図2及び図3を参照しながら説明する後述の各処理ステップは、処理内容に矛盾を生じない範囲で、任意に順番を変更して若しくは並列に実行することができ、また、各処理ステップ間に他のステップを追加しても良い。更に、便宜上1つのステップとして記載されているステップは複数のステップに分けて実行することもでき、便宜上複数に分けて記載されているステップを1ステップとして実行することもできる。
(1.3 Process flow)
Next, the processing flow of the foot
(1.3.1 足元位置検出の流れ)
まず、図2を参照しながら足元位置検出の流れを説明する。図2は、本実施形態に係る足元位置検出装置100が、足元位置を検出する際の処理の流れを示すフローチャートである。
(1.3.1 Flow of foot position detection)
First, the flow of foot position detection will be described with reference to FIG. FIG. 2 is a flowchart showing a flow of processing when the foot
まず入力部110は、例えば図示しない記憶媒体や入力インタフェース等から画像を1枚ずつ読込み、その中の部分領域である入力部分画像を足元識別器120へと出力する(S201)。足元識別器120は、入力された入力部分画像から特徴量を算出し、当該特徴量と、記憶部150に記憶された各々のテンプレート151とを照合する(S203)。その結果、最も確からしいテンプレート151及びその照合スコアを、足元識別器120は足元位置算出部130へと出力する(S205)。
First, the
足元位置算出部130は、最も確からしいテンプレート151が足元テンプレートであった場合には、当該テンプレートのテンプレート番号をキーとして、足元位置分布情報152を検索する(S207)。これにより、最も確からしいテンプレート151に対応する足元位置分布情報152が得られる。
If the most
出力部140は、このようにして得られた足元位置分布情報152から、足元位置に関する情報を出力する(S209)。出力する情報は、足元位置分布情報152そのものでも良いし、足元位置分布情報152で示される分布の平均位置や、分布がピークとなる位置の情報でも良い。
The
(1.3.2 足元位置分布情報152の生成の流れ)
次に、足元位置分布情報152を生成する際の処理の流れを説明する。なお、足元位置分布情報152は、足元位置検出装置100が生成してもよいし、他の情報処理装置が生成し、それを足元位置検出装置100が記憶するようにしても良い。
(1.3.2 Flow of generation of foot position distribution information 152)
Next, the flow of processing when generating the foot
なお、以下の説明において、足元テンプレートはn個あるものとし、変数kはテンプレート番号を示す整数である。(px、py)は、入力部分画像である学習用足元画像中の足元位置を示す座標に対応する変数である。なお、学習用足元画像はn枚あるものとし、また、学習用足元画像においては、足元位置の座標が特定されているものとする。 In the following description, it is assumed that there are n step templates, and the variable k is an integer indicating a template number. (Px, py) are variables corresponding to coordinates indicating the foot position in the learning foot image that is the input partial image. It is assumed that there are n learning foot images, and the foot position coordinates are specified in the learning foot images.
Pk(x,y)は、テンプレート番号kのテンプレートの足元位置が、入力部分画像中の座標(x,y)に存在する確率を示す。X、Yは、それぞれ入力部分画像のx方向及びy方向のサイズを示す。c(k)は、テンプレート番号kのテンプレートが特定される回数が入る変数である。 P k (x, y) indicates the probability that the foot position of the template with the template number k exists at the coordinates (x, y) in the input partial image. X and Y indicate the sizes of the input partial images in the x and y directions, respectively. c (k) is a variable in which the number of times the template with the template number k is specified is entered.
まず、全てのk,x,yの組合せに対し、Pk(x,y)、c(k)の値を全て0に初期化する(S301)。また、入力部分画像である学習用足元画像の番号を示す変数iを1に初期化する(S303)。なおここで、学習用足元画像は計n枚あるものとする。 First, all the values of P k (x, y) and c (k) are initialized to 0 for all combinations of k, x, and y (S301). Also, the variable i indicating the number of the learning foot image that is the input partial image is initialized to 1 (S303). Here, it is assumed that there are a total of n learning foot images.
入力部110は、i番目の学習用足元画像である学習用足元画像[i]の入力を受ける(S305)。また、当該学習用足元画像中の座標を示す(px,py)を、(1,1)に初期化する(S307)。入力部110は、学習用足元画像[i]を、足元位置が(px,py)となるように足元識別器120に対し入力する(S309)。
The
足元識別器120は、当該学習用足元画像[i]の特徴量と、テンプレート151中に含まれる足元テンプレートとを比較する。その結果、最も近い足元テンプレートmを特定する(S311)。これを受けて、Pm(px,py)とc(m)とを1ずつ加算する(S313)。
The
処理対象の座標を移動させるべく、pxを1加算する(S315)。この結果、pxが学習用足元画像[i]の幅X以下の場合には(S315のNo)、当該(px,py)にてS309に戻って処理を続ける。もしpxが学習用画像[i]の幅Xよりも大きい場合には(S315のYes)、現在のy座標について全て処理を終えたことを意味するため、pyを1加算した上でpxを1に初期化する(S319)。もしpyが学習用足元画像[i]の高さY以下の場合には(S321のNo)、S309に戻って当該(px,py)に対して処理する。 In order to move the coordinates of the processing target, px is incremented by 1 (S315). As a result, when px is equal to or smaller than the width X of the learning footstep image [i] (No in S315), the process returns to S309 at (px, py) and continues the process. If px is larger than the width X of the learning image [i] (Yes in S315), it means that the process has been completed for all the current y coordinates, so that 1 is added to py and 1 is added to px. (S319). If py is less than or equal to the height Y of the learning foot image [i] (No in S321), the process returns to S309 to process the (px, py).
もしpyが学習用画像[i]の高さYよりも大きい場合には(S321のYes)、全ての座標について処理を終えたことを意味するため、新たな学習用足元画像に対して処理すべくiを1加算する(S323)。この結果、iが学習用足元画像の数n以下であれば(S325のNo)、S305に元って新たな学習用足元画像に対する処理を行う。 If py is larger than the height Y of the learning image [i] (Yes in S321), it means that the processing has been completed for all coordinates, and processing is performed on a new learning foot image. I is incremented by 1 (S323). As a result, if i is less than or equal to the number n of the learning foot images (No in S325), the processing for the new learning foot images is performed based on S305.
一方、iが学習用足元画像の数nよりも大きい場合には(S325のYes)、全ての学習用足元画像に対する処理を終えたことを意味する。よって、全ての(k,x,y)の組合せに対して、Pk(x,y)=Pk(x,y)/c(k)を計算する(S327)。これにより、各テンプレートkに対して、各座標(x,y)への足元位置の分布を示す足元位置分布情報152を生成することができる。
On the other hand, when i is larger than the number n of the footstep images for learning (Yes in S325), it means that the processing for all the footstep images for learning is finished. Therefore, P k (x, y) = P k (x, y) / c (k) is calculated for all combinations of (k, x, y) (S327). Accordingly, the foot
なお、Pk(x,y)の分布形状を滑らかにするために、ガウスフィルタを畳み込む等の平滑化処理を更に行っても良い。また、足元位置分布情報152は、Pk(x,y)そのものであっても良いが、分布の平均位置や、分布のピーク位置をこれに変えて或いは追加しても良い。
In order to smooth the distribution shape of Pk (x, y), smoothing processing such as convolution of a Gaussian filter may be further performed. Further, the foot
(1.4 ハードウェア構成)
以下、図4を参照しながら、上述してきた足元位置検出装置100をコンピュータにより実現する場合のハードウェア構成の一例を説明する。なお、足元位置検出装置100の機能は必ずしも1台のコンピュータ等の情報処理装置により実現する必要はなく、複数台の情報処理装置により実現することも可能である。
(1.4 Hardware configuration)
Hereinafter, an example of a hardware configuration when the above-described foot
図4に示すように、足元位置検出装置100は、プロセッサ401、メモリ403、記憶装置405、入力インタフェース(I/F)407、データI/F409、通信I/F411、及び表示装置413を含む。
As shown in FIG. 4, the foot
プロセッサ401は、メモリ403に記憶されているプログラムを実行することにより足元位置検出装置100における様々な処理を制御する。例えば、図1で説明した入力部110、足元識別器120、足元位置算出部130、及び出力部140に係る処理は、メモリ403に一時記憶された上で主にプロセッサ401上で動作するプログラムとして実現可能である。
The
メモリ403は、例えばRAM(Random Access Memory)等の記憶媒体である。メモリ403は、プロセッサ401によって実行されるプログラムのプログラムコードや、プログラムの実行時に必要となるデータを一時的に記憶する。例えば、メモリ403の記憶領域には、プログラム実行時に必要となるスタック領域が確保される。
The
記憶装置405は、例えばハードディスクやフラッシュメモリなどの不揮発性の記憶媒体である。記憶装置405は、オペレーティングシステムや、入力部110、足元識別器120、足元位置算出部130、及び出力部140を実現するための各種プログラムや、
The
テンプレート151及び足元位置分布情報152を含む各種データ等を記憶部150として記憶する。記憶装置405に記憶されているプログラムやデータは、必要に応じてメモリ403にロードされることにより、プロセッサ401から参照される。
Various data including the
入力I/F407は、ユーザからの入力を受け付けるためのデバイスである。入力I/F407の具体例としては、キーボードやマウス、タッチパネル、各種センサ等が挙げられる。入力I/F407は、例えばUSB(Universal Serial Bus)等のインタフェースを介して足元位置検出装置100に接続されても良い。
The input I / F 407 is a device for receiving input from the user. Specific examples of the input I / F 407 include a keyboard, a mouse, a touch panel, and various sensors. The input I / F 407 may be connected to the foot
データI/F409は、足元位置検出装置100の外部からデータを入力するためのデバイスである。データI/F409の具体例としては、各種記憶媒体に記憶されているデータを読み取るためのドライブ装置等がある。データI/F409は、足元位置検出装置100の外部に設けられることも考えられる。その場合、データI/F409は、例えばUSB等のインタフェースを介して足元位置検出装置100へと接続される。
The data I /
通信I/F411は、足元位置検出装置100の外部の装置等との間で有線又は無線によりデータ通信するためのデバイスである。通信I/F411は足元位置検出装置100の外部に設けられることも考えられる。その場合、通信I/F411は、例えばUSB等のインタフェースを介して足元位置検出装置100に接続される。
The communication I /
表示装置413は、各種情報を表示するためのデバイスである。表示装置413の具体例としては、例えば、液晶ディスプレイや有機EL(Electro−Luminescence)ディスプレイ等が挙げられる。表示装置413は、足元位置検出装置100の外部に設けられても良い。その場合、表示装置413は、例えばディスプレイケーブル等を介して足元位置検出装置100に接続される。
The
(1.5 本実施形態に係る効果)
以上説明したように、本実施形態に係る足元位置検出装置100は、足元検出に用いるテンプレートと足元位置との関係を予め学習することにより、検出された足元の領域から足元位置を推測することができる。これにより、テンプレートを用いて足元領域を検出する足元位置検出装置100の足元位置を精度高く検出することが可能である。また、本実施形態に係る手法は、足元位置検出に係る必要な計算コストが低いため、廉価なシステムに適用することが可能である。
(1.5 Effects according to this embodiment)
As described above, the foot
(2 第2実施形態)
以下、第2実施形態を、図5を参照しながら説明する。図5は、情報処理システムである足元位置検出装置500の機能構成を示すブロック図である。図5に示すように、足元位置検出装置500は、検出部510と、管理部520と、出力部530とを含む。
(2 Second Embodiment)
The second embodiment will be described below with reference to FIG. FIG. 5 is a block diagram illustrating a functional configuration of a foot
検出部510は、入力画像と、複数のテンプレートとを照合することにより足元領域を検出する。当該テンプレートを用いた足元領域の検出方法としては、例えば、GLVQのような高度な統計的手法を用いることが考えられる。
The
管理部520は、複数のテンプレートの各テンプレート毎に、足元の位置に関する足元位置情報を管理する。出力部530は、足元領域の検出に用いたテンプレートに対応する足元位置情報に基づき、足元位置を出力する。
このように実装することで、本実施形態に係る足元位置検出装置500は、好適に足元位置を検出することができる。
The
By mounting in this way, the foot
(3 付記事項)
なお、前述の実施形態の構成は、組み合わせたり或いは一部の構成部分を入れ替えたりしてもよい。また、本発明の構成は前述の実施形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加えてもよい。
(3 Additional notes)
Note that the configurations of the above-described embodiments may be combined or some of the components may be replaced. The configuration of the present invention is not limited to the above-described embodiment, and various modifications may be made without departing from the scope of the present invention.
なお、前述の各実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。また、本発明のプログラムは、上記の各実施形態で説明した各動作を、コンピュータに実行させるプログラムであれば良い。 A part or all of each of the above-described embodiments can be described as in the following supplementary notes, but is not limited thereto. Moreover, the program of this invention should just be a program which makes a computer perform each operation | movement demonstrated in said each embodiment.
(付記1)
入力画像と、複数のテンプレートとを照合することにより足元領域を検出する検出手段と、前記複数のテンプレートの各テンプレート毎に、足元の位置に関する足元位置情報を管理する管理手段と、前記足元領域の検出に用いたテンプレートに対応する前記足元位置情報に基づき、足元位置を出力する出力手段とを備える情報処理システム。
(Appendix 1)
Detection means for detecting a foot area by comparing an input image with a plurality of templates, management means for managing foot position information regarding the position of the foot for each template of the plurality of templates, An information processing system comprising: output means for outputting a foot position based on the foot position information corresponding to the template used for detection.
(付記2)
前記管理手段が管理する前記足元位置情報は、前記足元位置の分布をテンプレート毎に示す情報である、付記1記載の情報処理システム。
(Appendix 2)
The information processing system according to
(付記3)
前記出力手段が出力する前記足元位置は、前記足元位置情報、前記足元位置の平均値、又は前記足元位置の分布のピークを示す位置、の少なくともいずれかである、付記1又は付記2記載の情報処理システム。
(Appendix 3)
The information according to
(付記4)
前記検出手段は、GLVQ(Generalized Learning Vector Quantization)により前記足元領域を検出する、付記1乃至付記3のいずれか1項記載の情報処理システム。
(Appendix 4)
The information processing system according to any one of
(付記5)
入力画像と、複数のテンプレートとを照合することにより足元領域を検出するステップと、前記複数のテンプレートの各テンプレート毎に、足元の位置に関する足元位置情報を管理するステップと、前記足元領域の検出に用いたテンプレートに対応する前記足元位置情報に基づき、足元位置を出力するステップとを情報処理装置が行う情報処理方法。
(Appendix 5)
A step of detecting a foot area by comparing an input image with a plurality of templates, a step of managing foot position information regarding the position of the foot for each template of the plurality of templates, and detection of the foot area An information processing method in which an information processing apparatus performs a step of outputting a foot position based on the foot position information corresponding to the used template.
(付記6)
管理される前記足元位置情報は、前記足元位置の分布をテンプレート毎に示す情報である、付記5記載の情報処理方法。
(Appendix 6)
The information processing method according to appendix 5, wherein the managed foot position information is information indicating a distribution of the foot positions for each template.
(付記7)
出力される前記足元位置は、前記足元位置情報、前記足元位置の平均値、又は前記足元位置の分布のピークを示す位置、の少なくともいずれかである、付記5又は付記6記載の情報処理方法。
(Appendix 7)
The information processing method according to appendix 5 or appendix 6, wherein the output foot position is at least one of the foot position information, an average value of the foot positions, or a position indicating a peak of the distribution of the foot positions.
(付記8)
GLVQ(Generalized Learning Vector Quantization)により前記足元領域を検出する、付記5乃至付記7のいずれか1項記載の情報処理方法。
(Appendix 8)
The information processing method according to any one of appendix 5 to appendix 7, wherein the foot region is detected by GLVQ (Generalized Learning Vector Quantization).
(付記9)
入力画像と、複数のテンプレートとを照合することにより足元領域を検出する処理と、
前記複数のテンプレートの各テンプレート毎に、足元の位置に関する足元位置情報を管理する処理と、前記足元領域の検出に用いたテンプレートに対応する前記足元位置情報に基づき、足元位置を出力する処理とをコンピュータに実行させるプログラム。
(Appendix 9)
A process of detecting a foot area by matching an input image with a plurality of templates,
For each template of the plurality of templates, a process for managing foot position information related to a foot position, and a process for outputting a foot position based on the foot position information corresponding to the template used for detecting the foot area. A program to be executed by a computer.
(付記10)
管理される前記足元位置情報は、前記足元位置の分布をテンプレート毎に示す情報である、付記9記載のプログラム。
(Appendix 10)
The program according to appendix 9, wherein the managed foot position information is information indicating a distribution of the foot positions for each template.
(付記11)
出力される前記足元位置は、前記足元位置情報、前記足元位置の平均値、又は前記足元位置の分布のピークを示す位置、の少なくともいずれかである、付記9又は付記10記載のプログラム。
(Appendix 11)
The program according to appendix 9 or appendix 10, wherein the output foot position is at least one of the foot position information, an average value of the foot positions, or a position indicating a peak of the distribution of the foot positions.
(付記12)
GLVQ(Generalized Learning Vector Quantization)により前記足元領域を検出する、付記5乃至付記7のいずれか1項記載のプログラム。
(Appendix 12)
The program according to any one of appendix 5 to appendix 7, wherein the foot region is detected by GLVQ (Generalized Learning Vector Quantization).
100 :足元位置検出装置
110 :入力部
120 :足元識別器
130 :足元位置算出部
140 :出力部
150 :記憶部
151 :テンプレート
152 :足元位置分布情報
401 :プロセッサ
403 :メモリ
405 :記憶装置
407 :入力インタフェース
409 :データインタフェース
411 :通信インタフェース
413 :表示装置
500 :足元位置検出装置
510 :検出部
520 :管理部
530 :出力部
100: foot position detection device 110: input unit 120: foot identifier 130: foot position calculation unit 140: output unit 150: storage unit 151: template 152: foot position distribution information 401: processor 403: memory 405: storage device 407: Input interface 409: Data interface 411: Communication interface 413: Display device 500: Foot position detection device 510: Detection unit 520: Management unit 530: Output unit
Claims (6)
前記複数のテンプレートの各テンプレート毎に、足元の位置に関する足元位置情報を管理する管理手段と、
前記足元領域の検出に用いたテンプレートに対応する前記足元位置情報に基づき、足元位置を出力する出力手段と
を備える情報処理システム。 Detecting means for detecting a step region by comparing an input image with a plurality of templates;
Management means for managing foot position information relating to the position of the foot for each template of the plurality of templates;
An information processing system comprising: output means for outputting a foot position based on the foot position information corresponding to the template used for detecting the foot area.
請求項1記載の情報処理システム。 The foot position information managed by the management means is information indicating a distribution of the foot positions for each template.
The information processing system according to claim 1.
請求項1又は請求項2記載の情報処理システム。 The foot position output by the output means is at least one of the foot position information, an average value of the foot positions, or a position indicating a peak of the distribution of the foot positions.
The information processing system according to claim 1 or 2.
請求項1乃至請求項3のいずれか1項記載の情報処理システム。 The detection means detects the foot region by GLVQ (Generalized Learning Vector Quantization).
The information processing system according to any one of claims 1 to 3.
前記複数のテンプレートの各テンプレート毎に、足元の位置に関する足元位置情報を管理するステップと、
前記足元領域の検出に用いたテンプレートに対応する前記足元位置情報に基づき、足元位置を出力するステップと
を情報処理装置が行う情報処理方法。 Detecting a step region by matching an input image with a plurality of templates;
For each template of the plurality of templates, managing step position information regarding the position of the step;
An information processing method in which an information processing apparatus performs a step of outputting a foot position based on the foot position information corresponding to the template used for detecting the foot area.
前記複数のテンプレートの各テンプレート毎に、足元の位置に関する足元位置情報を管理する処理と、
前記足元領域の検出に用いたテンプレートに対応する前記足元位置情報に基づき、足元位置を出力する処理と
をコンピュータに実行させるプログラム。 A process of detecting a foot area by matching an input image with a plurality of templates,
For each template of the plurality of templates, a process for managing foot position information regarding the foot position;
A program for causing a computer to execute a process of outputting a foot position based on the foot position information corresponding to the template used for detecting the foot area.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015059409A JP6481960B2 (en) | 2015-03-23 | 2015-03-23 | Information processing system, information processing method, and program for detecting position of foot |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015059409A JP6481960B2 (en) | 2015-03-23 | 2015-03-23 | Information processing system, information processing method, and program for detecting position of foot |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016177757A JP2016177757A (en) | 2016-10-06 |
JP6481960B2 true JP6481960B2 (en) | 2019-03-13 |
Family
ID=57070162
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015059409A Active JP6481960B2 (en) | 2015-03-23 | 2015-03-23 | Information processing system, information processing method, and program for detecting position of foot |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6481960B2 (en) |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3577875B2 (en) * | 1997-03-06 | 2004-10-20 | 松下電器産業株式会社 | Moving object extraction device |
JP2007188417A (en) * | 2006-01-16 | 2007-07-26 | Fujitsu Ten Ltd | Image recognition device, image recognition method, and image recognition program |
JP2008288684A (en) * | 2007-05-15 | 2008-11-27 | Toyota Central R&D Labs Inc | Person detection device and program |
JP5581758B2 (en) * | 2010-03-18 | 2014-09-03 | 富士通株式会社 | Person detection device, person detection method, and program |
US9412010B2 (en) * | 2011-07-15 | 2016-08-09 | Panasonic Corporation | Posture estimation device, posture estimation method, and posture estimation program |
JP5867267B2 (en) * | 2012-04-26 | 2016-02-24 | 日産自動車株式会社 | Pedestrian detection device and pedestrian detection method |
JP5754470B2 (en) * | 2012-12-20 | 2015-07-29 | 株式会社デンソー | Road surface shape estimation device |
JP6331270B2 (en) * | 2013-06-06 | 2018-05-30 | 日本電気株式会社 | Information processing system, information processing method, and program |
-
2015
- 2015-03-23 JP JP2015059409A patent/JP6481960B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016177757A (en) | 2016-10-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108875510B (en) | Image processing method, device, system and computer storage medium | |
Kim et al. | Shape2pose: Human-centric shape analysis | |
US10572072B2 (en) | Depth-based touch detection | |
JP6069489B2 (en) | Object recognition apparatus, object recognition method, and program | |
US20140064557A1 (en) | Image processing device, image processing method, and a computer-readable non-transitory medium | |
KR102285915B1 (en) | Real-time 3d gesture recognition and tracking system for mobile devices | |
JP7192143B2 (en) | Method and system for object tracking using online learning | |
JP5251987B2 (en) | Person determination device, method and program | |
US20190065913A1 (en) | Search method and information processing apparatus | |
JP6487642B2 (en) | A method of detecting a finger shape, a program thereof, a storage medium of the program, and a system for detecting a shape of a finger. | |
WO2018154709A1 (en) | Movement learning device, skill discrimination device, and skill discrimination system | |
CN110956131B (en) | Single-target tracking method, device and system | |
JP6248593B2 (en) | Posture detection apparatus, posture detection method, and posture detection program | |
Weiyao et al. | Human action recognition using multilevel depth motion maps | |
JP7031685B2 (en) | Model learning device, model learning method and computer program | |
Medina-Carnicer et al. | A novel histogram transformation to improve the performance of thresholding methods in edge detection | |
Liu et al. | 3D Human motion tracking by exemplar-based conditional particle filter | |
Grzejszczak et al. | Real-time wrist localization in hand silhouettes | |
CN114241524A (en) | Human body posture estimation method and device, electronic equipment and readable storage medium | |
CN1799021A (en) | Object shape determination method and system therefor | |
JP2019120577A (en) | Position estimation device, position estimation method and computer program for position estimation | |
JP6481960B2 (en) | Information processing system, information processing method, and program for detecting position of foot | |
JP2021144359A (en) | Learning apparatus, estimation apparatus, learning method, and program | |
JP2017033556A (en) | Image processing method and electronic apparatus | |
CN115131752A (en) | Learning method, learning device, and program recording medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180205 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190115 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190121 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6481960 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190203 |