JP6953818B2 - Operation judgment device - Google Patents
Operation judgment device Download PDFInfo
- Publication number
- JP6953818B2 JP6953818B2 JP2017117239A JP2017117239A JP6953818B2 JP 6953818 B2 JP6953818 B2 JP 6953818B2 JP 2017117239 A JP2017117239 A JP 2017117239A JP 2017117239 A JP2017117239 A JP 2017117239A JP 6953818 B2 JP6953818 B2 JP 6953818B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- tracking
- person
- captured image
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
Description
本発明の実施形態は、動作判定装置に関する。 An embodiment of the present invention relates to an operation determination device.
従来、撮像装置で撮像した撮像画像に基づいて人物の動作を判定する動作判定装置が知られている。 Conventionally, there is known an motion determination device that determines the motion of a person based on an image captured by the image pickup device.
この種の動作判定装置では、一例としては、動作の判定精度の更なる向上が望まれる場合があった。 In this type of motion determination device, as an example, further improvement in motion determination accuracy may be desired.
本発明の実施形態にかかる動作判定装置は、一例として、撮像画像から対象物の特徴点を抽出する抽出部と、時間的に前後する前記撮像画像からそれぞれ抽出される前記特徴点に基づき、前記対象物の移動方向を示す追跡情報を生成する追跡部と、複数の前記追跡情報を時系列に蓄積した追跡情報群と前記対象物の動作に対応付けて予め登録された登録情報群との比較結果に基づき、当該動作が行われたか否かを判定する判定部と、を備える。よって、一例としては、複数フレーム分の追跡情報を一つのかたまり(追跡情報群)として、予め登録された登録情報群と比較することで、一つの追跡情報から動作を判定する場合と比較して、登録情報群に対応する動作が行われたか否かを精度よく判定することができる。 As an example, the operation determination device according to the embodiment of the present invention is based on the extraction unit that extracts the feature points of the object from the captured image and the feature points that are extracted from the captured images that are back and forth in time. Comparison between a tracking unit that generates tracking information indicating the moving direction of an object, a tracking information group that accumulates a plurality of the tracking information in time series, and a registration information group that is registered in advance in association with the operation of the object. A determination unit for determining whether or not the operation has been performed based on the result is provided. Therefore, as an example, by comparing the tracking information for a plurality of frames as one block (tracking information group) with the registered information group registered in advance, the operation is judged from one tracking information. , It is possible to accurately determine whether or not the operation corresponding to the registered information group has been performed.
上記動作判定装置では、一例として、前記判定部は、前記追跡情報群と前記登録情報群との類似度が閾値以上であると判定した後、前記対象物が静止しているか否かを判定し、静止していると判定したならば、前記登録情報群に対応する動作が行われたと判定する。よって、一例としては、「登録情報群に対応する動作」を意図した動作と、一連の動作の中にたまたま含まれる「登録情報群に対応する動作」に似た動作とを切り分けることができる。したがって、「登録情報群に対応する動作」の誤判定を低減することが可能である。 In the operation determination device, as an example, the determination unit determines whether or not the object is stationary after determining that the similarity between the tracking information group and the registration information group is equal to or higher than a threshold value. If it is determined that the information is stationary, it is determined that the operation corresponding to the registration information group has been performed. Therefore, as an example, it is possible to separate an operation intended as an "operation corresponding to a registered information group" from an operation similar to an "operation corresponding to a registered information group" that happens to be included in a series of operations. Therefore, it is possible to reduce the erroneous determination of the "operation corresponding to the registered information group".
上記動作判定装置では、一例として、前記追跡部は、前記撮像画像における前記対象物の周囲に、前記登録情報群に対応する動作に応じた方向に幅広い追跡領域を設定し、設定した前記追跡領域に含まれる前記特徴点に基づいて前記追跡情報を生成する。よって、一例としては、対象物を追跡し損ねる事態を生じにくくすることができる。 In the motion determination device, as an example, the tracking unit sets a wide tracking area around the object in the captured image in a direction corresponding to the motion corresponding to the registration information group, and sets the tracking area. The tracking information is generated based on the feature points included in. Therefore, as an example, it is possible to reduce the possibility of failing to track the object.
上記動作判定装置では、一例として、前記抽出部による処理に用いられるパラメータを前記撮像画像の撮像位置から前記対象物までの距離情報に応じて変更する抽出用パラメータ変更部を備える。よって、一例としては、抽出される特徴点の数が撮像位置から人物までの距離に応じて最適化されることで、必要以上に抽出された特徴点がノイズとなって動作の判定精度を低下させる事態を生じにくくすることができる。 As an example, the operation determination device includes an extraction parameter changing unit that changes parameters used for processing by the extraction unit according to distance information from the imaging position of the captured image to the object. Therefore, as an example, the number of feature points extracted is optimized according to the distance from the imaging position to the person, so that the feature points extracted more than necessary become noise and the operation determination accuracy is lowered. It is possible to make it difficult for the situation to occur.
上記動作判定装置では、一例として、前記追跡部による処理に用いられるパラメータを前記撮像画像の撮像位置から前記対象物までの距離情報に応じて変更する追跡用パラメータ変更部を備える。よって、一例としては、対象物の追跡範囲が撮像位置から人物までの距離に応じて最適化されることで、対象物の追跡漏れを生じにくくすることができる。 As an example, the operation determination device includes a tracking parameter changing unit that changes parameters used for processing by the tracking unit according to distance information from the imaging position of the captured image to the object. Therefore, as an example, by optimizing the tracking range of the object according to the distance from the imaging position to the person, it is possible to prevent the tracking omission of the object from occurring.
上記動作判定装置では、一例として、前記撮像画像に含まれる人物の行動履歴に基づいて対象人物を特定する人物特定部を備え、前記抽出部は、前記人物特定部によって特定された対象人物から前記対象物の特徴点を抽出する。よって、一例としては、対象人物以外の人物について抽出部、追跡部および判定部による処理が実行されないので、撮像画像に複数の人物が含まれる場合における処理負荷の増加を抑えることができる。また、対象人物以外の人物による動作の影響が排除されるため、撮像画像に複数の人物が含まれる場合であっても判定精度の低下を防止することができる。 As an example, the motion determination device includes a person identification unit that identifies a target person based on the behavior history of the person included in the captured image, and the extraction unit is the target person identified by the person identification unit. Extract the feature points of the object. Therefore, as an example, since the processing by the extraction unit, the tracking unit, and the determination unit is not executed for a person other than the target person, it is possible to suppress an increase in the processing load when a plurality of people are included in the captured image. Further, since the influence of the operation by a person other than the target person is eliminated, it is possible to prevent the determination accuracy from being lowered even when a plurality of people are included in the captured image.
上記動作判定装置では、一例として、前記人物特定部は、前記撮像画像に基づいて前記行動履歴を生成し、生成した前記行動履歴と予め登録された行動パターン登録情報との類似度に基づいて前記対象人物を特定する。よって、一例としては、予め登録された行動パターンに類似した行動を取っている人物を対象人物として特定することができる。 In the motion determination device, as an example, the person identification unit generates the behavior history based on the captured image, and the behavior history generated is based on the degree of similarity between the generated behavior pattern registration information and the behavior pattern registration information. Identify the target person. Therefore, as an example, a person who is taking an action similar to a pre-registered action pattern can be specified as a target person.
(第1の実施形態)
〔1.動作判定装置の構成〕
まず、第1の実施形態に係る動作判定装置の構成について図1を参照して説明する。図1は、第1の実施形態に係る動作判定装置の構成の一例を示すブロック図である。
(First Embodiment)
[1. Configuration of operation judgment device]
First, the configuration of the operation determination device according to the first embodiment will be described with reference to FIG. FIG. 1 is a block diagram showing an example of the configuration of the operation determination device according to the first embodiment.
図1に示すように、第1の実施形態に係る動作判定装置1は、撮像装置10から入力される撮像画像に基づいて人物の動作を判定し、判定結果を外部装置へ出力する。
As shown in FIG. 1, the motion determination device 1 according to the first embodiment determines the motion of a person based on the captured image input from the
動作判定装置1は、たとえば、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、入出力ポートなどを有するマイクロコンピュータや各種の回路を含む。 The operation determination device 1 includes, for example, a microcomputer having a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), an input / output port, and various circuits.
動作判定装置1は、CPUがROMに記憶された駆動制御プログラムを、RAMを作業領域として使用して実行することにより機能する複数の処理部を備える。具体的には、動作判定装置1は、パラメータ変更部2と、抽出部3と、追跡部4と、判定部5とを備える。また、動作判定装置1は、記憶部6を備える。 The operation determination device 1 includes a plurality of processing units that function by the CPU executing a drive control program stored in the ROM using the RAM as a work area. Specifically, the operation determination device 1 includes a parameter change unit 2, an extraction unit 3, a tracking unit 4, and a determination unit 5. Further, the operation determination device 1 includes a storage unit 6.
なお、動作判定装置1が備える各処理部は、それぞれ一部または全部がASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等のハードウェアで構成されてもよい。 Each processing unit included in the operation determination device 1 may be partially or wholly composed of hardware such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array).
(撮像装置10について)
撮像装置10は、たとえば、CCD(Charge Coupled Device)やCIS(CMOS Image Sensor)等の撮像素子を内蔵するデジタルカメラである。撮像装置10は、所定のフレームレートで撮像した撮像画像の画像データ(以下、単に「撮像画像」と記載する)をパラメータ変更部2および抽出部3へ出力する。
(About the imaging device 10)
The
(パラメータ変更部2について)
パラメータ変更部2は、後述する抽出部3および追跡部4の処理に用いられる各種のパラメータを、撮像画像の撮像位置から撮像画像中の人物までの距離に応じて変更する。具体的には、パラメータ変更部2は、距離推定部21と、抽出用パラメータ変更部22と、追跡用パラメータ変更部23とを備える。
(About parameter change part 2)
The parameter changing unit 2 changes various parameters used in the processing of the extraction unit 3 and the tracking unit 4, which will be described later, according to the distance from the imaging position of the captured image to the person in the captured image. Specifically, the parameter changing unit 2 includes a
距離推定部21は、撮像画像の撮像位置から撮像画像中の人物までの距離を推定する。一例として、距離推定部21は、撮像画像から人物の足部を検出し、検出した足部の位置(すなわち、人物の立ち位置)から人物までの距離を推定する。距離推定部21は、推定結果を距離情報として抽出用パラメータ変更部22および追跡用パラメータ変更部23へ出力する。なお、距離推定部21は、上記の距離推定処理を1フレームごとに行う。
The
ここでは、撮像画像に基づいて人物までの距離を推定する場合の例を示したが、距離推定部21は、スキャンレーザ、超音波センサ、ステレオカメラ、TOF(Time Of Flight)カメラ等から入力される情報に基づいて人物までの距離を推定してもよい。
Here, an example of estimating the distance to a person based on the captured image is shown, but the
また、動作判定装置1は、必ずしも距離推定部21を備えることを要さず、外部から距離情報を取得する構成であってもよい。
Further, the motion determination device 1 does not necessarily have to include the
抽出用パラメータ変更部22は、距離推定部21から距離情報が入力されるごとに、後述する抽出部3の処理に用いられる各種のパラメータを距離情報に応じて変更し、変更後のパラメータを抽出部3へ出力する。
Each time the distance information is input from the
抽出部3の処理に用いられるパラメータには、たとえば、後述する領域設定部31により設定される処理対象領域R(図2B参照)の大きさ、動体検出部32による動体検出処理に用いられる検出用閾値、抽出処理部33による特徴点抽出処理に用いられる抽出用閾値および最大抽出特徴点数などが含まれ得る。
The parameters used in the processing of the extraction unit 3 include, for example, the size of the processing target area R (see FIG. 2B) set by the
追跡用パラメータ変更部23は、距離推定部21から距離情報が入力されるごとに、後述する追跡部4の処理に用いられる各種のパラメータを距離情報に応じて変更し、変更後のパラメータを追跡部4へ出力する。
Each time the distance information is input from the
追跡部4の処理に用いられるパラメータには、たとえば、後述する追跡情報生成部41による処理において、複数の特徴点をクラスタリングする際の範囲、クラスタリングされる特徴点の最小数、クラスターの最小数、2フレーム間におけるクラスターを追跡する範囲などが含まれ得る。また、追跡部4の処理に用いられるパラメータには、たとえば、後述する蓄積部42による処理において、クラスターを複数フレームにわたって追跡する場合の追跡範囲も含まれ得る。
The parameters used in the processing of the tracking unit 4 include, for example, the range when clustering a plurality of feature points in the processing by the tracking
一例として、抽出用パラメータ変更部22および追跡用パラメータ変更部23は、記憶部6に記憶された変換情報61を用い、距離推定部21から入力される距離情報を各種のパラメータに変換する。変換情報61は、予め実験またはシミュレーションによって求めておいた距離情報と各パラメータとの関係を示す変換テーブルや変換マップ等の情報である。あるいは、抽出用パラメータ変更部22および追跡用パラメータ変更部23は、予め実験またはシミュレーションによって求めておいた距離情報と各パラメータとの関係を示す式またはその近似式を用いて距離情報からパラメータへの変換を行ってもよい。
As an example, the extraction
このように、抽出部3の処理に用いられるパラメータを撮像位置から人物までの距離に応じて最適化することで、抽出部3は、特徴点を抽出する処理を撮像位置から人物までの距離に応じて適切に行うことができる。詳細については後述するが、たとえば、特徴点の抽出数が撮像位置から人物までの距離に応じて最適化されることで、必要以上に抽出された特徴点がノイズとなって動作の判定精度を低下させる事態を生じにくくすることができる。 In this way, by optimizing the parameters used in the processing of the extraction unit 3 according to the distance from the imaging position to the person, the extraction unit 3 performs the processing of extracting the feature points to the distance from the imaging position to the person. It can be done appropriately accordingly. Details will be described later, but for example, by optimizing the number of feature points extracted according to the distance from the imaging position to the person, the feature points extracted more than necessary become noise and the operation judgment accuracy is improved. It is possible to make it difficult for the situation of lowering to occur.
また、追跡部4の処理に用いられるパラメータを撮像位置から人物までの距離に応じて最適化することで、追跡部4は、特徴点を追跡する処理を人物までの距離に応じて適切に行うことができる。詳細について後述するが、たとえば、対象物の追跡範囲が撮像位置から人物までの距離に応じて最適化されることで、対象物の追跡漏れを生じにくくすることができる。 Further, by optimizing the parameters used for the processing of the tracking unit 4 according to the distance from the imaging position to the person, the tracking unit 4 appropriately performs the processing of tracking the feature points according to the distance to the person. be able to. Although the details will be described later, for example, by optimizing the tracking range of the object according to the distance from the imaging position to the person, it is possible to prevent the tracking omission of the object from occurring.
(抽出部3について)
抽出部3は、撮像画像から対象物の特徴点を抽出する。具体的には、抽出部3は、領域設定部31と、動体検出部32と、抽出処理部33とを備える。
(About extraction unit 3)
The extraction unit 3 extracts the feature points of the object from the captured image. Specifically, the extraction unit 3 includes an
領域設定部31は、撮像装置10から入力される撮像画像に対して処理対象領域を設定する。処理対象領域とは、撮像画像中の人物の周囲に設定される領域である。
The
ここで、領域設定部31による領域設定処理について図2Aおよび図2Bを参照して説明する。図2Aおよび図2Bは、領域設定処理の一例を示す図である。図2Aおよび図2Bには、撮像画像X1に写り込んだ人物Hの周囲に処理対象領域が設定される様子を示している。
Here, the area setting process by the
たとえば、図2Aに示すように、人物Hの足部の位置Pの情報が距離推定部21から領域設定部31に入力される。また、処理対象領域の大きさを示すパラメータが抽出用パラメータ変更部22から領域設定部31に入力される。そして、領域設定部31は、図2Bに示すように、抽出用パラメータ変更部22から入力されたパラメータによって示される大きさの処理対象領域Rを、距離推定部21から入力された足部の位置Pを基準に撮像画像X1上に設定する。
For example, as shown in FIG. 2A, information on the position P of the foot of the person H is input from the
これにより、人物Hの周りを囲む処理対象領域Rが撮像画像X1上に設定され、動体検出部32以降の各処理部によって実行される処理は、撮像画像X1のうち処理対象領域R内の情報に基づいて行われる。
As a result, the processing target area R surrounding the person H is set on the captured image X1, and the processing executed by each processing unit after the moving
このように、人物Hの周囲に処理対象領域Rを設定することにより、撮像画像X1に写り込んだ人物H以外の物体から受けるノイズの影響を低減することができる。また、処理対象領域Rを設定することで、処理を要する画素の数が減るため、処理の効率化を図ることができる。 By setting the processing target area R around the person H in this way, it is possible to reduce the influence of noise received from an object other than the person H reflected in the captured image X1. Further, by setting the processing target area R, the number of pixels required for processing is reduced, so that the processing efficiency can be improved.
処理対象領域Rの大きさは、距離情報に応じて最適化される。具体的には、撮像位置の比較的近くにいる人物は、撮像位置から比較的遠くにいる人物よりも見かけ上大きく撮像画像に写り込む。したがって、処理対象領域Rの大きさは、撮像位置に対して人物が近づくほど大きくなり、遠ざかるほど小さくなるように、抽出用パラメータ変更部22によって変更される。
The size of the processing target area R is optimized according to the distance information. Specifically, a person who is relatively close to the imaging position appears larger in the captured image than a person who is relatively far from the imaging position. Therefore, the size of the processing target area R is changed by the extraction
このように、処理対象領域Rの大きさを距離情報に応じて最適化することで、たとえば、処理対象領域Rの大きさを固定とした場合と比較し、人物H以外の物体によるノイズの影響をさらに低減することができるとともに、処理効率の更なる向上を図ることができる。 By optimizing the size of the processing target area R according to the distance information in this way, for example, as compared with the case where the size of the processing target area R is fixed, the influence of noise by an object other than the person H Can be further reduced, and the processing efficiency can be further improved.
動体検出部32は、処理対象領域R内において動く物体(以下、「動体」と記載する場合もある)を検出する。
The moving
動体の検出手法としては、たとえば、フレーム間差分法を用いることができる。フレーム間差分法とは、時間的に前後する複数の撮像画像、たとえば、現在のフレームの撮像画像とその直前のフレームの撮像画像との画素値を比較して変化箇所を特定する方法である。動体検出部32は、画素値の変化量が検出用閾値を超えた箇所およびその周囲の領域を動体として検出する。
As a moving object detection method, for example, an inter-frame difference method can be used. The inter-frame difference method is a method of identifying a change portion by comparing the pixel values of a plurality of captured images that are back and forth in time, for example, the captured image of the current frame and the captured image of the frame immediately before the current frame. The moving
検出用閾値は、抽出用パラメータ変更部22から入力されるパラメータの一つであり、上述したように距離情報に応じて最適化される。具体的には、撮像位置の比較的近くにいる人物の動き(すなわち、2フレーム間における画素値の変化量)は、撮像位置から比較的遠くにいる人物の動きよりも見かけ上大きくなる。したがって、検出用閾値は、撮像位置に対して人物が近づくほど大きくなり、遠ざかるほど小さくなるように、抽出用パラメータ変更部22によって変更される。
The detection threshold value is one of the parameters input from the extraction
このように、検出用閾値を距離情報に応じて最適化することで、たとえば、検出用閾値が固定である場合と比較して、動体の検出精度を向上させることができる。 By optimizing the detection threshold value according to the distance information in this way, for example, it is possible to improve the detection accuracy of the moving object as compared with the case where the detection threshold value is fixed.
なお、領域設定部31は、フレーム間差分法以外の手法を用いて動体を検出してもよい。たとえば、撮像装置10が固定的に設置される場合には、背景差分法を用いて動体を検出することも可能である。背景差分法とは、基準とする画像を予め用意しておき、撮像装置10から入力される撮像画像と基準とする画像との画素値を比較して変化箇所を特定する手法である。
The
抽出処理部33は、動体検出部32によって検出された動体から特徴点を抽出する。特徴点を抽出する手法としては、たとえば、Harrisコーナー検出法を用いることができる。Harrisコーナー検出法は、撮像画像中のコーナー(角部)を特徴点として検出する手法の一種である。
The
抽出処理部33は、Harrisコーナー検出法により算出される値を抽出用閾値と比較して抽出用閾値よりも大きければ、その値に対応する箇所を特徴点として抽出し、抽出した特徴点の位置等の情報を追跡部4へ出力する。
The
抽出用閾値は、抽出用パラメータ変更部22から入力されるパラメータの一つであり、上述したように距離情報に応じて最適化される。したがって、第1の実施形態に係る動作判定装置1によれば、抽出用閾値が固定である場合と比較して、特徴点をより適切に検出することができる。
The extraction threshold value is one of the parameters input from the extraction
この点について図3、図4Aおよび図4Bを参照して説明する。図3は、撮像位置から人物Hまでの距離がD1である撮像画像から抽出される特徴点の一例を示す図である。また、図4Aおよび図4Bは、撮像位置から人物Hまでの距離がD1よりも短いD2である撮像画像から抽出される特徴点の一例を示す図であり、図4Aには抽出用閾値を固定とした場合の例を、図4Bには抽出用閾値を距離情報に応じて変更した場合の例をそれぞれ示している。 This point will be described with reference to FIGS. 3, 4A and 4B. FIG. 3 is a diagram showing an example of feature points extracted from an captured image in which the distance from the imaging position to the person H is D1. Further, FIGS. 4A and 4B are diagrams showing an example of feature points extracted from an captured image in which the distance from the imaging position to the person H is D2, which is shorter than D1, and FIG. 4A has a fixed extraction threshold value. 4B shows an example in which the extraction threshold value is changed according to the distance information.
図3に示すように、撮像位置から人物Hまでの距離がD1(たとえば、2メートル)である撮像画像X2に対し、距離D1用の抽出用閾値を用いて特徴点を抽出する処理を行った結果、最適な数(たとえば、5個)の特徴点Fが抽出されると仮定する。 As shown in FIG. 3, for the captured image X2 in which the distance from the imaging position to the person H is D1 (for example, 2 meters), a process of extracting feature points using the extraction threshold value for the distance D1 was performed. As a result, it is assumed that the optimum number (for example, 5) of feature points F are extracted.
この場合において、距離D1用の抽出用閾値をそのまま用い、図4Aに示すように、撮像位置から人物Hまでの距離がD2(たとえば、1メートル)である撮像画像X3から特徴点を抽出する処理を行ったとする。 In this case, the extraction threshold value for the distance D1 is used as it is, and as shown in FIG. 4A, a process of extracting feature points from the captured image X3 in which the distance from the imaging position to the person H is D2 (for example, 1 meter). Suppose that
この場合、抽出される特徴点の数は、最適な数である5個よりも多くなる。これは、人物Hが撮像位置に近づくほどその人物Hの輪郭が複雑化する結果、コーナーとして検出される箇所が多くなるためである。抽出される特徴点の数が最適な数よりも多くなると、ノイズの影響が大きくなり、動作の判定精度が低下するおそれがある。 In this case, the number of feature points extracted is greater than the optimum number of five. This is because the contour of the person H becomes more complicated as the person H approaches the imaging position, and as a result, the number of places detected as corners increases. If the number of feature points to be extracted is larger than the optimum number, the influence of noise becomes large, and the accuracy of motion determination may decrease.
これに対し、第1の実施形態に係る動作判定装置1では、抽出用閾値が距離情報に応じて最適化される。具体的には、人物Hまでの距離がD2である場合の抽出用閾値は、人物Hまでの距離がD1である場合の抽出用閾値よりも小さくなる。このように、人物Hまでの距離がD2である場合には、距離D2に適した抽出用閾値を用いて特徴点を抽出することで、図4Bに示すように、撮像位置から人物Hまでの距離によらず、最適な数の特徴点を抽出することができる。したがって、第1の実施形態に係る動作判定装置1によれば、撮像位置から人物Hまでの距離が変化した場合の動作の判定精度の低下を抑制することができる。 On the other hand, in the operation determination device 1 according to the first embodiment, the extraction threshold value is optimized according to the distance information. Specifically, the extraction threshold value when the distance to the person H is D2 is smaller than the extraction threshold value when the distance to the person H is D1. In this way, when the distance to the person H is D2, by extracting the feature points using the extraction threshold value suitable for the distance D2, as shown in FIG. 4B, from the imaging position to the person H. The optimum number of feature points can be extracted regardless of the distance. Therefore, according to the motion determination device 1 according to the first embodiment, it is possible to suppress a decrease in the accuracy of motion determination when the distance from the imaging position to the person H changes.
なお、抽出処理部33は、Harrisコーナー検出法により算出された値が抽出用閾値を超えた箇所の数が、抽出用パラメータ変更部22から入力される最大抽出特徴点数を超える場合には、抽出する特徴点の数を最大抽出特徴点数に制限する処理を行う。この最大抽出特徴点数も、抽出用パラメータ変更部22から入力されるパラメータの一つであり、上述したように距離情報に応じて最適化される。
The
ここでは、抽出処理部33が、Harrisコーナー検出法を用いて特徴点を抽出する場合の例について説明したが、抽出処理部33は、Harrisコーナー検出法に限らず、たとえば、FAST、DoG、SIFT、SURFといった他の手法を用いて特徴点を抽出してもよい。
Here, an example in which the
(追跡部4について)
追跡部4は、抽出部3によって抽出された特徴点を追跡する。具体的には、追跡部4は、追跡情報生成部41と、蓄積部42とを備える。
(About tracking unit 4)
The tracking unit 4 tracks the feature points extracted by the extraction unit 3. Specifically, the tracking unit 4 includes a tracking
追跡情報生成部41は、時間的に前後する2つの撮像画像からそれぞれ抽出される特徴点に基づき、2フレーム間における対象物の移動方向を示す追跡情報を生成する。
The tracking
ここで、追跡情報生成部41による追跡情報生成処理の一例について図5を参照して説明する。図5は、追跡情報生成処理の一例を示す図である。
Here, an example of the tracking information generation process by the tracking
図5に示すように、追跡情報生成部41は、まず、複数の特徴点Fを一つのかたまり(クラスターC)と見なすクラスタリング処理を行う。
As shown in FIG. 5, the tracking
クラスタリングの手法としては、たとえば、Ward法を用いることができる。Ward法では、まず、クラスタリングの対象となる複数(図の例では5個)の特徴点F間のユークリッド距離をそれぞれ算出する。つづいて、最小距離にある2個の特徴点Fを1個のクラスターとし、2個の特徴点Fの重心をこのクラスターの位置とする。つづいて、1個にまとめたクラスターを含めた各クラスター間のユークリッド距離を算出し、最小距離にある2個のクラスターをまとめて1個のクラスターとする。以上の処理を、複数の特徴点Fが人体の部位(手、足、頭など)ごとに1個のクラスターCとなるまで繰り返す。これにより、人体の部位(手、足、頭など)ごとに1個のクラスターCが得られる。 As a clustering method, for example, Ward's method can be used. In Ward's method, first, the Euclidean distances between a plurality of feature points F (five in the example of the figure) to be clustered are calculated. Subsequently, the two feature points F at the minimum distance are set as one cluster, and the center of gravity of the two feature points F is set as the position of this cluster. Next, the Euclidean distance between each cluster including the clusters combined into one is calculated, and the two clusters at the minimum distance are combined into one cluster. The above process is repeated until the plurality of feature points F become one cluster C for each part of the human body (hand, foot, head, etc.). As a result, one cluster C is obtained for each part of the human body (hands, feet, head, etc.).
追跡情報生成部41は、クラスタリングの最大範囲(クラスターの最大サイズ)、最小特徴点数、最小クラスター数といった各種のパラメータを用いて上記のクラスタリング処理を実行する。これらのパラメータは、追跡用パラメータ変更部23から入力されるパラメータの一部であり、上述したように距離情報に応じて最適化される。
The tracking
これにより、第1の実施形態に係る動作判定装置1では、撮像位置から人物までの距離に応じた適切なクラスターCを得ることができる。たとえば、撮像位置から人物までの距離が遠いほど、クラスタリングの最大範囲を小さくし、最小特徴点数を少なくすることで、対象物(たとえば、手)以外の物の特徴点がクラスターCに含まれ難くすることができる。 As a result, in the operation determination device 1 according to the first embodiment, it is possible to obtain an appropriate cluster C according to the distance from the imaging position to the person. For example, as the distance from the imaging position to the person increases, the maximum range of clustering is reduced and the minimum number of feature points is reduced, so that feature points of objects other than the object (for example, a hand) are less likely to be included in the cluster C. can do.
つづいて、追跡情報生成部41は、クラスターCの2フレーム間の動きを追跡する処理を行う。
Subsequently, the tracking
追跡手法としては、たとえば、Lucas−Kanade法を用いることができる。Lucas−Kanade法は、2つの画像の対応点を探索してその速度ベクトルを求める手法である。追跡情報生成部41は、Lucas−Kanade法を用いてクラスターCの2フレーム間における移動方向および移動速度の情報を含む追跡情報を生成し、生成した追跡情報を蓄積部42へ出力する。
As the tracking method, for example, the Lucas-Kanade method can be used. The Lucas-Kanade method is a method of searching for the corresponding points of two images and obtaining the velocity vector thereof. The tracking
なお、追跡情報生成部41は、Lucas−Kanade法に限らず、たとえば、ブロックマッチング法等の他の手法を用いてクラスターCの追跡を行ってもよい。
The tracking
ここで、追跡情報生成部41は、2フレーム間におけるクラスターCを追跡する範囲(以下、「追跡領域」と記載する)を設定し、設定した追跡領域内においてクラスターCの追跡を行う。第1の実施形態に係る動作判定装置1では、登録された動作(以下、「登録ジェスチャ」と記載する)の動作方向に幅広い追跡領域が用いられる。この点について図6Aおよび図6Bを参照して説明する。
Here, the tracking
図6Aに示すように、登録ジェスチャとして、たとえば、手を上げて下げる動作が登録されているとする。この場合、追跡情報生成部41は、登録ジェスチャの動作方向である上下方向に幅広い矩形状の追跡領域Wを対象物(ここでは、手)の周囲に設定する。
As shown in FIG. 6A, it is assumed that, for example, the action of raising and lowering the hand is registered as the registration gesture. In this case, the tracking
図6Bに示すように、追跡情報生成部41は、設定した追跡領域W内においてクラスターCの追跡を行う。たとえば、追跡情報生成部41は、現在のフレームにおけるクラスターCの位置を基準に追跡領域Wを設定し、設定した追跡領域W内に存在する1フレーム前のクラスターC(破線で示したクラスターC)と現在のフレームのクラスターC(実線で示したクラスターC)とを対応付けることによって追跡情報を生成する。
As shown in FIG. 6B, the tracking
このように、追跡情報生成部41は、クラスターCの追跡を、登録ジェスチャの動作方向に応じた方向に幅広い追跡領域W内において行うことにより、対象物を追跡し損ねる事態を生じにくくすることができる。また、追跡領域Wは、言い換えれば、登録ジェスチャの動作方向と直交する方向に幅狭の領域でもあるため、対象物以外の物の影響を受けにくくすることができる。
In this way, the tracking
追跡情報生成部41は、図6Aに示すように、複数フレーム間においてクラスターCを追跡する範囲(以下、「ジェスチャ領域Z」と記載する)を設定し、設定したジェスチャ領域ZにおいてクラスターCの追跡を行う。言い換えれば、追跡情報生成部41は、ジェスチャ領域Zから外れたクラスターCについては追跡を行わない。このジェスチャ領域Zも、追跡領域Wと同様に、登録ジェスチャの動作方向に幅広い形状を有する。したがって、対象物を追跡し損ねる事態を生じにくくすることができる。また、対象物以外の物の影響を受けにくくすることができる。
As shown in FIG. 6A, the tracking
追跡領域Wおよびジェスチャ領域Zは、追跡用パラメータ変更部23から入力されるパラメータの一つであり、上述したように、距離情報に応じて最適化される。具体的には、追跡領域Wおよびジェスチャ領域Zは、人物Hが撮像位置に近づくほど大きくなり、遠ざかるほど小さくなる。このように、距離情報に応じて追跡領域Wおよびジェスチャ領域Zの大きさを最適化することにより、追跡領域Wおよびジェスチャ領域Zの大きさを固定とした場合と比較して、対象物を追跡し損ねる事態がより生じにくくなるとともに、対象物以外の物の影響をより受けにくくすることができる。
The tracking area W and the gesture area Z are one of the parameters input from the tracking
ここで、登録ジェスチャに関する情報は、登録ジェスチャ情報62として記憶部6に記憶されている(図1参照)。登録ジェスチャ情報62は、たとえば、登録ジェスチャに対応する人体の部位(手、足、頭など)、追跡領域Wの形状、ジェスチャ領域Zの形状および後述する登録情報群等の情報を含み得る。
Here, the information regarding the registered gesture is stored in the storage unit 6 as the registered gesture information 62 (see FIG. 1). The registered
一例として、追跡情報生成部41は、距離推定部21によって検出される人物の足部の位置から、その人物の手や頭といった各部位の存在範囲を予測し、予測した存在範囲ごとに、その部位に対応付けられた追跡領域Wおよびジェスチャ領域Zを設定する。たとえば、動体検出部32によって検出された動体が「手」の存在範囲に含まれる場合、追跡情報生成部41は、対象物「手」に対応付けられた登録ジェスチャを登録ジェスチャ情報62から特定し、特定した登録ジェスチャに対応する追跡領域Wおよびジェスチャ領域Zを対象物「手」の周囲に設定する。
As an example, the tracking
対象物「手」に対応付けられた登録ジェスチャが複数登録されている場合、追跡情報生成部41は、対象物「手」に対応付けられた各登録ジェスチャにそれぞれ対応する複数の追跡領域Wおよびジェスチャ領域Zを対象物「手」の周囲に設定し、それぞれの領域についてクラスターCの追跡を行う。たとえば、対象物「手」に対し、上述した「手を上げて下げる動作」の他に、「手を横に伸ばす動作」が登録ジェスチャとして登録されているとする。この場合、追跡情報生成部41は、「手を上げて下げる動作」に対応する上下方向に幅広い追跡領域Wおよびジェスチャ領域Zと、「手を横に伸ばす動作」に対応する左右方向に幅広い追跡領域Wおよびジェスチャ領域Zとを対象物「手」の周囲に設定し、設定した領域ごとにクラスターCの追跡を行う。
When a plurality of registered gestures associated with the object "hand" are registered, the tracking
蓄積部42は、追跡情報生成部41によって生成された追跡情報を時系列に蓄積した追跡情報群を生成する。
The
具体的には、蓄積部42は、図示しないバッファに複数フレーム分の追跡情報を時系列に蓄積し、蓄積した複数フレーム分の追跡情報を「追跡情報群」として判定部5の比較部51に出力する。蓄積部42は、この処理を追跡情報生成部41から追跡情報が入力されるごとに実行する。すなわち、蓄積部42は、追跡情報生成部41から新たな追跡情報が入力されると、バッファに蓄積されている追跡情報のうち最も古いものを破棄し、追跡情報生成部41から入力された新たな追跡情報をバッファに追加する。そして、蓄積部42は、バッファに記憶された追跡情報群を判定部5へ出力する。
Specifically, the
蓄積部42は、上記の処理を登録ジェスチャごとに実行する。なお、蓄積するフレーム数は、登録ジェスチャごとに異ならせてもよい。
The
(判定部5について)
判定部5は、追跡部4による特徴点の追跡結果に基づいて登録ジェスチャが行われたか否かを判定する。かかる判定部5は、比較部51と、静止判定部52とを備える。
(About judgment unit 5)
The determination unit 5 determines whether or not the registration gesture has been performed based on the tracking result of the feature points by the tracking unit 4. The determination unit 5 includes a
比較部51は、蓄積部42から追跡情報群が入力されるごとに、入力された追跡情報群と、記憶部6に記憶された登録ジェスチャ情報62に含まれる登録情報群とを比較する。
Each time the tracking information group is input from the
ここで、比較部51による比較処理について図7を参照して説明する。図7は、比較処理の一例を示す図である。
Here, the comparison process by the
図7に示すように、追跡情報群は、複数フレーム(ここでは、9フレーム)分の追跡情報を時系列に蓄積した情報である。図7では、理解を容易にするために、最も古い追跡情報T1から最新の追跡情報T9までを紙面左側から順に並べたものを追跡情報群として示している。また、登録情報群は、登録ジェスチャに対応付けて予め登録される情報であって、登録ジェスチャが理想的に行われたと仮定した場合に得られる仮想的な追跡情報を複数フレーム分蓄積した情報である。登録情報群のフレーム数は、必ずしも追跡情報群のフレーム数と同数でなくてもよく、追跡情報群のフレーム数と異なるフレーム数であってもよい。 As shown in FIG. 7, the tracking information group is information obtained by accumulating tracking information for a plurality of frames (here, 9 frames) in a time series. In FIG. 7, in order to facilitate understanding, the oldest tracking information T1 to the latest tracking information T9 are arranged in order from the left side of the paper as a tracking information group. In addition, the registration information group is information that is registered in advance in association with the registration gesture, and is information obtained by accumulating a plurality of frames of virtual tracking information obtained when it is assumed that the registration gesture is ideally performed. be. The number of frames of the registration information group does not necessarily have to be the same as the number of frames of the tracking information group, and may be a number of frames different from the number of frames of the tracking information group.
比較部51は、追跡情報群と登録情報群とを比較し、これらの類似度(尤度)を算出する。そして、比較部51は、算出した類似度が閾値以上である場合には、登録ジェスチャが行われたと仮判定する。仮判定の手法としては、たとえば、DP(Dynamic Programming)マッチング法を用いることができる。比較部51は、この仮判定処理を登録ジェスチャごとに実行する。
The
このように、第1の実施形態に係る動作判定装置1では、複数の追跡情報を時系列に蓄積した追跡情報群と予め登録された登録情報群との比較結果に基づいて登録ジェスチャが行われたか否かを仮判定する。すなわち、第1の実施形態に係る動作判定装置1では、複数フレーム分の追跡情報を一つのかたまり(追跡情報群)として、予め登録された登録情報群と比較することとしたため、一つの追跡情報から動作を判定する場合と比較して、登録ジェスチャが行われたか否かを精度よく仮判定することができる。 As described above, in the operation determination device 1 according to the first embodiment, the registration gesture is performed based on the comparison result between the tracking information group accumulating a plurality of tracking information in time series and the pre-registered registration information group. Temporarily determine whether or not it is. That is, in the operation determination device 1 according to the first embodiment, since the tracking information for a plurality of frames is compared with the pre-registered registration information group as one block (tracking information group), one tracking information. Compared with the case of determining the operation from, it is possible to accurately and tentatively determine whether or not the registration gesture has been performed.
静止判定部52は、比較部51によって登録ジェスチャが行われたと仮判定された後、対象物が所定フレーム静止しているか否かを判定する。
The
ここで、静止判定部52による静止判定処理について図8を参照して説明する。図8は、静止判定処理の一例を示す図である。なお、図8には、図7に示す追跡情報群から4フレーム後の追跡情報群を示している。
Here, the rest determination process by the
一例として、静止判定部52は、比較部51によって登録ジェスチャが行われたと仮判定された場合に、その後に追跡部4から入力される追跡情報群を監視する。そして、図8に示すように、クラスターCの移動量が閾値以下であることを示す追跡情報、たとえば、クラスターCの位置が変化していないことを示す追跡情報T10〜T13が所定フレーム数(たとえば、4フレーム)連続した場合に、対象物が静止していると判定する。
As an example, the
そして、判定部5は、静止判定部52によって対象物が静止していると判定された場合に、登録ジェスチャが行われたことを判定し、判定結果を外部へ出力する。
Then, when the
このように、判定部5は、追跡情報群と登録情報群との類似度が閾値以上であると判定した後、対象物が静止しているか否かを判定し、静止していると判定したならば、登録情報群に対応する動作が行われたと判定する。これにより、「登録ジェスチャを意図した動作」と、一連の動作の中にたまたま含まれる「登録ジェスチャに似た動作」とを切り分けることができるため、登録ジェスチャの誤判定を低減することができる。 In this way, the determination unit 5 determines whether or not the object is stationary after determining that the similarity between the tracking information group and the registered information group is equal to or higher than the threshold value, and determines that the object is stationary. If so, it is determined that the operation corresponding to the registration information group has been performed. As a result, it is possible to separate "an operation intended for a registered gesture" from "an operation similar to a registered gesture" that happens to be included in a series of operations, so that it is possible to reduce erroneous determination of the registered gesture.
なお、ここでは、静止判定部52が、追跡情報群に基づいて静止判定を行う場合の例について説明したが、静止判定の手法は、これに限定されない。たとえば、静止判定部52は、比較部51によって登録ジェスチャが行われたと仮判定された後、動体検出部32によって動体が検出されない期間が所定フレーム数継続した場合に、対象物が静止していると判定してもよい。
Here, an example in which the
なお、判定部5は、静止判定部52による静止判定処理を必ずしも実行することを要しない。すなわち、判定部5は、比較部51による仮判定結果を最終的な判定結果として外部装置へ出力するようにしてもよい。この場合、判定部5は、静止判定部52を備えない構成であってもよい。
The determination unit 5 does not necessarily have to execute the stationary determination process by the
(記憶部6について)
記憶部6は、たとえば、RAM、フラッシュメモリ等の半導体メモリ素子、または、HDD(Hard Disk Drive)、光ディスク等の記憶装置であり、変換情報61と、登録ジェスチャ情報62とを記憶する。
(About storage unit 6)
The storage unit 6 is, for example, a semiconductor memory element such as a RAM or a flash memory, or a storage device such as an HDD (Hard Disk Drive) or an optical disk, and stores
変換情報61は、予め実験またはシミュレーションによって求めておいた距離情報と各パラメータとの関係を示す変換テーブルや変換マップ等の情報である。また、登録ジェスチャ情報62は、登録ジェスチャに対応する人体の部位(手、足、頭など)、追跡領域Wの形状、ジェスチャ領域Zの形状および登録情報群等の情報を含む。
The
〔2.動作判定装置の具体的動作〕
次に、上述した動作判定装置1の具体的動作について図9を参照して説明する。図9は、パラメータ変更部2、抽出部3、追跡部4および判定部5が実行する処理の手順の一例を示すフローチャートである。
[2. Specific operation of the operation judgment device]
Next, the specific operation of the above-described operation determination device 1 will be described with reference to FIG. FIG. 9 is a flowchart showing an example of a processing procedure executed by the parameter changing unit 2, the extraction unit 3, the tracking unit 4, and the determination unit 5.
図9に示すように、パラメータ変更部2の距離推定部21は、撮像装置10から入力される撮像画像に基づいて距離情報を生成する(ステップS101)。つづいて、パラメータ変更部2の抽出用パラメータ変更部22および追跡用パラメータ変更部23は、抽出部3および追跡部4の処理に用いられる各種のパラメータを距離情報に応じて変更する(ステップS102)。
As shown in FIG. 9, the
つづいて、抽出部3の領域設定部31は、抽出用パラメータ変更部22から入力される変更後のパラメータを用い、撮像装置10から入力される撮像画像に対して処理対象領域R(図2B参照)を設定する(ステップS103)。
Subsequently, the
つづいて、抽出部3の動体検出部32は、抽出用パラメータ変更部22から入力される変更後のパラメータを用い、処理対象領域Rの中から動体を検出し(ステップS104)、抽出処理部33は、動体検出部32によって検出された動体から特徴点を抽出する(ステップS105)。
Subsequently, the moving
つづいて、追跡部4の追跡情報生成部41は、追跡用パラメータ変更部23から入力される変更後のパラメータを用い、抽出処理部33によって抽出された複数の特徴点をクラスタリングして(ステップS106)、2フレーム間におけるクラスターCの追跡情報を生成する(ステップS107)。
Subsequently, the tracking
つづいて、追跡部4の蓄積部42は、追跡情報生成部41によって生成された追跡情報を時系列に蓄積した追跡情報群を生成する(ステップS108)。
Subsequently, the
つづいて、比較部51は、追跡情報群と登録情報群との類似度を算出し、算出した類似度が閾値以上であるか否かを判定して(ステップS109)、閾値以上であると判定した場合には(ステップS109,Yes)、処理をステップS110へ進める。
Subsequently, the
ステップS110において、静止判定部52は、対象物が所定フレーム数以上静止しているか否かを判定する。そして、静止判定部52は、対象物が所定フレーム数以上静止していると判定した場合には(ステップS110,Yes)、判定結果を外部装置へ出力する(ステップS111)。
In step S110, the
ステップS111の処理を終えても、たとえば外部装置から終了指示を受け付けていない場合(ステップS112,No)、ステップS109において類似度が閾値以上でない場合(ステップS109,No)またはステップS110において対象物が所定フレーム数以上静止していない場合(ステップS110,No)、動作判定装置1は、処理をステップS101へ戻す。動作判定装置1は、ステップS101〜S111の処理をたとえば外部装置から終了指示を受け付けるまで繰り返す。ステップS111の処理を終えて、たとえば外部装置から終了指示を受け付けた場合(ステップS112,Yes)、動作判定装置1は、一連の処理を終了する。 Even after the processing of step S111 is completed, for example, when the end instruction is not received from the external device (step S112, No), when the similarity is not equal to or higher than the threshold value in step S109 (step S109, No), or when the object is in step S110. When the number of frames is not stationary for the predetermined number of frames or more (steps S110, No), the operation determination device 1 returns the process to step S101. The operation determination device 1 repeats the processes of steps S101 to S111 until, for example, an end instruction is received from an external device. When the process of step S111 is completed and, for example, an end instruction is received from an external device (step S112, Yes), the operation determination device 1 ends a series of processes.
〔3.変形例〕
動作判定装置1は、対象物に対して複数の登録ジェスチャが対応付けられている場合に、追跡情報を用いて登録ジェスチャの絞り込みを行ってもよい。かかる点について図10Aおよび図10Bを参照して説明する。図10Aおよび図10Bは、変形例に係る絞り込み処理の一例を示す図である。
[3. Modification example]
The motion determination device 1 may narrow down the registered gestures by using the tracking information when a plurality of registered gestures are associated with the object. This point will be described with reference to FIGS. 10A and 10B. 10A and 10B are diagrams showing an example of the narrowing process according to the modified example.
図10Aに示すように、たとえば、対象物「手」に対し、「手を上げて下げる動作」と「手を横に伸ばす動作」とが登録ジェスチャとして登録されているとする。上述したように、「手を上げて下げる動作」には上下方向に幅広い追跡領域W1が設定され、「手を横に伸ばす動作」には左右方向に幅広い追跡領域W2が設定される。 As shown in FIG. 10A, for example, it is assumed that "the action of raising and lowering the hand" and "the action of extending the hand sideways" are registered as registration gestures with respect to the object "hand". As described above, the "movement of raising and lowering the hand" is set with a wide tracking area W1 in the vertical direction, and the "movement of extending the hand sideways" is set with a wide tracking area W2 in the horizontal direction.
ここで、人物Hが、手を上げる動作を行ったとすると、上向きのベクトルをもった追跡情報が多く蓄積されることとなる。そこで、図10Bに示すように、動作判定装置1は、複数の追跡情報または追跡情報群から人物Hの動作を予測することにより、登録ジェスチャを絞り込んでもよい。すなわち、上向きのベクトルをもった追跡情報が多い場合には、「手を上げて下げる動作」の登録ジェスチャおよび「手を横に伸ばす動作」の登録ジェスチャのうち、「手を横に伸ばす動作」の登録ジェスチャを判定対象から除外するようにしてもよい。 Here, if the person H performs the action of raising his / her hand, a lot of tracking information having an upward vector will be accumulated. Therefore, as shown in FIG. 10B, the motion determination device 1 may narrow down the registered gestures by predicting the motion of the person H from a plurality of tracking information or tracking information groups. That is, when there is a lot of tracking information having an upward vector, among the registered gestures of "the action of raising and lowering the hand" and the registered gesture of "the action of extending the hand sideways", "the action of extending the hand sideways". The registered gesture of is excluded from the judgment target.
このように、複数の登録ジェスチャの中から判定対象とする登録ジェスチャを絞り込むことで、処理負荷を抑えることができる。 In this way, the processing load can be suppressed by narrowing down the registered gestures to be determined from the plurality of registered gestures.
上述してきたように、第1の実施形態に係る動作判定装置1は、抽出部3と、追跡部4と、判定部5とを備える。抽出部3は、撮像画像から対象物の特徴点を抽出する。追跡部4は、時間的に前後する撮像画像からそれぞれ抽出される特徴点に基づき、対象物の移動方向を示す追跡情報を生成する。判定部5は、複数の追跡情報を時系列に蓄積した追跡情報群と対象物の動作に対応付けて予め登録された登録情報群との比較結果に基づき、当該動作が行われたか否かを判定する。 As described above, the operation determination device 1 according to the first embodiment includes an extraction unit 3, a tracking unit 4, and a determination unit 5. The extraction unit 3 extracts the feature points of the object from the captured image. The tracking unit 4 generates tracking information indicating the moving direction of the object based on the feature points extracted from the captured images that are moved back and forth in time. The determination unit 5 determines whether or not the operation has been performed based on the comparison result between the tracking information group accumulating a plurality of tracking information in time series and the registered information group registered in advance in association with the operation of the object. judge.
よって、第1の実施形態に係る動作判定装置1によれば、一例としては、複数フレーム分の追跡情報を一つのかたまり(追跡情報群)として、予め登録された登録情報群と比較することにより、一つの追跡情報から動作を判定する場合と比較して、登録情報群に対応する動作が行われたか否かを精度よく判定することができる。 Therefore, according to the operation determination device 1 according to the first embodiment, as an example, by comparing the tracking information for a plurality of frames as one block (tracking information group) with the registered information group registered in advance. , It is possible to accurately determine whether or not the operation corresponding to the registered information group has been performed, as compared with the case where the operation is determined from one tracking information.
なお、上述した第1の実施形態では、動作判定装置1を用いて人物の動作を判定する場合の例について説明したが、動作判定装置1は、人物以外の動作の判定に用いてもよい。たとえば、動作判定装置1は、踏切やETCレーンに設置される遮断機の動作の判定に用いることができる。この場合、動作判定装置1は、遮断機が備える遮断桿を対象物として、遮断桿が降下する動作や上昇する動作が行われたか否かを判定する。その他、動作判定装置1は、犬猫などの動物やロボット等の動作の判定に用いることもできる。 In the first embodiment described above, an example in which the motion of a person is determined by using the motion determination device 1 has been described, but the motion determination device 1 may be used to determine the motion of a person other than the person. For example, the operation determination device 1 can be used to determine the operation of a breaker installed at a railroad crossing or an ETC lane. In this case, the operation determination device 1 determines whether or not the cutoff rod is lowered or raised with the cutoff rod provided in the breaker as an object. In addition, the motion determination device 1 can also be used to determine the motion of animals such as dogs and cats and robots.
(第2の実施形態)
次に、第2の実施形態について、図11〜図13Bを参照して説明する。なお、以下の説明では、既に説明した部分と同様の部分については、既に説明した部分と同一の符号を付し、重複する説明を省略する。同じ符号が付された複数の構成要素は、全ての機能及び性質が共通するとは限らず、各実施形態に応じた異なる機能及び性質を有していても良い。
(Second Embodiment)
Next, the second embodiment will be described with reference to FIGS. 11 to 13B. In the following description, the same parts as those already described will be designated by the same reference numerals as those already described, and duplicate description will be omitted. The plurality of components with the same reference numerals do not necessarily have all the functions and properties in common, and may have different functions and properties according to each embodiment.
まず、第2の実施形態に係る動作判定装置の構成について図11および図12を参照して説明する。図11は、第2の実施形態に係る動作判定装置の構成の一例を示すブロック図である。また、図12は、人物特定部の構成の一例を示すブロック図である。 First, the configuration of the operation determination device according to the second embodiment will be described with reference to FIGS. 11 and 12. FIG. 11 is a block diagram showing an example of the configuration of the operation determination device according to the second embodiment. Further, FIG. 12 is a block diagram showing an example of the configuration of the person identification unit.
図11に示すように、第2の実施形態に係る動作判定装置1Aは、撮像画像に含まれる人物の中から、動作判定の対象となる人物(以下、対象人物と記載する)を特定する人物特定部7をさらに備える。 As shown in FIG. 11, the motion determination device 1A according to the second embodiment is a person who identifies a person to be motion-determined (hereinafter referred to as a target person) from the persons included in the captured image. A specific unit 7 is further provided.
人物特定部7は、図12に示すように、一例として、人物検出部71と、履歴生成部72と、特定処理部73とを備える。
As shown in FIG. 12, the person identification unit 7 includes a
人物検出部71は、撮像画像に含まれる人物の検出および追跡を行う。人物を検出および追跡する手法は、たとえばパターン認識によるものなど何れの従来技術を用いても構わない。
The
なお、人物検出部71は、顔や手といった人物の一部を検出するのではなく、人物全体を検出するものとする。また、人物検出部71は、撮像装置10から撮像画像が入力されるごとに、人物を検出および追跡する処理を行う。
The
履歴生成部72は、人物検出部71によって検出された人物の行動履歴を生成する。たとえば、履歴生成部72は、各撮像画像から、人物検出部71によって検出された人物の体の向き、撮像画像における位置ならびに大きさ、視線等の情報を抽出する。また、履歴生成部72は、時間的に前後する複数の撮像画像から、人物検出部71によって検出された人物の移動方向、動いている状態か静止している状態かの別等の情報を抽出する。
The
そして、履歴生成部72は、抽出したこれらの情報を含む行動履歴63を生成して記憶部6Aに記憶させる。これにより、記憶部6Aには、人物ごとの行動履歴63が蓄積される。なお、人物検出部71は、必ずしも上述した全ての情報を抽出することを要しない。
Then, the
特定処理部73は、記憶部6Aに記憶された行動履歴63と行動パターン登録情報64とを比較し、これらの類似度に基づいて対象人物を特定する。行動パターン登録情報64は、これから登録ジェスチャを行おうとする人物が登録ジェスチャを行う前に取ると予想される行動パターンに関する情報であり、予め記憶部6Aに登録される。
The
ここで、人物特定部7による人物特定処理の一例について図13Aおよび図13Bを参照して説明する。図13Aおよび図13Bは、人物特定処理の一例を示す図である。 Here, an example of the person identification process by the person identification unit 7 will be described with reference to FIGS. 13A and 13B. 13A and 13B are diagrams showing an example of the person identification process.
図13Aに示すように、撮像装置10によって撮像された撮像画像X5に複数の人物H1〜H3が写り込んでいるとする。この場合、人物特定部7は、撮像画像X5から人物H1〜H3を検出し、各人物H1〜H3の行動履歴63を生成して記憶部6Aに記憶させる。
As shown in FIG. 13A, it is assumed that a plurality of persons H1 to H3 are reflected in the captured image X5 captured by the
つづいて、人物特定部7は、人物H1〜H3ごとに、行動履歴63と行動パターン登録情報64との比較を行い、これらの類似度が閾値を超える人物を対象人物として特定する。
Subsequently, the person identification unit 7 compares the
たとえば、これから登録ジェスチャを行おうとする人物は、撮像装置10に対して正面を向いている可能性が高い。そこで、人物特定部7は、体が所定時間正面を向いている人物を対象人物として特定してもよい。
For example, a person who is about to perform a registration gesture is likely to face the
この場合、行動パターン登録情報64には、「体が所定時間正面を向いていること」の項目が含まれる。これにより、撮像画像に含まれる人物H1〜H3のうち、体が正面を向いている人物H1を対象人物として特定することができる。 In this case, the behavior pattern registration information 64 includes the item "the body is facing the front for a predetermined time". Thereby, among the persons H1 to H3 included in the captured image, the person H1 whose body is facing the front can be specified as the target person.
人物H1が対象人物として特定された場合、人物特定部7以降の各処理部によって実行される処理は、人物H1についてのみ行われる。具体的には、パラメータ変更部2は、撮像画像の撮像位置から人物H1までの距離を推定し、推定した距離に応じて抽出部3および追跡部4の処理に用いられる各種のパラメータを変更する。また、抽出部3は、人物H1の周囲に処理対象領域R1を設定し、設定した処理対象領域R1において特徴点の抽出を行う(図13B参照)。 When the person H1 is specified as the target person, the processing executed by each processing unit after the person identification unit 7 is performed only for the person H1. Specifically, the parameter changing unit 2 estimates the distance from the imaging position of the captured image to the person H1, and changes various parameters used in the processing of the extraction unit 3 and the tracking unit 4 according to the estimated distance. .. Further, the extraction unit 3 sets a processing target area R1 around the person H1 and extracts feature points in the set processing target area R1 (see FIG. 13B).
一方、人物特定部7以降の各処理部によって実行される処理は、対象人物として特定されなかった人物H2,H3については実行されない。したがって、撮像画像に複数の人物が含まれる場合における処理負荷の増加を抑えることができる。また、対象人物以外の人物H2,H3が登録ジェスチャに似た動作を行ったとしても、登録ジェスチャが行われたと判定されることがないため、判定精度の低下を防止することが可能である。 On the other hand, the processing executed by each processing unit after the person identification unit 7 is not executed for the persons H2 and H3 not specified as the target person. Therefore, it is possible to suppress an increase in the processing load when a plurality of people are included in the captured image. Further, even if the persons H2 and H3 other than the target person perform an operation similar to the registered gesture, it is not determined that the registered gesture has been performed, so that it is possible to prevent the determination accuracy from being lowered.
ところで、行動パターン登録情報64には、体の向き以外の項目を含めることも可能である。たとえば、これから登録ジェスチャを行おうとする人物は、撮像装置10に対して正対している、言い換えれば、撮像画像の中央に写り込んでいる可能性が高い。そこで、行動パターン登録情報64には、撮像画像における人物の位置に関する項目を含めてもよい。たとえば、撮像画像の中央に近い人物ほど類似度が高くなるようにしてもよい。これにより、これから登録ジェスチャを行おうとする人物をさらに精度良く特定することができる。
By the way, the behavior pattern registration information 64 can include items other than the body orientation. For example, it is highly possible that the person who is about to perform the registration gesture is facing the
また、これから登録ジェスチャを行おうとする人物は、撮像装置10に向かって移動してくる可能性が高い。そこで、行動パターン登録情報64には、人物の移動方向に関する項目を含めてもよい。たとえば、移動方向が撮像装置10を向いている人物ほど類似度が高くなるようにしてもよい。これにより、たとえば、撮像装置10の前を横切る通行人や撮像装置10から遠ざかる人物を対象人物から除外し易くなるため、これから登録ジェスチャを行おうとする人物をさらに精度良く特定することができる。
Further, the person who is going to perform the registration gesture is likely to move toward the
また、これから登録ジェスチャを行おうとする人物は、視線が撮像装置10の方を向いている可能性が高い。そこで、行動パターン登録情報64には、視線に関する項目を含めてもよい。たとえば、視線が撮像装置10を向いている人物ほど類似度が高くなるようにしてもよい。これにより、これから登録ジェスチャを行おうとする人物をさらに精度良く特定することができる。
Further, it is highly possible that the person who is going to perform the registration gesture is looking toward the
また、これから登録ジェスチャを行おうとする人物は、撮像装置10に比較的近い位置に存在している可能性が高い。そこで、行動パターン登録情報64には、人物の大きさに関する項目を含めてもよい。たとえば、撮像画像に大きく写り込んでいる人物ほど類似度が高くなるようにしてもよい。これにより、撮像装置10から遠く離れた場所にいる通行人等を対象人物から除外し易くなるため、これから登録ジェスチャを行おうとする人物をさらに精度良く特定することができる。
Further, it is highly possible that the person who is going to perform the registration gesture is present at a position relatively close to the
人物特定部7は、上述したこれらの項目ごとの類似度をそれぞれ算出するとともに算出した類似度を点数化し、それらの合計点が閾値を超える人物を対象人物として特定するようにしてもよい。また、類似度を点数化する際には、項目ごとに重み付けを行ってもよい。 The person identification unit 7 may calculate the similarity degree for each of these items described above and score the calculated similarity degree, and specify a person whose total score exceeds the threshold value as the target person. Further, when scoring the similarity, weighting may be performed for each item.
また、人物特定部7は、たとえば、顔認証や歩容認証といった個人認証をさらに用いて対象人物の特定を行ってもよい。顔認証とは、顔の特徴から個人を特定する手法であり、歩容認証とは、歩き方から個人を特定する手法である。 In addition, the person identification unit 7 may further identify the target person by further using personal authentication such as face authentication or gait authentication. Face recognition is a method of identifying an individual based on facial features, and gait recognition is a method of identifying an individual based on how they walk.
たとえば、人物特定部7は、行動履歴63と行動パターン登録情報64との比較に基づいて特定した人物について、予め登録しておいた顔情報や歩容情報を用いた個人認証を行い、個人が認証された場合に、その人物を対象人物として特定するようにしてもよい。
For example, the person identification unit 7 performs personal authentication using the face information and gait information registered in advance for the person specified based on the comparison between the
このように、予め登録しておいた人物のみを対象人物として特定するようにすることで、精度の向上とともにセキュリティ面の向上を図ることができる。また、行動履歴63と行動パターン登録情報64との比較に基づいて特定された人物(たとえば人物H1)についてのみ個人認証を行うようにすることで、撮像画像に含まれる全ての人物(たとえば人物H1〜H3)について個人認証を行う場合に比べ、個人認証による処理負荷の増加を抑制することができる。
In this way, by identifying only the person registered in advance as the target person, it is possible to improve the accuracy and the security aspect. Further, by performing personal authentication only for the person (for example, person H1) specified based on the comparison between the
(第3の実施形態)
第3の実施形態では、上述した第2の実施形態に係る動作判定装置1Aを車両の周辺を監視する周辺監視装置として用いる場合の例について図14および図15を参照して説明する。図14は、動作判定装置1Aを搭載する車両の一例を示す平面図である。また、図15は、車両後方に存在する複数の人物の中から対象人物を特定する様子を示す図である。
(Third Embodiment)
In the third embodiment, an example in which the motion determination device 1A according to the second embodiment described above is used as a peripheral monitoring device for monitoring the periphery of the vehicle will be described with reference to FIGS. 14 and 15. FIG. 14 is a plan view showing an example of a vehicle equipped with the motion determination device 1A. Further, FIG. 15 is a diagram showing how a target person is specified from a plurality of people existing behind the vehicle.
図14に示すように、動作判定装置1Aを搭載する車両100は、たとえば、不図示の内燃機関を駆動源とする自動車、すなわち内燃機関自動車であってもよいし、不図示の電動機を駆動源とする自動車、すなわち電気自動車や燃料電池自動車等であってもよい。また、それらの双方を駆動源とするハイブリッド自動車であってもよいし、他の駆動源を備えた自動車であってもよい。また、車両100は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置、たとえばシステムや部品等を搭載することができる。また、車両100における車輪の駆動に関わる装置の方式や、数、レイアウト等は、種々に設定することができる。
As shown in FIG. 14, the
車体200には、複数の撮像装置10として、たとえば四つの撮像装置10a〜10dが設けられる。撮像装置10a〜10dは、それぞれ、広角レンズまたは魚眼レンズを有し、水平方向にはたとえば140°〜190°の範囲を撮影することができる。また、撮像装置10a〜10dの光軸は斜め下方に向けて設定されている。よって、撮像装置10a〜10dは、車両100が移動可能な路面や車両100が駐車可能な領域を含む車両100の周辺の外部の環境を逐次撮像可能である。
The
撮像装置10aは、たとえば、車体200の後側の端部に配置される。撮像装置10bは、たとえば、車体200の右側のドアミラー201に設けられる。撮像装置10cは、たとえば、車体200の前側、すなわち車両前後方向の前方側の端部に配置される。撮像装置10dは、たとえば、車体200の左側のドアミラー202に設けられる。
The
第3の実施形態において、動作判定装置1Aは、一例として、車体200の後方に設けられた撮像装置10aから入力される撮像画像に含まれる人物の中から対象人物を特定する。
In the third embodiment, the motion determination device 1A identifies a target person from among the persons included in the captured image input from the
たとえば、図15に示すように、撮像装置10aの撮像範囲内に人物H5〜H8が存在する場合、すなわち、撮像装置10aの撮像画像に人物H5〜H8が写り込んでいる場合、動作判定装置1Aは、たとえば、撮像装置10aに向かって接近している人物H6を対象人物として特定し、人物H6について一連の動作判定処理を行う。動作判定装置1Aから出力される判定結果は、たとえば、車体200のリアトランクのドアを自動的に開ける処理等に用いられる。
For example, as shown in FIG. 15, when the person H5 to H8 is present in the image pickup range of the
なお、ここでは、第2の実施形態に係る動作判定装置1Aを周辺監視装置として用いる場合の例について説明したが、第1の実施形態に係る動作判定装置1を周辺監視装置として用いることも可能である。 Here, an example in which the operation determination device 1A according to the second embodiment is used as the peripheral monitoring device has been described, but the operation determination device 1 according to the first embodiment can also be used as the peripheral monitoring device. Is.
以上、本発明の実施形態を例示したが、上記実施形態および変形例はあくまで一例であって、発明の範囲を限定することは意図していない。上記実施形態や変形例は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、組み合わせ、変更を行うことができる。また、各実施形態や各変形例の構成や形状は、部分的に入れ替えて実施することも可能である。 Although the embodiments of the present invention have been illustrated above, the above-described embodiments and modifications are merely examples, and the scope of the invention is not intended to be limited. The above-described embodiment and modification can be implemented in various other forms, and various omissions, replacements, combinations, and changes can be made without departing from the gist of the invention. Further, the configuration and shape of each embodiment and each modification can be partially replaced.
1,1A…動作判定装置、2…パラメータ変更部、3…抽出部、4…追跡部、5…判定部、6,6A…記憶部、10…撮像装置、21…距離推定部、22…抽出用パラメータ変更部、23…追跡用パラメータ変更部、31…領域設定部、32…動体検出部、33…抽出処理部、41…追跡情報生成部、42…蓄積部、51…比較部、52…静止判定部、61…変換情報、62…登録ジェスチャ情報、C…クラスター、F…特徴点、H…人物、R…処理対象領域、W…追跡領域、Z…ジェスチャ領域。 1,1A ... Motion determination device, 2 ... Parameter change unit, 3 ... Extraction unit, 4 ... Tracking unit, 5 ... Judgment unit, 6,6A ... Storage unit, 10 ... Imaging device, 21 ... Distance estimation unit, 22 ... Extraction Parameter change unit, 23 ... Tracking parameter change unit, 31 ... Area setting unit, 32 ... Moving object detection unit, 33 ... Extraction processing unit, 41 ... Tracking information generation unit, 42 ... Accumulation unit, 51 ... Comparison unit, 52 ... Static determination unit, 61 ... conversion information, 62 ... registered gesture information, C ... cluster, F ... feature point, H ... person, R ... processing target area, W ... tracking area, Z ... gesture area.
Claims (7)
時間的に前後する前記撮像画像からそれぞれ抽出される前記特徴点に基づき、前記対象物の移動方向を示す追跡情報を生成する追跡部と、
複数の前記追跡情報を時系列に蓄積した追跡情報群と前記対象物の動作に対応付けて予め登録された登録情報群との比較結果に基づき、当該動作が行われたか否かを判定する判定部と、
を備え、
前記追跡部は、
時間的に前後する前記撮像画像のうち後の撮像画像から抽出された前記特徴点の位置に基づいて追跡領域を設定し、設定した前記追跡領域に存在する、時間的に前後する前記撮像画像のうち前の撮像画像から抽出された前記特徴点と、前記後の撮像画像から抽出された前記特徴点とを対応付けることによって前記追跡情報を生成する、動作判定装置。 An extraction unit that extracts the feature points of the object from the captured image,
A tracking unit that generates tracking information indicating the moving direction of the object based on the feature points extracted from the captured images that are moved back and forth in time.
Judgment to determine whether or not the operation has been performed based on the comparison result between the tracking information group in which a plurality of the tracking information is accumulated in time series and the registered information group registered in advance in association with the operation of the object. Department and
Equipped with a,
The tracking unit
A tracking area is set based on the position of the feature point extracted from the later captured image among the captured images that are time-varying, and the time-varying captured image that exists in the set tracking area. An operation determination device that generates tracking information by associating the feature points extracted from the previous captured image with the feature points extracted from the later captured image.
前記追跡情報群と前記登録情報群との類似度が閾値以上であると判定した後、前記対象物が静止しているか否かを判定し、静止していると判定したならば、前記登録情報群に対応する動作が行われたと判定する、
請求項1に記載の動作判定装置。 The determination unit
After determining that the similarity between the tracking information group and the registered information group is equal to or higher than the threshold value, it is determined whether or not the object is stationary, and if it is determined that the object is stationary, the registered information Judge that the action corresponding to the group has been performed,
The operation determination device according to claim 1.
前記撮像画像における前記対象物の周囲に、前記登録情報群に対応する動作に応じた方向に幅広い追跡領域を設定し、設定した前記追跡領域に含まれる前記特徴点に基づいて前記追跡情報を生成する、
請求項1または2に記載の動作判定装置。 The tracking unit
A wide tracking area is set around the object in the captured image in a direction corresponding to the operation corresponding to the registered information group, and the tracking information is generated based on the feature points included in the set tracking area. do,
The operation determination device according to claim 1 or 2.
を備える請求項1〜3のいずれか一つに記載の動作判定装置。 The operation according to any one of claims 1 to 3, further comprising an extraction parameter changing unit that changes the parameters used for processing by the extraction unit according to the distance information from the imaging position of the captured image to the object. Judgment device.
を備える請求項1〜4のいずれか一つに記載の動作判定装置。 The operation according to any one of claims 1 to 4, further comprising a tracking parameter changing unit that changes the parameters used for processing by the tracking unit according to the distance information from the imaging position of the captured image to the object. Judgment device.
を備え、
前記抽出部は、
前記人物特定部によって特定された対象人物から前記対象物の特徴点を抽出する、
請求項1〜5のいずれか一つに記載の動作判定装置。 A person identification unit that identifies a target person based on the behavior history of the person included in the captured image is provided.
The extraction unit
Extracting the feature points of the object from the target person identified by the person identification unit,
The operation determination device according to any one of claims 1 to 5.
前記撮像画像に基づいて前記行動履歴を生成し、生成した前記行動履歴と予め登録された行動パターン登録情報との類似度に基づいて前記対象人物を特定する、
請求項6に記載の動作判定装置。 The person identification part
The action history is generated based on the captured image, and the target person is specified based on the degree of similarity between the generated action history and the pre-registered action pattern registration information.
The operation determination device according to claim 6.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/806,614 US10474884B2 (en) | 2016-11-14 | 2017-11-08 | Action determination device |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016221885 | 2016-11-14 | ||
JP2016221885 | 2016-11-14 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018085087A JP2018085087A (en) | 2018-05-31 |
JP6953818B2 true JP6953818B2 (en) | 2021-10-27 |
Family
ID=62238524
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017117239A Active JP6953818B2 (en) | 2016-11-14 | 2017-06-14 | Operation judgment device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6953818B2 (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021084566A (en) * | 2019-11-29 | 2021-06-03 | トヨタ車体株式会社 | vehicle |
JP6966038B2 (en) * | 2020-03-13 | 2021-11-10 | エヌ・ティ・ティ・ビズリンク株式会社 | Animal behavior estimation device, animal behavior estimation method and program |
JP7012111B2 (en) * | 2020-03-13 | 2022-01-27 | エヌ・ティ・ティ・ビズリンク株式会社 | Animal behavior estimation system, animal behavior estimation support device, animal behavior estimation method and program |
EP4115273A4 (en) | 2020-03-20 | 2023-04-12 | Huawei Technologies Co., Ltd. | Methods and systems for hand gesture-based control of a device |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5381569B2 (en) * | 2009-09-29 | 2014-01-08 | 富士通株式会社 | Gesture recognition device, gesture recognition method, and gesture recognition program |
JP2011192141A (en) * | 2010-03-16 | 2011-09-29 | Sony Corp | Moving body detecting device and moving body detection method and program |
US9069386B2 (en) * | 2010-05-11 | 2015-06-30 | Nippon Systemware Co., Ltd. | Gesture recognition device, method, program, and computer-readable medium upon which program is stored |
JP2013080413A (en) * | 2011-10-05 | 2013-05-02 | Sony Corp | Input apparatus and input recognition method |
JP2015056141A (en) * | 2013-09-13 | 2015-03-23 | ソニー株式会社 | Information processing device and information processing method |
-
2017
- 2017-06-14 JP JP2017117239A patent/JP6953818B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018085087A (en) | 2018-05-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10474884B2 (en) | Action determination device | |
JP6953818B2 (en) | Operation judgment device | |
US20180150704A1 (en) | Method of detecting pedestrian and vehicle based on convolutional neural network by using stereo camera | |
JP4686663B2 (en) | Pedestrian tracking method and pedestrian tracking device | |
JP6494253B2 (en) | Object detection apparatus, object detection method, image recognition apparatus, and computer program | |
US20160180195A1 (en) | Augmenting Layer-Based Object Detection With Deep Convolutional Neural Networks | |
Liu et al. | A novel distance estimation method leading a forward collision avoidance assist system for vehicles on highways | |
JP5964108B2 (en) | Object detection device | |
JP5136504B2 (en) | Object identification device | |
TW201405486A (en) | Real time detecting and tracing objects apparatus using computer vision and method thereof | |
JP2016081525A (en) | Vehicular image recognition system and corresponding method | |
WO2017138245A1 (en) | Image processing device, object recognition device, device control system, and image processing method and program | |
US20140002657A1 (en) | Forward collision warning system and forward collision warning method | |
JP6021689B2 (en) | Vehicle specification measurement processing apparatus, vehicle specification measurement method, and program | |
Huang et al. | Tightly-coupled LIDAR and computer vision integration for vehicle detection | |
JP6572696B2 (en) | Image processing apparatus, object recognition apparatus, device control system, image processing method and program | |
Lin et al. | Pedestrian detection by fusing 3D points and color images | |
CN104239847A (en) | Driving warning method and electronic device for vehicle | |
JP4548181B2 (en) | Obstacle detection device | |
Baris et al. | Classification and tracking of traffic scene objects with hybrid camera systems | |
JP2012118683A (en) | Pedestrian recognition device | |
CN110688969A (en) | Video frame human behavior identification method | |
JP2013069045A (en) | Image recognition device, image recognition method, and image recognition program | |
Lenac et al. | Moving objects detection using a thermal Camera and IMU on a vehicle | |
Hemalatha et al. | A survey on real time object detection, tracking and recognition in image processing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200513 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210527 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210608 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210806 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210831 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210913 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6953818 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |