JP7217820B1

JP7217820B1 - Movement amount identification device, movement amount identification method, and movement amount identification program

Info

Publication number: JP7217820B1
Application number: JP2022008892A
Authority: JP
Inventors: 美葵廣橋
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2022-01-24
Filing date: 2022-01-24
Publication date: 2023-02-03
Anticipated expiration: 2042-01-24
Also published as: JP2023107613A

Abstract

【課題】カメラによって撮影されて得られた画像データにおける対象物の位置による対象物の移動量の誤差を適切に低減可能にする。【解決手段】縮小率計算部２３は、映像データを構成する画像データにおける対象物の下端位置に基づき、画像データにおける対象物の縮小率を計算する。移動量計算部２４は、映像データに基づき対象物の移動量を計算する。移動量補正部２５は、縮小率計算部２３によって計算された縮小率を用いて、移動量計算部２４によって計算された対象物の移動量を補正する。【選択図】図１An object of the present invention is to appropriately reduce errors in the amount of movement of an object due to the position of the object in image data obtained by photographing with a camera. A reduction ratio calculator (23) calculates a reduction ratio of an object in image data based on a lower end position of the object in image data constituting video data. The movement amount calculator 24 calculates the movement amount of the object based on the image data. The movement amount correction unit 25 uses the reduction ratio calculated by the reduction ratio calculation unit 23 to correct the movement amount of the object calculated by the movement amount calculation unit 24 . [Selection drawing] Fig. 1

Description

本開示は、映像に映る対象物の移動量を特定する技術に関する。 The present disclosure relates to technology for specifying the amount of movement of an object appearing in a video.

映像データを構成する画像データから、画像データに映った対象物の移動量を推定することが行われている（特許文献１参照）。 2. Description of the Related Art Estimation of the amount of movement of an object shown in image data is performed from image data that constitutes video data (see Patent Document 1).

カメラと対象物との間の距離によって、対象物の映り方が異なる。そのため、映像を構成する２つのフレームの画像データにおける対象物の間の距離を、対象物の移動量として特定してしまうと、対象物の位置による誤差が発生する。
そこで、従来は、対象物の大きさが小さいほど、対象物がカメラから遠い位置にいると仮定し、移動量を補正することが行われている。これにより、対象物の位置による誤差を低減している。 Depending on the distance between the camera and the object, the way the object is reflected differs. Therefore, if the distance between the objects in the image data of the two frames forming the video is specified as the amount of movement of the object, an error occurs due to the position of the object.
Therefore, conventionally, it is assumed that the smaller the size of the object, the farther the object is from the camera, and the movement amount is corrected. This reduces the error due to the position of the object.

特開２００９－０８０５７２号公報JP 2009-080572 A

対象者の大きさは、カメラからの距離に関わらず異なる場合がある。そのため、対象者の大きさが小さいほど、対象者がカメラから遠い位置にいるという仮定は誤っている可能性がある。したがって、この仮定に基づき移動量を補正すると、対象物の位置による誤差を適切に低減することができない可能性が有る。
本開示は、対象物の位置による移動量の誤差を適切に低減可能にすることを目的とする。 The size of the subject may vary regardless of the distance from the camera. Therefore, the assumption that the smaller the target is, the farther the target is from the camera, may be incorrect. Therefore, if the movement amount is corrected based on this assumption, it may not be possible to appropriately reduce the error due to the position of the object.
An object of the present disclosure is to appropriately reduce the error in the movement amount due to the position of the object.

本開示に係る移動量特定装置は、
映像データを構成する画像データにおける対象物の下端位置に基づき、前記画像データにおける前記対象物の縮小率を計算する縮小率計算部と、
前記縮小率計算部によって計算された前記縮小率を用いて、前記映像データを用いて特定された前記対象物の移動量を補正する移動量補正部と
を備える。 The movement amount identification device according to the present disclosure is
a reduction ratio calculation unit that calculates a reduction ratio of the object in the image data based on the lower end position of the object in the image data that constitutes the video data;
and a movement amount correction unit that corrects the movement amount of the object identified using the video data, using the reduction ratio calculated by the reduction ratio calculation unit.

本開示では、画像データにおける対象物の下端位置に基づき縮小率が計算され、縮小率を用いて対象物の移動量が補正される。対象物の大きさではなく、対象物の下端位置から計算された縮小率を用いることにより、対象物の位置による移動量の誤差を適切に低減することが可能である。 In the present disclosure, the reduction ratio is calculated based on the lower edge position of the object in the image data, and the amount of movement of the object is corrected using the reduction ratio. By using the reduction ratio calculated from the lower end position of the object instead of the size of the object, it is possible to appropriately reduce the error in the amount of movement due to the position of the object.

実施の形態１に係る移動量特定装置１０の構成図。1 is a configuration diagram of a movement amount identification device 10 according to Embodiment 1. FIG. 実施の形態１に係る移動量特定装置１０の全体的な動作のフローチャート。4 is a flowchart of the overall operation of the movement amount identification device 10 according to Embodiment 1; 実施の形態１に係る対象特定処理の説明図。FIG. 4 is an explanatory diagram of target identification processing according to the first embodiment; 実施の形態１に係る縮小率計算処理の説明図。FIG. 4 is an explanatory diagram of reduction ratio calculation processing according to the first embodiment; 実施の形態１に係る縮小率計算処理の説明図。FIG. 4 is an explanatory diagram of reduction ratio calculation processing according to the first embodiment; 実施の形態１の効果の説明図。FIG. 4 is an explanatory diagram of the effect of the first embodiment; 実施の形態１の効果の説明図。FIG. 4 is an explanatory diagram of the effect of the first embodiment; 実施の形態１の効果の説明図。FIG. 4 is an explanatory diagram of the effect of the first embodiment; 変形例５に係る移動量特定装置１０の構成図。FIG. 11 is a configuration diagram of a movement amount identification device 10 according to Modification 5; 実施の形態２に係る移動量特定装置１０の構成図。FIG. 2 is a configuration diagram of a movement amount identification device 10 according to Embodiment 2; 実施の形態２に係る移動量特定装置１０の全体的な動作のフローチャート。6 is a flowchart of the overall operation of the movement amount identification device 10 according to Embodiment 2; 実施の形態２の効果の説明図。FIG. 8 is an explanatory diagram of the effect of the second embodiment; 実施の形態２の効果の説明図。FIG. 8 is an explanatory diagram of the effect of the second embodiment;

実施の形態１．
＊＊＊構成の説明＊＊＊
図１を参照して、実施の形態１に係る移動量特定装置１０の構成を説明する。
移動量特定装置１０は、コンピュータである。
移動量特定装置１０は、プロセッサ１１と、メモリ１２と、ストレージ１３と、通信インタフェース１４とのハードウェアを備える。プロセッサ１１は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。 Embodiment 1.
*** Configuration description ***
The configuration of the displacement identification device 10 according to the first embodiment will be described with reference to FIG.
The movement amount identification device 10 is a computer.
The movement amount identification device 10 includes hardware including a processor 11 , a memory 12 , a storage 13 , and a communication interface 14 . The processor 11 is connected to other hardware via signal lines and controls these other hardware.

プロセッサ１１は、プロセッシングを行うＩＣである。ＩＣはＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔの略である。プロセッサ１１は、具体例としては、ＣＰＵ、ＤＳＰ、ＧＰＵである。ＣＰＵは、ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔの略である。ＤＳＰは、ＤｉｇｉｔａｌＳｉｇｎａｌＰｒｏｃｅｓｓｏｒの略である。ＧＰＵは、ＧｒａｐｈｉｃｓＰｒｏｃｅｓｓｉｎｇＵｎｉｔの略である。 The processor 11 is an IC that performs processing. IC is an abbreviation for Integrated Circuit. The processor 11 is, for example, a CPU, DSP, or GPU. CPU is an abbreviation for Central Processing Unit. DSP is an abbreviation for Digital Signal Processor. GPU is an abbreviation for Graphics Processing Unit.

メモリ１２は、データを一時的に記憶する記憶装置である。メモリ１２は、具体例としては、ＳＲＡＭ、ＤＲＡＭである。ＳＲＡＭは、ＳｔａｔｉｃＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙの略である。ＤＲＡＭは、ＤｙｎａｍｉｃＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙの略である。 The memory 12 is a storage device that temporarily stores data. Specific examples of the memory 12 are SRAM and DRAM. SRAM is an abbreviation for Static Random Access Memory. DRAM is an abbreviation for Dynamic Random Access Memory.

ストレージ１３は、データを保管する記憶装置である。ストレージ１３は、具体例としては、ＨＤＤである。ＨＤＤは、ＨａｒｄＤｉｓｋＤｒｉｖｅの略である。また、ストレージ１３は、ＳＤ（登録商標）メモリカード、ＣｏｍｐａｃｔＦｌａｓｈ（登録商標）、ＮＡＮＤフラッシュ、フレキシブルディスク、光ディスク、コンパクトディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク、ＤＶＤといった可搬記録媒体であってもよい。ＳＤは、ＳｅｃｕｒｅＤｉｇｉｔａｌの略である。ＤＶＤは、ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｋの略である。 The storage 13 is a storage device that stores data. A specific example of the storage 13 is an HDD. HDD is an abbreviation for Hard Disk Drive. In addition, the storage 13 is a portable recording medium such as an SD (registered trademark) memory card, CompactFlash (registered trademark), NAND flash, flexible disk, optical disk, compact disk, Blu-ray (registered trademark) disk, or DVD. good. SD is an abbreviation for Secure Digital. DVD is an abbreviation for Digital Versatile Disk.

通信インタフェース１４は、外部の装置と通信するためのインタフェースである。通信インタフェース１４は、具体例としては、Ｅｔｈｅｒｎｅｔ（登録商標）、ＵＳＢ、ＨＤＭＩ（登録商標）のポートである。ＵＳＢは、ＵｎｉｖｅｒｓａｌＳｅｒｉａｌＢｕｓの略である。ＨＤＭＩは、Ｈｉｇｈ－ＤｅｆｉｎｉｔｉｏｎＭｕｌｔｉｍｅｄｉａＩｎｔｅｒｆａｃｅの略である。 The communication interface 14 is an interface for communicating with an external device. The communication interface 14 is, for example, an Ethernet (registered trademark), USB, or HDMI (registered trademark) port. USB is an abbreviation for Universal Serial Bus. HDMI is an abbreviation for High-Definition Multimedia Interface.

移動量特定装置１０は、通信インタフェース１４を介してカメラ３１と接続されている。カメラ３１は、決められた撮影領域を撮影するように設置されている。 The movement amount identification device 10 is connected to the camera 31 via the communication interface 14 . The camera 31 is installed so as to photograph a determined photographing area.

移動量特定装置１０は、機能構成要素として、画像読込部２１と、対象特定部２２と、縮小率計算部２３と、移動量計算部２４と、移動量補正部２５とを備える。移動量特定装置１０の各機能構成要素の機能はソフトウェアにより実現される。
ストレージ１３には、移動量特定装置１０の各機能構成要素の機能を実現するプログラムが格納されている。このプログラムは、プロセッサ１１によりメモリ１２に読み込まれ、プロセッサ１１によって実行される。これにより、移動量特定装置１０の各機能構成要素の機能が実現される。 The movement amount identification device 10 includes an image reading unit 21, an object identification unit 22, a reduction ratio calculation unit 23, a movement amount calculation unit 24, and a movement amount correction unit 25 as functional components. The function of each functional component of the movement amount identification device 10 is implemented by software.
The storage 13 stores a program that implements the function of each functional component of the movement amount identification device 10 . This program is read into the memory 12 by the processor 11 and executed by the processor 11 . Thereby, the function of each functional component of the movement amount identification device 10 is realized.

図１では、プロセッサ１１は、１つだけ示されていた。しかし、プロセッサ１１は、複数であってもよく、複数のプロセッサ１１が、各機能を実現するプログラムを連携して実行してもよい。 Only one processor 11 is shown in FIG. However, there may be a plurality of processors 11, and the plurality of processors 11 may cooperate to execute programs that implement each function.

＊＊＊動作の説明＊＊＊
図２から図５を参照して、実施の形態１に係る移動量特定装置１０の動作を説明する。
実施の形態１に係る移動量特定装置１０の動作手順は、実施の形態１に係る移動量特定方法に相当する。また、実施の形態１に係る移動量特定装置１０の動作を実現するプログラムは、実施の形態１に係る移動量特定プログラムに相当する。 ***Description of operation***
The operation of the displacement identification device 10 according to the first embodiment will be described with reference to FIGS. 2 to 5. FIG.
The operation procedure of the movement amount identification device 10 according to the first embodiment corresponds to the movement amount identification method according to the first embodiment. Also, a program that realizes the operation of the movement amount identification device 10 according to the first embodiment corresponds to the movement amount identification program according to the first embodiment.

図２を参照して、実施の形態１に係る移動量特定装置１０の全体的な動作を説明する。
（ステップＳ１１：画像取得処理）
画像読込部２１は、カメラ３１によって撮影された映像データを構成する新しいフレームの画像データを読み込む。画像読込部２１は、読み込まれた画像データをメモリ１２に書き込む。
画像読込部２１は、一定時間以上前のフレームの画像データについては、メモリ１２から削除する。例えば、画像読込部２１は、必要になる過去一定数のフレーム（例えば、１５０フレーム）の画像データだけをメモリ１２に記憶しておくようにしてもよい。 With reference to FIG. 2, the overall operation of the movement amount identification device 10 according to Embodiment 1 will be described.
(Step S11: Image Acquisition Processing)
The image reading unit 21 reads image data of a new frame forming video data shot by the camera 31 . The image reading unit 21 writes the read image data to the memory 12 .
The image reading unit 21 deletes from the memory 12 the image data of the frame more than a predetermined time ago. For example, the image reading unit 21 may store in the memory 12 only necessary image data of a predetermined number of past frames (for example, 150 frames).

（ステップＳ１２：対象特定処理）
対象特定部２２は、ステップＳ１１で取得された画像データに映った１つ以上の対象物を検出する。実施の形態１では、対象物は人である。対象物は、人に限らず、車両又は動物等でもよい。
具体的には、対象特定部２２は、既存の技術により、画像データに映った人を検出する。例えば、対象特定部２２は、機械学習によって生成された人の検出モデルに画像データを与えることにより、画像データに映った人を検出する。実施の形態１では、図３に示すように、人が検出された矩形の検出枠４１が特定されるものとする。 (Step S12: Target specifying process)
The object identification unit 22 detects one or more objects appearing in the image data acquired in step S11. In Embodiment 1, the object is a person. The object is not limited to a person, and may be a vehicle, an animal, or the like.
Specifically, the target identification unit 22 detects a person appearing in the image data using existing technology. For example, the target identifying unit 22 detects a person appearing in the image data by giving the image data to a person detection model generated by machine learning. In Embodiment 1, as shown in FIG. 3, a rectangular detection frame 41 in which a person is detected is specified.

（ステップＳ１３：縮小率計算処理）
縮小率計算部２３は、ステップＳ１１で取得された画像データにおける、ステップＳ１２で検出された１つ以上の対象物それぞれについての縮小率Ｒを計算する。縮小率計算部２３は、１つ以上の対象物それぞれについての縮小率Ｒをメモリ１２に書き込む。縮小率Ｒは、対象物が基準位置４２にある場合に対して、対象物が小さく映る度合である。実施の形態１では、基準位置４２は、対象物が接する平面と光軸を－θ／２度傾けた直線とが交わる位置である。
具体的には、縮小率計算部２３は、画像データにおける対象物の下端位置４３に基づき、画像データにおける対象物の縮小率Ｒを計算する。実施の形態１では、図３に示すように、下端位置４３は、検出枠４１の下辺の中央部である。縮小率計算部２３は、下端位置４３から、画像データの下辺４４までの距離ｐに基づき、縮小率Ｒを計算する。 (Step S13: Reduction rate calculation process)
The reduction ratio calculator 23 calculates a reduction ratio R for each of the one or more objects detected in step S12 in the image data acquired in step S11. The reduction ratio calculator 23 writes the reduction ratio R for each of one or more objects in the memory 12 . The reduction ratio R is the degree to which the object appears smaller than when the object is at the reference position 42 . In Embodiment 1, the reference position 42 is the position where the plane in contact with the object intersects the straight line obtained by tilting the optical axis by -θ/2 degrees.
Specifically, the reduction ratio calculator 23 calculates the reduction ratio R of the object in the image data based on the lower end position 43 of the object in the image data. In Embodiment 1, as shown in FIG. 3 , the lower end position 43 is the central portion of the lower side of the detection frame 41 . The reduction ratio calculator 23 calculates the reduction ratio R based on the distance p from the lower end position 43 to the lower side 44 of the image data.

図４を参照して具体的に説明する。図４は、カメラ３１が床に水平に設置された場合を示している。つまり、カメラ３１が俯角０度で設置された場合を示している。
基準位置４２にいる人である基準者４５に対して、画像データの奥行方向の奥側にいる対象者４６は小さく映っている。縮小率Ｒは、基準者４５に対して対象者４６が小さくなっている度合である。縮小率Ｒは、数１１により計算される。

ここで、ｐは、下端位置４３から画像データの下辺４４までの距離である。ｉｍａｇｅ_ｈは、画像データの高さである。 A specific description will be given with reference to FIG. FIG. 4 shows a case where the camera 31 is installed horizontally on the floor. In other words, it shows the case where the camera 31 is installed at a depression angle of 0 degree.
A target person 46 on the far side in the depth direction of the image data appears smaller than a reference person 45 who is at the reference position 42 . The reduction ratio R is the degree to which the target person 46 is smaller than the reference person 45 . The reduction ratio R is calculated by Equation (11).

Here, p is the distance from the lower edge position 43 to the lower side 44 of the image data. image _h is the height of the image data.

図５を参照して俯角が０度以外の場合について説明する。図５は、カメラ３１が俯角φで設置された場合を示している。
この場合にも、基準位置４２にいる人である基準者４５に対して、画像データの奥行方向の奥側にいる対象者４６は小さく映っている。縮小率Ｒは、基準者４５に対して対象者４６が小さくなっている度合である。縮小率Ｒは、数１２により計算される。

ここで、φは俯角であり、θがカメラ３１の画角である。 A case where the depression angle is other than 0 degrees will be described with reference to FIG. FIG. 5 shows the case where the camera 31 is installed at the depression angle φ.
In this case as well, the target person 46 who is on the far side in the depth direction of the image data appears smaller than the reference person 45 who is at the reference position 42 . The reduction ratio R is the degree to which the target person 46 is smaller than the reference person 45 . The reduction ratio R is calculated by Equation (12).

Here, φ is the depression angle, and θ is the angle of view of the camera 31 .

（ステップＳ１４：移動量計算処理）
移動量計算部２４は、ステップＳ１２で検出された１つ以上の対象物それぞれについての移動量ｄを計算する。移動量計算部２４は、１つ以上の対象物それぞれについての移動量ｄをメモリ１２に書き込む。実施の形態１では、移動量計算部２４は、１つ前のフレームの画像データからの移動量ｄを計算する。ここでは、１つ前のフレームの画像データを移動前画像と呼ぶ。ステップＳ１１で取得された画像データを移動後画像と呼ぶ。
具体的には、移動量計算部２４は、ステップＳ１２で検出された１人以上の人をそれぞれ対象の人に設定する。移動量計算部２４は、対象の人と同一の人を移動前画像から特定する。例えば、移動量計算部２４は、対象の人と移動前画像から検出された人との同一性を判定することにより、対象の人と同一の人を特定する。移動量計算部２４は、同一の人が特定された場合には、移動前画像における対象の人の位置を特定する。そして、移動量計算部２４は、移動前画像における対象の人の位置と、移動後画像における対象の人の位置との間の距離を移動量ｄとして計算する。一方、移動量計算部２４は、同一の人が特定されなかった場合には、対象の人についての移動量ｄを０とする。 (Step S14: Movement amount calculation processing)
The movement amount calculator 24 calculates the movement amount d for each of the one or more objects detected in step S12. The movement amount calculator 24 writes the movement amount d for each of one or more objects in the memory 12 . In Embodiment 1, the movement amount calculator 24 calculates the movement amount d from the image data of the previous frame. Here, the image data of the previous frame is called a pre-movement image. The image data acquired in step S11 is called a post-movement image.
Specifically, the movement amount calculation unit 24 sets each of the one or more persons detected in step S12 as the target persons. The movement amount calculation unit 24 identifies the same person as the target person from the pre-movement image. For example, the movement amount calculation unit 24 identifies the same person as the target person by determining the identity of the target person and the person detected from the pre-movement image. When the same person is identified, the movement amount calculator 24 identifies the position of the target person in the pre-movement image. Then, the movement amount calculation unit 24 calculates the distance between the position of the target person in the pre-movement image and the position of the target person in the post-movement image as the movement amount d. On the other hand, if the same person is not specified, the movement amount calculation unit 24 sets the movement amount d to 0 for the target person.

（ステップＳ１５：移動量補正処理）
移動量補正部２５は、ステップＳ１２で検出された１つ以上の対象物それぞれについて、ステップＳ１３で計算された縮小率Ｒを用いて、ステップＳ１４で計算された移動量ｄを補正する。移動量補正部２５は、１つ以上の対象物それぞれについて、移動量ｄを補正した移動量ｄ’をメモリ１２に書き込む。
具体的には、移動量補正部２５は、ステップＳ１２で検出された１人以上の人をそれぞれ対象の人に設定する。移動量補正部２５は、対象の人の移動量ｄに対して、対象の人の縮小率Ｒの逆数を乗ずる。つまり、移動量補正部２５は、ｄ’＝ｄ×（１／Ｒ）を計算して、補正後の移動量ｄ’を計算する。
この際、移動量補正部２５は、指定されたフレームからの対象の人についての移動量ｄ’の合計を、指定されたフレームからの対象の人についての運動量ｅとして計算してもよい。また、移動量補正部２５は、フレームの取得間隔ｔを用いて、速さｖ＝ｄ’／ｔを計算してもよい。また、移動量補正部２５は、指定されたフレームからステップＳ１１で読み込まれたフレームまでのフレーム数ｆを用いて、速さｖ＝ｅ／（ｔ×ｆ）を計算してもよい。 (Step S15: Movement amount correction process)
The movement amount correction unit 25 corrects the movement amount d calculated in step S14 using the reduction ratio R calculated in step S13 for each of the one or more objects detected in step S12. The movement amount correction unit 25 writes, in the memory 12, the movement amount d′ obtained by correcting the movement amount d for each of one or more objects.
Specifically, the movement amount correction unit 25 sets each of the one or more persons detected in step S12 as the target person. The movement amount correction unit 25 multiplies the movement amount d of the target person by the reciprocal of the reduction ratio R of the target person. That is, the movement amount correction unit 25 calculates d'=d*(1/R) to calculate the movement amount d' after correction.
At this time, the movement amount correction unit 25 may calculate the sum of the movement amounts d' of the target person from the specified frame as the exercise amount e of the target person from the specified frame. Further, the movement amount correction unit 25 may calculate the speed v=d′/t using the frame acquisition interval t. Further, the movement amount correction unit 25 may calculate the speed v=e/(t×f) using the number f of frames from the specified frame to the frame read in step S11.

＊＊＊実施の形態１の効果＊＊＊
以上のように、実施の形態１に係る移動量特定装置１０は、対象物の下端位置に基づき縮小率Ｒを計算し、縮小率Ｒを用いて対象物の移動量ｄを補正する。対象物の大きさではなく、対象物の下端位置から計算された縮小率を用いることにより、対象物の位置による誤差を適切に低減することが可能である。 *** Effect of Embodiment 1 ***
As described above, the movement amount identifying apparatus 10 according to Embodiment 1 calculates the reduction ratio R based on the lower end position of the object, and uses the reduction ratio R to correct the movement amount d of the object. By using the reduction ratio calculated from the lower end position of the object instead of the size of the object, it is possible to appropriately reduce errors due to the position of the object.

図６では、（Ａ）と（Ｂ）とで、映っている人の大きさは同じであるが、映っている位置が異なるケースが示されている。対象物である人が同じ大きさであれば、対象物の大きさに基づき移動量ｄを補正することで、対象物の位置による誤差を適切に低減することができる。一方、図７では、（Ａ）と（Ｂ）とで、映っている人の大きさが異なり、映っている位置も異なるケースが示されている。対象物である人が異なる大きさであると、対象物の大きさに基づき移動量ｄを補正しても、対象物の位置による誤差を適切に低減することができない。例えば、身長が低い子供等の場合には、必要以上に大きく補正をしてしまい、誤差が大きくなってしまうこともある。
これに対して、実施の形態１に係る移動量特定装置１０では、図８に示すように、カメラ３１からの距離が等しいが大きさが異なる人の移動量ｄと、カメラ３１からの距離が異なる人の移動量ｄとを正確に計算することができる。つまり、実施の形態１に係る移動量特定装置１０では、対象物である人の大きさ及び人の位置に関わらず、適切に移動量ｄを計算することができる。 In FIG. 6, (A) and (B) show a case in which the size of the person shown is the same, but the position of the person shown is different. If the human object is the same size, the error due to the position of the object can be appropriately reduced by correcting the movement amount d based on the size of the object. On the other hand, FIGS. 7A and 7B show a case where the size of the person shown is different and the position where the person is shown is also different. If the objects, namely people, are of different sizes, even if the movement amount d is corrected based on the size of the object, the error due to the position of the object cannot be appropriately reduced. For example, in the case of a short child or the like, the correction may be made more than necessary, resulting in a large error.
On the other hand, in the movement amount identification device 10 according to Embodiment 1, as shown in FIG. The amount of movement d of different people can be calculated accurately. In other words, the movement amount identification device 10 according to Embodiment 1 can appropriately calculate the movement amount d regardless of the size and position of the person who is the object.

＊＊＊他の構成＊＊＊
＜変形例１＞
実施の形態１では、下端位置４３は検出枠４１の下辺の中央部であるとした。しかし、対象物の下端部分を検出可能である場合には、対象物の下端部分の位置を下端位置４３として用いてもよい。例えば、対象物が人の場合には、人の足首の位置、あるいは、つま先の位置等を下端位置４３として用いてもよい。 ***Other Configurations***
<Modification 1>
In the first embodiment, the lower end position 43 is assumed to be the central portion of the lower side of the detection frame 41 . However, if the lower end portion of the object can be detected, the position of the lower end portion of the object may be used as the lower end position 43 . For example, when the object is a person, the position of the person's ankle or toe may be used as the lower end position 43 .

＜変形例２＞
実施の形態１では、移動量補正部２５は、移動後画像における対象物の縮小率Ｒのみを用いて移動量ｄを補正した。しかし、移動量補正部２５は、移動前画像における対象物の縮小率Ｒ（縮小率Ｒ’と書く）を用いて移動量ｄを補正してもよい。移動量補正部２５は、縮小率Ｒ’だけを用いてもよいし、縮小率Ｒと縮小率Ｒ’との平均値Ａを用いて移動量ｄを補正してもよい。
具体的には、移動量補正部２５は、ｄ’＝ｄ×（１／Ｒ’）を計算して、補正後の移動量ｄ’を計算してもよい。あるいは、移動量補正部２５は、ｄ’＝ｄ×（１／Ａ）を計算して、補正後の移動量ｄ’を計算してもよい。 <Modification 2>
In Embodiment 1, the movement amount correction unit 25 corrects the movement amount d using only the reduction ratio R of the object in the post-movement image. However, the movement amount correction unit 25 may correct the movement amount d using the reduction ratio R (written as reduction ratio R′) of the object in the pre-movement image. The movement amount correction unit 25 may use only the reduction ratio R', or may correct the movement amount d using an average value A of the reduction ratios R and R'.
Specifically, the movement amount correction unit 25 may calculate d′=d×(1/R′) to calculate the movement amount d′ after correction. Alternatively, the movement amount correction unit 25 may calculate d′=d×(1/A) to calculate the movement amount d′ after correction.

＜変形例３＞
実施の形態１では、対象物は人であるとして、移動量特定装置１０は、人の移動量を計算した。しかし、移動量特定装置１０は、対象物である人の各部についての移動量を計算してもよい。人の各部とは、具体例としては、右腕と左腕と右足と左足と等である。右腕の移動量は、例えば、右腕の先端部の移動量である。同様に、左腕の移動量は、例えば、左腕の先端部の移動量である。同様に、右足の移動量は、例えば、右足の先端部の移動量である。同様に、左足の移動量は、例えば、左足の先端部の移動量である。 <Modification 3>
In Embodiment 1, the movement amount identification device 10 calculates the movement amount of the person, assuming that the object is the person. However, the movement amount identification device 10 may calculate the movement amount for each part of the human being as the object. The parts of a person are, for example, the right arm, the left arm, the right leg, the left leg, and the like. The amount of movement of the right arm is, for example, the amount of movement of the tip of the right arm. Similarly, the amount of movement of the left arm is, for example, the amount of movement of the tip of the left arm. Similarly, the amount of movement of the right foot is, for example, the amount of movement of the tip of the right foot. Similarly, the amount of movement of the left foot is, for example, the amount of movement of the tip of the left foot.

図２を参照して、人の各部の移動量を計算する場合の処理を説明する。
ステップＳ１１からステップＳ１３の処理は、実施の形態１と同じである。ステップＳ１４では、移動量計算部２４は、対象の人の各部についての移動量を特定する。右腕と左腕と右足と左足とが対象の場合には、移動量計算部２４は、右腕と左腕と右足と左足とそれぞれの移動量ｄを特定する。ステップＳ１５では、移動量補正部２５は、対象の人の各部について、縮小率Ｒを用いて移動量ｄを補正する。この際、実施の形態１と同様に、移動量補正部２５は、運動量ｅ又は速さｖを計算してもよい。
つまり、縮小率Ｒは、対象の人毎に計算される。そして、対象の人についての縮小率Ｒを用いて、対象の人の各部の移動量ｄが補正される。 With reference to FIG. 2, processing for calculating the amount of movement of each part of a person will be described.
The processing from step S11 to step S13 is the same as in the first embodiment. In step S14, the movement amount calculator 24 identifies the movement amount of each part of the target person. When the right arm, left arm, right leg, and left leg are targets, the movement amount calculation unit 24 specifies the movement amount d of each of the right arm, left arm, right leg, and left leg. In step S15, the movement amount correction unit 25 corrects the movement amount d using the reduction ratio R for each part of the target person. At this time, the movement amount correction unit 25 may calculate the momentum e or the speed v as in the first embodiment.
That is, the reduction ratio R is calculated for each target person. Then, using the reduction ratio R for the target person, the movement amount d of each part of the target person is corrected.

対象の人が立ち止まって手を振っている場合には、対象の人の移動量ｄはほぼ０になるが、振っている手の移動量ｄはある程度の大きさになる。また、対象の人が立ち止まって足踏みをしている場合には、対象の人の移動量ｄはほぼ０になるが、足の移動量ｄはある程度の大きさになる。 When the target person stands still and waves his or her hand, the movement amount d of the target person is almost 0, but the movement amount d of the waving hand becomes a certain amount. Also, when the target person stands still and is stepping, the movement amount d of the target person is almost 0, but the movement amount d of the foot becomes a certain amount.

なお、対象の人の各部は、既存の技術を用いて対象の人の骨格情報を抽出することによって特定可能である。骨格情報は、骨格の関節と、目、鼻、口、耳といった体の部位とを示す情報である。 Each part of the target person can be identified by extracting the target person's skeleton information using existing technology. Skeletal information is information indicating skeletal joints and body parts such as eyes, nose, mouth, and ears.

＜変形例４＞
実施の形態１では、移動量計算部２４は、移動前画像における対象の人の位置と、移動後画像における対象の人の位置との間の距離を移動量ｄとして計算した。位置による移動量の計算では、画像の奥行方向の移動量に誤差が生じ易い。そこで、移動量計算部２４は、移動前画像における縮小率Ｒと、移動後画像における縮小率Ｒとの差から、画像の奥行方向の移動量を計算してもよい。そして、移動量計算部２４は、位置により計算された移動量を、縮小率Ｒにより計算された移動量を用いて補正してもよい。 <Modification 4>
In Embodiment 1, the movement amount calculation unit 24 calculates the distance between the position of the target person in the pre-movement image and the position of the target person in the post-movement image as the movement amount d. Calculation of the amount of movement based on position is likely to cause an error in the amount of movement in the depth direction of the image. Therefore, the movement amount calculator 24 may calculate the movement amount of the image in the depth direction from the difference between the reduction ratio R of the image before movement and the reduction ratio R of the image after movement. Then, the movement amount calculation unit 24 may correct the movement amount calculated by the position using the movement amount calculated by the reduction ratio R.

＜変形例５＞
実施の形態１では、各機能構成要素がソフトウェアで実現された。しかし、変形例５として、各機能構成要素はハードウェアで実現されてもよい。この変形例５について、実施の形態１と異なる点を説明する。 <Modification 5>
In Embodiment 1, each functional component is realized by software. However, as Modified Example 5, each functional component may be implemented by hardware. Regarding this modification 5, points different from the first embodiment will be described.

図９を参照して、変形例５に係る移動量特定装置１０の構成を説明する。
各機能構成要素がハードウェアで実現される場合には、移動量特定装置１０は、プロセッサ１１とメモリ１２とストレージ１３とに代えて、電子回路１５を備える。電子回路１５は、各機能構成要素と、メモリ１２と、ストレージ１３との機能とを実現する専用の回路である。 The configuration of the movement amount identification device 10 according to Modification 5 will be described with reference to FIG. 9 .
When each functional component is realized by hardware, the movement amount identification device 10 includes an electronic circuit 15 instead of the processor 11 , memory 12 and storage 13 . The electronic circuit 15 is a dedicated circuit that realizes the functions of each functional component, memory 12 and storage 13 .

電子回路１５としては、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックＩＣ、ＧＡ、ＡＳＩＣ、ＦＰＧＡが想定される。ＧＡは、ＧａｔｅＡｒｒａｙの略である。ＡＳＩＣは、ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔの略である。ＦＰＧＡは、Ｆｉｅｌｄ－ＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙの略である。
各機能構成要素を１つの電子回路１５で実現してもよいし、各機能構成要素を複数の電子回路１５に分散させて実現してもよい。 Electronic circuit 15 may be a single circuit, multiple circuits, programmed processors, parallel programmed processors, logic ICs, GAs, ASICs, FPGAs. GA is an abbreviation for Gate Array. ASIC is an abbreviation for Application Specific Integrated Circuit. FPGA is an abbreviation for Field-Programmable Gate Array.
Each functional component may be implemented by one electronic circuit 15, or each functional component may be implemented by being distributed among a plurality of electronic circuits 15. FIG.

＜変形例６＞
変形例６として、一部の各機能構成要素がハードウェアで実現され、他の各機能構成要素がソフトウェアで実現されてもよい。 <Modification 6>
As Modified Example 6, some of the functional components may be implemented by hardware, and other functional components may be implemented by software.

プロセッサ１１とメモリ１２とストレージ１３と電子回路１５とを処理回路という。つまり、各機能構成要素の機能は、処理回路により実現される。 The processor 11, the memory 12, the storage 13 and the electronic circuit 15 are called a processing circuit. That is, the function of each functional component is realized by the processing circuit.

実施の形態２．
実施の形態２は、移動量ｄ’を用いて対象物の動作内容を特定する点が実施の形態１と異なる。実施の形態２では、この異なる点を説明し、同一の点については説明を省略する。 Embodiment 2.
Embodiment 2 differs from Embodiment 1 in that the movement amount d' is used to specify the motion content of the object. In the second embodiment, this different point will be explained, and the explanation of the same point will be omitted.

＊＊＊構成の説明＊＊＊
図１０を参照して、実施の形態２に係る移動量特定装置１０の構成を説明する。
移動量特定装置１０は、機能構成要素として、動作特定部２６を備える点が図１に示す移動量特定装置１０と異なる。動作特定部２６の機能は、他の機能構成要素と同様に、ソフトウェア又はハードウェアによって実現される。 *** Configuration description ***
The configuration of the movement amount identification device 10 according to the second embodiment will be described with reference to FIG. 10 .
The displacement identification device 10 differs from the displacement identification device 10 shown in FIG. 1 in that it includes a motion identification unit 26 as a functional component. The function of the action specifying unit 26 is implemented by software or hardware, like other functional components.

＊＊＊動作の説明＊＊＊
図１１を参照して、実施の形態２に係る移動量特定装置１０の全体的な動作を説明する。
ステップＳ２１からステップＳ２５の処理は、図２のステップＳ１１からステップＳ１５の処理と同じである。 ***Description of operation***
With reference to FIG. 11, the overall operation of the movement amount identification device 10 according to Embodiment 2 will be described.
The processing from step S21 to step S25 is the same as the processing from step S11 to step S15 in FIG.

（ステップＳ２６：動作特定処理）
動作特定部２６は、ステップＳ１２で検出された１つ以上の対象物それぞれについての動作を特定する。実施の形態２では、実施の形態１と同様に、対象物は人である。
具体的には、動作特定部２６は、動作内容に対して解析条件を対応付けた解析ルールを用いて、対象の人の動作を特定する。解析条件は、関節等の位置に基づき定義された条件である。例えば、解析条件は、右腕の手首の関節のＹ座標が肩関節のＹ座標よりも上にあるといった条件である。解析条件を満たした場合には、対応付けられた動作内容を対象の人が行っていると特定される。例えば、右腕の手首の関節のＹ座標が肩関節のＹ座標よりも上にあるという条件に、右腕を上げているという動作内容が対応付けられているとする。この場合には、右腕の手首の関節のＹ座標が肩関節のＹ座標よりも上にあるという条件を満たした場合には、対象の人が右腕を上げていると特定される。 (Step S26: action specifying process)
The action identifying unit 26 identifies actions for each of the one or more objects detected in step S12. In the second embodiment, as in the first embodiment, the object is a person.
Specifically, the action identifying unit 26 identifies the action of the target person using an analysis rule that associates the action content with the analysis condition. Analysis conditions are conditions defined based on the positions of joints and the like. For example, the analysis condition is that the Y coordinate of the wrist joint of the right arm is higher than the Y coordinate of the shoulder joint. When the analysis condition is satisfied, it is identified that the target person is performing the associated action content. For example, it is assumed that the condition that the Y coordinate of the wrist joint of the right arm is higher than the Y coordinate of the shoulder joint is associated with the action content of raising the right arm. In this case, when the condition that the Y coordinate of the wrist joint of the right arm is above the Y coordinate of the shoulder joint is satisfied, it is identified that the target person is raising the right arm.

動作内容によっては、解析条件は、移動量ｄ’を用いて定義されている。この移動量ｄ’は、対象の人の移動量ｄ’であってもよいし、対象の人の各部の移動量ｄ’であってもよい。
なお、解析条件は、移動量ｄ’に代えて、又は、移動量ｄ’とともに、運動量ｅと速さｖとの少なくともいずれかを用いて定義されてもよい。運動量ｅは、対象の人の運動量ｅであってもよいし、対象の人の各部の運動量ｅであってもよい。同様に、速さｖは、対象の人の速さｖであってもよいし、対象の人の各部の速さｖであってもよい。 Depending on the contents of the operation, the analysis condition is defined using the movement amount d'. The moving amount d' may be the moving amount d' of the target person or may be the moving amount d' of each part of the target person.
The analysis condition may be defined using at least one of the momentum e and the speed v instead of the movement amount d' or together with the movement amount d'. The amount of exercise e may be the amount of exercise e of the target person, or may be the amount of exercise e of each part of the target person. Similarly, the speed v may be the speed v of the target person or the speed v of each part of the target person.

具体例としては、対象の人の速さｖが閾値以上であるという解析条件を用いて、対象の人が走っているか否かを判定することが考えられる。
また、２人の人がおり、一方の人の腕が他方の人の方へ向かって伸びているとする。この場合に、手首の速さｖが閾値以上であるという解析条件を用いて、対象の人が殴っているか否かを判定することが考えられる。なお、対象の人が殴っているとする解析条件は、具体的には（１）～（４）をＡＮＤ条件で結んだ条件になる。（１）Ｘ座標において一方の人の手首が一方の人の首と他方の人の首との間にある。これは、一方の人の手首が他方の人に向かっていることを意味する。（２）一方の人の手首と肘と肩とを結ぶ角度が閾値以上である。これは、一方の人の肘が伸びていることを意味する。（３）一方の人の手首と肘とを結ぶベクトルが水平である。これは、一方の人の腕が上ではなく横に伸びていることを意味する。（４）一方の人の手首の速度が閾値以上である。これは、一方の人の腕が速く動いていることを意味する。この速度は、補正された縮小率ｄ’を用いて計算される。 As a specific example, it is conceivable to determine whether or not the target person is running using the analysis condition that the target person's speed v is equal to or greater than a threshold.
Suppose also that there are two people and one person's arm is extended toward the other person. In this case, it is conceivable to determine whether or not the target person is hitting using the analysis condition that the wrist speed v is equal to or greater than the threshold. Note that the analysis condition that the target person is punching is, specifically, a condition connecting (1) to (4) with an AND condition. (1) One person's wrist is between one person's neck and the other person's neck in the X coordinate. This means that one person's wrist is facing the other. (2) The angle connecting the wrist, elbow and shoulder of one person is greater than or equal to the threshold. This means that one person's elbow is extended. (3) The vector connecting the wrist and elbow of one person is horizontal. This means that one person's arm is extended to the side instead of up. (4) One person's wrist speed is greater than or equal to the threshold. This means that one person's arm is moving fast. This velocity is calculated using the corrected demagnification d'.

＊＊＊実施の形態２の効果＊＊＊
以上のように、実施の形態２に係る移動量特定装置１０は、移動量ｄ’を用いて対象物の動作内容を特定する。実施の形態１で説明したように、対象物の位置による誤差を適切に低減して移動量ｄ’は計算される。そのため、移動量として、実施の形態１で説明した移動量ｄ’を用いて動作内容の特定することで、精度よく動作内容を特定することが可能である。 *** Effect of Embodiment 2 ***
As described above, the movement amount identification device 10 according to Embodiment 2 identifies the motion content of the object using the movement amount d'. As described in the first embodiment, the movement amount d' is calculated by appropriately reducing the error due to the position of the object. Therefore, it is possible to specify the operation content with high accuracy by specifying the operation content using the movement amount d' described in the first embodiment as the movement amount.

走っている人を検出するとする。実施の形態１で説明したように、カメラ３１からの距離及び人の大きさに関わらず、適切に人の速さｖが計算される。そのため、図１２に示すように、カメラ３１から遠い位置で走っている大人については検出される。一方で、カメラ３１に近い位置で歩いている大人及び子供については検出されない。
なお、従来のように、対象物の大きさが小さいほど、対象物がカメラから遠い位置にいると仮定し、移動量を補正したとする。この場合には、カメラ３１に近い位置で歩いている子供の移動量が大きく補正される。その結果、カメラ３１に近い位置で歩いている子供の速さが速くなり、走っているとして検出されてしまう恐れがある。 Suppose you want to detect a person running. As described in the first embodiment, regardless of the distance from the camera 31 and the size of the person, the speed v of the person is appropriately calculated. Therefore, as shown in FIG. 12, an adult running far from the camera 31 is detected. On the other hand, adults and children walking near the camera 31 are not detected.
It should be noted that, as in the conventional case, it is assumed that the smaller the size of the object, the farther the object is from the camera, and the amount of movement is corrected. In this case, the amount of movement of the child walking near the camera 31 is greatly corrected. As a result, the speed of the child walking near the camera 31 increases, and there is a risk that the child will be detected as running.

他者を殴っている人を検出するとする。変形例３で説明したように、カメラ３１からの距離及び人の大きさに関わらず、適切に人の各部の速さｖが計算される。そのため、カメラ３１からの距離及び人の大きさに関わらず、適切に手首の速さｖが計算される。その結果、図１３に示すように、カメラ３１からの位置に関わらず、掴みかかっている人及び殴っている人のように喧嘩をしている人は検出され、名刺交換等で他者の方に腕を伸ばしている人は検出されない。 Suppose we want to detect a person hitting another person. As described in Modification 3, the speed v of each part of the person is appropriately calculated regardless of the distance from the camera 31 and the size of the person. Therefore, the wrist speed v is appropriately calculated regardless of the distance from the camera 31 and the size of the person. As a result, as shown in FIG. 13, regardless of the position from the camera 31, a person who is fighting, such as a person who is grabbing and a person who is hitting, is detected. People with their arms outstretched are not detected.

＊＊＊他の構成＊＊＊
＜変形例７＞
実施の形態２では、動作特定部２６は、解析ルールを用いて動作内容を特定した。動作特定部２６は、機械学習によって生成されたニューラルネットワークのモデルを用いて動作内容を特定してもよい。
具体的には、動作特定部２６は、骨格情報と移動量と等を入力として、動作内容を特定するモデルを用いる。動作特定部２６は、モデルに対して、対象の人の骨格情報と移動量ｄ’と等を与える。動作特定部２６は、モデルによって特定された動作内容を、対象の人の動作内容として特定する。
なお、この移動量ｄ’は、対象の人の移動量ｄ’であってもよいし、対象の人の各部の移動量ｄ’であってもよい。また、動作特定部２６は、移動量ｄ’に代えて、又は、移動量ｄ’とともに、運動量ｅと速さｖとの少なくともいずれかを用いてもよい。運動量ｅは、対象の人の運動量ｅであってもよいし、対象の人の各部の運動量ｅであってもよい。同様に、速さｖは、対象の人の速さｖであってもよいし、対象の人の各部の速さｖであってもよい。 ***Other Configurations***
<Modification 7>
In the second embodiment, the action specifying unit 26 specifies the content of the action using the analysis rule. The action specifying unit 26 may specify the content of the action using a neural network model generated by machine learning.
Specifically, the action specifying unit 26 uses a model that specifies the content of the action by inputting the skeleton information, the amount of movement, and the like. The motion specifying unit 26 provides the skeleton information of the target person, the amount of movement d', and the like to the model. The action specifying unit 26 specifies the action content specified by the model as the action content of the target person.
In addition, this moving amount|distance d' may be the moving amount|distance d' of a target person, and may be the moving amount|distance d' of each part of a target person. Further, the motion specifying unit 26 may use at least one of the momentum e and the speed v instead of the movement amount d' or together with the movement amount d'. The amount of exercise e may be the amount of exercise e of the target person, or may be the amount of exercise e of each part of the target person. Similarly, the speed v may be the speed v of the target person or the speed v of each part of the target person.

＜変形例８＞
実施の形態２では、動作特定部２６は、移動量ｄ’を用いて動作内容を特定した。動作特定部２６は、移動前画像における縮小率Ｒと、移動後画像における縮小率Ｒとの差を考慮して動作内容を特定してもよい。変形例４で説明したように、移動前画像における縮小率Ｒと、移動後画像における縮小率Ｒとの差から画像の奥行方向の移動量が分かる。そのため、移動前画像における縮小率Ｒと、移動後画像における縮小率Ｒとの差を考慮することにより、画像の奥行方向の移動量を考慮して動作内容を特定することが可能になる。 <Modification 8>
In the second embodiment, the action specifying unit 26 specifies the content of the action using the movement amount d'. The action specifying unit 26 may specify the content of the action by considering the difference between the reduction ratio R in the image before movement and the reduction ratio R in the image after movement. As described in Modification 4, the amount of movement of the image in the depth direction can be determined from the difference between the reduction ratio R of the image before movement and the reduction ratio R of the image after movement. Therefore, by considering the difference between the reduction ratio R in the image before movement and the reduction ratio R in the image after movement, it is possible to specify the operation content in consideration of the amount of movement of the image in the depth direction.

なお、以上の説明における「部」を、「回路」、「工程」、「手順」、「処理」又は「処理回路」に読み替えてもよい。 Note that "unit" in the above description may be read as "circuit", "process", "procedure", "process", or "processing circuit".

以上、本開示の実施の形態及び変形例について説明した。これらの実施の形態及び変形例のうち、いくつかを組み合わせて実施してもよい。また、いずれか１つ又はいくつかを部分的に実施してもよい。なお、本開示は、以上の実施の形態及び変形例に限定されるものではなく、必要に応じて種々の変更が可能である。 The embodiments and modifications of the present disclosure have been described above. Some of these embodiments and modifications may be combined and implemented. Also, any one or some may be partially implemented. It should be noted that the present disclosure is not limited to the above embodiments and modifications, and various modifications are possible as necessary.

１０移動量特定装置、１１プロセッサ、１２メモリ、１３ストレージ、１４通信インタフェース、１５電子回路、２１画像読込部、２２対象特定部、２３縮小率計算部、２４移動量計算部、２５移動量補正部、２６動作特定部、３１カメラ、４１検出枠、４２基準位置、４３下端位置、４４下辺、４５基準者、４６対象者。 10 movement amount identification device 11 processor 12 memory 13 storage 14 communication interface 15 electronic circuit 21 image reading unit 22 target identification unit 23 reduction ratio calculation unit 24 movement amount calculation unit 25 movement amount correction unit , 26 motion specifying unit, 31 camera, 41 detection frame, 42 reference position, 43 lower end position, 44 lower side, 45 reference person, 46 target person.

Claims

映像データを構成する画像データにおける対象物の下端位置から前記画像データの下辺までの距離であるｐと、前記映像データを取得するカメラの俯角であるφ及び画角であるθと、前記画像データの高さであるｉｍａｇｅｈとを用いて、前記画像データにおける前記対象物の縮小率であるＲを数１により計算する縮小率計算部と、
前記縮小率計算部によって計算された前記縮小率を用いて、前記映像データを用いて特定された前記対象物の移動量を補正する移動量補正部と
を備える移動量特定装置。

p that is the distance from the lower end position of the object in the image data constituting the video data to the lower side of the image data, φ that is the depression angle and θ that is the angle of view of the camera that acquires the video data, and the image data a reduction ratio calculation unit that calculates R, which is the reduction ratio of the object in the image data, by Equation 1 using imageh, which is the height of
and a movement amount correction unit that corrects the movement amount of the object identified using the video data, using the reduction ratio calculated by the reduction ratio calculation unit.

映像データを構成する画像データにおける対象物の下端位置に基づき、前記画像データにおける前記対象物の縮小率を計算する縮小率計算部と、
前記映像データを構成する画像データである移動前画像及び移動後画像に関して、前記移動前画像における前記対象物の位置と前記移動後画像における前記対象物の位置とから前記対象物の移動量を計算する移動量計算部と、
前記縮小率計算部によって計算された前記縮小率を用いて、前記移動量計算部によって計算された前記対象物の移動量を補正する移動量補正部とを備え、
前記縮小率計算部は、前記移動前画像と前記移動後画像とにおける前記対象物の縮小率を計算し、
前記移動量補正部は、前記移動前画像における前記対象物の縮小率と、前記移動後画像における前記対象物の縮小率との平均値により、前記対象物の移動量を補正する移動量特定装置。 a reduction ratio calculation unit that calculates a reduction ratio of the object in the image data based on the lower end position of the object in the image data that constitutes the video data;
With respect to a pre-movement image and a post-movement image, which are image data constituting the video data, a movement amount of the object is calculated from a position of the object in the pre-movement image and a position of the object in the post-movement image. a movement amount calculation unit for
a movement amount correction unit that corrects the movement amount of the object calculated by the movement amount calculation unit using the reduction ratio calculated by the reduction ratio calculation unit ;
The reduction ratio calculation unit calculates a reduction ratio of the object in the pre-movement image and the post-movement image,
The movement amount correction unit specifies a movement amount for correcting the movement amount of the object based on an average value of a reduction ratio of the object in the pre-movement image and a reduction ratio of the object in the post-movement image. Device.

映像データを構成する画像データにおける対象物の下端位置に基づき、前記画像データにおける前記対象物の縮小率を計算する縮小率計算部と、
前記縮小率計算部によって計算された前記縮小率の逆数を、前記映像データを用いて特定された前記対象物の移動量に乗ずることにより、前記対象物の移動量を補正する移動量補正部と
を備える移動量特定装置。 a reduction ratio calculation unit that calculates a reduction ratio of the object in the image data based on the lower end position of the object in the image data that constitutes the video data;
a movement amount correction unit that corrects the movement amount of the object by multiplying the movement amount of the object identified using the image data by the reciprocal of the reduction ratio calculated by the reduction ratio calculation unit; A movement amount identification device comprising:

映像データを構成する画像データにおける対象物の下端位置に基づき、前記画像データにおける前記対象物の縮小率を計算する縮小率計算部と、
前記縮小率計算部によって計算された前記縮小率を用いて、前記映像データを用いて特定された前記対象物の移動量を補正する移動量補正部と、
移動量を含む情報を入力として動作内容を特定するモデルに、前記移動量補正部によって補正された前記対象物の移動量を含む情報を入力することにより、前記対象物の動作内容を特定する動作特定部と
を備える移動量特定装置。 a reduction ratio calculation unit that calculates a reduction ratio of the object in the image data based on the lower end position of the object in the image data that constitutes the video data;
a movement amount correction unit that uses the reduction ratio calculated by the reduction ratio calculation unit to correct the movement amount of the object identified using the video data ;
An operation of specifying the operation content of the object by inputting information including the movement amount of the object corrected by the movement amount correction unit into a model that specifies the operation content by inputting information including the movement amount. specific part and
A movement amount identification device comprising:

コンピュータが、映像データを構成する画像データにおける対象物の下端位置から前記画像データの下辺までの距離であるｐと、前記映像データを取得するカメラの俯角であるφ及び画角であるθと、前記画像データの高さであるｉｍａｇｅｈとを用いて、前記画像データにおける前記対象物の縮小率であるＲを数２により計算し、
コンピュータが、前記縮小率を用いて、前記映像データを用いて特定された前記対象物の移動量を補正する移動量特定方法。

The computer determines p, which is the distance from the lower end position of the object in the image data constituting the video data to the lower side of the image data, φ, which is the depression angle of the camera that acquires the video data, and θ, which is the angle of view, using imageh, which is the height of the image data, to calculate R, which is the reduction ratio of the object in the image data, according to Equation 2;
A movement amount identifying method, wherein a computer uses the reduction ratio to correct the movement amount of the object identified using the video data.

コンピュータが、映像データを構成する画像データにおける対象物の下端位置に基づき、前記画像データにおける前記対象物の縮小率を計算し、
コンピュータが、前記映像データを構成する画像データである移動前画像及び移動後画像に関して、前記移動前画像における前記対象物の位置と前記移動後画像における前記対象物の位置とから前記対象物の移動量を計算し、
コンピュータが、前記縮小率を用いて、計算された前記対象物の移動量を補正し、
コンピュータが、前記移動前画像と前記移動後画像とにおける前記対象物の縮小率を計算し、
コンピュータが、前記移動前画像における前記対象物の縮小率と、前記移動後画像における前記対象物の縮小率との平均値により、前記対象物の移動量を補正する移動量特定方法。 A computer calculates a reduction ratio of the object in the image data based on the lower end position of the object in the image data constituting the video data,
With respect to a pre-movement image and a post-movement image, which are image data constituting the video data, a computer moves the object from the position of the object in the pre-movement image and the position of the object in the post-movement image. calculate the amount of
A computer corrects the calculated amount of movement of the object using the reduction ratio ;
A computer calculates a reduction ratio of the object in the pre-movement image and the post-movement image;
A movement amount specifying method, wherein a computer corrects the movement amount of the object based on an average value of the reduction ratio of the object in the before-movement image and the reduction ratio of the object in the after-movement image .

コンピュータが、映像データを構成する画像データにおける対象物の下端位置に基づき、前記画像データにおける前記対象物の縮小率を計算し、
コンピュータが、前記縮小率の逆数を、前記映像データを用いて特定された前記対象物の移動量に乗ずることにより、前記対象物の移動量を補正する移動量特定方法。 A computer calculates a reduction ratio of the object in the image data based on the lower end position of the object in the image data constituting the video data,
A moving amount specifying method, wherein a computer multiplies the moving amount of the object specified using the video data by the reciprocal of the reduction ratio, thereby correcting the moving amount of the object .

コンピュータが、映像データを構成する画像データにおける対象物の下端位置に基づき、前記画像データにおける前記対象物の縮小率を計算し、
コンピュータが、前記縮小率を用いて、前記映像データを用いて特定された前記対象物の移動量を補正し、
コンピュータが、移動量を含む情報を入力として動作内容を特定するモデルに、補正された前記対象物の移動量を含む情報を入力することにより、前記対象物の動作内容を特定する移動量特定方法。 A computer calculates a reduction ratio of the object in the image data based on the lower end position of the object in the image data constituting the video data,
using the reduction ratio to correct the amount of movement of the object identified using the video data;
A movement amount identification method in which a computer inputs information including a corrected movement amount of the object into a model that identifies the operation content by inputting information including the movement amount, thereby identifying the movement amount of the object. .

映像データを構成する画像データにおける対象物の下端位置から前記画像データの下辺までの距離であるｐと、前記映像データを取得するカメラの俯角であるφ及び画角であるθと、前記画像データの高さであるｉｍａｇｅｈとを用いて、前記画像データにおける前記対象物の縮小率であるＲを数３により計算する縮小率計算処理と、
前記縮小率計算処理によって計算された前記縮小率を用いて、前記映像データを用いて特定された前記対象物の移動量を補正する移動量補正処理と
を行う移動量特定装置としてコンピュータを機能させる移動量特定プログラム。

p that is the distance from the lower end position of the object in the image data constituting the video data to the lower side of the image data, φ that is the depression angle and θ that is the angle of view of the camera that acquires the video data, and the image data a reduction ratio calculation process of calculating R, which is the reduction ratio of the object in the image data, by Equation 3 using imageh, which is the height of
causing a computer to function as a movement amount identification device that performs movement amount correction processing for correcting the movement amount of the object identified using the video data using the reduction ratio calculated by the reduction ratio calculation processing; Movement specific program.

映像データを構成する画像データにおける対象物の下端位置に基づき、前記画像データにおける前記対象物の縮小率を計算する縮小率計算処理と、
前記映像データを構成する画像データである移動前画像及び移動後画像に関して、前記移動前画像における前記対象物の位置と前記移動後画像における前記対象物の位置とから前記対象物の移動量を計算する移動量計算処理と、
前記縮小率計算処理によって計算された前記縮小率を用いて、前記移動量計算処理によって計算された前記対象物の移動量を補正する移動量補正処理とを行う移動量特定装置としてコンピュータを機能させ、
前記縮小率計算処理では、前記移動前画像と前記移動後画像とにおける前記対象物の縮小率を計算し、
前記移動量補正処理では、前記移動前画像における前記対象物の縮小率と、前記移動後画像における前記対象物の縮小率との平均値により、前記対象物の移動量を補正する移動量特定プログラム。 reduction ratio calculation processing for calculating a reduction ratio of the object in the image data based on the lower end position of the object in the image data constituting the video data;
With respect to a pre-movement image and a post-movement image, which are image data constituting the video data, a movement amount of the object is calculated from a position of the object in the pre-movement image and a position of the object in the post-movement image. a movement amount calculation process to
causing a computer to function as a movement amount identification device that performs a movement amount correction process for correcting the movement amount of the object calculated by the movement amount calculation process using the reduction ratio calculated by the reduction ratio calculation process; ,
In the reduction ratio calculation process, the reduction ratio of the object in the pre-movement image and the post-movement image is calculated;
In the movement amount correction process, a movement amount specification for correcting the movement amount of the object is performed by an average value of the reduction ratio of the object in the image before movement and the reduction ratio of the object in the image after movement. program.

映像データを構成する画像データにおける対象物の下端位置に基づき、前記画像データにおける前記対象物の縮小率を計算する縮小率計算処理と、
前記縮小率計算処理によって計算された前記縮小率の逆数を、前記映像データを用いて特定された前記対象物の移動量に乗ずることにより、前記対象物の移動量を補正する移動量補正処理と
を行う移動量特定装置としてコンピュータを機能させる移動量特定プログラム。 reduction ratio calculation processing for calculating a reduction ratio of the object in the image data based on the lower end position of the object in the image data constituting the video data;
movement amount correction processing for correcting the movement amount of the object by multiplying the movement amount of the object identified using the video data by the reciprocal of the reduction ratio calculated by the reduction ratio calculation processing; a movement amount identification program that causes a computer to function as a movement amount identification device for performing

映像データを構成する画像データにおける対象物の下端位置に基づき、前記画像データにおける前記対象物の縮小率を計算する縮小率計算処理と、
前記縮小率計算処理によって計算された前記縮小率を用いて、前記映像データを用いて特定された前記対象物の移動量を補正する移動量補正処理と、
移動量を含む情報を入力として動作内容を特定するモデルに、前記移動量補正処理によって補正された前記対象物の移動量を含む情報を入力することにより、前記対象物の動作内容を特定する動作特定処理と
を行う移動量特定装置としてコンピュータを機能させる移動量特定プログラム。 reduction ratio calculation processing for calculating a reduction ratio of the object in the image data based on the lower end position of the object in the image data constituting the video data;
movement amount correction processing for correcting the movement amount of the object identified using the video data using the reduction ratio calculated by the reduction ratio calculation processing ;
An operation of specifying the operation content of the object by inputting information including the movement amount of the object corrected by the movement amount correction process into a model that identifies the operation content by inputting information including the movement amount. specific processing and
a movement amount identification program that causes a computer to function as a movement amount identification device for performing