JP7217820B1 - Movement amount identification device, movement amount identification method, and movement amount identification program - Google Patents
Movement amount identification device, movement amount identification method, and movement amount identification program Download PDFInfo
- Publication number
- JP7217820B1 JP7217820B1 JP2022008892A JP2022008892A JP7217820B1 JP 7217820 B1 JP7217820 B1 JP 7217820B1 JP 2022008892 A JP2022008892 A JP 2022008892A JP 2022008892 A JP2022008892 A JP 2022008892A JP 7217820 B1 JP7217820 B1 JP 7217820B1
- Authority
- JP
- Japan
- Prior art keywords
- movement amount
- reduction ratio
- movement
- image
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 22
- 230000009467 reduction Effects 0.000 claims abstract description 102
- 238000004364 calculation method Methods 0.000 claims abstract description 43
- 238000012937 correction Methods 0.000 claims abstract description 36
- 238000012545 processing Methods 0.000 claims description 25
- 230000000449 premovement Effects 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 14
- 230000009471 action Effects 0.000 description 22
- 230000004048 modification Effects 0.000 description 17
- 238000012986 modification Methods 0.000 description 17
- 238000004458 analytical method Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 11
- 230000000694 effects Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 210000000707 wrist Anatomy 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 210000002683 foot Anatomy 0.000 description 5
- 238000006073 displacement reaction Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 210000000323 shoulder joint Anatomy 0.000 description 3
- 210000003857 wrist joint Anatomy 0.000 description 3
- 210000001503 joint Anatomy 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 210000003423 ankle Anatomy 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000004080 punching Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
Abstract
【課題】カメラによって撮影されて得られた画像データにおける対象物の位置による対象物の移動量の誤差を適切に低減可能にする。【解決手段】縮小率計算部23は、映像データを構成する画像データにおける対象物の下端位置に基づき、画像データにおける対象物の縮小率を計算する。移動量計算部24は、映像データに基づき対象物の移動量を計算する。移動量補正部25は、縮小率計算部23によって計算された縮小率を用いて、移動量計算部24によって計算された対象物の移動量を補正する。【選択図】図1An object of the present invention is to appropriately reduce errors in the amount of movement of an object due to the position of the object in image data obtained by photographing with a camera. A reduction ratio calculator (23) calculates a reduction ratio of an object in image data based on a lower end position of the object in image data constituting video data. The movement amount calculator 24 calculates the movement amount of the object based on the image data. The movement amount correction unit 25 uses the reduction ratio calculated by the reduction ratio calculation unit 23 to correct the movement amount of the object calculated by the movement amount calculation unit 24 . [Selection drawing] Fig. 1
Description
本開示は、映像に映る対象物の移動量を特定する技術に関する。 The present disclosure relates to technology for specifying the amount of movement of an object appearing in a video.
映像データを構成する画像データから、画像データに映った対象物の移動量を推定することが行われている(特許文献1参照)。 2. Description of the Related Art Estimation of the amount of movement of an object shown in image data is performed from image data that constitutes video data (see Patent Document 1).
カメラと対象物との間の距離によって、対象物の映り方が異なる。そのため、映像を構成する2つのフレームの画像データにおける対象物の間の距離を、対象物の移動量として特定してしまうと、対象物の位置による誤差が発生する。
そこで、従来は、対象物の大きさが小さいほど、対象物がカメラから遠い位置にいると仮定し、移動量を補正することが行われている。これにより、対象物の位置による誤差を低減している。
Depending on the distance between the camera and the object, the way the object is reflected differs. Therefore, if the distance between the objects in the image data of the two frames forming the video is specified as the amount of movement of the object, an error occurs due to the position of the object.
Therefore, conventionally, it is assumed that the smaller the size of the object, the farther the object is from the camera, and the movement amount is corrected. This reduces the error due to the position of the object.
対象者の大きさは、カメラからの距離に関わらず異なる場合がある。そのため、対象者の大きさが小さいほど、対象者がカメラから遠い位置にいるという仮定は誤っている可能性がある。したがって、この仮定に基づき移動量を補正すると、対象物の位置による誤差を適切に低減することができない可能性が有る。
本開示は、対象物の位置による移動量の誤差を適切に低減可能にすることを目的とする。
The size of the subject may vary regardless of the distance from the camera. Therefore, the assumption that the smaller the target is, the farther the target is from the camera, may be incorrect. Therefore, if the movement amount is corrected based on this assumption, it may not be possible to appropriately reduce the error due to the position of the object.
An object of the present disclosure is to appropriately reduce the error in the movement amount due to the position of the object.
本開示に係る移動量特定装置は、
映像データを構成する画像データにおける対象物の下端位置に基づき、前記画像データにおける前記対象物の縮小率を計算する縮小率計算部と、
前記縮小率計算部によって計算された前記縮小率を用いて、前記映像データを用いて特定された前記対象物の移動量を補正する移動量補正部と
を備える。
The movement amount identification device according to the present disclosure is
a reduction ratio calculation unit that calculates a reduction ratio of the object in the image data based on the lower end position of the object in the image data that constitutes the video data;
and a movement amount correction unit that corrects the movement amount of the object identified using the video data, using the reduction ratio calculated by the reduction ratio calculation unit.
本開示では、画像データにおける対象物の下端位置に基づき縮小率が計算され、縮小率を用いて対象物の移動量が補正される。対象物の大きさではなく、対象物の下端位置から計算された縮小率を用いることにより、対象物の位置による移動量の誤差を適切に低減することが可能である。 In the present disclosure, the reduction ratio is calculated based on the lower edge position of the object in the image data, and the amount of movement of the object is corrected using the reduction ratio. By using the reduction ratio calculated from the lower end position of the object instead of the size of the object, it is possible to appropriately reduce the error in the amount of movement due to the position of the object.
実施の形態1.
***構成の説明***
図1を参照して、実施の形態1に係る移動量特定装置10の構成を説明する。
移動量特定装置10は、コンピュータである。
移動量特定装置10は、プロセッサ11と、メモリ12と、ストレージ13と、通信インタフェース14とのハードウェアを備える。プロセッサ11は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。
Embodiment 1.
*** Configuration description ***
The configuration of the
The movement
The movement
プロセッサ11は、プロセッシングを行うICである。ICはIntegrated Circuitの略である。プロセッサ11は、具体例としては、CPU、DSP、GPUである。CPUは、Central Processing Unitの略である。DSPは、Digital Signal Processorの略である。GPUは、Graphics Processing Unitの略である。
The
メモリ12は、データを一時的に記憶する記憶装置である。メモリ12は、具体例としては、SRAM、DRAMである。SRAMは、Static Random Access Memoryの略である。DRAMは、Dynamic Random Access Memoryの略である。
The
ストレージ13は、データを保管する記憶装置である。ストレージ13は、具体例としては、HDDである。HDDは、Hard Disk Driveの略である。また、ストレージ13は、SD(登録商標)メモリカード、CompactFlash(登録商標)、NANDフラッシュ、フレキシブルディスク、光ディスク、コンパクトディスク、Blu-ray(登録商標)ディスク、DVDといった可搬記録媒体であってもよい。SDは、Secure Digitalの略である。DVDは、Digital Versatile Diskの略である。
The
通信インタフェース14は、外部の装置と通信するためのインタフェースである。通信インタフェース14は、具体例としては、Ethernet(登録商標)、USB、HDMI(登録商標)のポートである。USBは、Universal Serial Busの略である。HDMIは、High-Definition Multimedia Interfaceの略である。
The
移動量特定装置10は、通信インタフェース14を介してカメラ31と接続されている。カメラ31は、決められた撮影領域を撮影するように設置されている。
The movement
移動量特定装置10は、機能構成要素として、画像読込部21と、対象特定部22と、縮小率計算部23と、移動量計算部24と、移動量補正部25とを備える。移動量特定装置10の各機能構成要素の機能はソフトウェアにより実現される。
ストレージ13には、移動量特定装置10の各機能構成要素の機能を実現するプログラムが格納されている。このプログラムは、プロセッサ11によりメモリ12に読み込まれ、プロセッサ11によって実行される。これにより、移動量特定装置10の各機能構成要素の機能が実現される。
The movement
The
図1では、プロセッサ11は、1つだけ示されていた。しかし、プロセッサ11は、複数であってもよく、複数のプロセッサ11が、各機能を実現するプログラムを連携して実行してもよい。
Only one
***動作の説明***
図2から図5を参照して、実施の形態1に係る移動量特定装置10の動作を説明する。
実施の形態1に係る移動量特定装置10の動作手順は、実施の形態1に係る移動量特定方法に相当する。また、実施の形態1に係る移動量特定装置10の動作を実現するプログラムは、実施の形態1に係る移動量特定プログラムに相当する。
***Description of operation***
The operation of the
The operation procedure of the movement
図2を参照して、実施の形態1に係る移動量特定装置10の全体的な動作を説明する。
(ステップS11:画像取得処理)
画像読込部21は、カメラ31によって撮影された映像データを構成する新しいフレームの画像データを読み込む。画像読込部21は、読み込まれた画像データをメモリ12に書き込む。
画像読込部21は、一定時間以上前のフレームの画像データについては、メモリ12から削除する。例えば、画像読込部21は、必要になる過去一定数のフレーム(例えば、150フレーム)の画像データだけをメモリ12に記憶しておくようにしてもよい。
With reference to FIG. 2, the overall operation of the movement
(Step S11: Image Acquisition Processing)
The
The
(ステップS12:対象特定処理)
対象特定部22は、ステップS11で取得された画像データに映った1つ以上の対象物を検出する。実施の形態1では、対象物は人である。対象物は、人に限らず、車両又は動物等でもよい。
具体的には、対象特定部22は、既存の技術により、画像データに映った人を検出する。例えば、対象特定部22は、機械学習によって生成された人の検出モデルに画像データを与えることにより、画像データに映った人を検出する。実施の形態1では、図3に示すように、人が検出された矩形の検出枠41が特定されるものとする。
(Step S12: Target specifying process)
The
Specifically, the
(ステップS13:縮小率計算処理)
縮小率計算部23は、ステップS11で取得された画像データにおける、ステップS12で検出された1つ以上の対象物それぞれについての縮小率Rを計算する。縮小率計算部23は、1つ以上の対象物それぞれについての縮小率Rをメモリ12に書き込む。縮小率Rは、対象物が基準位置42にある場合に対して、対象物が小さく映る度合である。実施の形態1では、基準位置42は、対象物が接する平面と光軸を-θ/2度傾けた直線とが交わる位置である。
具体的には、縮小率計算部23は、画像データにおける対象物の下端位置43に基づき、画像データにおける対象物の縮小率Rを計算する。実施の形態1では、図3に示すように、下端位置43は、検出枠41の下辺の中央部である。縮小率計算部23は、下端位置43から、画像データの下辺44までの距離pに基づき、縮小率Rを計算する。
(Step S13: Reduction rate calculation process)
The
Specifically, the
図4を参照して具体的に説明する。図4は、カメラ31が床に水平に設置された場合を示している。つまり、カメラ31が俯角0度で設置された場合を示している。
基準位置42にいる人である基準者45に対して、画像データの奥行方向の奥側にいる対象者46は小さく映っている。縮小率Rは、基準者45に対して対象者46が小さくなっている度合である。縮小率Rは、数11により計算される。
A
図5を参照して俯角が0度以外の場合について説明する。図5は、カメラ31が俯角φで設置された場合を示している。
この場合にも、基準位置42にいる人である基準者45に対して、画像データの奥行方向の奥側にいる対象者46は小さく映っている。縮小率Rは、基準者45に対して対象者46が小さくなっている度合である。縮小率Rは、数12により計算される。
In this case as well, the
(ステップS14:移動量計算処理)
移動量計算部24は、ステップS12で検出された1つ以上の対象物それぞれについての移動量dを計算する。移動量計算部24は、1つ以上の対象物それぞれについての移動量dをメモリ12に書き込む。実施の形態1では、移動量計算部24は、1つ前のフレームの画像データからの移動量dを計算する。ここでは、1つ前のフレームの画像データを移動前画像と呼ぶ。ステップS11で取得された画像データを移動後画像と呼ぶ。
具体的には、移動量計算部24は、ステップS12で検出された1人以上の人をそれぞれ対象の人に設定する。移動量計算部24は、対象の人と同一の人を移動前画像から特定する。例えば、移動量計算部24は、対象の人と移動前画像から検出された人との同一性を判定することにより、対象の人と同一の人を特定する。移動量計算部24は、同一の人が特定された場合には、移動前画像における対象の人の位置を特定する。そして、移動量計算部24は、移動前画像における対象の人の位置と、移動後画像における対象の人の位置との間の距離を移動量dとして計算する。一方、移動量計算部24は、同一の人が特定されなかった場合には、対象の人についての移動量dを0とする。
(Step S14: Movement amount calculation processing)
The
Specifically, the movement
(ステップS15:移動量補正処理)
移動量補正部25は、ステップS12で検出された1つ以上の対象物それぞれについて、ステップS13で計算された縮小率Rを用いて、ステップS14で計算された移動量dを補正する。移動量補正部25は、1つ以上の対象物それぞれについて、移動量dを補正した移動量d’をメモリ12に書き込む。
具体的には、移動量補正部25は、ステップS12で検出された1人以上の人をそれぞれ対象の人に設定する。移動量補正部25は、対象の人の移動量dに対して、対象の人の縮小率Rの逆数を乗ずる。つまり、移動量補正部25は、d’=d×(1/R)を計算して、補正後の移動量d’を計算する。
この際、移動量補正部25は、指定されたフレームからの対象の人についての移動量d’の合計を、指定されたフレームからの対象の人についての運動量eとして計算してもよい。また、移動量補正部25は、フレームの取得間隔tを用いて、速さv=d’/tを計算してもよい。また、移動量補正部25は、指定されたフレームからステップS11で読み込まれたフレームまでのフレーム数fを用いて、速さv=e/(t×f)を計算してもよい。
(Step S15: Movement amount correction process)
The movement
Specifically, the movement
At this time, the movement
***実施の形態1の効果***
以上のように、実施の形態1に係る移動量特定装置10は、対象物の下端位置に基づき縮小率Rを計算し、縮小率Rを用いて対象物の移動量dを補正する。対象物の大きさではなく、対象物の下端位置から計算された縮小率を用いることにより、対象物の位置による誤差を適切に低減することが可能である。
*** Effect of Embodiment 1 ***
As described above, the movement
図6では、(A)と(B)とで、映っている人の大きさは同じであるが、映っている位置が異なるケースが示されている。対象物である人が同じ大きさであれば、対象物の大きさに基づき移動量dを補正することで、対象物の位置による誤差を適切に低減することができる。一方、図7では、(A)と(B)とで、映っている人の大きさが異なり、映っている位置も異なるケースが示されている。対象物である人が異なる大きさであると、対象物の大きさに基づき移動量dを補正しても、対象物の位置による誤差を適切に低減することができない。例えば、身長が低い子供等の場合には、必要以上に大きく補正をしてしまい、誤差が大きくなってしまうこともある。
これに対して、実施の形態1に係る移動量特定装置10では、図8に示すように、カメラ31からの距離が等しいが大きさが異なる人の移動量dと、カメラ31からの距離が異なる人の移動量dとを正確に計算することができる。つまり、実施の形態1に係る移動量特定装置10では、対象物である人の大きさ及び人の位置に関わらず、適切に移動量dを計算することができる。
In FIG. 6, (A) and (B) show a case in which the size of the person shown is the same, but the position of the person shown is different. If the human object is the same size, the error due to the position of the object can be appropriately reduced by correcting the movement amount d based on the size of the object. On the other hand, FIGS. 7A and 7B show a case where the size of the person shown is different and the position where the person is shown is also different. If the objects, namely people, are of different sizes, even if the movement amount d is corrected based on the size of the object, the error due to the position of the object cannot be appropriately reduced. For example, in the case of a short child or the like, the correction may be made more than necessary, resulting in a large error.
On the other hand, in the movement
***他の構成***
<変形例1>
実施の形態1では、下端位置43は検出枠41の下辺の中央部であるとした。しかし、対象物の下端部分を検出可能である場合には、対象物の下端部分の位置を下端位置43として用いてもよい。例えば、対象物が人の場合には、人の足首の位置、あるいは、つま先の位置等を下端位置43として用いてもよい。
***Other Configurations***
<Modification 1>
In the first embodiment, the
<変形例2>
実施の形態1では、移動量補正部25は、移動後画像における対象物の縮小率Rのみを用いて移動量dを補正した。しかし、移動量補正部25は、移動前画像における対象物の縮小率R(縮小率R’と書く)を用いて移動量dを補正してもよい。移動量補正部25は、縮小率R’だけを用いてもよいし、縮小率Rと縮小率R’との平均値Aを用いて移動量dを補正してもよい。
具体的には、移動量補正部25は、d’=d×(1/R’)を計算して、補正後の移動量d’を計算してもよい。あるいは、移動量補正部25は、d’=d×(1/A)を計算して、補正後の移動量d’を計算してもよい。
<Modification 2>
In Embodiment 1, the movement
Specifically, the movement
<変形例3>
実施の形態1では、対象物は人であるとして、移動量特定装置10は、人の移動量を計算した。しかし、移動量特定装置10は、対象物である人の各部についての移動量を計算してもよい。人の各部とは、具体例としては、右腕と左腕と右足と左足と等である。右腕の移動量は、例えば、右腕の先端部の移動量である。同様に、左腕の移動量は、例えば、左腕の先端部の移動量である。同様に、右足の移動量は、例えば、右足の先端部の移動量である。同様に、左足の移動量は、例えば、左足の先端部の移動量である。
<Modification 3>
In Embodiment 1, the movement
図2を参照して、人の各部の移動量を計算する場合の処理を説明する。
ステップS11からステップS13の処理は、実施の形態1と同じである。ステップS14では、移動量計算部24は、対象の人の各部についての移動量を特定する。右腕と左腕と右足と左足とが対象の場合には、移動量計算部24は、右腕と左腕と右足と左足とそれぞれの移動量dを特定する。ステップS15では、移動量補正部25は、対象の人の各部について、縮小率Rを用いて移動量dを補正する。この際、実施の形態1と同様に、移動量補正部25は、運動量e又は速さvを計算してもよい。
つまり、縮小率Rは、対象の人毎に計算される。そして、対象の人についての縮小率Rを用いて、対象の人の各部の移動量dが補正される。
With reference to FIG. 2, processing for calculating the amount of movement of each part of a person will be described.
The processing from step S11 to step S13 is the same as in the first embodiment. In step S14, the
That is, the reduction ratio R is calculated for each target person. Then, using the reduction ratio R for the target person, the movement amount d of each part of the target person is corrected.
対象の人が立ち止まって手を振っている場合には、対象の人の移動量dはほぼ0になるが、振っている手の移動量dはある程度の大きさになる。また、対象の人が立ち止まって足踏みをしている場合には、対象の人の移動量dはほぼ0になるが、足の移動量dはある程度の大きさになる。 When the target person stands still and waves his or her hand, the movement amount d of the target person is almost 0, but the movement amount d of the waving hand becomes a certain amount. Also, when the target person stands still and is stepping, the movement amount d of the target person is almost 0, but the movement amount d of the foot becomes a certain amount.
なお、対象の人の各部は、既存の技術を用いて対象の人の骨格情報を抽出することによって特定可能である。骨格情報は、骨格の関節と、目、鼻、口、耳といった体の部位とを示す情報である。 Each part of the target person can be identified by extracting the target person's skeleton information using existing technology. Skeletal information is information indicating skeletal joints and body parts such as eyes, nose, mouth, and ears.
<変形例4>
実施の形態1では、移動量計算部24は、移動前画像における対象の人の位置と、移動後画像における対象の人の位置との間の距離を移動量dとして計算した。位置による移動量の計算では、画像の奥行方向の移動量に誤差が生じ易い。そこで、移動量計算部24は、移動前画像における縮小率Rと、移動後画像における縮小率Rとの差から、画像の奥行方向の移動量を計算してもよい。そして、移動量計算部24は、位置により計算された移動量を、縮小率Rにより計算された移動量を用いて補正してもよい。
<Modification 4>
In Embodiment 1, the movement
<変形例5>
実施の形態1では、各機能構成要素がソフトウェアで実現された。しかし、変形例5として、各機能構成要素はハードウェアで実現されてもよい。この変形例5について、実施の形態1と異なる点を説明する。
<Modification 5>
In Embodiment 1, each functional component is realized by software. However, as Modified Example 5, each functional component may be implemented by hardware. Regarding this modification 5, points different from the first embodiment will be described.
図9を参照して、変形例5に係る移動量特定装置10の構成を説明する。
各機能構成要素がハードウェアで実現される場合には、移動量特定装置10は、プロセッサ11とメモリ12とストレージ13とに代えて、電子回路15を備える。電子回路15は、各機能構成要素と、メモリ12と、ストレージ13との機能とを実現する専用の回路である。
The configuration of the movement
When each functional component is realized by hardware, the movement
電子回路15としては、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックIC、GA、ASIC、FPGAが想定される。GAは、Gate Arrayの略である。ASICは、Application Specific Integrated Circuitの略である。FPGAは、Field-Programmable Gate Arrayの略である。
各機能構成要素を1つの電子回路15で実現してもよいし、各機能構成要素を複数の電子回路15に分散させて実現してもよい。
Each functional component may be implemented by one
<変形例6>
変形例6として、一部の各機能構成要素がハードウェアで実現され、他の各機能構成要素がソフトウェアで実現されてもよい。
<Modification 6>
As Modified Example 6, some of the functional components may be implemented by hardware, and other functional components may be implemented by software.
プロセッサ11とメモリ12とストレージ13と電子回路15とを処理回路という。つまり、各機能構成要素の機能は、処理回路により実現される。
The
実施の形態2.
実施の形態2は、移動量d’を用いて対象物の動作内容を特定する点が実施の形態1と異なる。実施の形態2では、この異なる点を説明し、同一の点については説明を省略する。
Embodiment 2.
Embodiment 2 differs from Embodiment 1 in that the movement amount d' is used to specify the motion content of the object. In the second embodiment, this different point will be explained, and the explanation of the same point will be omitted.
***構成の説明***
図10を参照して、実施の形態2に係る移動量特定装置10の構成を説明する。
移動量特定装置10は、機能構成要素として、動作特定部26を備える点が図1に示す移動量特定装置10と異なる。動作特定部26の機能は、他の機能構成要素と同様に、ソフトウェア又はハードウェアによって実現される。
*** Configuration description ***
The configuration of the movement
The
***動作の説明***
図11を参照して、実施の形態2に係る移動量特定装置10の全体的な動作を説明する。
ステップS21からステップS25の処理は、図2のステップS11からステップS15の処理と同じである。
***Description of operation***
With reference to FIG. 11, the overall operation of the movement
The processing from step S21 to step S25 is the same as the processing from step S11 to step S15 in FIG.
(ステップS26:動作特定処理)
動作特定部26は、ステップS12で検出された1つ以上の対象物それぞれについての動作を特定する。実施の形態2では、実施の形態1と同様に、対象物は人である。
具体的には、動作特定部26は、動作内容に対して解析条件を対応付けた解析ルールを用いて、対象の人の動作を特定する。解析条件は、関節等の位置に基づき定義された条件である。例えば、解析条件は、右腕の手首の関節のY座標が肩関節のY座標よりも上にあるといった条件である。解析条件を満たした場合には、対応付けられた動作内容を対象の人が行っていると特定される。例えば、右腕の手首の関節のY座標が肩関節のY座標よりも上にあるという条件に、右腕を上げているという動作内容が対応付けられているとする。この場合には、右腕の手首の関節のY座標が肩関節のY座標よりも上にあるという条件を満たした場合には、対象の人が右腕を上げていると特定される。
(Step S26: action specifying process)
The
Specifically, the
動作内容によっては、解析条件は、移動量d’を用いて定義されている。この移動量d’は、対象の人の移動量d’であってもよいし、対象の人の各部の移動量d’であってもよい。
なお、解析条件は、移動量d’に代えて、又は、移動量d’とともに、運動量eと速さvとの少なくともいずれかを用いて定義されてもよい。運動量eは、対象の人の運動量eであってもよいし、対象の人の各部の運動量eであってもよい。同様に、速さvは、対象の人の速さvであってもよいし、対象の人の各部の速さvであってもよい。
Depending on the contents of the operation, the analysis condition is defined using the movement amount d'. The moving amount d' may be the moving amount d' of the target person or may be the moving amount d' of each part of the target person.
The analysis condition may be defined using at least one of the momentum e and the speed v instead of the movement amount d' or together with the movement amount d'. The amount of exercise e may be the amount of exercise e of the target person, or may be the amount of exercise e of each part of the target person. Similarly, the speed v may be the speed v of the target person or the speed v of each part of the target person.
具体例としては、対象の人の速さvが閾値以上であるという解析条件を用いて、対象の人が走っているか否かを判定することが考えられる。
また、2人の人がおり、一方の人の腕が他方の人の方へ向かって伸びているとする。この場合に、手首の速さvが閾値以上であるという解析条件を用いて、対象の人が殴っているか否かを判定することが考えられる。なお、対象の人が殴っているとする解析条件は、具体的には(1)~(4)をAND条件で結んだ条件になる。(1)X座標において一方の人の手首が一方の人の首と他方の人の首との間にある。これは、一方の人の手首が他方の人に向かっていることを意味する。(2)一方の人の手首と肘と肩とを結ぶ角度が閾値以上である。これは、一方の人の肘が伸びていることを意味する。(3)一方の人の手首と肘とを結ぶベクトルが水平である。これは、一方の人の腕が上ではなく横に伸びていることを意味する。(4)一方の人の手首の速度が閾値以上である。これは、一方の人の腕が速く動いていることを意味する。この速度は、補正された縮小率d’を用いて計算される。
As a specific example, it is conceivable to determine whether or not the target person is running using the analysis condition that the target person's speed v is equal to or greater than a threshold.
Suppose also that there are two people and one person's arm is extended toward the other person. In this case, it is conceivable to determine whether or not the target person is hitting using the analysis condition that the wrist speed v is equal to or greater than the threshold. Note that the analysis condition that the target person is punching is, specifically, a condition connecting (1) to (4) with an AND condition. (1) One person's wrist is between one person's neck and the other person's neck in the X coordinate. This means that one person's wrist is facing the other. (2) The angle connecting the wrist, elbow and shoulder of one person is greater than or equal to the threshold. This means that one person's elbow is extended. (3) The vector connecting the wrist and elbow of one person is horizontal. This means that one person's arm is extended to the side instead of up. (4) One person's wrist speed is greater than or equal to the threshold. This means that one person's arm is moving fast. This velocity is calculated using the corrected demagnification d'.
***実施の形態2の効果***
以上のように、実施の形態2に係る移動量特定装置10は、移動量d’を用いて対象物の動作内容を特定する。実施の形態1で説明したように、対象物の位置による誤差を適切に低減して移動量d’は計算される。そのため、移動量として、実施の形態1で説明した移動量d’を用いて動作内容の特定することで、精度よく動作内容を特定することが可能である。
*** Effect of Embodiment 2 ***
As described above, the movement
走っている人を検出するとする。実施の形態1で説明したように、カメラ31からの距離及び人の大きさに関わらず、適切に人の速さvが計算される。そのため、図12に示すように、カメラ31から遠い位置で走っている大人については検出される。一方で、カメラ31に近い位置で歩いている大人及び子供については検出されない。
なお、従来のように、対象物の大きさが小さいほど、対象物がカメラから遠い位置にいると仮定し、移動量を補正したとする。この場合には、カメラ31に近い位置で歩いている子供の移動量が大きく補正される。その結果、カメラ31に近い位置で歩いている子供の速さが速くなり、走っているとして検出されてしまう恐れがある。
Suppose you want to detect a person running. As described in the first embodiment, regardless of the distance from the
It should be noted that, as in the conventional case, it is assumed that the smaller the size of the object, the farther the object is from the camera, and the amount of movement is corrected. In this case, the amount of movement of the child walking near the
他者を殴っている人を検出するとする。変形例3で説明したように、カメラ31からの距離及び人の大きさに関わらず、適切に人の各部の速さvが計算される。そのため、カメラ31からの距離及び人の大きさに関わらず、適切に手首の速さvが計算される。その結果、図13に示すように、カメラ31からの位置に関わらず、掴みかかっている人及び殴っている人のように喧嘩をしている人は検出され、名刺交換等で他者の方に腕を伸ばしている人は検出されない。
Suppose we want to detect a person hitting another person. As described in Modification 3, the speed v of each part of the person is appropriately calculated regardless of the distance from the
***他の構成***
<変形例7>
実施の形態2では、動作特定部26は、解析ルールを用いて動作内容を特定した。動作特定部26は、機械学習によって生成されたニューラルネットワークのモデルを用いて動作内容を特定してもよい。
具体的には、動作特定部26は、骨格情報と移動量と等を入力として、動作内容を特定するモデルを用いる。動作特定部26は、モデルに対して、対象の人の骨格情報と移動量d’と等を与える。動作特定部26は、モデルによって特定された動作内容を、対象の人の動作内容として特定する。
なお、この移動量d’は、対象の人の移動量d’であってもよいし、対象の人の各部の移動量d’であってもよい。また、動作特定部26は、移動量d’に代えて、又は、移動量d’とともに、運動量eと速さvとの少なくともいずれかを用いてもよい。運動量eは、対象の人の運動量eであってもよいし、対象の人の各部の運動量eであってもよい。同様に、速さvは、対象の人の速さvであってもよいし、対象の人の各部の速さvであってもよい。
***Other Configurations***
<Modification 7>
In the second embodiment, the
Specifically, the
In addition, this moving amount|distance d' may be the moving amount|distance d' of a target person, and may be the moving amount|distance d' of each part of a target person. Further, the
<変形例8>
実施の形態2では、動作特定部26は、移動量d’を用いて動作内容を特定した。動作特定部26は、移動前画像における縮小率Rと、移動後画像における縮小率Rとの差を考慮して動作内容を特定してもよい。変形例4で説明したように、移動前画像における縮小率Rと、移動後画像における縮小率Rとの差から画像の奥行方向の移動量が分かる。そのため、移動前画像における縮小率Rと、移動後画像における縮小率Rとの差を考慮することにより、画像の奥行方向の移動量を考慮して動作内容を特定することが可能になる。
<Modification 8>
In the second embodiment, the
なお、以上の説明における「部」を、「回路」、「工程」、「手順」、「処理」又は「処理回路」に読み替えてもよい。 Note that "unit" in the above description may be read as "circuit", "process", "procedure", "process", or "processing circuit".
以上、本開示の実施の形態及び変形例について説明した。これらの実施の形態及び変形例のうち、いくつかを組み合わせて実施してもよい。また、いずれか1つ又はいくつかを部分的に実施してもよい。なお、本開示は、以上の実施の形態及び変形例に限定されるものではなく、必要に応じて種々の変更が可能である。 The embodiments and modifications of the present disclosure have been described above. Some of these embodiments and modifications may be combined and implemented. Also, any one or some may be partially implemented. It should be noted that the present disclosure is not limited to the above embodiments and modifications, and various modifications are possible as necessary.
10 移動量特定装置、11 プロセッサ、12 メモリ、13 ストレージ、14 通信インタフェース、15 電子回路、21 画像読込部、22 対象特定部、23 縮小率計算部、24 移動量計算部、25 移動量補正部、26 動作特定部、31 カメラ、41 検出枠、42 基準位置、43 下端位置、44 下辺、45 基準者、46 対象者。
10 movement
Claims (12)
前記縮小率計算部によって計算された前記縮小率を用いて、前記映像データを用いて特定された前記対象物の移動量を補正する移動量補正部と
を備える移動量特定装置。
and a movement amount correction unit that corrects the movement amount of the object identified using the video data, using the reduction ratio calculated by the reduction ratio calculation unit.
前記映像データを構成する画像データである移動前画像及び移動後画像に関して、前記移動前画像における前記対象物の位置と前記移動後画像における前記対象物の位置とから前記対象物の移動量を計算する移動量計算部と、
前記縮小率計算部によって計算された前記縮小率を用いて、前記移動量計算部によって計算された前記対象物の移動量を補正する移動量補正部とを備え、
前記縮小率計算部は、前記移動前画像と前記移動後画像とにおける前記対象物の縮小率を計算し、
前記移動量補正部は、前記移動前画像における前記対象物の縮小率と、前記移動後画像における前記対象物の縮小率との平均値により、前記対象物の移動量を補正する移動量特定装置。 a reduction ratio calculation unit that calculates a reduction ratio of the object in the image data based on the lower end position of the object in the image data that constitutes the video data;
With respect to a pre-movement image and a post-movement image, which are image data constituting the video data, a movement amount of the object is calculated from a position of the object in the pre-movement image and a position of the object in the post-movement image. a movement amount calculation unit for
a movement amount correction unit that corrects the movement amount of the object calculated by the movement amount calculation unit using the reduction ratio calculated by the reduction ratio calculation unit ;
The reduction ratio calculation unit calculates a reduction ratio of the object in the pre-movement image and the post-movement image,
The movement amount correction unit specifies a movement amount for correcting the movement amount of the object based on an average value of a reduction ratio of the object in the pre-movement image and a reduction ratio of the object in the post-movement image. Device.
前記縮小率計算部によって計算された前記縮小率の逆数を、前記映像データを用いて特定された前記対象物の移動量に乗ずることにより、前記対象物の移動量を補正する移動量補正部と
を備える移動量特定装置。 a reduction ratio calculation unit that calculates a reduction ratio of the object in the image data based on the lower end position of the object in the image data that constitutes the video data;
a movement amount correction unit that corrects the movement amount of the object by multiplying the movement amount of the object identified using the image data by the reciprocal of the reduction ratio calculated by the reduction ratio calculation unit; A movement amount identification device comprising:
前記縮小率計算部によって計算された前記縮小率を用いて、前記映像データを用いて特定された前記対象物の移動量を補正する移動量補正部と、
移動量を含む情報を入力として動作内容を特定するモデルに、前記移動量補正部によって補正された前記対象物の移動量を含む情報を入力することにより、前記対象物の動作内容を特定する動作特定部と
を備える移動量特定装置。 a reduction ratio calculation unit that calculates a reduction ratio of the object in the image data based on the lower end position of the object in the image data that constitutes the video data;
a movement amount correction unit that uses the reduction ratio calculated by the reduction ratio calculation unit to correct the movement amount of the object identified using the video data ;
An operation of specifying the operation content of the object by inputting information including the movement amount of the object corrected by the movement amount correction unit into a model that specifies the operation content by inputting information including the movement amount. specific part and
A movement amount identification device comprising:
コンピュータが、前記縮小率を用いて、前記映像データを用いて特定された前記対象物の移動量を補正する移動量特定方法。
A movement amount identifying method, wherein a computer uses the reduction ratio to correct the movement amount of the object identified using the video data.
コンピュータが、前記映像データを構成する画像データである移動前画像及び移動後画像に関して、前記移動前画像における前記対象物の位置と前記移動後画像における前記対象物の位置とから前記対象物の移動量を計算し、
コンピュータが、前記縮小率を用いて、計算された前記対象物の移動量を補正し、
コンピュータが、前記移動前画像と前記移動後画像とにおける前記対象物の縮小率を計算し、
コンピュータが、前記移動前画像における前記対象物の縮小率と、前記移動後画像における前記対象物の縮小率との平均値により、前記対象物の移動量を補正する移動量特定方法。 A computer calculates a reduction ratio of the object in the image data based on the lower end position of the object in the image data constituting the video data,
With respect to a pre-movement image and a post-movement image, which are image data constituting the video data, a computer moves the object from the position of the object in the pre-movement image and the position of the object in the post-movement image. calculate the amount of
A computer corrects the calculated amount of movement of the object using the reduction ratio ;
A computer calculates a reduction ratio of the object in the pre-movement image and the post-movement image;
A movement amount specifying method, wherein a computer corrects the movement amount of the object based on an average value of the reduction ratio of the object in the before-movement image and the reduction ratio of the object in the after-movement image .
コンピュータが、前記縮小率の逆数を、前記映像データを用いて特定された前記対象物の移動量に乗ずることにより、前記対象物の移動量を補正する移動量特定方法。 A computer calculates a reduction ratio of the object in the image data based on the lower end position of the object in the image data constituting the video data,
A moving amount specifying method, wherein a computer multiplies the moving amount of the object specified using the video data by the reciprocal of the reduction ratio, thereby correcting the moving amount of the object .
コンピュータが、前記縮小率を用いて、前記映像データを用いて特定された前記対象物の移動量を補正し、
コンピュータが、移動量を含む情報を入力として動作内容を特定するモデルに、補正された前記対象物の移動量を含む情報を入力することにより、前記対象物の動作内容を特定する移動量特定方法。 A computer calculates a reduction ratio of the object in the image data based on the lower end position of the object in the image data constituting the video data,
using the reduction ratio to correct the amount of movement of the object identified using the video data;
A movement amount identification method in which a computer inputs information including a corrected movement amount of the object into a model that identifies the operation content by inputting information including the movement amount, thereby identifying the movement amount of the object. .
前記縮小率計算処理によって計算された前記縮小率を用いて、前記映像データを用いて特定された前記対象物の移動量を補正する移動量補正処理と
を行う移動量特定装置としてコンピュータを機能させる移動量特定プログラム。
causing a computer to function as a movement amount identification device that performs movement amount correction processing for correcting the movement amount of the object identified using the video data using the reduction ratio calculated by the reduction ratio calculation processing; Movement specific program.
前記映像データを構成する画像データである移動前画像及び移動後画像に関して、前記移動前画像における前記対象物の位置と前記移動後画像における前記対象物の位置とから前記対象物の移動量を計算する移動量計算処理と、
前記縮小率計算処理によって計算された前記縮小率を用いて、前記移動量計算処理によって計算された前記対象物の移動量を補正する移動量補正処理とを行う移動量特定装置としてコンピュータを機能させ、
前記縮小率計算処理では、前記移動前画像と前記移動後画像とにおける前記対象物の縮小率を計算し、
前記移動量補正処理では、前記移動前画像における前記対象物の縮小率と、前記移動後画像における前記対象物の縮小率との平均値により、前記対象物の移動量を補正する移動量特定プログラム。 reduction ratio calculation processing for calculating a reduction ratio of the object in the image data based on the lower end position of the object in the image data constituting the video data;
With respect to a pre-movement image and a post-movement image, which are image data constituting the video data, a movement amount of the object is calculated from a position of the object in the pre-movement image and a position of the object in the post-movement image. a movement amount calculation process to
causing a computer to function as a movement amount identification device that performs a movement amount correction process for correcting the movement amount of the object calculated by the movement amount calculation process using the reduction ratio calculated by the reduction ratio calculation process; ,
In the reduction ratio calculation process, the reduction ratio of the object in the pre-movement image and the post-movement image is calculated;
In the movement amount correction process, a movement amount specification for correcting the movement amount of the object is performed by an average value of the reduction ratio of the object in the image before movement and the reduction ratio of the object in the image after movement. program.
前記縮小率計算処理によって計算された前記縮小率の逆数を、前記映像データを用いて特定された前記対象物の移動量に乗ずることにより、前記対象物の移動量を補正する移動量補正処理と
を行う移動量特定装置としてコンピュータを機能させる移動量特定プログラム。 reduction ratio calculation processing for calculating a reduction ratio of the object in the image data based on the lower end position of the object in the image data constituting the video data;
movement amount correction processing for correcting the movement amount of the object by multiplying the movement amount of the object identified using the video data by the reciprocal of the reduction ratio calculated by the reduction ratio calculation processing; a movement amount identification program that causes a computer to function as a movement amount identification device for performing
前記縮小率計算処理によって計算された前記縮小率を用いて、前記映像データを用いて特定された前記対象物の移動量を補正する移動量補正処理と、
移動量を含む情報を入力として動作内容を特定するモデルに、前記移動量補正処理によって補正された前記対象物の移動量を含む情報を入力することにより、前記対象物の動作内容を特定する動作特定処理と
を行う移動量特定装置としてコンピュータを機能させる移動量特定プログラム。 reduction ratio calculation processing for calculating a reduction ratio of the object in the image data based on the lower end position of the object in the image data constituting the video data;
movement amount correction processing for correcting the movement amount of the object identified using the video data using the reduction ratio calculated by the reduction ratio calculation processing ;
An operation of specifying the operation content of the object by inputting information including the movement amount of the object corrected by the movement amount correction process into a model that identifies the operation content by inputting information including the movement amount. specific processing and
a movement amount identification program that causes a computer to function as a movement amount identification device for performing
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022008892A JP7217820B1 (en) | 2022-01-24 | 2022-01-24 | Movement amount identification device, movement amount identification method, and movement amount identification program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022008892A JP7217820B1 (en) | 2022-01-24 | 2022-01-24 | Movement amount identification device, movement amount identification method, and movement amount identification program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP7217820B1 true JP7217820B1 (en) | 2023-02-03 |
JP2023107613A JP2023107613A (en) | 2023-08-03 |
Family
ID=85131336
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022008892A Active JP7217820B1 (en) | 2022-01-24 | 2022-01-24 | Movement amount identification device, movement amount identification method, and movement amount identification program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7217820B1 (en) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007034920A (en) | 2005-07-29 | 2007-02-08 | Aisin Aw Co Ltd | Intersection recognition system and intersection recognizing method |
JP2010237516A (en) | 2009-03-31 | 2010-10-21 | Nikon Corp | Program and device for performing reproduction |
JP2011065338A (en) | 2009-09-16 | 2011-03-31 | Toyota Central R&D Labs Inc | Object tracking device and program |
JP2016009331A (en) | 2014-06-24 | 2016-01-18 | 本田技研工業株式会社 | Vehicle surroundings monitoring apparatus |
US20160189342A1 (en) | 2014-12-29 | 2016-06-30 | Sony Corporation | Automatic scaling of objects based on depth map for image editing |
WO2021033453A1 (en) | 2019-08-21 | 2021-02-25 | コニカミノルタ株式会社 | Image processing system, image processing program, and image processing method |
-
2022
- 2022-01-24 JP JP2022008892A patent/JP7217820B1/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007034920A (en) | 2005-07-29 | 2007-02-08 | Aisin Aw Co Ltd | Intersection recognition system and intersection recognizing method |
JP2010237516A (en) | 2009-03-31 | 2010-10-21 | Nikon Corp | Program and device for performing reproduction |
JP2011065338A (en) | 2009-09-16 | 2011-03-31 | Toyota Central R&D Labs Inc | Object tracking device and program |
JP2016009331A (en) | 2014-06-24 | 2016-01-18 | 本田技研工業株式会社 | Vehicle surroundings monitoring apparatus |
US20160189342A1 (en) | 2014-12-29 | 2016-06-30 | Sony Corporation | Automatic scaling of objects based on depth map for image editing |
WO2021033453A1 (en) | 2019-08-21 | 2021-02-25 | コニカミノルタ株式会社 | Image processing system, image processing program, and image processing method |
Also Published As
Publication number | Publication date |
---|---|
JP2023107613A (en) | 2023-08-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101169533B1 (en) | Face posture estimating device, face posture estimating method, and computer readable recording medium recording face posture estimating program | |
JP4830650B2 (en) | Tracking device | |
JP6528764B2 (en) | Face matching device, method, and recording medium | |
JP2019501473A (en) | Method and system for real-time 3D capture and live feedback using a monocular camera | |
US9727776B2 (en) | Object orientation estimation | |
JP6873344B2 (en) | Fatigue judgment device, fatigue judgment method, and fatigue judgment program | |
JP2008176509A (en) | Information processing device and method | |
US10964046B2 (en) | Information processing apparatus and non-transitory computer readable medium storing information processing program for estimating face orientation by using an omni-directional camera | |
WO2023078135A1 (en) | Three-dimensional modeling method and apparatus, computer-readable storage medium, and computer device | |
CN114722913A (en) | Attitude detection method and apparatus, electronic device, and computer-readable storage medium | |
US11941498B2 (en) | Facial motion detection and image correction method and apparatus | |
JP7217820B1 (en) | Movement amount identification device, movement amount identification method, and movement amount identification program | |
JP7080285B2 (en) | Operation identification device, operation identification method and operation identification program | |
JP7283734B2 (en) | Tracking device, tracking method and program | |
JP7391150B1 (en) | Identification device, identification method and identification program | |
KR101844367B1 (en) | Apparatus and Method for Head pose estimation using coarse holistic initialization followed by part localization | |
US20220398867A1 (en) | Information processing apparatus and facial expression determination method | |
US20240020976A1 (en) | Information processing program, device, and method | |
JP7521704B2 (en) | Posture estimation device, learning model generation device, posture estimation method, learning model generation method, and program | |
WO2023068373A1 (en) | Thoracic motion measurement device, thoracic motion measurement program, and non-transitory storage medium | |
WO2024146165A1 (en) | Human eye positioning method and apparatus, and computing device and storage medium | |
WO2010134200A1 (en) | Device, method and program for processing images | |
JP2022053670A (en) | Interpolation device, interpolation system, and interpolation method | |
CN117474961A (en) | Method, device, equipment and storage medium for reducing depth estimation model error | |
JP2024108594A (en) | EVENT ESTIMATION DEVICE, EVENT ESTIMATION SYSTEM, EVENT ESTIMATION METHOD, AND PROGRAM |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220124 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221115 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221212 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221227 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230124 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7217820 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |