JP2020009472A - 人体認識方法、装置、機器及びコンピュータ読み取り可能な記憶媒体 - Google Patents

Abstract

【課題】人体認識方法、装置及び機器を提供する。【解決手段】人体認識方法は、撮影した１枚目のオリジナル画像を取得するステップと、取得した画像に基づいて解像度調整を行い、目標画像を得るステップと、予め設定された人体特徴点検出モデルに基づいて目標画像を処理し、目標画像に人体情報が含まれているか否かを確定するステップと、含まれている場合、人体情報に基づいてオリジナル画像において人体領域情報を確定し、且つフィルタが人体領域情報に基づいて目標人体領域情報を確定するように、人体領域情報をフィルタに入力するステップと、撮影した次のオリジナル画像を取得するステップと、目標人体領域情報に基づき、次のオリジナル画像において可能な人体領域を確定し、且つ可能な人体領域に基づいて解像度調整のステップを実行するステップと、を含む。【選択図】図１

Description

本開示は、画像処理技術に関し、特に人体認識方法、装置、機器及びコンピュータ読み取り可能な記憶媒体に関する。

現在、多くの応用シーンでは人体の運動情報を獲得する必要があり、例えばオーグメンテッドリアリティー（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ、ＡＲ）、バーチャルリアリティー（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ、ＶＲ）、安全保護システム及び一部のアプリケーション（Ａｐｐｌｉｃａｔｉｏｎｓ、ＡＰＰｓ）では、全て人の肢体に対する定位を行い、これにより人体情報を獲得する必要がある。

一般的に、人体の運動範囲が広く、左右に移動することができ、前後に移動することもできる。しかしながら、携帯電話のカメラなどの画像センサーの視角が全て広角であるため、被写体の距離が変化することによって、画面における人体の占める割合は非常に明らかに変化する。ビデオ特殊効果撮影ａｐｐを例に、ユーザーが前後に移動する舞踊動作を行うと、人体の占める画面割合が大きく変化する。少なくとも画像内の異なるサイズの変化の人体に対応することができるように、肢体定位方法に対してより高い要求を提出する。

従来技術におけるこの技術的問題の解決策は、直接モデルに入力した画像の解像度を上げ、これにより画像内の人体情報を認識することであるが、この解決策はモデル内の計算量が倍増することを招く。したがって、人体を正確且つ迅速に定位することは当業者が早急に解決しなければならない技術的問題である。

本開示は、従来技術において人体を正確且つ迅速に定位できないという問題を解決するために、人体認識方法、装置、機器及びコンピュータ読み取り可能な記憶媒体を提供する。

本開示の第１の態様にて提供される人体認識方法は、
撮影した１枚目のオリジナル画像を取得するステップと、
取得した１枚目のオリジナル画像に基づいて解像度調整を行い、目標画像を得るステップと、
予め設定された人体特徴点検出モデルに基づいて前記目標画像を処理し、前記目標画像に人体情報が含まれているか否かを確定するステップと、
含まれている場合、前記人体情報に基づいてオリジナル画像において人体領域情報を確定し、且つフィルタが前記人体領域情報に基づいて目標人体領域情報を確定するように、前記人体領域情報を前記フィルタに入力するステップと、
撮影した次のオリジナル画像を取得するステップと、
前記目標人体領域情報に基づき、前記次のオリジナル画像において可能な人体領域を確定し、且つ前記可能な人体領域に基づいて前記解像度調整のステップを実行するステップと、を含む。

本開示の別の態様にて提供される人体認識装置は、
撮影した１枚目のオリジナル画像を取得するための取得モジュールと、
取得した１枚目のオリジナル画像に基づいて解像度調整を行い、目標画像を得るための調整モジュールと、
予め設定された人体特徴点検出モデルに基づいて前記目標画像を処理し、前記目標画像に人体情報が含まれているか否かを確定するための処理モジュールと、
含まれている場合、前記人体情報に基づいてオリジナル画像において人体領域情報を確定し、且つフィルタモジュールが前記人体領域情報に基づいて目標人体領域情報を確定するように、前記人体領域情報を前記フィルタモジュールに入力する第１の確定モジュールと、
前記目標人体領域情報に基づき、次のオリジナル画像において可能な人体領域を確定するための第２の確定モジュールと、を含み、
前記取得モジュールはまた撮影した前記次のオリジナル画像を取得するために用いられ、
前記調整モジュールはまた前記可能な人体領域に基づいて前記解像度調整のステップを実行するために用いられる。

本開示のさらに別の態様にて提供される人体認識機器は、
メモリと、
プロセッサと、
前記メモリに記憶され、且つ上述した第１の態様に記載の人体認識方法を実現するように、前記プロセッサによって実行されるように配置されたコンピュータプログラムと、を含む。

本開示のさらに別の態様にて提供されるコンピュータ読み取り可能な記憶媒体は、コンピュータプログラムが記憶されており、上述した第１の態様に記載の人体認識方法を実現するように、前記コンピュータプログラムがプロセッサによって実行される。

本開示の提供する人体認識方法、装置、機器及びコンピュータ読み取り可能な記憶媒体は、撮影した１枚目のオリジナル画像を取得することと、取得した画像に基づいて解像度調整を行い、目標画像を得ることと、予め設定された人体特徴点検出モデルに基づいて目標画像を処理し、目標画像に人体情報が含まれているか否かを確定することと、含まれている場合、人体情報に基づいてオリジナル画像において人体領域情報を確定し、且つフィルタが人体領域情報に基づいて目標人体領域情報を確定するように、人体領域情報をフィルタに入力することと、撮影した次のオリジナル画像を取得することと、目標人体領域情報に基づき、次のオリジナル画像において可能な人体領域を確定し、且つ可能な人体領域に基づいて解像度調整のステップを実行することと、を含む。本開示の提供する方法、装置、機器及びコンピュータ読み取り可能な記憶媒体において、予め設定された人体特徴点検出モデルに入力される画像の解像度が一定であり、モデル入力データの複雑さを増大させる必要がなく、且つ、画像中における時間の経過に伴う人体領域の関連関係に基づいてオリジナル画像を処理でき、人体が存在する可能性がある可能な人体領域を認識し、さらに該可能な人体領域を処理でき、処理される必要のある画像データを大幅に減らすことができる。

本願の例示的な実施例によって示される人体認識方法のフローチャートである。 本願の別の例示的な実施例によって示される人体認識方法のフローチャートである。 本願の例示的な実施例によって示される人体認識装置の構造図である。 本願の別の例示的な実施例によって示される人体認識装置の構造図である。 本願の例示的な実施例によって示される人体認識機器の構造図である。

人体認識技術は多くの応用シーンで応用され、主に肢体特徴を認識することによって人体の位置を確定する。特に、ビデオ内の人体の位置を確定する際には、各フレームのオリジナル画像上の肢体特徴点を見つけ出し、且つ人体の位置を確定することが必要である。しかしながら、ビデオ内の人体が前後に移動する可能性があるため、画面における人体の占める割合は非常に明らかに変化し、さらに従来技術における単一認識がオリジナル画面から人体を正確に認識することができない。

本願の実施例の提供する解決策では、ビデオにおける連続画像と結合して次のフレームの画像において、人体が存在する可能性がある領域を確定でき、さらにこの可能な領域において人体を認識し、認識画像のサイズを縮小でき、これにより計算量を低下させ、さらに人体を正確に認識することができる。

図１は、本願の例示的な実施例によって示される人体認識方法のフローチャートである。

図１に示すように、本実施例の提供する人体認識方法は、ステップ１０１〜ステップ１０６を含む。

ステップ１０１は、撮影した１枚目のオリジナル画像を取得する。

ただし、本実施例の提供する方法をソフトウェアとしてパッケージ化して機器に実装してもよく、該機器はスマート端末、コンピュータ、タブレットなどであってもよい。該機器は撮影機能を備えてもよく、撮影機能を備えなくてもよい。該機器が撮影機能を備える場合、また記憶機能を備えてもよく、撮影したビデオを記憶するために用いられ、且つそれ自体が記憶したビデオを読み取ることができ、例えば、スマートフォンである。該機器が撮影機能を備えない場合、記憶機能を有する他の機器と接続してもよく、さらに他の機器から撮影したビデオを取得し、例えば記憶機器と接続可能なコンピュータである。

具体的には、本実施例の提供する方法は撮影済みのビデオを処理するために用いられてもよく、例えば、フレーム毎に撮影済みのビデオ内の画面を読み取り、且つ各フレームの画像を処理できる。本実施例の提供する方法はまた撮影中のビデオを処理してもよく、この時、フレーム毎に撮影中のビデオを読み取り、且つ撮影した全ての画面の処理が完了するまで、各フレームの画像を処理してもよい。

また、本実施例の提供する方法は連写した複数枚の画像を処理してもよく、撮影した画像を撮影順序に従って１枚ずつ読み取り、且つ読み取った各画像を処理してもよい。説明の便宜上、本実施例はビデオを例として詳細に説明する。

さらに、撮影したビデオ内の第一フレームの画面を１枚目のオリジナル画像として取得してもよい。ビデオ内の第一フレームの画面を取得するとき、画面において人体が存在する可能性がある領域を確定できないため、該オリジナル画像を処理し、且つ人***置を確定する。

ステップ１０２は、取得した画像に基づいて解像度調整を行い、目標画像を得る。

実際に応用する場合、撮影機器が取得した画像の解像度は１２８０×７２０、１９２０×１０８０などのフォーマットである可能性があり、この時、その解像度が予め設定された人体特徴点検出モデルの指定解像度と一致するように、オリジナル画像に対して圧縮処理を行ってもよい。

一般的には、モデル入力画像の解像度が低いほど、該モデルの計算量は小さくなる。例えば、高入力解像度のＤｅｅｐ−Ｌｅａｒｎｉｎｇモデルを用いて人体特徴点検出を行うと、直接単一モデルにより高解像度の画像上の肢体特徴点を見つけ出してもよい。畳み込みニューラルネットワークの特性のため、計算量は入力解像度に比例し、例えば解像度を１６０×１６０から３２０×３２０まで上げると、計算量は直接４倍増加し、時間は４倍延長する。したがって、入力した画像の解像度がちょうどモデルに計算を完了させて認識できることは好ましい場合であり、計算量を増やすことなく、所望の出力結果を得ることができる。したがって、本実施例の提供する方法は処理後の目標画像を予め設定された人体特徴点検出モデルに入力し、計算量が大きすぎるという問題を回避する。

直接画像に対して圧縮処理を行って予め設定された人体特徴点検出モデルにより指定された解像度を得ることができない場合、また画像に対してパディング処理を行ってもよい。例えば、１枚目のオリジナル画像の解像度が１２８０×７２０であり、調整しようとする目標解像度が３２０×３２０であると、まず１枚目のオリジナル画像を３２０×１８０に圧縮し、さらに画像においてパディングを行うことにより、画像の解像度が３２０×３２０となり、画像の上下にそれぞれ高さが７０で、幅が３２０である黒色領域をパディングしてもよい。

方法の実行開始時に、取得した１枚目のオリジナル画像に基づいて目標画像を得てもよく、方法の実行中に、再度ステップ１０２を実行すると、他のオリジナル画像に基づいて可能な人体領域を確定し、さらに該可能な人体領域に対応する画像に基づいて目標画像を得る可能性がある。

ステップ１０３は、予め設定された人体特徴点検出モデルに基づいて目標画像を処理し、目標画像に人体情報が含まれているか否かを確定する。

調整済みの目標画像を予め設定された人体特徴点検出モデルに入力し、該モデルにより人体情報を出力してもよい。オリジナル画像に人体情報が含まれていない場合、目標画像にも人体情報が含まれない時、モデルは空のメッセージを出力できる。目標画像に人体情報が含まれている場合、例えば人体の具体的な輪郭、目標画像における相対位置など、目標画像における人体情報を確定することができる。

人体特徴点検出モデルは従来技術における既存のモデルであってもよく、例えばｓｎａｋｅ方法、アクティブ形状モデル（ＡＳＭ）、アクティブアピアランスモデル（ＡＡＭ）などである。これらのモデルに基づいて、目標画像に人体情報があるか否かを認識することができる。

具体的には、予め設定された人体特徴点検出モデルは目標画像における肢体特徴点を認識し、これにより目標画像に人体情報が含まれているか否かを認識するために用いられる。

人体情報が含まれている場合、ステップ１０４を実行する。

ステップ１０４は、人体情報に基づき、オリジナル画像において人体領域情報を確定し、且つフィルタが人体領域情報に基づいて目標人体領域情報を確定するように、人体領域情報をフィルタに入力する。

さらに、目標画像が第１のオリジナル画像により確定されるため、まず認識された人体の目標画像における位置を確定し、さらに該位置に基づいて第１のオリジナル画像において人体領域情報を確定することができる。例えば、人体が目標画像における中心位置にある場合、第１のオリジナル画像において、人体も中心領域にあるべきである。目標画像にパディング領域を含まれている場合、まず人体の目標画像における相対中心位置を確定し、且つ該相対位置に基づいて第１のオリジナル画像において人体領域情報を確定する。

実際に応用する場合、フィルタが人体領域情報に基づいて目標人体領域情報を確定するように、人体領域情報をフィルタに入力してもよい。人体領域情報が１枚目のオリジナル画像において確定されたものであると、フィルタにまだ画面から得られた人体領域情報がなく、この時、確定された目標人体領域情報は入力した人体領域情報と同じである可能性がある。

人体領域情報が後続の他のフレームの画像において確定されたものであると、フィルタは該フレームの画像の前の、連続して予め設定された画像の目標人体領域情報に基づいて入力された人体領域情報を調整し、これにより連続する複数のフレームの画像の関連関係に基づいて目標人体領域情報を確定することができる。ビデオ又は連写した画像について、その中の人体領域情報は時間の経過に伴って、例えば領域が近いなどの一定の関連関係を有し、したがって、得られた新たな人体領域情報及び履歴人体領域情報と結合してフィルタリングを行ってもよく、得られた目標人体領域情報に時間領域上の付加情報を含み、さらに該目標人体領域情報に基づいてオリジナル画像から人体領域情報を取得する時、ブレを低減することができる。

ただし、フィルタはカルマンフィルタ又は他の平滑化フィルタであってもよく、これにより認識中に発生するブレを低減する。

ステップ１０５は、撮影した次のオリジナル画像を取得する。

実際に応用する場合、ビデオ又は連続して撮影した画像における１枚目の画像に対する処理が完了した後、次のオリジナル画像の読み取りを続けてもよい。ビデオを例に、次のフレームの画像を次のオリジナル画像として取得してもよい。

ステップ１０６は、目標人体領域情報に基づき、次のオリジナル画像において可能な人体領域を確定する。

且つ可能な人体領域に基づいてステップ１０２における解像度調整のステップを実行する。

ただし、１枚目のオリジナル画像において目標人体領域情報が確定されると、該目標人体領域情報に基づいて次の画像において人体が存在する可能性がある領域を予測してもよい。

具体的には、目標人体領域情報がちょうど人体の所在する領域情報であり、即ち目標人体領域が人体をちょうど覆うことができると、該目標人体領域を拡大してもよく、これにより次の画像において、人体が拡大した領域内にあることを予測する。同一のビデオについて、その各フレームの画像のサイズが同一であると考えられてもよく、したがって、前の画像における人体の所在する領域に基づき、次の画像において、人体の存在する可能性がある領域位置を予測してもよい。

さらに、予測された可能な人体領域に基づいて取得した次のオリジナル画像においてスクリーンショット処理を行って、人体を含む可能性がある画像を得、さらに該可能な人体領域に対応する画像を取得し、そして該画像に基づいてステップ１０２における解像度調整のステップを実行してもよい。

実際に応用する場合、オリジナル画像においてスクリーンショットして人体を含む可能性がある画像を得た時、該画像の解像度は予め設定された人体特徴点検出モデルの指定解像度より小さい可能性があり、この時、人体を含む可能性がある画像に対して伸張、パディング処理を行って、これによりその解像度が上記モデルの入力データに対する要求に合致するようにしてもよい。

それに応じて、該スクリーンショットに基づいて再び目標画像を得て、さらに予め設定された人体特徴点検出モデルに基づいて今回得られた目標画像を処理し、目標画像に人体情報が含まれているか否かを確定してもよい。含まれている場合、人体情報に基づいて今回取得したオリジナル画像において人体領域情報を確定し、且つフィルタが人体領域情報に基づいて目標人体領域情報を確定するように、人体領域情報をフィルタに入力する。

ただし、複数回の循環処理を経て、モデルの入力解像度を変更することなく、ビデオにおける各フレームの画面の人体特徴を認識でき、同時に、前の画像における目標人体領域情報に基づき、次のフレームの画像における人体の可能な領域情報を予測し、画像間の人***置関係を考慮した場合に、人体の所在する領域を確定でき、ブレを低減でき、これにより確定した人体領域をより正確にする。ビデオにおける全てのフレームの画面を処理し、最後のフレームの画面に対する処理が完了すると、本方法を終了する。

本実施例の提供する方法は画像内の人体を認識するために用いられ、該方法は本実施例の提供する方法が設置された機器により実行され、該機器は通常ハードウェア及び／又はソフトウェアの方式で実現される。

本実施例の提供する人体認識方法は、撮影した１枚目のオリジナル画像を取得するステップと、取得した画像に基づいて解像度調整を行い、目標画像を得るステップと、予め設定された人体特徴点検出モデルに基づいて目標画像を処理し、目標画像に人体情報が含まれているか否かを確定するステップと、含まれている場合、人体情報に基づいてオリジナル画像において人体領域情報を確定し、且つフィルタが人体領域情報に基づいて目標人体領域情報を確定するように、人体領域情報をフィルタに入力するステップと、撮影した次のオリジナル画像を取得するステップと、目標人体領域情報に基づき、次のオリジナル画像において可能な人体領域を確定し、且つ可能な人体領域に基づいて解像度調整のステップを実行するステップと、を含む。本実施例の提供する方法は、予め設定された人体特徴点検出モデルに入力される画像の解像度が一定であり、モデル入力データの複雑さを増大させる必要がなく、且つ、画像における時間の経過に伴う人体領域の関連関係に基づいてオリジナル画像を処理でき、人体が存在する可能性がある可能な人体領域を認識し、さらに該可能な人体領域を処理でき、これにより処理される必要のある画像データを大幅に減らすことができる。

図２は、本願の別の例示的な実施例によって示される人体認識方法のフローチャートである。

図２に示すように、本実施例の提供する人体認識方法は、ステップ２０１〜ステップ２０８を含む。

ステップ２０１は、撮影した１枚目のオリジナル画像を取得する。

ステップ２０１はステップ１０１の具体的な原理及び実現方式と類似し、ここでは説明を省略する。

ステップ２０２は、目標画像の解像度が予め設定された人体特徴点検出モデルの入力画像の解像度と合致するように、取得した画像に基づいて圧縮、及び／又は伸張、及び／又はパディング処理を行って目標画像を得る。

ただし、本実施例の提供する方法において、画像に対して解像度処理を行う方式は圧縮、伸張、パディングなどの方式を含んでもよく、画像の解像度に基づいて具体的にどの方式で画像を処理するかを決定し、処理した後に得られた目標画像の解像度は予め設定された人体特徴点検出モデルの入力画像の解像度と合致し、例えば、予め設定された人体特徴点検出モデルの入力画像の解像度が３２０×３２０であれば、得られた目標画像の解像度も３２０×３２０である。

具体的には、処理する画像の解像度が比較的大きい場合、例えば１枚目のオリジナル画像を処理する場合、圧縮操作を選択してもよい。処理する画像の解像度が比較的小さい場合、例えば、オリジナル画像からスクリーンショットした可能な人体領域であれば、画像に対して伸張操作を行ってもよい。

さらに、方法の最初の実行過程で、まだ人体の可能な領域を確定できず、そのため、取得した１枚目のオリジナル画像に基づいて目標画像を確定する。後続の循環実行過程で、人体情報が検出される可能性があり、且つ人体情報に基づいてオリジナル画像に存在する可能性がある人体領域を確定し、且つ該可能な人体領域に対してスクリーンショットを行い、この時、該可能な人体領域に対応する画像を取得し、且つ処理して目標画像を得てもよい。また、前のオリジナル画像において人体情報が検出されなければ、次のオリジナル画像を処理する時、１枚目のオリジナル画像を処理するフローと同じである。

ステップ２０３は、予め設定された人体特徴点検出モデルに基づいて目標画像を処理し、目標画像に人体情報が含まれているか否かを確定する。

ステップ２０３はステップ１０３の具体的な原理及び実現方式と類似し、ここでは説明を省略する。

含まれている場合、ステップ２０４を実行し、そうでない場合、ステップ２０６を実行する。

ステップ２０４は、人体情報に基づいて目標画像において人体の所在する領域を確定する。

予め設定された人体特徴点検出モデルが人体情報を検出した後、その確定された人体情報に基づいて目標画像において人体の所在する領域を確定できる。人体情報に位置情報が含まれている場合、該位置情報に基づいて人体の所在する領域を直接確定できる。人体情報に位置情報が含まれていない場合、目標画像に基づいて人体情報を含む領域を検出し、且つ該領域を人体の所在する領域としてもよい。

ステップ２０５は、目標画像における人体の所在する領域に基づいてオリジナル画像において座標情報を確定する。

本実施例の提供する方法において、人体領域情報は座標情報で表すことができる。

目標画像がオリジナル画像に基づいて取得されたものである場合、人体情報の目標画像における相対位置に基づき、オリジナル画像において座標情報を確定できる。オリジナル画像に対して等比率圧縮を行って目標画像を得ることができ、例えば、１枚目のオリジナル画像を圧縮して目標画像を得て、この時、目標画像の相対位置に基づいて第１のオリジナル画像において対応する領域を見つけることができる。オリジナル画像における人体の所在する領域を確定した後、該領域の座標情報を取得することができる。

目標画像が可能な人体領域に基づいて取得されたものである場合、まず可能な人体領域内において人***置を確定し、さらに可能な人体領域が属するオリジナル画像において座標情報を確定してもよい。同様に、目標画像において人体領域の所在する相対位置を確定し、さらに該相対位置に基づいて可能な人体領域内において人体の所在する領域を見つけてもよく、可能な人体領域がオリジナル画像の一部であるため、可能な人体領域のオリジナル画像における位置を確定し、そして可能な人体領域の相対位置、可能な人体領域のオリジナル画像における位置に基づき、オリジナル画像において、人体の所在する領域を確定し、さらに該領域の座標情報を取得してもよい。

ただし、現在確定した人体領域情報が次のフレームの画像において人体領域を確定する結果に影響を与え、人体の運動過程において、その位置する画面領域が変化するため、ステップ２０５はさらに、
目標画像における人体の所在する領域に基づいてオリジナル画像においてオリジナル人体領域を確定することと、
オリジナル人体領域を予め設定された倍率で拡大して拡大領域を得ることと、
拡大領域の左上隅の横座標、縦座標及び右下隅の横座標、縦座標を座標情報として確定するか、或いは拡大領域の左上隅の横座標、縦座標及び中心点の横座標、縦座標を座標情報として確定するか、或いは拡大領域の右下隅の横座標、縦座標及び中心点の横座標、縦座標を座標情報として確定することと、を含んでもよい。

ただし、目標画像における人体の所在する領域に基づいてオリジナル画像においてオリジナル人体領域を確定することは上記記載と類似し、人体の所在する領域の目標画像における相対位置に基づき、オリジナル画像においてオリジナル人体領域を確定してもよい。

オリジナル画像において、オリジナル人体領域を拡大してもよく、例えば元の１．２倍に拡大してもよく、具体的にはオリジナル人体領域の中心から外へ１．２倍拡大してもよく、これにより現在のフレームの画像における人体領域に基づいて次のフレームの画像における人体領域を認識する時、人体の移動による人体の一部の肢体の認識漏れを回避する。

それに応じて、拡大領域に基づいて座標情報を確定してもよく、具体的には拡大領域の左上隅の横座標、縦座標及び右下隅の横座標、縦座標を座標情報として確定するか、或いは拡大領域の左上隅の横座標、縦座標及び中心点の横座標、縦座標を座標情報として確定するか、或いは拡大領域の右下隅の横座標、縦座標及び中心点の横座標、縦座標を座標情報として確定してもよい。

選択的に、目標画像において確定された人体の所在する領域は矩形領域であり、それに応じて、人体の所在する領域に基づいてオリジナル画像において確定された人体領域も矩形領域であり、それを拡大して得られた拡大領域は依然として矩形領域である。該矩形は、長方形又は正方形領域を指す。

ステップ２０６は、フィルタが人体領域情報、履歴目標人体領域情報に基づき、人体領域情報に対応する目標人体領域情報を確定するように、人体領域情報をフィルタに入力する。

ただし、履歴目標人体領域情報は、これまでオリジナル画像に基づいて確定した目標人体領域情報である。

具体的には、方法を実行し始めた時、１枚目のオリジナル画像に基づいて人体領域情報を確定し、且つ人体領域情報をフィルタに入力すると、フィルタは該人体領域情報に基づいて目標人体領域情報を確定する。

さらに、方法の実行中に、循環して再び本ステップを実行し、この時、これまで他のフレームの画像に基づいて目標人体領域情報を既に確定し、即ち履歴目標人体領域情報を既に確定したため、フィルタは現在入力した人体領域情報、及び履歴目標人体領域情報に基づき、現在入力された人体領域情報に対応する目標人体領域情報を確定してもよい。

本実施例の提供する方法において、フィルタは現在最新の人体領域情報と過去の連続した数枚の画像を検出して得られた目標人体領域情報を結合して一括してフィルタリングし、例えば、現在の人体領域情報、及びこれまでの連続した数枚の画像から得られた目標人体領域情報を一括してフィルタリングし、それにより、時間的に、連続した複数枚の画像の間の関連性に基づき、人体領域情報を調整し、これにより時間的に付加情報を取得し、得られた目標人体領域情報をより平滑化し、ブレを低減できる。フィルタは、カルマンフィルタ又は単純な平滑化フィルタであってもよい。

ステップ２０７は、撮影した次のオリジナル画像を取得する。

ただし、これまで取得したのが１枚目のオリジナル画像である場合、本ステップを実行する時、２枚目のオリジナル画像を取得してもよい。これまで取得したのがＮ枚目のオリジナル画像である場合、本ステップを実行する時、Ｎ＋１枚目のオリジナル画像を取得してもよい。

ステップ２０７はステップ１０５の具体的な原理及び実現方式と類似し、ここでは説明を省略する。

ステップ２０８は、目標人体領域情報に基づき、次のオリジナル画像において可能な人体領域を確定する。

ただし、これまで取得されたのが１枚目のオリジナル画像であり、且つ１枚目のオリジナル画像において目標人体領域情報が確定された場合、該目標人体領域情報に基づき、ステップ２０７において取得したオリジナル画像において可能な人体領域を確定する。

具体的には、これまで取得したのがＮ枚目のオリジナル画像であり、且つＮ枚目のオリジナル画像において目標人体領域情報を確定された場合、該目標人体領域情報に基づき、ステップ２０７において取得したオリジナル画像において可能な人体領域を確定する。

さらに、該可能な人体領域に基づいてステップ２０２における解像度調整のステップを実行する。可能な人体領域に基づいて取得したオリジナル画像に対してスクリーンショット処理を行い、さらに該スクリーンショットを取得し、且つステップ２０２を実行する。

選択的に、ステップ２０３において、オリジナル画像に人体情報が含まれないと確定されると、この時のオリジナル画像は取得した１枚目のオリジナル画像であってもよく、Ｎ枚目のオリジナル画像であってもよく、その中に人体情報が含まれないと、撮影した次のオリジナル画像を取得するステップ２０７を直接実行し、且つ取得した次のオリジナル画像に基づいて解像度を調整して目標画像を取得するステップ２０２を実行し続ける。

本実施例の提供する方法において、ステップ２０３においてオリジナル画像に人体情報が含まれていると判断されると、ステップ２０３の後に、ステップ２０４〜ステップ２０８を実行してもよく、ステップ２０３においてオリジナル画像に人体情報が含まれていないと判断されると、ステップ２０２において圧縮、及び／又は伸張、及び／又はパディング処理を行って目標画像を取得するステップを実行してもよい。

実際に応用する場合、フレーム毎にオリジナル画像を取得してもよい。まず現在のオリジナル画像に対して解像度処理を行って目標画像を取得し、続いて予め設定された人体特徴点検出モデルに基づいて目標画像に人体情報が含まれているか否かを認識し、含まれている場合、人体の所在する目標人体領域情報を確定し、含まれていない場合、次のフレームのオリジナル画像を取得する。

現在取得したオリジナル画像を処理する時、前のフレームの画像に人体情報が含まれ、即ち前のフレームの画像の目標人体領域情報を確定された場合、前のフレームの画像の目標人体領域情報に基づいて現在取得したオリジナル画像において可能な人体領域を確定し、且つ該可能な領域に基づいて解像度処理を行って目標画像を得ることができる。前のフレームの画像に人体情報が含まれない場合、前のフレームの画像に目標人体領域情報がなく、この時、現在取得したオリジナル画像に対して解像度処理を行って目標画像を得ることができる。

図３は、本願の例示的な実施例によって示される人体認識装置の構造図である。

図３に示すように、本実施例の提供する人体認識装置は、
撮影した１枚目のオリジナル画像を取得するための取得モジュール３１と、
取得した１枚目のオリジナル画像に基づいて解像度調整を行い、目標画像を得るための調整モジュール３２と、
予め設定された人体特徴点検出モデルに基づいて前記目標画像を処理し、前記目標画像に人体情報が含まれているか否かを確定するための処理モジュール３３と、
含まれている場合、前記人体情報に基づいてオリジナル画像において人体領域情報を確定し、且つフィルタモジュール３５が前記人体領域情報に基づいて目標人体領域情報を確定するように、前記人体領域情報を前記フィルタモジュール３５に入力する第１の確定モジュール３４と、
前記目標人体領域情報に基づき、次のオリジナル画像において可能な人体領域を確定するための第２の確定モジュール３６と、を含み、
前記取得モジュール３１はまた撮影した前記次のオリジナル画像を取得するために用いられ、
前記調整モジュール３２はまた前記可能な人体領域に基づいて前記解像度調整のステップを実行するために用いられる。

本実施例の提供する人体認識装置は、撮影した１枚目のオリジナル画像を取得するための取得モジュールと、取得したオリジナル画像に基づいて解像度調整を行い、目標画像を得るための調整モジュールと、予め設定された人体特徴点検出モデルに基づいて目標画像を処理し、目標画像に人体情報が含まれているか否かを確定するための処理モジュールと、含まれている場合、人体情報に基づいてオリジナル画像において人体領域情報を確定し、且つフィルタモジュールが人体領域情報に基づいて目標人体領域情報を確定するように、人体領域情報をフィルタモジュールに入力する第１の確定モジュールと、目標人体領域情報に基づき、次のオリジナル画像において可能な人体領域を確定するための第２の確定モジュールと、を含み、取得モジュールはまた撮影した次のオリジナル画像を取得するために用いられ、調整モジュールはまた可能な人体領域に基づいて解像度調整のステップを実行するために用いられる。本実施例の提供する装置は、予め設定された人体特徴点検出モデルに入力した画像の解像度が一定であり、モデル入力データの複雑さを増大させる必要がなく、且つ、画像中における時間の経過に伴う人体領域の関連関係に基づいてオリジナル画像を処理でき、人体が存在する可能性がある可能な人体領域を認識でき、さらに該可能な人体領域を処理し、これにより処理される必要のある画像データを大幅に減らすことができる。

本実施例の提供する人体認識装置の具体的な原理及び実現方式はいずれも図１に示す実施例と類似し、ここでは説明を省略する。

図４は、本願の別の例示的な実施例によって示される人体認識装置の構造図である。

図４に示すように、上記実施例の上で、本実施例の提供する人体認識装置は、前記処理モジュール３３により前記目標画像に前記人体情報が含まれていないと確定されると、前期取得モジュール３１は撮影した次のオリジナル画像を取得する前記ステップを実行し、調整モジュール３２は前記次のオリジナル画像に基づいて解像度調整を行って目標画像を得る。

前記調整モジュール３２は具体的には、目標画像の解像度が前記予め設定された人体特徴点検出モデルの入力画像の解像度と合致するように、画像に対して圧縮、及び／又は伸張、及び／又はパディング処理を行って前記目標画像を得るために用いられる。

前記第１の確定モジュール３４は、
前記人体情報に基づいて前記目標画像において人体の所在する領域を確定するための領域確定ユニット３４１と、
前記目標画像における前記人体の所在する領域に基づいて前記オリジナル画像において座標情報を確定するための座標確定ユニット３４２と、を含む。

前記座標確定ユニット３４２は具体的には、
前記目標画像における前記人体の所在する領域に基づいて前記オリジナル画像においてオリジナル人体領域を確定し、
前記オリジナル人体領域を予め設定された倍率で拡大して拡大領域を得て、
前記拡大領域の左上隅の横座標、縦座標及び右下隅の横座標、縦座標を前記座標情報として確定するか、或いは前記拡大領域の左上隅の横座標、縦座標及び中心点の横座標、縦座標を前記座標情報として確定するか、或いは前記拡大領域の右下隅の横座標、縦座標及び中心点の横座標、縦座標を前記座標情報として確定するために用いられる。

前記人体の所在する領域は矩形領域である。

前記フィルタモジュール３５は具体的には、
前記人体領域情報、これまでオリジナル画像に基づいて確定した前記目標人体領域情報である履歴目標人体領域情報に基づき、前記人体領域情報に対応する目標人体領域情報を確定するために用いられる。

本実施例の提供する人体認識装置の具体的な原理及び実現方式はいずれも図２に示す実施例と類似し、ここでは説明を省略する。

図５は、本願の例示的な実施例によって示される人体認識機器の構造図である。

図５に示すように、本実施例の提供する人体認識機器は、
メモリ５１と、
プロセッサ５２と、
前記メモリ５１に記憶され、且つ上記いずれかの人体認識方法を実現するように、前記プロセッサ５２によって実行されるように配置されるコンピュータプログラムと、を含む。

本実施例はまたコンピュータ読み取り可能な記憶媒体を提供し、コンピュータプログラムが記憶されており、
上記いずれかの人体認識方法を実現するように、前記コンピュータプログラムがプロセッサによって実行される。

当業者であれば理解できるように、上記各方法例の全部又は一部のステップは、プログラム命令に関連するハードウェアによって達成することができる。前記プログラムは、コンピュータ読み取り可能な記憶媒体に記憶されてもよい。該プログラムを実行する時、上記各方法例を含むステップを実行する。前記記憶媒体は、読み取り専用メモリ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ、ＲＯＭ）、ランダムアクセスメモリ（ｒａｎｄｏｍ ａｃｃｅｓｓｅｄ ｍｅｍｏｒｙ、ＲＡＭ）、磁気ディスク又は光ディスクなど、プログラムコードを記憶できる各種の媒体を含む。

最後に説明すべきように、以上の各実施例が、本願の技術的解決手段を説明することにのみ用いられ、これらに限定されるものではないことである。前述各実施例を参照して本願について詳細に説明したが、当業者であれば理解すべきように、それは、依然として前述各実施例に記載された技術的解決手段を修正し、又はそのうちの一部又は全部の技術的特徴に対して同等の置換を行うことが可能である。これらの修正又は置換は、対応する技術的解決手段の本質を本願の各実施例の技術的解決手段の範囲から逸脱させるものではない。

Claims (10)

1. 人体認識方法であって、
   撮影した１枚目のオリジナル画像を取得するステップと、
   取得した１枚目のオリジナル画像に基づいて解像度調整を行い、目標画像を得るステップと、
   予め設定された人体特徴点検出モデルに基づいて前記目標画像を処理し、前記目標画像に人体情報が含まれているか否かを確定するステップと、
   含まれている場合、前記人体情報に基づいてオリジナル画像において人体領域情報を確定し、且つフィルタが前記人体領域情報に基づいて目標人体領域情報を確定するように、前記人体領域情報を前記フィルタに入力するステップと、
   撮影した次のオリジナル画像を取得するステップと、
   前記目標人体領域情報に基づき、前記次のオリジナル画像において可能な人体領域を確定し、且つ前記可能な人体領域に基づいて前記解像度調整のステップを実行するステップと、を含むことを特徴とする人体認識方法。
2. 前記目標画像に前記人体情報が含まれていない場合、撮影した次のオリジナル画像を取得する前記ステップを実行し、且つ前記次のオリジナル画像に基づいて解像度調整を行って目標画像を得ることを特徴とする請求項１に記載の人体認識方法。
3. 前記解像度調整を行うステップは、
   目標画像の解像度が前記予め設定された人体特徴点検出モデルの入力画像の解像度と合致するように、オリジナル画像に対して圧縮、伸張、及びパディング処理のうちの少なくとも１つを行って前記目標画像を得るステップを含むことを特徴とする請求項１に記載の人体認識方法。
4. 前記人体情報に基づいてオリジナル画像において人体領域情報を確定する前記ステップは、
   前記人体情報に基づいて前記目標画像において人体の所在する領域を確定するステップと、
   前記目標画像における前記人体の所在する領域に基づいて前記オリジナル画像において座標情報を確定するステップと、を含むことを特徴とする請求項１に記載の人体認識方法。
5. 前記目標画像における前記人体の所在する領域に基づいて前記オリジナル画像において座標情報を確定するステップは、
   前記目標画像における前記人体の所在する領域に基づいて前記オリジナル画像においてオリジナル人体領域を確定するステップと、
   前記オリジナル人体領域を予め設定された倍率で拡大して拡大領域を得るステップと、
   前記拡大領域の左上隅の横座標、縦座標及び右下隅の横座標、縦座標を前記座標情報として確定するか、或いは前記拡大領域の左上隅の横座標、縦座標及び中心点の横座標、縦座標を前記座標情報として確定するか、或いは前記拡大領域の右下隅の横座標、縦座標及び中心点の横座標、縦座標を前記座標情報として確定するステップと、を含むことを特徴とする請求項４に記載の人体認識方法。
6. 前記人体の所在する領域は矩形領域であることを特徴とする請求項４又は５に記載の人体認識方法。
7. 前記フィルタが前記人体領域情報に基づいて目標人体領域情報を確定するステップは、
   前記フィルタが前記人体領域情報、これまでオリジナル画像に基づいて確定した前記目標人体領域情報である履歴目標人体領域情報に基づき、前記人体領域情報に対応する目標人体領域情報を確定するステップを含むことを特徴とする請求項１に記載の人体認識方法。
8. 人体認識装置であって、
   撮影した１枚目のオリジナル画像を取得するための取得モジュールと、
   取得した画像に基づいて解像度調整を行い、目標画像を得るための調整モジュールと、
   予め設定された人体特徴点検出モデルに基づいて前記目標画像を処理し、前記目標画像に人体情報が含まれているか否かを確定するための処理モジュールと、
   含まれている場合、前記人体情報に基づいてオリジナル画像において人体領域情報を確定し、且つフィルタモジュールが前記人体領域情報に基づいて目標人体領域情報を確定するように、前記人体領域情報を前記フィルタモジュールに入力する第１の確定モジュールと、
   前記目標人体領域情報に基づき、次のオリジナル画像において可能な人体領域を確定するための第２の確定モジュールと、を含み、
   前記取得モジュールはまた撮影した前記次のオリジナル画像を取得するために用いられ、
   前記調整モジュールはまた前記可能な人体領域に基づいて前記解像度調整のステップを実行するために用いられることを特徴とする人体認識装置。
9. 人体認識機器であって、
   メモリと、
   プロセッサと、
   前記メモリに記憶され、且つ請求項１〜７のいずれか１項に記載の人体認識方法を実現するように、前記プロセッサによって実行されるように配置されるコンピュータプログラムと、を含むことを特徴とする人体認識機器。
10. コンピュータ読み取り可能な記憶媒体であって、
    コンピュータプログラムが記憶されており、
    請求項１〜７のいずれか１項に記載の人体認識方法を実現するように、前記コンピュータプログラムがプロセッサによって実行されることを特徴とするコンピュータ読み取り可能な記憶媒体。

Images