JP2022547246A - 非正規着座姿勢の認識方法、装置、電子機器、記憶媒体及びプログラム - Google Patents

Abstract

本発明の実施例は、非正規着座姿勢の認識方法、装置、電子機器、記憶媒体及びプログラムを開示し、該方法は、キャビン内の現在シーン画像を取得することと、前記現在シーン画像に基づき、前記キャビン内にいる少なくとも１人のユーザーの現在の着座姿勢を認識することと、ユーザーの現在の着座姿勢が非正規着座姿勢タイプに属する場合、警告情報を発することであって、ここで、前記非正規着座姿勢タイプにはセキュリティーリスクが存在する着座姿勢タイプが含まれることと、を含む。このように、本発明の実施例では、取得されたキャビン内の現在シーン画像を認識することにより、キャビン内に含まれる少なくとも１人のユーザーの現在の着座姿勢を決定し、さらにユーザーの現在の着座姿勢が非正規着座姿勢タイプに属する場合、警告情報を発することで、非正規着座姿勢状態にいるユーザーに注意を促し、ユーザーの乗車中の安全性を向上させる。【選択図】図１

Description

（関連出願の相互参照）
本開示は、出願番号２０２０１０７９０２１０．０、出願日２０２０年０８月０７日の中国特許出願に基づいて提出され、該中国特許出願の優先権を主張し、該中国特許出願の全ての内容が参照として本開示に組み込まれる。

本発明は、深層学習の技術分野に関し、具体的には、非正規着座姿勢の認識方法、装置、電子機器、記憶媒体及びプログラムに関する。

現在、自動車電子業界の急速な発展に伴い、便利で快適且つ安全なキャビン環境がユーザーの基本的な乗車要件となっているため、キャビンのインテリジェント化は現在の自動車電子業界の重要な発展方向になる。

関連技術では、キャビンのインテリジェント化は、カスタマイズサービス、安全感知等を含む。安全感知について、ユーザーが車両走行中に維持する着座姿勢はユーザーのセキュリティーの程度と関連性があり、即ち、着座姿勢が適切でなければ、車両の衝突事故が発生する時、ユーザーが負傷する確率が高まり、さらにユーザーの乗車中のセキュリティーが低下する。

これに鑑み、本発明の実施例は、非正規着座姿勢の認識方法、装置、電子機器、記憶媒体及びプログラムを提供することが望ましい。

本発明の実施例は、非正規着座姿勢の認識方法を提供する。前記非正規着座姿勢の認識方法は、
キャビン内の現在シーン画像を取得することと、
前記現在シーン画像に基づき、前記キャビン内にいる少なくとも１人のユーザーの現在の着座姿勢を認識することと、
ユーザーの現在の着座姿勢が非正規着座姿勢タイプに属する場合、警告情報を発することであって、ここで、前記非正規着座姿勢タイプにはセキュリティーリスクが存在する着座姿勢タイプが含まれることと、を含む。このように、取得されたキャビン内の現在シーン画像を認識することにより、キャビン内に含まれる少なくとも１人のユーザーの現在の着座姿勢を決定し、さらにユーザーの現在の着座姿勢が非正規着座姿勢タイプに属する場合、警告情報を発することで、非正規着座姿勢状態にいるユーザーに注意を促し、ユーザーの乗車中の安全性を向上させる。

一部の実施例では、前記非正規着座姿勢タイプは、
ユーザーの身体が前傾する第１非正規着座姿勢、ユーザーの身体が横に傾く第２非正規着座姿勢、及びユーザーの身体が横臥する第３非正規着座姿勢のうちの少なくとも１つを含む。このように、複数の非正規着座姿勢を定義することで、非正規着座姿勢のタイプを豊かにし、さらに複数の非正規着座姿勢をより全面的に包含し、ユーザーの乗車中の安全性を確保することができる。

一部の実施例では、前記現在シーン画像に基づき、前記キャビン内にいる少なくとも１人のユーザーの現在の着座姿勢を認識することは、
前記現在シーン画像に基づき、前記現在シーン画像内の少なくとも１人のユーザーのキーポイント情報を決定することと、
各ユーザーのキーポイント情報と設定された基準物との間の相対位置関係に基づき、前記キャビン内にいる各ユーザーの現在の着座姿勢を決定することと、を含む。このように、現在シーン画像内の少なくとも１人のユーザーのキーポイント情報と設定された基準物との間の相対位置関係によって、キャビン内の各ユーザーの現在の着座姿勢を正確に決定することができる。

一部の実施例では、前記キーポイント情報には頭部キーポイント情報が含まれ、各ユーザーのキーポイント情報と設定された基準物との間の相対位置関係に基づき、前記キャビン内にいる各ユーザーの現在の着座姿勢を決定することは、
いずれか１人のユーザーの前記頭部キーポイント情報が設定されたハンドルの下接線より低い場合、前記いずれか１人のユーザーの現在の着座姿勢が、ユーザーの身体が前傾する第１非正規着座姿勢であることを決定することを含む。このように、ユーザーの頭部キーポイント情報が設定されたハンドルの下接線より低いことを判断することで、ユーザーの現在の着座姿勢が、ユーザーの身体が前傾する第１非正規着座姿勢であることを迅速に決定する。

一部の実施例では、前記キーポイント情報には、左肩キーポイント情報及び右肩キーポイント情報が含まれ、各ユーザーのキーポイント情報と設定された基準物との間の相対位置関係に基づき、前記キャビン内にいる各ユーザーの現在の着座姿勢を決定することは、
いずれか１人のユーザーの左肩キーポイントと右肩キーポイントとの間の接続線と、設定された座席基準面とのなす角度が設定された第１角度閾値より大きい場合、前記いずれか１人のユーザーの現在の着座姿勢が、ユーザーの身体が横に傾く第２非正規着座姿勢であることを決定することを含む。このように、ユーザーの肩部キーポイントと座席基準面とのなす角度が第１角度閾値より大きい場合、ユーザーの現在の着座姿勢が、ユーザーの身体が横に傾く第２非正規着座姿勢であることを迅速に決定する。

一部の実施例では、前記キーポイント情報には、頸キーポイント情報及び股キーポイント情報が含まれ、各ユーザーのキーポイント情報と設定された基準物との間の相対位置関係に基づき、前記キャビン内にいる各ユーザーの現在の着座姿勢を決定することは、
いずれか１人のユーザーの頸キーポイントと股キーポイントとの間の接続線と、設定された水平基準面とのなす角度が設定された第２角度閾値より小さい場合、前記いずれか１人のユーザーの現在の着座姿勢が、ユーザーの身体が横臥する第３非正規着座姿勢であることを決定することを含む。このように、ユーザーの頸キーポイント、股キーポイントと水平基準面とのなす角度が第２角度閾値より小さい場合、ユーザーの現在の着座姿勢が、ユーザーの身体が横臥する第３非正規着座姿勢であることを迅速に決定する。

一部の実施例では、前記現在シーン画像に基づき、前記キャビン内にいる少なくとも１人のユーザーの現在の着座姿勢を認識することは、
前記現在シーン画像に基づき、前記現在シーン画像に対応する中間特徴マップを生成することと、
前記中間特徴マップに基づき、前記キャビン内にいる少なくとも１人のユーザーのうちの各々の検出枠情報を生成することと、
前記中間特徴マップ及び前記少なくとも１人のユーザーのうちの各々の検出枠情報に基づき、各ユーザーの現在の着座姿勢を決定することと、を含む。このように、現在シーン画像に対応する中間特徴マップ、及び各ユーザーの検出枠情報だけで、各ユーザーの現在の着座姿勢を迅速に決定することが実現されるとともに、中間パラメータがないため、決定された各ユーザーの現在の着座姿勢の精度が高い。

一部の実施例では、前記中間特徴マップに基づき、前記キャビン内にいる少なくとも１人のユーザーのうちの各々の検出枠情報を生成することは、
前記中間特徴マップに対して第１畳み込み処理を少なくとも１回行うことで、前記中間特徴マップに対応するチャネル特徴マップを生成することと、
前記チャネル特徴マップ中の位置を特徴づける目標チャネル特徴マップに基づき、前記キャビン内にいる各ユーザーの検出枠の中心点位置情報を生成することと、を含む。このように、特徴マップによる処理という手段でユーザーに対応する検出枠情報（中心点位置情報を含む）を決定し、さらに検出枠情報と、現在シーン画像に対応する中間特徴マップとを比較し、ユーザーの現在の位置情報を決定する。

一部の実施例では、前記チャネル特徴マップ中の位置を特徴づける目標チャネル特徴マップに基づき、前記キャビン内にいる各ユーザーの検出枠の中心点位置情報を生成することは、
前記位置を特徴づける目標チャネル特徴マップにおける各特徴値に対して活性化関数で特徴値変換処理を行うことで、変換された目標チャネル特徴マップを生成することと、
予め設定されたプーリングサイズ及びプーリングストライドに応じて、変換された目標チャネル特徴マップに対して最大プーリング処理を行うことで、複数のプーリング値、及び複数のプーリング値のうちの各々に対応する位置インデックスを得ることであって、前記位置インデックスは、前記変換された目標チャネル特徴マップでの前記プーリング値の位置を識別するために用いられることと、
前記各プーリング値及びプーリング閾値に基づき、複数のプーリング値から、少なくとも１人のユーザーの検出枠の中心点に属する目標プーリング値を決定することと、
前記目標プーリング値に対応する位置インデックスに基づき、前記キャビン内にいる各ユーザーの検出枠の中心点位置情報を生成することと、を含む。このように、目標チャネル特徴マップに対して最大プーリング処理を行うことで、複数のプーリング値から、ユーザーの中心点に属する目標プーリング値を比較的正確に決定し、さらに各ユーザーの検出枠の中心点位置情報を比較的正確に決定することができる。

一部の実施例では、前記中間特徴マップ及び前記少なくとも１人のユーザーのうちの各々の検出枠情報に基づき、各ユーザーの現在の着座姿勢を決定することは、
前記中間特徴マップに対して第２畳み込み処理を少なくとも１回行うことで、前記中間特徴マップに対応するＮチャネルの分類特徴マップを生成することであって、ここで、前記分類特徴マップのチャネル数Ｎは着座姿勢種別の数に一致し、前記Ｎチャネルの分類特徴マップ中の各チャネル特徴マップは、１つの着座姿勢種別に対応し、Ｎは１より大きい正整数であることと、
各ユーザーに対して、前記ユーザーの検出枠情報によって示される中心点位置情報に基づき、前記分類特徴マップから、前記中心点位置情報とマッチングする特徴位置でのＮ個の特徴値を抽出し、Ｎ個の特徴値から最大特徴値を選択し、分類特徴マップ中の、最大特徴値に対応するチャネル特徴マップの着座姿勢種別を、前記ユーザーの現在の着座姿勢として決定することと、を含む。このように、中間特徴マップに対して第２畳み込み処理を少なくとも１回行うことで、分類特徴マップを生成し、さらに生成された各ユーザーの中心点位置情報を組み合わせて、各ユーザーの現在の着座姿勢を比較的正確に決定することができる。

以下の装置、電子機器等の効果についての説明は、上記方法の説明を参照すればよく、ここでは説明を省略する。

本発明の実施例は、非正規着座姿勢の認識装置を提供する。前記非正規着座姿勢の認識装置は、
キャビン内の現在シーン画像を取得するように構成される取得モジュールと、
前記現在シーン画像に基づき、前記キャビン内にいる少なくとも１人のユーザーの現在の着座姿勢を認識するように構成される認識モジュールと、
ユーザーの現在の着座姿勢が非正規着座姿勢タイプに属する場合、警告情報を発するように構成される決定モジュールであって、ここで、前記非正規着座姿勢タイプはセキュリティーリスクが存在する着座姿勢タイプを含む決定モジュールと、を備える。

本発明の実施例は、電子機器を提供する。前記電子機器は、プロセッサ、メモリ及びバスを備え、前記メモリには、前記プロセッサにより実行可能な機械読み取り可能な命令が記憶されており、電子機器が運行する時、前記プロセッサと前記メモリはバスを介して通信し、前記機械読み取り可能な命令は、前記プロセッサにより実行されるとき、上記第１態様又は何れか一つの実施形態に記載の非正規着座姿勢の認識方法のステップを実行する。

本発明の実施例は、コンピュータ読み取り可能な記憶媒体を提供する。前記コンピュータ読み取り可能な記憶媒体にはコンピュータプログラムが記憶されており、前記コンピュータプログラムがプロセッサにより実行されるとき、上記第１態様又は何れか一つの実施形態に記載の非正規着座姿勢の認識方法のステップを実行する。

本発明の実施例は、コンピュータプログラムを提供する。前記コンピュータプログラムにはコンピュータ読み取り可能なコードが含まれており、コンピュータで前記コンピュータ読み取り可能なコード運行する場合、前記コンピュータに上記何れか一つの非正規着座姿勢の認識方法を実行させる。

本発明の実施例に提供される非正規着座姿勢の認識方法、装置、電子機器、記憶媒体及びプログラムにおいて、まず、キャビン内の現在シーン画像を取得し、次に、前記現在シーン画像に基づき、前記キャビン内にいる少なくとも１人のユーザーの現在の着座姿勢を認識し、最後に、ユーザーの現在の着座姿勢が非正規着座姿勢タイプに属する場合、警告情報を発し、ここで前記非正規着座姿勢タイプには、セキュリティーリスクが存在する着座姿勢タイプが含まれる。このように、取得されたキャビン内の現在シーン画像を認識することにより、キャビン内に含まれる少なくとも１人のユーザーの現在の着座姿勢を決定し、さらにユーザーの現在の着座姿勢が非正規着座姿勢タイプに属する場合、警告情報を発することで、非正規着座姿勢状態にいるユーザーに注意を促し、ユーザーの乗車中の安全性を向上させる。

本発明の上記目的、特徴及び利点をより分かりやすくするために、以下において、好ましい実施例を特に挙げて、図面を参照しながら詳細に説明する。

本発明の実施例により提供される非正規着座姿勢の認識方法の模式的フローチャートである。 本発明の実施例の非正規着座姿勢の認識方法を適用したシステムアーキテクチャの模式図である。 本発明の実施例により提供される非正規着座姿勢の認識方法における現在シーン画像の模式図である。 本発明の実施例により提供される非正規着座姿勢の認識装置４００のアーキテクチャの模式図である。 本発明の実施例により提供される電子機器５００の構造的模式図である。

本発明の実施例の技術的解決手段をより明確に説明するために、以下に実施例に必要とされる図面について簡単に紹介するが、ここでの図面は明細書に組み込まれて本明細書の一部を構成し、これらの図面は本発明に合致する実施例を示し、明細書と共に本発明の技術的解決手段を説明するために用いられる。以下の図面は本発明のいくつかの実施例のみを示すため、範囲を限定するものと見なすべきではなく、当業者にとっては、創造的な労力を要することなく、これらの図面に基づいて関連する他の図面を取得することもできることを理解すべきである。

本発明の実施例の目的、技術的解決手段及び利点をより明確にするために、以下に本発明の実施例における図面を参照しながら本発明の実施例における技術的解決手段を明確且つ完全に説明し、当然ながら、説明される実施例は本発明の実施例の一部に過ぎず、全ての実施例ではない。通常、ここでの図面において記述及び示される本発明の実施例の構成要素は様々な異なる構成で配置及び設計されることができる。従って、図面において提供される本発明の実施例についての以下の詳細な説明は、保護が要求される本発明の範囲を限定するものではなく、単に本発明の選定された実施例を示すものに過ぎない。本発明の実施例に基づき、当業者が創造的労力を要することなく得られた他の全ての実施例は、いずれも本発明の保護範囲に属する。

関連技術では、キャビンのインテリジェント化はカスタマイズサービス、安全感知等を含んでもよい。安全感知について、ユーザーが車両走行中に維持する着座姿勢はユーザーのセキュリティーの程度と関連性があり、即ち、着座姿勢が適切でなければ、車両の衝突事故が発生する時、ユーザーが怪我をする確率が高まり、さらにユーザーの乗車中のセキュリティーが低下する。従って、上記問題を解決するために、本発明の実施例は、非正規着座姿勢の認識方法を提供する。

本発明の実施例を容易に理解するために、本発明の実施例によって開示される非正規着座姿勢の認識方法を先に詳しく説明する。

図１は、本発明の実施例により提供される非正規着座姿勢の認識方法の模式的フローチャートであり、該方法は、
キャビン内の現在シーン画像を取得するステップＳ１０１と、
現在シーン画像に基づき、キャビン内にいる少なくとも１人のユーザーの現在の着座姿勢を認識するステップＳ１０２と、
ユーザーの現在の着座姿勢が非正規着座姿勢タイプに属する場合、警告情報を発するステップＳ１０３であって、ここで、非正規着座姿勢タイプには、セキュリティーリスクが存在する着座姿勢タイプが含まれるステップＳ１０３と、を含む。

上記方法において、取得されたキャビン内の現在シーン画像を認識することにより、キャビン内にいる少なくとも１人のユーザーの現在の着座姿勢を決定し、さらにユーザーの現在の着座姿勢が非正規着座姿勢タイプに属する場合、警告情報を発することで、非正規着座姿勢状態にいるユーザーに注意を促し、ユーザーの乗車中の安全性を向上させる。
図２は、本発明の実施例に係る非正規着座姿勢の認識方法を適用できるシステムアーキテクチャの模式図であり、図２に示すように、該システムアーキテクチャは、車両端末２０１、ネットワーク２０２及び非正規着座姿勢の認識端末２０３を含む。一例示的応用をサポートすることを実現するために、車両端末２０１と非正規着座姿勢の認識端末２０３は、ネットワーク２０２を介して通信接続を確立してもよく、車両端末２０１は、ネットワーク２０２によって非正規着座姿勢の認識端末装置２０３にキャビン内の現在シーン画像を報告し、非正規着座姿勢の認識端末装置２０３は、受信された現在シーン画像に応答し、現在シーン画像に基づき、キャビン内にいる少なくとも１人のユーザーの現在の着座姿勢を認識し、ユーザーの現在の着座姿勢が非正規着座姿勢タイプに属する場合、警告情報を決定し、最後に、非正規着座姿勢の認識端末２０３は、該警告情報をネットワーク２０２にアップロードし、ネットワーク２０２によって車両端末２０１に送信する。

例として、車両端末２０１は車載画像収集装置を含んでもよく、非正規着座姿勢の認識端末２０３は視覚情報処理能力を有する車載視覚処理装置又はリモートサーバを含んでもよい。ネットワーク２０２は有線接続又は無線接続の形態を採用することができる。ここで、非正規着座姿勢の認識端末が車載視覚処理装置である場合、車両端末は、有線接続の形態で車載視覚処理装置と通信接続してもよく、例えば、バスを介してデータ通信を行うことができ、非正規着座姿勢の認識端末がリモートサーバである場合、車両端末は、無線ネットワークによってリモートサーバとデータインタラクションを行ってもよい。

又は、一部のシーンにおいて、車両端末２０１は、車載画像収集モジュールを備える車載視覚処理装置であってよく、具体的には、カメラ付きの車載ホストとして実現される。このとき、本発明の実施例の非正規着座姿勢の認識方法は、車両端末２０１によって実行されてもよく、上記システムアーキテクチャは、ネットワーク２０２及び非正規着座姿勢の認識端末２０３を含まなくてもよい。

Ｓ１０１について、
ここで、キャビンの頂部に撮影装置を設け、キャビン内に設けられた撮影装置によってキャビン内の現在シーン画像をリアルタイムで取得することができる。該撮影装置の取り付け位置は、キャビン内の全てのユーザーを撮影できる位置であってよい。

Ｓ１０２について、
現在シーン画像を取得した後、現在シーン画像を認識し、キャビン内の各ユーザーに対応する現在の着座姿勢を決定することができる。該現在の着座姿勢は、各ユーザーの着座姿勢種別であってよい。

一つの可能な実施形態において、現在シーン画像に基づき、キャビン内にいる少なくとも１人のユーザーの現在の着座姿勢を認識することは、
現在シーン画像に基づき、現在シーン画像内の少なくとも１人のユーザーのキーポイント情報を決定することと、
各ユーザーのキーポイント情報と設定された基準物との間の相対位置関係に基づき、キャビン内にいる各ユーザーの現在の着座姿勢を決定することと、を含んでもよい。

ここで、現在シーン画像をキーポイント検出ニューラルネットワークに入力し、現在シーン画像内の少なくとも１人のユーザーのキーポイント情報を決定することができ、且つキャビン内の各ユーザーに対して、該ユーザーのキーポイント情報と設定された基準物との間の相対位置関係に基づき、該ユーザーの現在の着座姿勢を決定することができる。

一つの可能な実施形態において、キーポイント情報は頭部キーポイント情報を含み、各ユーザーのキーポイント情報と設定された基準物との間の相対位置関係に基づき、キャビン内にいる各ユーザーの現在の着座姿勢を決定することは、
いずれか１人のユーザーの頭部キーポイント情報が設定されたハンドルの下接線より低い場合、いずれか１人のユーザーの現在の着座姿勢が、ユーザーの身体が前傾する第１非正規着座姿勢であることを決定することを含んでもよい。

図３に示す非正規着座姿勢の認識方法における現在シーン画像の模式図を参照すると、図中において、ハンドル３１、ハンドルの下接線３２、及び運転者３３が含まれ、ハンドルの下接線３２は、運転者の側に近接するハンドルの縁部で得られた走行方向と垂直な基準線である。図３から分かるように、ハンドルの下接線は、現在シーン画像を、ハンドルの下接線の上方に位置する第１領域３４とハンドルの下接線の下方に位置する第２領域３５との２つの領域に分割する。ユーザーの頭部キーポイント情報が設定されたハンドルの下接線より低いことを検出した場合、即ち、ユーザーの頭部キーポイント情報が第２領域３５内に位置することを検出した場合、該ユーザーの現在の着座姿勢が、ユーザーの身体が前傾する第１非正規着座姿勢であることを決定し、ユーザーの頭部キーポイント情報が設定されたハンドルの下接線より高いことを検出した場合、即ち、ユーザーの頭部キーポイント情報が第１領域３４内に位置することを検出した場合、該ユーザーの現在の着座姿勢が、ユーザーの身体が前傾する第１非正規着座姿勢ではないことを決定し、ユーザーの頭部キーポイント情報がハンドルの下接線上に位置する場合、該ユーザーの現在の着座姿勢が、ユーザーの身体が前傾する第１非正規着座姿勢ではないことを決定する。

一つの可能な実施形態において、キーポイント情報は、左肩キーポイント情報及び右肩キーポイント情報を含み、各ユーザーのキーポイント情報と設定された基準物との間の相対位置関係に基づき、キャビン内にいる各ユーザーの現在の着座姿勢を決定することは、
いずれか１人のユーザーの左肩キーポイントと右肩キーポイントとの間の接続線と、設定された座席基準面とのなす角度が設定された第１角度閾値より大きい場合、いずれか１人のユーザーの現在の着座姿勢が、ユーザーの身体が横に傾く第２非正規着座姿勢であることを決定することを含む。

ここで、第１角度閾値は実際の必要に応じて設定可能であり、例えば、第１角度を４５度とすることができ、そして、ユーザーが座席にもたれる面（即ち、座席の鉛直面）を座席基準面とすることができる。さらに、検出された左肩キーポイントと右肩キーポイントとの間の接続線と、設定された座席基準面とのなす角度を決定することができ、該角度が設定された第１角度閾値より大きい場合、該ユーザーの現在の着座姿勢が、ユーザーの身体が横に傾く第２非正規着座姿勢であることを決定し、該角度が設定された第１角度閾値以下である場合、該ユーザーの現在の着座姿勢が、ユーザーの身体が横に傾く第２非正規着座姿勢ではないことを決定する。

一つの可能な実施形態において、キーポイント情報は、頸キーポイント情報及び股キーポイント情報を含み、各ユーザーのキーポイント情報と設定された基準物との間の相対位置関係に基づき、キャビン内にいる各ユーザーの現在の着座姿勢を決定することは、
いずれか１人のユーザーの頸キーポイントと股キーポイントとの間の接続線と、設定された水平基準面とのなす角度が設定された第２角度閾値より小さい場合、いずれか１人のユーザーの現在の着座姿勢が、ユーザーの身体が横臥する第３非正規着座姿勢であることを決定することを含む。

ここで、設定された水平基準面は座席水平面であってよく、第２角度閾値は実際の必要に応じて設定可能である。頸キーポイントと股キーポイントとの間の接続線と、設定された水平基準面とのなす角度を決定することができ、該角度が設定された第２角度閾値より小さい場合、該ユーザーの現在の着座姿勢が、ユーザーの身体が横臥する第３非正規着座姿勢であることを決定し、該角度が設定された第２角度閾値以上である場合、該ユーザーの現在の着座姿勢が、ユーザーの身体が横臥する第３非正規着座姿勢ではないことを決定する。

具体的に実施する際に、さらに現在シーン画像をトレーニングされたニューラルネットワークに入力し、該現在シーン画像に含まれる各ユーザーの現在の着座姿勢を決定することもできる。

一つの選択可能な実施形態として、現在シーン画像に基づき、キャビン内にいる少なくとも１人のユーザーの現在の着座姿勢を認識することは、
現在シーン画像に基づき、現在シーン画像に対応する中間特徴マップを生成するステップ１と、
中間特徴マップに基づき、キャビン内にいる少なくとも１人のユーザーのうちの各々の検出枠情報を生成するステップ２と、
中間特徴マップ及び少なくとも１人のユーザーのうちの各々の検出枠情報に基づき、各ユーザーの現在の着座姿勢を決定するステップ３と、を含んでもよい。

ステップ１では、現在シーン画像をトレーニングされたニューラルネットワークに入力し、該ニューラルネットワークにおけるバックボーンネットワークによって現在シーン画像に対して畳み込み処理を複数回行い、現在シーン画像に対応する中間特徴マップを生成することができる。

ステップ２では、中間特徴マップ及びニューラルネットワークに含まれる検出枠検出ブランチネットワークを利用して、キャビン内にいる少なくとも１人のユーザーのうちの各々の検出枠情報を生成することができる。

一つの選択可能な実施形態において、中間特徴マップに基づき、キャビン内にいる少なくとも１人のユーザーのうちの各々の検出枠情報を生成することは、
中間特徴マップに対して第１畳み込み処理を少なくとも１回行い、中間特徴マップに対応するチャネル特徴マップを生成するステップＡ１と、
チャネル特徴マップ中の位置を特徴づける目標チャネル特徴マップに基づき、キャビン内にいる各ユーザーの検出枠の中心点位置情報を生成するステップＡ２と、を含んでもよい。

ここで、まず、中間特徴マップに対して第１畳み込み処理を少なくとも１回行い、中間特徴マップに対応するチャネル特徴マップを生成することができ、該チャネル特徴マップに対応するチャネル数は３つであってよい。該チャネル特徴マップは、位置を特徴づける第１チャネル特徴マップ（該第１チャネル特徴マップは目標チャネル特徴マップである）、検出枠の長さ情報を特徴づける第２チャネル特徴マップ、及び検出枠の幅情報を特徴づける第３チャネル特徴マップを含む。

さらに、チャネル特徴マップ中の位置を特徴づける目標チャネル特徴マップに基づき、キャビン内に含まれる各ユーザーの検出枠の中心点位置情報を生成することができ、また、チャネル特徴マップのうちの第２チャネル特徴マップ及び第３チャネル特徴マップに基づき、検出枠の寸法情報（長さ及び幅）を決定することもできる。

上記実施形態において、特徴マップによる処理という手段でユーザーに対応する検出枠情報（中心点位置情報を含む）を決定し、さらに、検出枠情報と、現在シーン画像に対応する中間特徴マップとを比較し、ユーザーの現在の位置情報を決定する。

一つの選択可能な実施形態として、チャネル特徴マップ中の位置を特徴づける目標チャネル特徴マップに基づき、キャビン内にいる各ユーザーの検出枠の中心点位置情報を生成することは、
位置を特徴づける目標チャネル特徴マップにおける各特徴値に対して活性化関数で特徴値変換処理を行い、変換された目標チャネル特徴マップを生成するステップＢ１と、
予め設定されたプーリングサイズ及びプーリングストライドに応じて、変換された目標チャネル特徴マップに対して最大プーリング処理を行い、複数のプーリング値、及び複数のプーリング値のうちの各々に対応する位置インデックスを得るステップＢ２であって、位置インデックスは、変換された目標チャネル特徴マップでのプーリング値の位置を識別するために用いられるステップＢ２と、
各プーリング値及びプーリング閾値に基づき、複数のプーリング値から、少なくとも１人のユーザーの検出枠の中心点に属する目標プーリング値を決定するステップＢ３と、
目標プーリング値に対応する位置インデックスに基づき、キャビン内にいる各ユーザーの検出枠の中心点位置情報を生成するステップＢ４と、を含んでもよい。

本発明の実施例では、活性化関数で目標特徴マップに対して特徴値変換処理を行い、変換された目標チャネル特徴マップを生成することができ、該目標チャネル特徴マップにおける各特徴値はいずれも０－１の間の数値である。該活性化関数はｓｉｇｍｏｉｄ関数であってよい。変換された目標チャネル特徴マップ中の任意の一つの特徴点の特徴値について、該特徴値が１に近いほど、該特徴値に対応する特徴点はユーザーの検出枠の中心点に属する確率も大きくなる。

続いて、予め設定されたプーリングサイズ及びプーリングストライドに応じて、変換された目標チャネル特徴マップに対して最大プーリング処理を行い、目標チャネル特徴マップ中の各特徴位置での対応するプーリング値及び各プーリング値に対応する位置インデックスを得ることができ、位置インデックスは、変換された目標チャネル特徴マップでのプーリング値の位置を識別するために用いることができる。その後、各特徴位置での対応する位置インデックスのうちの同一の位置インデックスを併合処理し、該目標チャネル特徴マップに対応する複数のプーリング値及び複数のプーリング値のうちの各々に対応する位置インデックスを得ることができる。予め設定されたプーリングサイズ及びプーリングストライドは実際の必要に応じて設定可能であり、例えば、予め設定されたプーリングサイズは３×３であってよく、予め設定されたプーリングストライドは１であってよい。

さらに、プーリング閾値を設定し、得られた複数のプーリング値をスクリーニングして、複数のプーリング値のうちのプーリング閾値より大きい少なくとも１つの目標プーリング値を得て、且つ目標プーリング値に対応する位置インデックスに基づき、キャビン内に含まれる各ユーザーの検出枠の中心点位置情報を生成することができる。例示的に、現在シーン画像に対応する撮影装置で収集された複数のフレームのサンプル画像を取得し、収集された複数のフレームのサンプル画像に基づき、適応アルゴリズムを使用して、プーリング閾値を生成することができる。

例示的に、目標チャネル特徴マップに対して、３×３でストライドが１である最大プーリング処理を行い、そしてプーリングを行う際に、目標チャネル特徴マップでの３×３個ごとの特徴点の特徴値に対して、３×３個の特徴点の最大応答値（即ち、プーリング値）及び目標チャネル特徴マップでの最大応答値の位置インデックスを決定することができる。このとき、最大応答値の数は目標チャネル特徴マップの寸法と関連性があり、例えば、目標チャネル特徴マップの寸法が８０×６０×３であると、目標チャネル特徴マップに対して最大プーリング処理を行った後、得られた最大応答値は合計で８０×６０個であり、且つ各最大応答値について、いずれもその位置インデックスと同一の他の最大応答値が少なくとも１つ存在する可能性がある。

その後、位置インデックスが同一の最大応答値を併合し、Ｍ個の最大応答値、及びＭ個の最大応答値のうちの各々に対応する位置インデックスを得る。

その後、Ｍ個の最大応答値のうちの各々をプーリング閾値と比較し、ある最大応答値が該プーリング閾値より大きい場合、該最大応答値を目標プーリング値として決定する。目標プーリング値に対応する位置インデックスは、ユーザーの検出枠の中心点位置情報である。

ここで、さらに、変換前の目標チャネル特徴マップに対して最大プーリング処理を直接行い、各ユーザーの検出枠の中心点位置情報を得ることもできる。

例示的に、ユーザーの検出枠の中心点位置情報を得た後、さらに、該中心点位置情報に基づき、第２チャネル特徴マップから、該中心点位置情報とマッチングする特徴位置での第２特徴値を選択し、選択された第２特徴値をユーザーの検出枠に対応する長さとして決定し、且つ第３チャネル特徴マップから、該中心点位置情報とマッチングする特徴位置での第３特徴値を選択し、選択された第３特徴値をユーザーの検出枠に対応する幅として決定することで、ユーザーの検出枠の寸法情報を得ることもできる。

上記実施形態において、目標チャネル特徴マップに対して最大プーリング処理を行うことで、複数のプーリング値から、ユーザーの中心点に属する目標プーリング値を比較的正確に決定し、さらに各ユーザーの検出枠の中心点位置情報を比較的正確に決定することができる。

ステップ３では、中間特徴マップ、少なくとも１人のユーザーのうちの各々の検出枠情報、及びトレーニングされたニューラルネットワークにおける姿勢分類ブランチネットワークに基づき、各ユーザーの現在の着座姿勢を決定することができる。

一部の実施例では、中間特徴マップ及び少なくとも１人のユーザーのうちの各々の検出枠情報に基づき、各ユーザーの現在の着座姿勢を決定することは、
中間特徴マップに対して第２畳み込み処理を少なくとも１回行い、中間特徴マップに対応するＮチャネルの分類特徴マップを生成するステップＣ１であって、分類特徴マップのチャネル数Ｎは着座姿勢種別の数に一致し、Ｎチャネルの分類特徴マップ中の各チャネル特徴マップは、１つの着座姿勢種別に対応し、Ｎは１より大きい正整数であるステップＣ１と、
各ユーザーに対して、ユーザーの検出枠情報によって示される中心点位置情報に基づき、分類特徴マップから、中心点位置情報とマッチングする特徴位置でのＮ個の特徴値を抽出し、Ｎ個の特徴値から最大特徴値を選択し、分類特徴マップ中の、最大特徴値に対応するチャネル特徴マップの着座姿勢種別を、ユーザーの現在の着座姿勢として決定するステップＣ２と、を含む。

ここで、中間特徴マップに対して第２畳み込み処理を少なくとも１回行い、中間特徴マップに対応する分類特徴マップを生成することができ、該分類特徴マップのチャネル数はＮであり、該Ｎの値は着座姿勢種別の数に一致し、且つＮチャネルの分類特徴マップ中の各チャネル特徴マップは、１つの着座姿勢種別に対応する。例えば、着座姿勢種別が正規着座姿勢、身体が前傾する姿勢、身体が後ろに傾く姿勢を含むと、この時のＮの値は３となり、着座姿勢種別が正規着座姿勢、身体が前傾する姿勢、身体が後ろに傾く姿勢、及び身体が横臥する姿勢を含む場合、この時のＮの値は４となる。着座姿勢種別は実際の必要に応じて設定可能であり、ここでは例示的に説明したものに過ぎない。

さらに、各ユーザーに対して、ユーザーの検出枠情報によって示される中心点位置情報に基づき、分類特徴マップから、中心点位置情報とマッチングする特徴位置でのＮ個の特徴値を抽出し、Ｎ個の特徴値から最大特徴値を選択し、分類特徴マップ中の、該最大特徴値に対応するチャネル特徴マップの着座姿勢種別を、該ユーザーの現在の着座姿勢として決定することができる。

例えば、ユーザーＡに対して、分類特徴マップは３チャネルの特徴マップであり、分類特徴マップ中の第１チャネル特徴マップに対応する着座姿勢種別は正規着座姿勢とし、第２チャネル特徴マップに対応する着座姿勢種別は身体が前傾する姿勢とし、第３チャネル特徴マップに対応する着座姿勢種別は身体が横に傾く姿勢とすることができ、分類特徴マップから、０．８、０．５、０．２の３つの特徴値を抽出したと、分類特徴マップ中の、０．８に対応するチャネル特徴マップ（分類特徴マップ中の第１チャネル特徴マップ）の着座姿勢種別（正規着座姿勢）をユーザーＡの現在の着座姿勢として決定する。

ここで、中間特徴マップに対して第２畳み込み処理を少なくとも１回行うことで、分類特徴マップを生成し、さらに生成された各ユーザーの中心点位置情報を組み合わせて、各ユーザーの現在の着座姿勢を比較的正確に決定することができる。

一部の実施例では、各ユーザーの現在の着座姿勢は、トレーニングされたニューラルネットワークに基づいて決定される。ニューラルネットワークは、
シーン画像サンプルを取得するステップＤ１であって、シーン画像サンプルはラベル付けデータに対応するステップＤ１と、
ニューラルネットワークにおけるバックボーンネットワーク、及びシーン画像サンプルに基づき、シーン画像サンプルに対応するサンプル特徴マップを生成するステップＤ２と、
ニューラルネットワークにおける複数のブランチネットワーク、及びサンプル特徴マップに基づき、シーン画像サンプルに対応する複数の予測データを生成するステップＤ３であって、各ブランチネットワークは１つの予測データに対応するステップＤ３と、
複数の予測データ、及びシーン画像サンプルに対応するラベル付けデータに基づき、ニューラルネットワークをトレーニングするステップＤ４と、によってトレーニングされることができる。

上記形態において、複数のブランチネットワークを設けてサンプル特徴マップを処理することにより、シーン画像サンプルに対応する複数の予測データを生成し、生成された複数の予測データでニューラルネットワークをトレーニングすることで、トレーニングされたニューラルネットワークの精度を向上させることができる。

ここで、ラベル付けデータは、ラベル付けキーポイント位置情報、ラベル付け検出枠情報、ラベル付け着座姿勢種別を含んでもよい。

シーン画像サンプルをトレーニングされるべきニューラルネットワークに入力し、トレーニングされるべきニューラルネットワークにおけるバックボーンネットワークによって、シーン画像サンプルに対して畳み込み処理を少なくとも１回行い、シーン画像サンプルに対応するサンプル特徴マップを生成することができる。

その後、サンプル特徴マップをトレーニングされるべきニューラルネットワークにおける複数のブランチネットワークにそれぞれ入力し、シーン画像サンプルに対応する複数の予測データを生成し、各ブランチネットワークは１つの予測データに対応する。

予測データは予測検出枠情報、予測キーポイント位置情報、予測着座姿勢種別を含んでもよい。

予測データが予測検出枠情報を含む場合、ニューラルネットワークのブランチネットワークは検出枠検出ブランチネットワークを含み、サンプル特徴マップをニューラルネットワークにおける検出枠検出ブランチネットワークに入力し、シーン画像サンプルに含まれる少なくとも１人のユーザーの予測検出枠情報を生成する。

予測データが予測キーポイント位置情報を含む場合、ニューラルネットワークのブランチネットワークはキーポイント検出ブランチネットワークを含み、サンプル特徴マップをニューラルネットワークにおけるキーポイント検出ブランチネットワークに入力し、シーン画像サンプルに含まれる各ユーザーの複数の予測キーポイント位置情報を生成する。

予測データが予測検出枠情報及び予測着座姿勢種別を含む場合、ニューラルネットワークのブランチネットワークは検出枠検出ブランチネットワーク、及び姿勢分類ブランチネットワークを含み、サンプル特徴マップをニューラルネットワークにおけるキーポイント検出ブランチネットワークに入力して、分類特徴マップを得て、且つ少なくとも１人のユーザーの予測検出枠情報及び該分類特徴マップに基づき、シーン画像サンプルに含まれる各ユーザーの予測着座姿勢種別を生成する。

上記実施形態では、複数のブランチネットワークを設けてサンプル特徴マップを処理することにより、複数の予測データを得て、複数の予測データでニューラルネットワークをトレーニングすることにより、トレーニングされたニューラルネットワークの精度が高くなる。

複数の予測データに予測検出枠情報、予測キーポイント位置情報、及び予測着座姿勢種別が含まれる場合、予測検出枠情報及びラベル付け検出枠情報に基づき、第１損失値を生成し、予測キーポイント位置情報及びラベル付けキーポイント位置情報に基づき、第２損失値を生成し、そして予測着座姿勢種別及びラベル付け着座姿勢種別に基づき、第３損失値を生成し、第１損失値、第２損失値及び第３損失値に基づき、ニューラルネットワークをトレーニングして、トレーニングされたニューラルネットワークを得ることができる。

Ｓ１０３について、
現在シーン画像中の各ユーザーの現在の着座姿勢を得た後、各ユーザーの現在の着座姿勢に基づき、該ユーザーの現在の着座姿勢が非正規着座姿勢であるか否かを判定することができ、非正規着座姿勢タイプとは、セキュリティーリスクが存在する着座姿勢タイプのことである。該ユーザーの現在の着座姿勢が非正規着座姿勢であると決定する場合、警告情報を発する。

一つの選択可能な実施形態において、非正規着座姿勢タイプには、ユーザーの身体が前傾する第１非正規着座姿勢、ユーザーの身体が横に傾く第２非正規着座姿勢、及びユーザーの身体が横臥する第３非正規着座姿勢のうちの少なくとも１つを含んでもよい。非正規着座姿勢タイプには、セキュリティーリスクが存在する他の着座姿勢をさらに含んでもよく、ここでは例示的に説明したものに過ぎない。

例示的に、ユーザーの現在の着座姿勢が正規着座姿勢であると、該ユーザーが非正規着座姿勢をするユーザーでないと決定し、ユーザーの現在の着座姿勢が身体が前傾する姿勢であると、該ユーザーが非正規着座姿勢をするユーザーであると決定する。

上記実施形態では、複数の非正規着座姿勢を定義することで、非正規着座姿勢のタイプを豊かにし、さらに複数の非正規着座姿勢をより全面的に包含し、ユーザーの乗車中の安全性を確保することができる。

ここで、ユーザーの現在の着座姿勢が非正規着座姿勢タイプに属することを判定した場合、ユーザーの現在の着座姿勢が属する非正規着座姿勢タイプに基づき、警告情報を生成することができ、該警告情報は音声の形態で再生してもよい。例えば、ユーザーＡの現在の着座姿勢が、身体が前傾する姿勢である場合、生成される警告情報は「危険で、身体が前傾し、着座姿勢を調整してください」としてもよい。

具体的に実施する時、さらに、キャビンの各位置に対して標識を付けしてもよく、例えばキャビン内の各位置の標識は、副操縦士位置、左後位置、右後位置等の標識であってもよく、、現在シーン画像に基づいて各ユーザーに対応する位置標識を決定することができ、且つユーザーの現在の着座姿勢が非正規着座姿勢タイプに属することを判定した場合、ユーザーの現在の着座姿勢が属する非正規着座姿勢タイプ、及び着座姿勢標識に基づき、警告情報を生成することができる。例えば、ユーザーＡの現在の着座姿勢が、身体が前傾する姿勢であり、該ユーザーＡに対応する位置標識が副操縦士位置である場合、生成される警告情報は「副操縦士位置にいる乗客は身体が前傾しており、着座姿勢を調整してください」としてもよい。

ここで、ユーザーの現在の着座姿勢が非正規着座姿勢タイプに属することを判定した場合、ユーザーの現在の着座姿勢が属する非正規着座姿勢タイプに基づき、警告情報を生成することで、ユーザーに警告を出し、ユーザーに危険を及ぼす確率を低減することができる。

具体的な実施形態の上記方法において、各ステップの記述順序は厳しい実行順序を意味して実施プロセスに対するいかなる制限を構成せず、各ステップの具体的な実行順序はその機能と可能な内在的論理で確定されるべきであることが当業者に理解される。

同一の構想に基づき、本発明の実施例は、非正規着座姿勢の認識装置４００をさらに提供し、図４は、本発明の実施例により提供される非正規着座姿勢の認識装置のアーキテクチャの模式図であり、前記非正規着座姿勢の認識装置は具体的に、
キャビン内の現在シーン画像を取得するように構成される取得モジュール４０１と、
前記現在シーン画像に基づき、前記キャビン内にいる少なくとも１人のユーザーの現在の着座姿勢を認識するように構成される認識モジュール４０２と、
ユーザーの現在の着座姿勢が非正規着座姿勢タイプに属する場合、警告情報を発するように構成される決定モジュール４０３であって、ここで、前記非正規着座姿勢タイプとは、セキュリティーリスクが存在する着座姿勢タイプのことである決定モジュールと、を含む。

一つの可能な実施形態において、前記非正規着座姿勢タイプは、ユーザーの身体が前傾する第１非正規着座姿勢、ユーザーの身体が横に傾く第２非正規着座姿勢、及びユーザーの身体が横臥する第３非正規着座姿勢のうちの少なくとも１つを含む。

一つの可能な実施形態において、前記認識モジュール４０２は、前記現在シーン画像に基づき、前記キャビン内にいる少なくとも１人のユーザーの現在の着座姿勢を認識する場合、
前記現在シーン画像に基づき、前記現在シーン画像内の少なくとも１人のユーザーのキーポイント情報を決定し、そして
各ユーザーのキーポイント情報と設定された基準物との間の相対位置関係に基づき、前記キャビン内にいる各ユーザーの現在の着座姿勢を決定するように構成される。

一つの可能な実施形態において、前記キーポイント情報は頭部キーポイント情報を含み、前記認識モジュール４０２は、各ユーザーのキーポイント情報と設定された基準物との間の相対位置関係に基づき、前記キャビン内にいる各ユーザーの現在の着座姿勢を決定する場合、
いずれか１人のユーザーの前記頭部キーポイント情報が設定されたハンドルの下接線より低い場合、前記いずれか１人のユーザーの現在の着座姿勢が、ユーザーの身体が前傾する第１非正規着座姿勢であることを決定するように構成される。

一つの可能な実施形態において、前記キーポイント情報は、左肩キーポイント情報及び右肩キーポイント情報を含み、前記認識モジュール４０２は、各ユーザーのキーポイント情報と設定された基準物との間の相対位置関係に基づき、前記キャビン内にいる各ユーザーの現在の着座姿勢を決定する時、
いずれか１人のユーザーの左肩キーポイントと右肩キーポイントとの間の接続線と、設定された座席基準面とのなす角度が設定された第１角度閾値より大きい場合、前記いずれか１人のユーザーの現在の着座姿勢が、ユーザーの身体が横に傾く第２非正規着座姿勢であることを決定するように構成される。

一つの可能な実施形態において、前記キーポイント情報は、頸キーポイント情報及び股キーポイント情報を含み、前記認識モジュール４０２は、各ユーザーのキーポイント情報と設定された基準物との間の相対位置関係に基づき、前記キャビン内にいる各ユーザーの現在の着座姿勢を決定する場合、
いずれか１人のユーザーの頸キーポイントと股キーポイントとの間の接続線と、設定された水平基準面とのなす角度が設定された第２角度閾値より小さい場合、前記いずれか１人のユーザーの現在の着座姿勢が、ユーザーの身体が横臥する第３非正規着座姿勢であることを決定するように構成される。

一つの可能な実施形態において、前記認識モジュール４０２は、前記現在シーン画像に基づき、前記キャビン内にいる少なくとも１人のユーザーの現在の着座姿勢を認識する場合、
前記現在シーン画像に基づき、前記現在シーン画像に対応する中間特徴マップを生成し、
前記中間特徴マップに基づき、前記キャビン内にいる少なくとも１人のユーザーのうちの各々の検出枠情報を生成し、そして
前記中間特徴マップ及び前記少なくとも１人のユーザーのうちの各々の検出枠情報に基づき、各ユーザーの現在の着座姿勢を決定するように構成される。

一つの可能な実施形態において、前記認識モジュール４０２は、前記中間特徴マップに基づき、前記キャビン内にいる少なくとも１人のユーザーのうちの各々の検出枠情報を生成する場合、
前記中間特徴マップに対して第１畳み込み処理を少なくとも１回行い、前記中間特徴マップに対応するチャネル特徴マップを生成し、そして
前記チャネル特徴マップ中の位置を特徴づける目標チャネル特徴マップに基づき、前記キャビン内にいる各ユーザーの検出枠の中心点位置情報を生成するように構成される。

一つの可能な実施形態において、前記認識モジュール４０２は、前記チャネル特徴マップ中の位置を特徴づける目標チャネル特徴マップに基づき、前記キャビン内にいる各ユーザーの検出枠の中心点位置情報を生成する場合、
前記位置を特徴づける目標チャネル特徴マップにおける各特徴値に対して活性化関数で特徴値変換処理を行い、変換された目標チャネル特徴マップを生成し、
予め設定されたプーリングサイズ及びプーリングストライドに応じて、変換された目標チャネル特徴マップに対して最大プーリング処理を行い、複数のプーリング値、及び、複数のプーリング値のうちの各々に対応する位置インデックスを得て、前記位置インデックスは前記変換された目標チャネル特徴マップでの前記プーリング値の位置を識別するために用いられ、
前記各プーリング値及びプーリング閾値に基づき、複数のプーリング値から、少なくとも１人のユーザーの検出枠の中心点に属する目標プーリング値を決定し、そして
前記目標プーリング値に対応する位置インデックスに基づき、前記キャビン内にいる各ユーザーの検出枠の中心点位置情報を生成するように構成される。

一つの可能な実施形態において、前記認識モジュール４０２は、前記中間特徴マップ及び前記少なくとも１人のユーザーのうちの各々の検出枠情報に基づき、各ユーザーの現在の着座姿勢を決定する場合、
前記中間特徴マップに対して第２畳み込み処理を少なくとも１回行い、前記中間特徴マップに対応するＮチャネルの分類特徴マップを生成し、ここで前記分類特徴マップのチャネル数Ｎは着座姿勢種別の数に一致し、前記Ｎチャネルの分類特徴マップ中の各チャネル特徴マップは、１つの着座姿勢種別に対応し、Ｎは１より大きい正整数であり、そして
各ユーザーに対して、前記ユーザーの検出枠情報によって示される中心点位置情報に基づき、前記分類特徴マップから、前記中心点位置情報とマッチングする特徴位置でのＮ個の特徴値を抽出し、Ｎ個の特徴値から最大特徴値を選択し、分類特徴マップ中の、最大特徴値に対応するチャネル特徴マップの着座姿勢種別を、前記ユーザーの現在の着座姿勢として決定するように構成される。

一部の実施例では、本発明の実施例により提供される装置に備えられた機能又はテンプレートは、上記方法の実施例に記載の方法を実行するために用いられてもよく、その具体的な実現については、上記方法の実施例の説明を参照してよく、簡単化するために、ここで重複説明は割愛する。

同一の技術的構想に基づき、本発明の実施例は、電子機器５００をさらに提供する。図５は、本発明の実施例により提供される電子機器５００の構造的模式図であり、前記電子機器は、プロセッサ５０１、メモリ５０２、及びバス５０３を含む。メモリ５０２は実行命令を記憶するために用いられ、内蔵メモリ５０２１及び外部メモリ５０２２を含み、ここでの内蔵メモリ５０２１は、内部メモリとも呼ばれ、プロセッサ５０１内の演算データ、及びハードディスク等の外部メモリ５０２２と交換するデータを一時的に保存するために用いられ、プロセッサ５０１は、内蔵メモリ５０２１によって外部メモリ５０２２とデータ交換を行い、電子機器５００が運行する時、プロセッサ５０１とメモリ５０２はバス５０３を介して通信することで、プロセッサ５０１は、
キャビン内の現在シーン画像を取得し、
前記現在シーン画像に基づき、前記キャビン内にいる少なくとも１人のユーザーの現在の着座姿勢を認識し、
ユーザーの現在の着座姿勢が非正規着座姿勢タイプに属する場合、警告情報を発し、ここで前記非正規着座姿勢タイプとは、セキュリティーリスクが存在する着座姿勢タイプのことである、という命令を実行する。

また、本発明の実施例は、プロセッサにより実行されるとき、上記方法の実施例に記載の非正規着座姿勢の認識方法のステップを実行するコンピュータプログラムが記憶されるコンピュータ読み取り可能な記憶媒体をさらに提供する。

本発明の実施例により提供される非正規着座姿勢の認識方法に係るコンピュータプログラム製品は、コンピュータ読み取り可能なコードを記憶するために用いられ、コンピュータ読み取り可能なコードが電子機器で運行する場合、電子機器のプロセッサは上記何れか一つの実施例によって提供される非正規着座姿勢の認識方法を実現するために実行される。

当業者であれば、説明を便利化及び簡潔化するために、上述説明されたシステム及び装置の具体的な動作プロセスは、前記方法の実施例における対応するプロセスを参照すればよいことが明確に理解され、ここでは説明を省略する。なお、本発明が提供するいくつかの実施例では、発明されたシステム、装置及び方法は、他の形態で実現されることができることを理解すべきである。上述説明された装置の実施例は例示的なものに過ぎず、例えば、前記ユニットの分割は、論理機能の分割に過ぎず、実際に実現する時に別の分割モードもあり得て、また例えば、複数のユニット又はコンポーネントは組み合わせられてもよく、別のシステムに統合されてもよく、又は一部の特徴を省略もしくは実行しなくてもよい。一方、示される又は議論される相互の結合又は直接結合又は通信接続は一部の通信インタフェース、装置又はユニットを介した間接結合又は通信接続であり得、電気的、機械的又は他の形態であり得る。

分離部材として説明された前記ユニットは物理的に分離されたものであってもなくてもよく、ユニットとして示された部材は物理ユニットであってもなくてもよく、一箇所に位置してもよく、又は複数のネットワークユニットに分布されてもよい。実際の必要に応じてその一部又は全てのユニットを選択して本実施例の解決手段の目的を実現できる。

また、本発明の各実施例における各機能ユニットは１つの処理ユニットに統合されてもよく、それぞれ独立して物理的に存在してもよく、２つ又は２つ以上で１つのユニットに統合されてもよい。

前記機能がソフトウェア機能ユニットの形式で実現され且つ独立した製品として販売又は使用される場合、プロセッサにより実行可能な不揮発性コンピュータ読み取り可能な記憶媒体に記憶されてもよい。このような理解に基づき、本発明の技術的解決手段は実質的に又は従来技術に寄与する部分又は該技術的解決手段の一部がソフトウェア製品の形で実現されることができ、該コンピュータソフトウェア製品は記憶媒体に記憶され、コンピュータ機器（パーソナルコンピュータ、サーバ、又はネットワーク機器等であってもよい）に本発明の各実施例に記載の方法の全て又は一部のステップを実行させる若干の命令を含む。前記の記憶媒体は、ＵＳＢフラッシュディスク、モバイルハードディスク、読み取り専用メモリ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ：ＲＯＭと略称）、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ：ＲＡＭと略称）、磁気ディスク又は光ディスク等のプログラムコードを記憶可能である様々な媒体を含む。

以上は本発明の具体的な実施形態に過ぎず、本発明の保護範囲がそれに限定されるものでなく、本発明に記載された技術範囲内に当業者に容易に想到される変化又は取り替えは、全て本発明の保護範囲に含まれる。従って、本発明の保護範囲は特許請求の範囲の保護範囲に準ずるものとする。

本発明は非正規着座姿勢の認識方法、装置、電子機器、記憶媒体及びプログラムを提供し、キャビン内の現在シーン画像を取得し、前記現在シーン画像に基づき、前記キャビン内にいる少なくとも１人のユーザーの現在の着座姿勢を認識し、そしてユーザーの現在の着座姿勢が非正規着座姿勢タイプに属する場合、警告情報を発し、ここで前記非正規着座姿勢タイプはセキュリティーリスクが存在する着座姿勢タイプを含む。

Claims (14)

1. 非正規着座姿勢の認識方法であって、
   キャビン内の現在シーン画像を取得することと、
   前記現在シーン画像に基づき、前記キャビン内にいる少なくとも１人のユーザーの現在の着座姿勢を認識することと、
   ユーザーの現在の着座姿勢が非正規着座姿勢タイプに属する場合、警告情報を発することであって、ここで、前記非正規着座姿勢タイプにはセキュリティーリスクが存在する着座姿勢タイプが含まれることと、を含む
   非正規着座姿勢の認識方法。
2. 前記非正規着座姿勢タイプは
   ユーザーの身体が前傾する第１非正規着座姿勢、ユーザーの身体が横に傾く第２非正規着座姿勢、及びユーザーの身体が横臥する第３非正規着座姿勢のうちの少なくとも１つを含むことを特徴とする
   請求項１に記載の方法。
3. 前記現在シーン画像に基づき、前記キャビン内にいる少なくとも１人のユーザーの現在の着座姿勢を認識することは、
   前記現在シーン画像に基づき、前記現在シーン画像内の少なくとも１人のユーザーのキーポイント情報を決定することと、
   各ユーザーのキーポイント情報と設定された基準物との間の相対位置関係に基づき、前記キャビン内にいる各ユーザーの現在の着座姿勢を決定することと、を含むことを特徴とする
   請求項２に記載の方法。
4. 前記キーポイント情報には頭部キーポイント情報が含まれ、
   各ユーザーのキーポイント情報と設定された基準物との間の相対位置関係に基づき、前記キャビン内にいる各ユーザーの現在の着座姿勢を決定することは、
   いずれか１人のユーザーの前記頭部キーポイント情報が設定されたハンドルの下接線より低い場合、前記いずれか１人のユーザーの現在の着座姿勢が、ユーザーの身体が前傾する第１非正規着座姿勢であることを決定することを特徴とする
   請求項３に記載の方法。
5. 前記キーポイント情報には、左肩キーポイント情報及び右肩キーポイント情報が含まれ、
   各ユーザーのキーポイント情報と設定された基準物との間の相対位置関係に基づき、前記キャビン内にいる各ユーザーの現在の着座姿勢を決定することは、
   いずれか１人のユーザーの左肩キーポイントと右肩キーポイントとの間の接続線と、設定された座席基準面とのなす角度が設定された第１角度閾値より大きい場合、前記いずれか１人のユーザーの現在の着座姿勢が、ユーザーの身体が横に傾く第２非正規着座姿勢であることを決定することを含むことを特徴とする
   請求項３に記載の方法。
6. 前記キーポイント情報には、頸キーポイント情報及び股キーポイント情報が含まれ、
   各ユーザーのキーポイント情報と設定された基準物との間の相対位置関係に基づき、前記キャビン内にいる各ユーザーの現在の着座姿勢を決定することは、
   いずれか１人のユーザーの頸キーポイントと股キーポイントとの間の接続線と、設定された水平基準面とのなす角度が設定された第２角度閾値より小さい場合、前記いずれか１人のユーザーの現在の着座姿勢が、ユーザーの身体が横臥する第３非正規着座姿勢であることを決定することを含むことを特徴とする
   請求項３に記載の方法。
7. 前記現在シーン画像に基づき、前記キャビン内にいる少なくとも１人のユーザーの現在の着座姿勢を認識することは、
   前記現在シーン画像に基づき、前記現在シーン画像に対応する中間特徴マップを生成することと、
   前記中間特徴マップに基づき、前記キャビン内にいる少なくとも１人のユーザーのうちの各々の検出枠情報を生成することと、
   前記中間特徴マップ及び前記少なくとも１人のユーザーのうちの各々の検出枠情報に基づき、各ユーザーの現在の着座姿勢を決定することと、を含むことを特徴とする
   請求項１に記載の方法。
8. 前記中間特徴マップに基づき、前記キャビン内にいる少なくとも１人のユーザーのうちの各々の検出枠情報を生成することは、
   前記中間特徴マップに対して第１畳み込み処理を少なくとも１回行うことで、前記中間特徴マップに対応するチャネル特徴マップを生成することと、
   前記チャネル特徴マップ中の位置を特徴づける目標チャネル特徴マップに基づき、前記キャビン内にいる各ユーザーの検出枠の中心点位置情報を生成することと、を含むことを特徴とする
   請求項７に記載の方法。
9. 前記チャネル特徴マップ中の位置を特徴づける目標チャネル特徴マップに基づき、前記キャビン内にいる各ユーザーの検出枠の中心点位置情報を生成することは、
   前記位置を特徴づける目標チャネル特徴マップにおける各特徴値に対して活性化関数で特徴値変換処理を行うことで、変換された目標チャネル特徴マップを生成することと、
   予め設定されたプーリングサイズ及びプーリングストライドに応じて、変換された目標チャネル特徴マップに対して最大プーリング処理を行うことで、複数のプーリング値、及び複数のプーリング値のうちの各々に対応する位置インデックスを得ることであって、前記位置インデックスは、前記変換された目標チャネル特徴マップでの前記プーリング値の位置を識別するために用いられることと、
   前記各プーリング値及びプーリング閾値に基づき、複数のプーリング値から、少なくとも１人のユーザーの検出枠の中心点に属する目標プーリング値を決定することと、
   前記目標プーリング値に対応する位置インデックスに基づき、前記キャビン内にいる各ユーザーの検出枠の中心点位置情報を生成することと、を含むことを特徴とする
   請求項８に記載の方法。
10. 前記中間特徴マップ及び前記少なくとも１人のユーザーのうちの各々の検出枠情報に基づき、各ユーザーの現在の着座姿勢を決定することは、
    前記中間特徴マップに対して第２畳み込み処理を少なくとも１回行うことで、前記中間特徴マップに対応するＮチャネルの分類特徴マップを生成することであって、ここで、前記分類特徴マップのチャネル数Ｎは着座姿勢種別の数に一致し、前記Ｎチャネルの分類特徴マップ中の各チャネル特徴マップは、１つの着座姿勢種別に対応し、Ｎは１より大きい正整数であることと、
    各ユーザーに対して、前記ユーザーの検出枠情報によって示される中心点位置情報に基づき、前記分類特徴マップから、前記中心点位置情報とマッチングする特徴位置でのＮ個の特徴値を抽出し、Ｎ個の特徴値から最大特徴値を選択し、分類特徴マップ中の、最大特徴値に対応するチャネル特徴マップの着座姿勢種別を、前記ユーザーの現在の着座姿勢として決定することと、を含むことを特徴とする
    請求項７に記載の方法。
11. 非正規着座姿勢の認識装置であって、
    キャビン内の現在シーン画像を取得するように構成される取得モジュールと、
    前記現在シーン画像に基づき、前記キャビン内にいる少なくとも１人のユーザーの現在の着座姿勢を認識するように構成される認識モジュールと、
    ユーザーの現在の着座姿勢が非正規着座姿勢タイプに属する場合、警告情報を発するように構成される決定モジュールであって、ここで、前記非正規着座姿勢タイプとは、セキュリティーリスクが存在する着座姿勢タイプのことである決定モジュールと、を備える
    非正規着座姿勢の認識装置。
12. 電子機器であって、
    プロセッサ、メモリ及びバスを備え、
    前記メモリには、前記プロセッサにより実行可能な機械読み取り可能な命令が記憶されており、
    電子機器が運行する時、前記プロセッサと前記メモリはバスを介して通信し、
    前記機械読み取り可能な命令は、前記プロセッサにより実行されるとき、請求項１から１０のいずれか１項に記載の非正規着座姿勢の認識方法のステップを実行する
    電子機器。
13. コンピュータ読み取り可能な記憶媒体であって、
    前記コンピュータ読み取り可能な記憶媒体には、コンピュータプログラムが記憶されており、
    前記コンピュータプログラムがプロセッサにより実行されるとき、請求項１から１０のいずれか１項に記載の非正規着座姿勢の認識方法のステップを実行する
    コンピュータ読み取り可能な記憶媒体。
14. コンピュータプログラムであって、
    前記コンピュータプログラムにはコンピュータ読み取り可能なコードが含まれており、
    電子機器で前記コンピュータ読み取り可能なコードを運行する場合、前記電子機器のプロセッサが請求項１から１０のいずれか１項に記載の非正規着座姿勢の認識方法を実現するように実行される
    コンピュータ読み取り可能なコードを含む
    コンピュータプログラム。

Images