JP6979229B2

JP6979229B2 - 魚眼レンズが装着された２次元カメラを使用して２次元イメージショットで乗客の状態を予測するための方法及び装置｛ｍｅｔｈｏｄａｎｄｄｅｖｉｃｅｆｏｒｅｓｔｉｍａｔｉｎｇｐａｓｓｅｎｇｅｒｓｔａｔｕｓｅｓｉｎ２ｄｉｍｅｎｓｉｏｎｉｍａｇｅｓｈｏｔｂｙｕｓｉｎｇ２ｄｉｍｅｎｓｉｏｎｃａｍｅｒａｗｉｔｈｆｉｓｈｅｙｅｌｅｎｓ｝

Info

Publication number: JP6979229B2
Application number: JP2020008409A
Authority: JP
Inventors: − ヒョンキム、ケイ; キム、ヨンジュン; − キョンキム、ハク; ナム、ウヒョン; ブー、ソッフン; ソン、ミュンチュル; シン、ドンス; ヨー、ドンフン; リュー、ウジュ; − チュンイ、ミョン; イ、ヒョンス; チャン、テウン; ジョン、キュンチョン; チェ、ホンモ; チョウ、ホジン
Original assignee: Stradvision Inc
Current assignee: Stradvision Inc
Priority date: 2019-01-30
Filing date: 2020-01-22
Publication date: 2021-12-08
Anticipated expiration: 2040-01-22
Also published as: EP3690724B1; US10657396B1; CN111507168A; CN111507168B; KR20200094657A; KR102349979B1; EP3690724C0; EP3690724A1; JP2020123342A

Description

本発明は、２Ｄカメラを利用して乗客の状態を検出する方法及び装置に関し、より詳細には、魚眼レンズが装着された２Ｄカメラから取得される車両の２Ｄ室内イメージを利用して各乗客の状態を検出する方法及び装置に関する。

一般的に、車両には使用者の便宜及び安全のための様々な安全装置が設置されている。

特に、車両事故の際に、ドライバーのような乗客と安全装置との距離を利用して乗客の安全のための安全装置を作動させるための様々なアプリケーションを遂行している。

一例として、車両の事故によるエアバッグの展開の際に、エアバッグと乗客との間の距離が遠い場合にはエアバッグの膨張時間が増加し、エアバッグと乗客との間の距離が近い場合にはエアバッグの膨張時間が減少する。したがって、エアバッグと乗客との間の距離に応じてエアバッグの展開が効率的に行われるようにして車両の衝突による２次事故を防止している。

また、車両の乗客のうち一部である運転者との距離を利用して、運転者が運転中の姿勢を傾けるなどの非正常な動作状態を検出して警報することによって、前方不注視の場合などによる事故を未然に防止している。

このような安全装置の動作を遂行ために使用される乗客との距離は、様々なセンサを利用して測定している。

しかし、各センサを利用して乗客との距離を測定する場合には、乗客の様々な位置及び変化する運行環境に応じて正確なセンシング情報を確保することが難しく、距離測定のための多様なセンサを適用しなければならないため、費用が増加する問題点がある。

したがって、本発明では、従来に比べて安価な費用で各乗客の身***置を測定し得るようにする方案を提案することにする。

本発明は、前述した問題点を全て解決することをその目的とする。

本発明は、費用の増加なしに一人以上の乗客の一つ以上の状態を検出し得るようにすることを他の目的とする。

本発明は、走行環境に影響されずに各乗客の状態を検出し得るようにすることをまた他の目的とする。

本発明は、処理すべき情報を最小化して、各乗客の状態を検出し得るようにすることをまた他の目的とする。

前記のような本発明の目的を達成し、後述する本発明の特徴的な効果を実現するための本発明の特徴的な構成は以下のとおりである。

本発明の一態様によると、車両の室内イメージを分析することによって、一人以上の乗客の状態を検出する方法において、（ａ）魚眼レンズが装着された少なくとも一つのカメラにより撮影された車両の室内に対する少なくとも一つの２Ｄ室内イメージが取得されると、乗客状態検出装置が、前記２Ｄ室内イメージをポーズ予測ネットワークに入力することによって、前記ポーズ予測ネットワークをもって、前記２Ｄ室内イメージから一人以上の乗客それぞれに対応する一つ以上のポーズポイントを取得させる段階；及び（ｂ）前記乗客状態検出装置が、（ｉ）予め設定されたピクセル及び角度（ｐｉｘｅｌ−ａｎｇｌｅ）テーブルを参照して前記車両の予め設定されたリファレンスポイントを基準として前記乗客それぞれに対応する前記ポーズポイントに関する各位置情報を演算し、（ｉｉ）前記乗客それぞれに対応する前記ポーズポイントに関する前記位置情報を参照して前記乗客それぞれの状態を検出する段階；を含み、前記ピクセル及び角度テーブルは、前記車両の室内にグリッドセル（ｇｒｉｄｃｅｌｌｓ）からなるグリッドボード（ｇｒｉｄｂｏａｒｄ）を設置した状態で、第１ライン及びそれぞれの第２ラインにより形成されたそれぞれの垂直角度及びそれぞれの水平角度が前記グリッドセルの各コーナーのピクセルそれぞれに対応するように生成されたテーブルであり、前記第１ラインは、前記カメラで撮影したグリッドイメージ上の前記グリッドボードの上端中央及び前記カメラを連結し、前記それぞれの第２ラインは、前記それぞれのコーナー及び前記カメラを連結したことを特徴とする方法が提供される。

一実施例において、前記（ｂ）段階で、前記乗客状態検出装置は、（ｉ）前記乗客それぞれに対応する前記各ポーズポイントのうち特定のポーズポイントが位置する特定のグリッドセルのコーナーに関する前記各位置情報を利用してバイリニア補間法（ｂｉｌｉｎｅａｒｉｎｔｅｒｐｏｌａｔｉｏｎ）により前記特定のポーズポイントの特定高さを取得し、（ｉｉ）前記各グリッドセルの前記各コーナーの前記垂直角度及び前記水平角度を利用してバイリニア補間法により前記特定のポーズポイントの特定の垂直角度及び特定の水平角度を取得し、（ｉｉｉ）前記特定高さ、前記特定の垂直角度及び前記特定の水平角度を参照して、前記特定のポーズポイント及び前記リファレンスポイントの間の特定の車軸方向距離及び特定の車幅方向距離を取得することを特徴とする方法が提供される。

一実施例において、前記リファレンスポイント及び前記特定のポーズポイントを前記車両の全体の車軸方向及び全体の車幅方向により形成された平面上にそれぞれ投影して、投影されたリファレンスポイント及び投影された特定のポーズポイントそれぞれを取得した状態で、前記特定の車軸方向距離は、前記投影されたリファレンスポイント及び前記投影された特定のポーズポイントの間の距離であり、前記特定の車幅方向距離は、前記投影されたリファレンスポイントから全体の車軸方向に延長されたベースライン及び前記投影されたポーズポイントの間の距離であることを特徴とする方法が提供される。

一実施例において、（ｃ）前記乗客状態検出装置が、（ｉ）前記車両の非常状況で前記各乗客を保護するための、前記車両の少なくとも一つのアプリケーションをもって、前記乗客それぞれの状態にしたがって動作させるか、（ｉｉ）前記乗客それぞれの状態を参照して前記乗客それぞれの一つ以上の行動パターンを分析して前記乗客それぞれの走行安全状態それぞれを確認させる段階；をさらに含むことを特徴とする方法が提供される。

一実施例において、前記（ａ）段階で、前記乗客状態検出装置は、前記ポーズ予測ネットワークをもって、（ｉ）特徴抽出ネットワークを通じて前記２Ｄ室内イメージに対応する一つ以上のチャンネルを有する一つ以上の特徴テンソル（ｆｅａｔｕｒｅｔｅｎｓｏｒ）を出力させ、（ｉｉ）キーポイントヒートマップ及びパートアフィニティフィールド抽出器を通じて前記特徴テンソルそれぞれに対応する一つ以上のチャンネルを有する少なくとも一つのキーポイントヒートマップ及び少なくとも一つのパートアフィニティフィールドを生成させ、（ｉｉｉ）キーポイント検出器を通じて前記キーポイントヒートマップにおいて一つ以上のキーポイントを抽出し、前記パートアフィニティフィールドを参照して前記抽出されたキーポイントをグルーピングして前記乗客それぞれに対応する前記ポーズポイントを生成させることを特徴とする方法が提供される。

一実施例において、前記（ａ）段階で、前記乗客状態検出装置は、前記ポーズ予測ネットワークをもって、（ｉ）特徴抽出ネットワークを通じて前記２Ｄ室内イメージに対応する一つ以上のチャンネルを有する一つ以上の特徴テンソルを出力させ、（ｉｉ）フルコンボリューションネットワーク（ｆｕｌｌｙｃｏｎｖｏｌｕｔｉｏｎｎｅｔｗｏｒｋ）を通じて前記特徴テンソルにフルコンボリューション演算を適用して一つ以上のヒートマップを生成させ、（ｉｉｉ）前記ヒートマップにおいて前記各ポーズポイントを取得させることを特徴とする方法が提供される。

本発明の他の態様によると、車両の室内イメージを分析することによって一人以上の乗客の状態を検出する乗客状態検出装置において、少なくとも一つのインストラクションを格納する少なくとも一つのメモリと、前記各インストラクションを遂行するように設定された少なくとも一つのプロセッサとを含み、前記プロセッサは、（Ｉ）魚眼レンズが装着された少なくとも一つのカメラにより撮影された車両の室内に対する少なくとも一つの２Ｄ室内イメージが取得されると、前記２Ｄ室内イメージをポーズ予測ネットワークに入力することによって、前記ポーズ予測ネットワークをもって、前記２Ｄ室内イメージから一人以上の乗客それぞれに対応する一つ以上のポーズポイントを取得させるプロセス；及び（ＩＩ）（ｉ）予め設定されたピクセル及び角度（ｐｉｘｅｌ−ａｎｇｌｅ）テーブルを参照して前記車両の予め設定されたリファレンスポイントを基準として前記乗客それぞれに対応する前記ポーズポイントに関する各位置情報を演算し、（ｉｉ）前記乗客それぞれに対応する前記ポーズポイントに関する前記位置情報を参照して前記乗客それぞれの状態を検出するプロセス；を遂行し、前記ピクセル及び角度テーブルは、前記車両の室内にグリッドセル（ｇｒｉｄｃｅｌｌｓ）からなるグリッドボード（ｇｒｉｄｂｏａｒｄ）を設置した状態で、第１ライン及びそれぞれの第２ラインにより形成されたそれぞれの垂直角度及びそれぞれの水平角度が前記グリッドセルの各コーナーのピクセルそれぞれに対応するように生成されたテーブルであり、前記第１ラインは、前記カメラで撮影したグリッドイメージ上の前記グリッドボードの上端中央及び前記カメラを連結し、前記それぞれの第２ラインは、前記それぞれのコーナー及び前記カメラを連結したことを特徴とする装置が提供される。

一実施例において、前記（ＩＩ）プロセスは、前記プロセッサが、（ｉ）前記乗客それぞれに対応する前記各ポーズポイントのうち特定のポーズポイントが位置する特定のグリッドセルのコーナーに関する前記各位置情報を利用してバイリニア補間法（ｂｉｌｉｎｅａｒｉｎｔｅｒｐｏｌａｔｉｏｎ）により前記特定のポーズポイントの特定高さを取得し、（ｉｉ）前記各グリッドセルの前記各コーナーの前記垂直角度及び前記水平角度を利用してバイリニア補間法により前記特定のポーズポイントの特定の垂直角度及び特定の水平角度を取得し、（ｉｉｉ）前記特定高さ、前記特定の垂直角度及び前記特定の水平角度を参照して前記特定のポーズポイント及び前記リファレンスポイントの間の特定の車軸方向距離及び特定の車幅方向距離を取得することを特徴とする装置が提供される。

一実施例において、前記リファレンスポイント及び前記特定のポーズポイントを前記車両の全体の車軸方向及び全体の車幅方向により形成された平面上にそれぞれ投影して、投影されたリファレンスポイント及び投影された特定のポーズポイントそれぞれを取得した状態で、前記特定の車軸方向距離は前記投影されたリファレンスポイント及び前記投影された特定のポーズポイントの間の距離であり、前記特定の車幅方向距離は、前記投影されたリファレンスポイントから全体の車軸方向に延長されたベースライン及び前記投影されたポーズポイントの間の距離であることを特徴とする装置が提供される。

一実施例において、（ＩＩＩ）（ｉ）前記車両の非常状況において、前記各乗客を保護するための、前記車両の少なくとも一つのアプリケーションをもって、前記乗客それぞれの状態によって作動させるか、（ｉｉ）前記乗客それぞれの状態を参照して前記乗客それぞれの一つ以上の行動パターンを分析して、前記乗客それぞれの走行安全状態それぞれを確認させるプロセス；をさらに遂行することを特徴とする装置が提供される。

一実施例において、前記（Ｉ）プロセスは、前記プロセッサが、前記ポーズ予測ネットワークをもって、（ｉ）特徴抽出ネットワークを通じて前記２Ｄ室内イメージに対応する一つ以上のチャンネルを有する一つ以上の特徴テンソル（ｆｅａｔｕｒｅｔｅｎｓｏｒ）を出力させ、（ｉｉ）キーポイントヒートマップ及びパートアフィニティフィールド抽出器を通じて前記特徴テンソルそれぞれに対応する一つ以上のチャンネルを有する少なくとも一つのキーポイントヒートマップ及び少なくとも一つのパートアフィニティフィールドを生成させ、（ｉｉｉ）キーポイント検出器を通じて前記キーポイントヒートマップにおいて一つ以上のキーポイントを抽出し、前記パートアフィニティフィールドを参照して前記抽出されたキーポイントをグルーピングして前記乗客それぞれに対応する前記ポーズポイントを生成させることを特徴とする装置が提供される。

一実施例において、前記（Ｉ）プロセスは、前記プロセッサが、前記ポーズ予測ネットワークをもって、（ｉ）特徴抽出ネットワークを通じて前記２Ｄ室内イメージに対応する一つ以上のチャンネルを有する一つ以上の特徴テンソルを出力させ、（ｉｉ）フルコンボリューションネットワーク（ｆｕｌｌｙｃｏｎｖｏｌｕｔｉｏｎｎｅｔｗｏｒｋ）を通じて前記特徴テンソルにフルコンボリューション演算を適用して一つ以上のヒートマップを生成させ、（ｉｉｉ）前記ヒートマップにおいて前記各ポーズポイントを取得させることを特徴とする装置が提供される。

その他にも、本発明の方法を実行するためのコンピュータプログラムを格納するためのコンピュータ読取り可能な記録媒体がさらに提供される。

本発明は、カメラを利用して撮影された車両室内の２Ｄ室内イメージを分析して各乗客の状態を検出するため、従来のセンサ方式に比べて費用を節減することができる。

本発明は、カメラを利用して撮影された車両室内の２Ｄ室内イメージを分析して各乗客の状態を検出するため、車両の周辺環境に影響されずに各乗客の状態を検出することができるようになる。

本発明は、カメラを利用して撮影された車両室内の２Ｄ室内イメージを分析して各乗客の状態を検出するため、従来のセンサ方式に比べて処理しなければならない情報が少ないので、従来のセンサ方式に比べて処理速度を向上させることが可能になる。

本発明の実施例の説明に利用されるために添付された以下の各図面は、本発明の実施例のうち単に一部であるに過ぎず、本発明の属する技術分野において通常の知識を有する者（以下「通常の技術者」）にとっては、発明的作業が行われずにこれらの図面に基づいて他の各図面が得られ得る。

本発明の一実施例にしたがって、少なくとも一つの２Ｄカメラを利用して一人以上の乗客の状態を検出する乗客状態検出装置を簡略に示した図面である。本発明の一実施例にしたがって、２Ｄカメラを利用して乗客の状態を検出するためのカメラの設置状態と、カメラを基準として車両に対する座標とを簡略に示した図面である。本発明の一実施例にしたがって、２Ｄカメラを利用した乗客の状態を検出するための乗客のポーズポイントを検出するプロセスを簡略に示した図面である。本発明の一実施例にしたがって、２Ｄカメラを利用した乗客の状態を検出するための乗客のポーズポイントを検出する方法を簡略に示した図面である。本発明の一実施例にしたがって、２Ｄカメラを利用した乗客の状態を検出する方法において、ポーズポイントの位置を確認するのに利用されるグリッドボードを簡略に示した図面である。本発明の一実施例にしたがって、２Ｄカメラを利用した乗客の状態を検出する方法において、ポーズポイントの位置を確認するのに利用されるグリッドボードに対応するピクセル及び角度テーブルを簡略に示した図面である。本発明の一実施例にしたがって、２Ｄカメラを利用した乗客の状態を検出する方法において、ピクセル及び角度テーブルを利用して特定のポーズポイントに対応する高さ及び角度を測定する過程を簡略に示した図面である。本発明の一実施例にしたがって、２Ｄカメラを利用した乗客の状態を検出する方法において、ポーズポイントの車軸方向距離を検出する状態を簡略に示した図面である。本発明の一実施例にしたがって、２Ｄカメラを利用した乗客の状態を検出する方法において、ポーズポイントの車幅方向距離を検出する状態を簡略に示した図面である。

後述する本発明に関する詳細な説明は、本発明が実施され得る特定の実施例を例示として示す添付図面を参照する。これらの実施例は、当業者が本発明を実施することができるように十分詳細に説明される。本発明の多様な実施例は互いに異なるが、相互に排他的である必要はないことが理解されるべきである。例えば、ここに記載されている特定の形状、構造及び特性は、一実施例に関連して本発明の精神及び範囲を逸脱せず、かつ他の実施例で具現され得る。また、それぞれの開示された実施例内の個別の構成要素の位置又は配置は、本発明の精神及び範囲を逸脱せず、かつ変更され得ることが理解されるべきである。したがって、後述の詳細な説明は、限定的な意味として受け取ろうとするものではなく、本発明の範囲は適切に説明されるのであれば、その請求項が主張することと均等な全ての範囲とともに添付された請求項によってのみ限定される。図面において類似の参照符号は、様々な側面にわたって同一であるか、類似する機能を指す。

また、本発明の詳細な説明及び各請求項にわたって、「含む」という単語及びそれらの変形は、他の技術的各特徴、各付加物、構成要素又は段階を除外することを意図したものではない。通常の技術者にとって本発明の他の各目的、長所及び各特性が、一部は、本説明書から、また一部は、本発明の実施から明らかになるであろう。以下の例示及び図面は実例として提供され、本発明を限定することを意図したものではない。

本発明で言及している各種イメージは、舗装または非舗装道路関連のイメージを含み得、この場合、道路環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではなく、本発明で言及している各種イメージは、道路と関係のないイメージ（例えば、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内と関連したイメージ）でもあり得、この場合、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではない。

以下、本発明の属する技術分野において通常の知識を有する者が本発明を容易に実施し得るようにするために、本発明の好ましい実施例について、添付された図面を参照して詳細に説明することにする。

図１は、本発明の一実施例にしたがって、少なくとも一つの２Ｄカメラを利用して一人以上の乗客の状態を検出する乗客状態検出装置を簡略に示した図面である。図１を参照すると、乗客状態検出装置１００は、少なくとも一つの２Ｄカメラを利用して乗客の状態を検出するための各インストラクションを格納するメモリ１１０と、メモリ１１０に格納された各インストラクションに対応して２Ｄカメラを利用して乗客の状態を検出する動作を遂行するプロセッサ１２０と、を含むことができる。

具体的に、乗客状態検出装置１００は、典型的に少なくとも一つのコンピューティング装置（例えば、コンピュータプロセッサ、メモリ、ストレージ、入力装置、出力装置、その他既存のコンピューティング装置の各構成要素を含むことができる装置；ルータまたはスイッチなどのような電子通信装置；ネットワーク接続ストレージ（ＮＡＳ）及びストレージ領域ネットワーク（ＳＡＮ）のような電子情報ストレージシステム）と少なくとも一つのコンピュータソフトウェア（コンピューティング装置をもって特定の方式で機能させる各インストラクション）との組み合わせを利用して所望のシステム性能を達成するものであり得る。

また、コンピューティング装置のプロセッサは、ＭＰＵ（ＭｉｃｒｏＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）またはＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、キャッシュメモリ（ＣａｃｈｅＭｅｍｏｒｙ）、データバス（ＤａｔａＢｕｓ）などのハードウェア構成を含むことができる。また、コンピューティング装置は、オペレーティングシステム、特定の目的を遂行するアプリケーションのソフトウェア構成をさらに含むこともできる。

しかし、このようにコンピューティング装置が描写されたからといって、コンピューティング装置が本発明を実施するためのミディアム、プロセッサ、及びメモリが統合された形態である統合プロセッサを含む場合を排除するわけではない。

このように構成された本発明の一実施例による乗客状態検出装置１００を利用して、２Ｄカメラを通じて撮影された車両室内の少なくとも一つの２Ｄ室内イメージを分析して乗客の状態を検出する方法を説明すると次のとおりである。

まず、図２を参照すると、車両の室内に設けられた少なくとも一つのカメラ１０により撮影された車両の２Ｄ室内イメージが取得され得る。ここで、２Ｄ室内イメージは、車両の運転者のような一人以上の乗客を含むことができる。

ここで、カメラ１０は、車両室内の前方上部領域に設けられ得、カメラ１０の設置高さは予め設定されたリファレンスポイントからカメラ１０が設けられた位置までの垂直距離により取得され得る。そして、リファレンスポイントは、車両の室内床面、車両の座席、車両のダッシュボードなどに設定され得るが、本発明がこれに限定されるわけではなく、車両において垂直高さを取得するために使用され得る任意の位置をリファレンスポイントとして設定することができる。リファレンスポイントは、車両の緊急状況において各乗客を保護するために使用される車両のアプリケーション、一例として、エアバッグなどが設けられた位置であり得る。

また、カメラ１０は２Ｄカメラであり得、車両の室内全体を広い視野角で撮影することができるように魚眼レンズ（ｆｉｓｈｅｙｅｌｅｎｓ）を備えることができる。

ここで、ｘ軸は車両の車幅方向に対応するように設定され得、ｙ軸は高さ方向、すなわち、カメラの高さ方向に対応するように設定され得、ｚ軸は車両の車軸方向に対応するように設定され得る。

次に、図３を参照すると、乗客状態検出装置１００は、コンピュータビジョン技術を利用したポーズ予測ネットワークを通じて２Ｄ室内イメージから乗客それぞれに対応する各ポーズポイント（ｐｐ１、ｐｐ２、…、ｐｐｎ）を取得することができる。

一例として、図４を参照すると、２Ｄ室内イメージが取得されると、ポーズ予測ネットワーク１５０は２Ｄ室内イメージを特徴抽出ネットワーク１５１に入力することによって、特徴抽出ネットワーク１５１をもって２Ｄ室内イメージにコンボリューション演算を適用して、２Ｄ室内イメージに対応する一つ以上のチャンネルを有する一つ以上の特徴テンソルを生成させることができる。ここで、特徴抽出ネットワーク１５１は、少なくとも一つのコンボリューション演算を遂行することができる一つ以上のコンボリューションレイヤを含む一つ以上のコンボリューションブロックをもって、２Ｄ室内イメージに多重コンボリューション演算を適用させることができる。

そして、ポーズ予測ネットワーク１５０は、特徴テンソルをキーポイントヒートマップ及びパートアフィニティフィールド抽出器１５２に入力することによって、キーポイントヒートマップ及びパートアフィニティフィールド抽出器１５２をもって、特徴テンソルそれぞれに対応する一つ以上のキーポイントヒートマップ及び一つ以上のパートアフィニティフィールドを生成させることができる。ここで、キーポイントヒートマップ及びパートアフィニティフィールド抽出器１５２は、フルコンボリューションネットワークを含むことができる。また、キーポイントヒートマップ及びパートアフィニティフィールド抽出器１５２は、特徴テンソルに少なくとも一つの１ｘ１コンボリューション演算を適用する一つ以上の１ｘ１コンボリューションレイヤを含むことができる。

一方、キーポイントヒートマップは、熱を意味するヒート（ｈｅａｔ）と地図を意味するマップ（ｍａｐ）とを結合させたものであって、色相で表現することができる様々な情報を所定のイメージ上に熱分布形態のビジュアルなグラフィックで生成したものであり得る。

そして、パートアフィニティフィールドは、各キーポイント間の関係を表現する一種のベクトルマップであり得る。すなわち、パートアフィニティフィールドは、特定のキーポイントと他の各キーポイントとの連結を表すマップであり得、それぞれのキーポイントヒートマップのペアに含まれているそれぞれの各キーポイントが相互に連結される確率を表すマップであり得る。

ここで、キーポイントヒートマップ及びパートアフィニティフィールド抽出器１５２は、二部分マッチング（ｂｉｐａｒｔｉｔｅｍａｔｃｈｉｎｇ）を利用して各キーポイントの間の関係を検出することによってパートアフィニティフィールドを生成することができる。すなわち、各キーポイントがそれぞれどの乗客のものであるのか、各キーポイントの関係がどのようなものであるのかを二部分マッチングにより確認することができる。

以後、ポーズ予測ネットワーク１５０は、キーポイントヒートマップ及びパートアフィニティフィールドをキーポイント検出器１５３に入力することによって、キーポイント検出器１５３をもってキーポイントヒートマップから少なくとも一つのキーポイントを抽出し得るようにし、パートアフィニティフィールドを参照して抽出された各キーポイントをグルーピングして、２Ｄ室内イメージ内に位置する乗客それぞれに対応するそれぞれの乗客ごとの各ポーズポイントを検出させることができる。ここで、キーポイント検出器１５３は、キーポイントヒートマップそれぞれのチャンネルそれぞれにおいて最も高いポイント、すなわち、キーポイントヒートマップそれぞれに対応する各キーポイントとして最も高いヒート値を有するポイントそれぞれを抽出することができ、抽出された各キーポイントのうち相互に連結される確率が最も高い各キーポイントをペアリングすることによって、パートアフィニティフィールドを参照して抽出された各キーポイントをグルーピングし、結果として、各ポーズポイントを取得することができる。一例として、抽出されたキーポイントのうちで第２キーポイントが第１キーポイントに連結される可能性が最も高いものと決定される場合、抽出されたキーポイントのうち第１キーポイント及び抽出されたキーポイントのうち第２キーポイントをペアとして連結する過程が遂行され得る。ここで、このようなプロセスは、抽出された全てのキーポイントに対して遂行され得る。結果として、抽出されたキーポイントは、一つ以上のグループに分類され得る。ここで、グループの数は、２Ｄ室内イメージにおいて乗客の数によって決定され得る。

その他の例として、乗客状態検出装置１００は、ポーズ予測ネットワーク１５０をもって、（ｉ）特徴抽出ネットワークを通じて前記２Ｄ室内イメージに対応するチャンネルを有する特徴テンソルを出力させ、（ｉｉ）フルコンボリューションネットワークを通じて前記特徴テンソルにフルコンボリューション演算を適用して少なくとも一つのヒートマップを生成させ、（ｉｉｉ）前記ヒートマップにおいて、前記各ポーズポイントを取得させることができる。

これ以外にも、ポーズポイントは様々な方法により取得され得、本発明では各乗客のポーズポイントを求める方法について限定されない。

すなわち、ポーズ予測ネットワークは、ＣＰＭ（ＣｏｎｖｏｌｕｔｉｏｎａｌＰｏｓｅＭａｃｈｉｎｅｓ）、コンボリューションニューラルネットワーク、フルコンボリューションネットワークまたはヒートマップなどを利用して各乗客のポーズポイントを取得することができる。

次に、乗客状態検出装置１００は、（ｉ）予め設定されたピクセル及び角度（ｐｉｘｅｌ−ａｎｇｌｅ）テーブルを参照して前記車両の予め設定されたリファレンスポイントを基準として前記乗客それぞれに対応する前記ポーズポイントに関する各位置情報を算出し、（ｉｉ）前記乗客それぞれに対応する前記ポーズポイントに関する前記各位置情報を参照して、前記乗客それぞれの状態を検出することができる。

ここで、ピクセル及び角度テーブルは、前記車両の室内にグリッドセル（ｇｒｉｄｃｅｌｌｓ）からなるグリッドボード（ｇｒｉｄｂｏａｒｄ）を設置した状態で、第１ライン及びそれぞれの第２ラインにより形成されたそれぞれの垂直角度及びそれぞれの水平角度が前記グリッドセルの各コーナーのピクセルそれぞれに対応するように生成されたテーブルであり、前記第１ラインは、魚眼レンズが装着された２Ｄカメラで撮影したグリッドイメージ上の前記グリッドボードの上端中央ＴＣ及び２Ｄカメラを連結し、前記それぞれの第２ラインは前記それぞれのコーナーＳＰ及び２Ｄカメラを連結したものである。

一例として、図５を参照すると、それぞれのサイドが２インチであるグリッドセルからなるグリッドボードは車両室内のカメラの正面方向に設けられ、魚眼レンズを装着した２Ｄカメラでグリッドボードを撮影して、２Ｄイメージであるグリッドイメージを取得することができる。

そして、グリッドセルそれぞれのコーナーＳＰのピクセル値は、グリッドイメージから検出され得る。ここで、グリッドボードが車両の室内をいっぱいに満たすことができない場合に仮想で拡張することもできる。

そうすると、リファレンスポイントからそれぞれのグリッドセルのそれぞれのコーナーＳＰまでの垂直距離であるそれぞれの高さが計算され得る。

そして、（ｉ）第１ライン及びそれぞれの第２ラインにより形成されたそれぞれの垂直角度及びそれぞれの水平角度を測定し、（ｉｉ）それぞれの垂直角度及びそれぞれの水平角度をグリッドセルの各コーナーに対応するピクセルそれぞれにマッチングしてピクセル及び角度テーブルを生成することができる。ここで、第１ラインは、グリッドイメージ上の前記グリッドボードの上端中央ＴＣ及び２Ｄカメラを連結し、前記それぞれの第２ラインは、グリッドイメージ上の前記それぞれのコーナーＳＰ及び２Ｄカメラを連結したものである。

ここで、図６を参照すると、グリッドセルのすべてのコーナーＳＰにおいて角度を測定することとは異なり、上端中央から垂直方向に位置するすべてのピクセルにおける垂直角度

は、上端中央から垂直方向のコーナーにおける垂直角度

を測定し、これらの関係を示す数学式を導き出すことによって取得され得、上端中央から水平方向に位置するすべてのピクセルにおける水平角度

は、上端中央から水平方向のコーナーにおける水平角度

を測定し、これらの関係を示す数学式を導き出すことによって取得され得る。

一方、第１ライン及び第２ラインの間の角度を測定するために、カメラ位置においてレーザーポイントを利用することができる。レーザーポイントを利用して上端中央ＴＣとコーナーＳＰとの間の回転角度を測定することによって、第１ライン及び第２ラインの間の角度を測定することができる。

一方、２Ｄカメラからイメージの深さを取得する方法は、論文‘Ｄｅｐｔｈａｎｄｇｅｏｍｅｔｒｙｆｒｏｍａｓｉｎｇｌｅ２ｄｉｍａｇｅｕｓｉｎｇｔｒｉａｎｇｕｌａｔｉｏｎ，ＹＳａｌｉｈ，ＡＳＭａｌｉｋ−ＭｕｌｔｉｍｅｄｉａａｎｄＥｘｐｏＷｏｒｋｓｈｏｐｓ（ＩＣＭＥＷ），２０１２’に開示されている。

しかし、前記論文には、イメージ上の幅と高さとが互いに線形に比例して一定の間隔に分けることができるという仮定、すなわち、イメージから角度を計算することができると仮定する。しかしながら、現在車両に利用される車両のアプリケーションは、一般的に広い視野角を確保するために魚眼レンズを使用するので、線形によって一定の間隔に分けることは不可能である。

したがって、魚眼レンズによる歪曲により非線形に一定でない間隔に分けられて、前記論文における方法が使用することができなくなる。

つまり、一般のカメラはＦＯＶ（ＦｉｅｌｄＯｆＶｉｅｗ）が約６０度ないし７０度であるので、車両の内部全体を見ることができない。よって、このような場合、魚眼レンズを使用しなければならないが、魚眼レンズで歪曲されたイメージは歪曲されていない状態に戻すことが難しいため、前記論文で提示した方法を使用することができない。

したがって、本発明では、前記のように非線形で一定でない間隔を有する２Ｄ室内イメージに対応するグリッドボードを利用して各グリッドセルのそれぞれのコーナーで測定された角度を示すピクセル及び角度テーブルを生成し、ピクセル及び角度テーブルを利用して各乗客のポーズポイントの深さを検出することができるようになる。

すなわち、図７を参照すると、乗客状態検出装置１００は、乗客それぞれに対応するポーズポイントのうち特定のポーズポイントＰＰが位置する特定のグリッドセルのコーナーＳＰ１、ＳＰ２、ＳＰ３、ＳＰ４の位置情報を利用して、バイリニア補間法（ｂｉｌｉｎｅａｒｉｎｔｅｒｐｏｌａｔｉｏｎ）により特定のポーズポイントＰＰの特定高さを取得することができる。

一例として、乗客状態検出装置１００は（ｉ）特定のポーズポイントＰＰが位置する特定のグリッドセルのコーナーＳＰ１、ＳＰ２、ＳＰ３、ＳＰ４のうちコーナーＳＰ１とコーナーＳＰ２との各高さを利用したバイリニア補間法、または（ｉｉ）コーナーＳＰ３とコーナーＳＰ４との高さを利用したバイリニア補間法により特定のポーズポイントＰＰの特定高さを取得することができる。

そして、乗客状態検出装置１００は、特定のポーズポイントＰＰが位置する特定のグリッドセルの各コーナーＳＰ１、ＳＰ２、ＳＰ３、ＳＰ４の位置情報に含まれた各垂直角度及び各水平角度を利用したバイリニア補間法により、特定のポーズポイントＰＰの特定の垂直角度及び特定の水平角度を取得することができる。

一例として、乗客状態検出装置１００は、（ｉ）特定のグリッドセルのコーナーＳＰ１、ＳＰ２、ＳＰ３、ＳＰ４の各垂直角度及び各水平角度を利用したバイリニア補間法により（ｉ−１）特定のポーズポイントＰＰが垂直方向に特定のグリッドセルの面と接する各接点ＲＰ１、ＲＰ３、及び（ｉ−２）特定のポーズポイントＰＰが水平方向に特定のグリッドセルの面と接する接点ＲＰ２、ＲＰ４における各垂直角度及び各水平角度を計算するか、（ｉｉ）図６のように、数学式により生成されたピクセル及び角度テーブルから各接点ＲＰ１、ＲＰ２、ＲＰ３、ＲＰ４それぞれにおける垂直角度及び水平角度を検索することができる。

そして、乗客状態検出装置１００は、接点ＲＰ１の垂直角度と接点ＲＰ３の垂直角度とを利用したバイリニア補間法により特定のポーズポイントＰＰの特定の垂直角度を取得することができ、接点ＲＰ２の水平角度と接点ＲＰ４の水平角度とを利用したバイリニア補間法により特定のポーズポイントＰＰの特定の水平角度を取得することができる。

以後、乗客状態検出装置１００は、特定のポーズポイントの特定高さと、特定のポーズポイントの特定の垂直角度と、特定のポーズポイントの特定の水平角度とを参照して特定のポーズポイントとリファレンスポイントとの間の特定の車軸方向距離及び特定の車幅方向距離を取得することができる。

一例として、図８を参照すると、リファレンスポイントからの、カメラ１０の高さＨ、特定のポーズポイントＰＰの高さＹ、及び特定のポーズポイントＰＰの特定の垂直角度

が取得された状態で、乗客状態検出装置１００は、下記の数学式１を利用して特定のポーズポイントＰＰとリファレンスポイントとの間の特定の車軸方向距離Ｚを測定することができる。ここで、特定の車軸方向距離Ｚは、リファレンスポイント及び特定のポーズポイントＰＰを車両の全体の車軸方向及び全体の車幅方向により形成された平面上に投影して、投影されたリファレンスポイント及び投影された特定のポーズポイントそれぞれを取得した状態で、投影されたリファレンスポイント及び投影された特定のポーズポイントとの間の距離であり得る。
［数学式１］

すなわち、数学式１によると、乗客状態検出装置１００は、カメラの高さＨ及び特定のポーズポイントＰＰの間の各垂直角度を利用して、カメラ１０及び特定のポーズポイントＰＰを通り過ぎるラインがリファレンスポイントに対応する平面と接する接点Ａ及びリファレンスポイントＯの間の距離Ｚ２を計算することができる。そして、乗客状態検出装置１００は、計算された接点Ａ及びリファレンスポイントＯの間の距離Ｚ２、カメラ１０の高さＨ、特定のポーズポイントＰＰの高さＹを利用して、接点Ａと特定のポーズポイントＰＰとの間の車軸方向距離Ｚ１を計算することができる。以後、乗客状態検出装置１００は、接点Ａと特定のポーズポイントＰＰとの間における車軸方向距離Ｚ１及び接点ＡとリファレンスポイントＯとの間の距離Ｚ２を利用して、特定のポーズポイントＰＰの車軸方向距離Ｚを計算することができる。

以後、図９を参照すると、（ｉ）特定のポーズポイントＰＰの水平角度、（ｉｉ）数学式１を使用して取得された距離Ｚ２、（ｉｉｉ）数学式１を使用して取得された車軸方向距離Ｚが取得された状態で、乗客状態検出装置１００は、以下の数学式２を利用して特定のポーズポイントＰＰ及びリファレンスポイントとの間の特定の車幅方向距離Ｘを計算することができる。ここで、リファレンスポイント及び特定のポーズポイントＰＰそれぞれを車両の全体の車軸方向及び全体の車幅方向により形成される平面上に投影して、投影されたリファレンスポイント及び投影された特定のポーズポイントそれぞれを取得した状態で、特定の車幅方向距離Ｘは、投影されたリファレンスポイントから全体の車軸方向に延長されるベースライン及び投影されたポーズポイントの間の距離であり得る。
［数学式２］

すなわち、数学式２によって、（ｉ）接点（Ａ）と特定のポーズポイントＰＰとの間の車幅方向距離Ｚ２、及び（ｉｉ）特定のポーズポイントＰＰの特定の水平角度を利用して接点Ｂとリファレンスポイントとの間の距離Ｔ２を演算し、前記接点Ｂは、リファレンスポイントＯから車軸方向に延長されたラインと接点Ａから延長されたラインとが直交する点である。そして、乗客状態検出装置１００は、接点Ｂとリファレンスポイントとの間の距離Ｔ２及び特定のポーズポイントＰＰの特定の水平角度を利用して接点Ａと接点Ｂとの間の距離Ｘ２を計算することができ、接点Ａと接点Ｂとの間の距離Ｘ２、接点ＡとリファレンスポイントＯとの間の距離Ｚ２、及び特定のポーズポイントＰＰの車軸方向距離Ｚを利用して、特定のポーズポイントＰＰの車幅方向距離Ｘを計算することができる。

次に、前記のような方法により乗客状態検出装置１００はカメラ及び乗客それぞれに対応するポーズポイントそれぞれの間の距離それぞれを測定することによって、各乗客の状態に関する情報、すなわち、乗客が位置する高さ、車両室内における左右方向への乗客の位置、リファレンスポイントから乗客の距離などの情報を認識することができるようになり、認識された各乗客の状態にしたがって、乗客の安全及び便宜のためにさまざまな車両のアプリケーションを遂行することができる。

一例として、乗客状態検出装置１００は、前記車両の非常状況において、前記乗客を保護するための、少なくとも一つの車両のアプリケーション（例えば、エアバック）をもって、乗客それぞれの状態に対応して動作させることができる。

また、乗客状態検出装置１００は、乗客それぞれの状態を参照して乗客それぞれの動作パターンを分析して、乗客それぞれの走行安全状態を確認することができる。

一例として、乗客状態検出装置１００は、各乗客のポーズポイントに関する位置情報の移動パターンを使用することによって、運転者のような乗客の居眠り運転状態、前屈した危険状態、疾病などにより正しい運転姿勢を保持することが難しい運転不可能な状態などを判断することができ、各乗客の状態にしたがって警報を発生させるか非常の状況に対応するための車両のアプリケーションを遂行することができる。

前記で説明したように、本発明は、カメラにより取得された室内イメージに対してポーズ予測を遂行ことによって各乗客に対応するポーズポイントを検出し、検出されたポーズポイントに対して単一カメラで深さ予測を遂行し、予測された深さを利用して乗客の座席位置、乗客の位置高さ、乗客との距離などのような状態を認識し、乗客の認識された状態にしたがって車両のアプリケーションを遂行することができる。

また、以上にて説明された本発明による各実施例は、多様なコンピュータの構成要素を通じて遂行することができるプログラム命令語の形態で具現されて、コンピュータ読取り可能な記録媒体に格納され得る。前記コンピュータ読取り可能な記録媒体は、プログラム命令語、データファイル、データ構造などを単独で又は組み合わせて含むことができる。前記コンピュータ読取り可能な記録媒体に格納されるプログラム命令語は、本発明のために特別に設計され、構成されたものであるか、コンピュータソフトウェア分野の当業者に公知にされて使用可能なものであり得る。コンピュータ読取り可能な記録媒体の例には、ハードディスク、フロッピーディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスク（ＦｌｏｐｔｉｃａｌＤｉｓｋ）のような磁気−光メディア（Ｍａｇｎｅｔｏ−ＯｐｔｉｃａｌＭｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令語を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタープリターなどを使用してコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は、本発明による処理を実行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その反対も同様である。

以上にて本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは、本発明のより全般的な理解の一助とするために提供されたものであるに過ぎず、本発明が前記実施例に限定されるものではなく、本発明が属する技術分野において通常の知識を有する者であれば、かかる記載から多様な修正及び変形が行われ得る。

したがって、本発明の思想は、前記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等または等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。

Claims

車両の室内イメージを分析することによって、一人以上の乗客の状態を検出する方法において、
（ａ）魚眼レンズが装着された少なくとも一つのカメラにより撮影された車両の室内に対する少なくとも一つの２Ｄ室内イメージが取得されると、乗客状態検出装置が、前記２Ｄ室内イメージをポーズ予測ネットワークに入力することによって、前記ポーズ予測ネットワークをもって、前記２Ｄ室内イメージから一人以上の乗客それぞれに対応する一つ以上のポーズポイントを取得させる段階；及び
（ｂ）前記乗客状態検出装置が、（ｉ）予め設定されたピクセル及び角度（ｐｉｘｅｌ−ａｎｇｌｅ）テーブルを参照して前記車両の予め設定されたリファレンスポイントを基準として前記乗客それぞれに対応する前記ポーズポイントに関する各位置情報を演算し、（ｉｉ）前記乗客それぞれに対応する前記ポーズポイントに関する前記位置情報を参照して前記乗客それぞれの状態を検出する段階；を含み、前記ピクセル及び角度テーブルは、前記車両の室内にグリッドセル（ｇｒｉｄｃｅｌｌｓ）からなるグリッドボード（ｇｒｉｄｂｏａｒｄ）を設置した状態で、第１ライン及びそれぞれの第２ラインにより形成されたそれぞれの垂直角度及びそれぞれの水平角度が前記グリッドセルの各コーナーのピクセルそれぞれに対応するように生成されたテーブルであり、前記第１ラインは、前記カメラで撮影したグリッドイメージ上の前記グリッドボードの上端中央及び前記カメラを連結し、前記それぞれの第２ラインは、前記それぞれのコーナー及び前記カメラを連結したことを特徴とする方法。
前記（ｂ）段階で、
前記乗客状態検出装置は、（ｉ）前記乗客それぞれに対応する前記各ポーズポイントのうち特定のポーズポイントが位置する特定のグリッドセルのコーナーに関する前記各位置情報を利用してバイリニア補間法（ｂｉｌｉｎｅａｒｉｎｔｅｒｐｏｌａｔｉｏｎ）により前記特定のポーズポイントの特定高さを取得し、（ｉｉ）前記各グリッドセルの前記各コーナーの前記垂直角度及び前記水平角度を利用してバイリニア補間法により前記特定のポーズポイントの特定の垂直角度及び特定の水平角度を取得し、（ｉｉｉ）前記特定高さ、前記特定の垂直角度及び前記特定の水平角度を参照して、前記特定のポーズポイント及び前記リファレンスポイントの間の特定の車軸方向距離及び特定の車幅方向距離を取得することを特徴とする請求項１に記載の方法。
前記リファレンスポイント及び前記特定のポーズポイントを前記車両の全体の車軸方向及び全体の車幅方向により形成された平面上にそれぞれ投影して、投影されたリファレンスポイント及び投影された特定のポーズポイントそれぞれを取得した状態で、前記特定の車軸方向距離は、前記投影されたリファレンスポイント及び前記投影された特定のポーズポイントの間の距離であり、前記特定の車幅方向距離は、前記投影されたリファレンスポイントから全体の車軸方向に延長されたベースライン及び前記投影されたポーズポイントの間の距離であることを特徴とする請求項２に記載の方法。
（ｃ）前記乗客状態検出装置が、（ｉ）前記車両の非常状況で前記各乗客を保護するための、前記車両の少なくとも一つのアプリケーションをもって、前記乗客それぞれの状態にしたがって作動させるか、（ｉｉ）前記乗客それぞれの状態を参照して前記乗客それぞれの一つ以上の行動パターンを分析して前記乗客それぞれの走行安全状態それぞれを確認させる段階；
をさらに含むことを特徴とする請求項１に記載の方法。
前記（ａ）段階で、
前記乗客状態検出装置は、前記ポーズ予測ネットワークをもって、（ｉ）特徴抽出ネットワークを通じて前記２Ｄ室内イメージに対応する一つ以上のチャンネルを有する一つ以上の特徴テンソル（ｆｅａｔｕｒｅｔｅｎｓｏｒ）を出力させ、（ｉｉ）キーポイントヒートマップ及びパートアフィニティフィールド抽出器を通じて前記特徴テンソルそれぞれに対応する一つ以上のチャンネルを有する少なくとも一つのキーポイントヒートマップ及び少なくとも一つのパートアフィニティフィールドを生成させ、（ｉｉｉ）キーポイント検出器を通じて前記キーポイントヒートマップにおいて一つ以上のキーポイントを抽出し、前記パートアフィニティフィールドを参照して前記抽出されたキーポイントをグルーピングして前記乗客それぞれに対応する前記ポーズポイントを生成させることを特徴とする請求項１に記載の方法。
前記（ａ）段階で、
前記乗客状態検出装置は、前記ポーズ予測ネットワークをもって、（ｉ）特徴抽出ネットワークを通じて前記２Ｄ室内イメージに対応する一つ以上のチャンネルを有する一つ以上の特徴テンソルを出力させ、（ｉｉ）フルコンボリューションネットワーク（ｆｕｌｌｙｃｏｎｖｏｌｕｔｉｏｎｎｅｔｗｏｒｋ）を通じて前記特徴テンソルにフルコンボリューション演算を適用して一つ以上のヒートマップを生成させ、（ｉｉｉ）前記ヒートマップにおいて前記各ポーズポイントを取得させることを特徴とする請求項１に記載の方法。
車両の室内イメージを分析することによって一人以上の乗客の状態を検出する乗客状態検出装置において、
少なくとも一つのインストラクションを格納する少なくとも一つのメモリと、
前記各インストラクションを遂行するように設定された少なくとも一つのプロセッサとを含み、前記プロセッサは、（Ｉ）魚眼レンズが装着された少なくとも一つのカメラにより撮影された車両の室内に対する少なくとも一つの２Ｄ室内イメージが取得されると、前記２Ｄ室内イメージをポーズ予測ネットワークに入力することによって、前記ポーズ予測ネットワークをもって、前記２Ｄ室内イメージから一人以上の乗客それぞれに対応する一つ以上のポーズポイントを取得させるプロセス；及び（ＩＩ）（ｉ）予め設定されたピクセル及び角度（ｐｉｘｅｌ−ａｎｇｌｅ）テーブルを参照して前記車両の予め設定されたリファレンスポイントを基準として前記乗客それぞれに対応する前記ポーズポイントに関する各位置情報を演算し、（ｉｉ）前記乗客それぞれに対応する前記ポーズポイントに関する前記位置情報を参照して前記乗客それぞれの状態を検出するプロセス；を遂行し、前記ピクセル及び角度テーブルは、前記車両の室内にグリッドセル（ｇｒｉｄｃｅｌｌｓ）からなるグリッドボード（ｇｒｉｄｂｏａｒｄ）を設置した状態で、第１ライン及びそれぞれの第２ラインにより形成されたそれぞれの垂直角度及びそれぞれの水平角度が前記グリッドセルの各コーナーのピクセルそれぞれに対応するように生成されたテーブルであり、前記第１ラインは、前記カメラで撮影したグリッドイメージ上の前記グリッドボードの上端中央及び前記カメラを連結し、前記それぞれの第２ラインは、前記それぞれのコーナー及び前記カメラを連結したことを特徴とする装置。
前記（ＩＩ）プロセスは、
前記プロセッサが、（ｉ）前記乗客それぞれに対応する前記各ポーズポイントのうち特定のポーズポイントが位置する特定のグリッドセルのコーナーに関する前記各位置情報を利用してバイリニア補間法（ｂｉｌｉｎｅａｒｉｎｔｅｒｐｏｌａｔｉｏｎ）により前記特定のポーズポイントの特定高さを取得し、（ｉｉ）前記各グリッドセルの前記各コーナーの前記垂直角度及び前記水平角度を利用してバイリニア補間法により前記特定のポーズポイントの特定の垂直角度及び特定の水平角度を取得し、（ｉｉｉ）前記特定高さ、前記特定の垂直角度及び前記特定の水平角度を参照して前記特定のポーズポイント及び前記リファレンスポイントの間の特定の車軸方向距離及び特定の車幅方向距離を取得することを特徴とする請求項７に記載の装置。
前記リファレンスポイント及び前記特定のポーズポイントを前記車両の全体の車軸方向及び全体の車幅方向により形成された平面上にそれぞれ投影して、投影されたリファレンスポイント及び投影された特定のポーズポイントそれぞれを取得した状態で、前記特定の車軸方向距離は前記投影されたリファレンスポイント及び前記投影された特定のポーズポイントの間の距離であり、前記特定の車幅方向距離は、前記投影されたリファレンスポイントから全体の車軸方向に延長されたベースライン及び前記投影されたポーズポイントの間の距離であることを特徴とする請求項８に記載の方法。
（ＩＩＩ）（ｉ）前記車両の非常状況において、前記各乗客を保護するための、前記車両の少なくとも一つのアプリケーションをもって、前記乗客それぞれの状態によって作動させるか、（ｉｉ）前記乗客それぞれの状態を参照して前記乗客それぞれの一つ以上の行動パターンを分析して、前記乗客それぞれの走行安全状態それぞれを確認させるプロセス；
をさらに遂行することを特徴とする請求項７に記載の装置。
前記（Ｉ）プロセスは、
前記プロセッサが、前記ポーズ予測ネットワークをもって、（ｉ）特徴抽出ネットワークを通じて前記２Ｄ室内イメージに対応する一つ以上のチャンネルを有する一つ以上の特徴テンソル（ｆｅａｔｕｒｅｔｅｎｓｏｒ）を出力させ、（ｉｉ）キーポイントヒートマップ及びパートアフィニティフィールド抽出器を通じて前記特徴テンソルそれぞれに対応する一つ以上のチャンネルを有する少なくとも一つのキーポイントヒートマップ及び少なくとも一つのパートアフィニティフィールドを生成させ、（ｉｉｉ）キーポイント検出器を通じて前記キーポイントヒートマップにおいて一つ以上のキーポイントを抽出し、前記パートアフィニティフィールドを参照して前記抽出されたキーポイントをグルーピングして前記乗客それぞれに対応する前記ポーズポイントを生成させることを特徴とする請求項７に記載の装置。
前記（Ｉ）プロセスは、
前記プロセッサが、前記ポーズ予測ネットワークをもって、（ｉ）特徴抽出ネットワークを通じて前記２Ｄ室内イメージに対応する一つ以上のチャンネルを有する一つ以上の特徴テンソルを出力させ、（ｉｉ）フルコンボリューションネットワーク（ｆｕｌｌｙｃｏｎｖｏｌｕｔｉｏｎｎｅｔｗｏｒｋ）を通じて前記特徴テンソルにフルコンボリューション演算を適用して一つ以上のヒートマップを生成させ、（ｉｉｉ）前記ヒートマップにおいて前記各ポーズポイントを取得させることを特徴とする請求項７に記載の装置。