JP7275409B2 - 乗員状態判定装置および乗員状態判定方法 - Google Patents

Description

本開示は、車両の乗員の状態を判定する乗員状態判定装置に関するものである。

車両に搭載されたカメラやセンサで取得した情報に基づいて車両の乗員の状態を判定する乗員状態判定装置の実用化が進んでいる。例えば下記の特許文献１には、２種類の方法を用いて乗員の状態を判定することで、乗員の異常を検知する異常検知装置が開示されている。特許文献１の異常検知装置では、互いに異なる方法を用いて得られた２つの判定結果が互いに異なる場合、（ａ）２つの判定結果の一方が「異常なし」でも他方が「異常あり」であれば「異常あり」と最終判定する、あるいは、（ｂ）２つの判定結果の一方が「異常あり」でも他方が「異常なし」であれば「異常なし」と最終判定する、のいずれか片方が行われる。

特開２０１９－０３３９１１号公報

特許文献１の異常検知装置が、車両の前席（運転席および助手席）の乗員の状態をカメラとセンサ（電波センサや超音波センサなど）とを用いて判定する場合を考える。例えば、運転者（運転席の乗員）が意識を失い前方に倒れたときに、それに気付いた他の乗員が運転席に顔を近づけると、カメラでは他の乗員の顔が運転者の顔として誤認識されて「異常なし」と誤判定される。一方、センサは、他の乗員の顔が運転席に近づいても運転者の姿勢を正しく検出できるため、センサでは「異常あり」と正しく判定される。よって、このケースで運転者の状態を正しく判定するためには、カメラで「異常なし」と判定されてもセンサで「異常あり」と判定されれば「異常あり」と最終判定する処理、すなわち、上記（ａ）の処理を行う必要がある。

また、例えば、助手席の乗員が新聞を広げ、助手席の乗員をカメラで撮影できなくなると、助手席の乗員に異常がなくてもカメラでは「異常あり」と誤判定される。一方、センサは、助手席の乗員が新聞紙で覆われても当該乗員の姿勢を正しく検出できるため、センサでは「異常なし」と正しく判定される。よって、このケースで助手席の乗員の状態を正しく判定するためには、カメラで「異常あり」と判定されてもセンサで「異常なし」と判定されれば「異常なし」と最終判定する処理、すなわち、上記（ｂ）の処理を行う必要がある。

このように、「異常なし」と誤判定される場合と、「異常あり」と誤判定される場合とがあり、誤判定の内容に応じて上記（ａ）の処理と（ｂ）の処理は使い分けられるべきである。しかし、特許文献１の異常検知装置は、上記（ａ）と（ｂ）のいずれか片方を行うため、特許文献１の技術では、上述の２つのケースの両方で誤判定を防止することは困難である。

本開示は以上のような課題を解決するためになされたものであり、車両の乗員の状態の誤判定をより確実に防止することが可能な乗員状態判定装置を提供することを目的とする。

本開示に係る乗員状態判定装置は、第１の方法により車両の乗員の状態を判定する第１判定部と、第１の方法とは異なる第２の方法により乗員の状態を判定する第２判定部と、第１判定部による乗員の状態の判定結果である第１判定結果および第２判定部による乗員の状態の判定結果である第２判定結果に基づいて、乗員の状態を最終的に判定する第３判定部と、を備え、第３判定部は、通常状態では第１判定結果を乗員の状態の最終的な判定結果とし、第１判定結果に変化が生じたときに、第２判定結果に基づいて当該変化後の第１判定結果が妥当か否かを判定し、当該変化後の第１判定結果が妥当でないと判定した場合は、第２判定結果または当該変化前の第１判定結果を乗員の状態の最終的な判定結果とする。

本開示によれば、車両の乗員の状態の誤判定をより確実に防止することが可能である。

本開示の目的、特徴、態様、および利点は、以下の詳細な説明と添付図面とによって、より明白となる。

実施の形態１に係る乗員状態判定システムの構成を示す図である。 実施の形態１に係る乗員状態判定装置の動作を示すフローチャートである。 実施の形態１に係る乗員状態判定装置の動作の変形例を示すフローチャートである。 乗員状態判定装置のハードウェア構成例を示す図である。 乗員状態判定装置のハードウェア構成例を示す図である。 実施の形態２に係る乗員状態判定システムの構成を示す図である。 センサの設置位置の例を示す図である。 実施の形態２に係る乗員状態判定装置の動作の例を説明するための図である。 実施の形態２に係る乗員状態判定装置の動作の例を説明するための図である。 実施の形態２に係る乗員状態判定装置の動作の例を説明するための図である。 実施の形態２に係る乗員状態判定装置の動作の例を説明するための図である。 実施の形態２に係る乗員状態判定装置の動作の例を説明するための図である。 実施の形態３に係る乗員状態判定システムの構成を示す図である。 実施の形態４に係る乗員状態判定システムの構成を示す図である。 実施の形態５に係る乗員状態判定システムの構成を示す図である。

＜実施の形態１＞
図１は、実施の形態１に係る乗員状態判定システムの構成を示す図である。図１に示すように、実施の形態１に係る乗員状態判定システムは、乗員状態判定装置１０と、それに接続された第１の乗員情報取得装置２１、第２の乗員情報取得装置２２および車載装置２３とを含んでいる。

本実施の形態では、当該乗員状態判定システムは車両に搭載されているものとする。ただし、乗員状態判定装置１０は、必ずしも車両に常設されなくてもよく、例えば携帯電話やスマートフォン、ＰＮＤ（Portable Navigation Device）など、車両に持ち込み可能な携帯型の装置上に実現されていてもよい。また、乗員状態判定装置１０の機能の一部は、車両の外部に設置され乗員状態判定装置１０と通信可能なサーバー上に実現されていてもよい。

第１の乗員情報取得装置２１および第２の乗員情報取得装置２２は、互いに異なる方法で車両の乗員の情報を取得するものである。例えば、第１の乗員情報取得装置２１および第２の乗員情報取得装置２２の一方を、乗員を撮影するカメラで構成し、他方を乗員の位置、大きさ、姿勢などの情報を取得するセンサ（電波センサ、超音波センサなど）で構成することができる。なお、センサの種類に制約はなく、例えば、乗員が発した音声を取得する音声センサ、乗員の生体情報（体温、脈拍、血圧、呼吸数、血糖値、脳波など）を取得する生体センサなどが用いられてもよい。

乗員状態判定装置１０は、第１の乗員情報取得装置２１および第２の乗員情報取得装置２２が取得した乗員の情報に基づいて、乗員の状態を判定する。乗員状態判定装置１０が判定する乗員の状態は、体調（異常の有無、眠気の有無など）に限られず、例えば、体格、年齢、性別など、どのようなものでもよい。

車載装置２３は、乗員状態判定装置１０が判定した乗員の状態に応じてその動作が制御される任意の機器である。車載装置２３としては、例えば、運転者の体調に異常が生じたときに車両を安全な場所に退避させる自動運転装置、運転者が眠気を帯びたときに警告を発する警告装置、乗員の体格に応じて各座席のエアバッグの展開を制御するエアバッグ装置、乗員の年齢や性別を加味して乗員の個人認証を行う個人認証装置など、が考えられる。

図１に示すように、乗員状態判定装置１０は、第１判定部１１、第２判定部１２および第３判定部１３を備えている。第１判定部１１は、第１の乗員情報取得装置２１が取得した乗員の情報に基づいて車両の乗員の状態を判定する。第２判定部１２は、第２の乗員情報取得装置２２が取得した乗員の情報に基づいて当該乗員の状態を判定する。すなわち、第１判定部１１は、第１の方法により乗員の状態を判定し、第２判定部１２は、第１の方法とは異なる第２の方法により乗員の状態を判定する。以下、第１判定部１１による（第１の方法による）乗員の状態の判定結果を「第１判定結果」といい、第２判定部１２による（第２の方法による）乗員の状態の判定結果を「第１判定結果」という。

第３判定部１３は、第１判定結果および第２判定結果に基づいて、乗員の状態を最終的に判定して、その最終的な判定結果を車載装置２３へと出力する。具体的には、第３判定部１３は、通常状態では第１判定結果を乗員の状態の最終的な判定結果する。しかし、第１判定結果に変化が生じたときには、第２判定結果に基づいて当該変化後の第１判定結果が妥当か否かを判定し、当該変化後の第１判定結果が妥当でないと判定した場合は、第２判定結果を乗員の状態の最終的な判定結果とする。より具体的には、第３判定部１３は、第１判定結果に変化が生じたときに、当該変化後の第１判定結果と第２判定結果とが一致していれば、当該変化後の第１判定結果は妥当と判定する。しかし、当該変化後の第１判定結果と第２判定結果とが一致しなければ、当該変化後の第１判定結果は妥当でないと判定する。

このように、第３判定部１３は、第１判定結果に変化が生じたときに、その変化後の第１判定結果が妥当か否かを判定することで、第１判定結果の変化が誤判定に起因するものか否かを判定する。そして、当該変化後の第１判定結果が妥当でない、つまり、当該変化後の第１判定結果の変化が誤判定に起因すると判定されれば、第３判定部１３は、第２判定結果を最終的な判定結果として採用することで、誤判定された第１判定結果が最終的な判定結果として出力されることを防止する。この方法は、第１判定結果に「異常なし」という誤判定が生じた場合にも、「異常あり」という誤判定が生じた場合には有効であり、車両の乗員の状態の誤判定をより確実に防止することが可能である。

図２は、実施の形態１に係る乗員状態判定装置１０の動作を示すフローチャートである。以下、このフローチャートを参照しつつ、乗員状態判定装置１０の動作を説明する。なお、ここでは説明の簡略化のため、車両の乗員が１人であるものとして説明する。乗員が複数の場合には、それぞれの乗員に対して、図２の処理が実施される。

乗員状態判定装置１０が起動すると、まず、第１判定部１１が、第１の乗員情報取得装置２１が取得した乗員の情報に基づいて当該乗員の状態を判定する（ステップＳ１０１）。次に、第３判定部１３が、第１判定部１１による判定結果である第１判定結果が、前回と同じかどうかを確認することで、第１判定結果に変化が生じたか否かを判定する（ステップＳ１０２）。

なお、乗員状態判定装置１０の起動直後のステップＳ１０２では、前回の第１判定結果は存在しないため、第１判定結果に変化が生じていないとみなしてもよいし、第１判定結果に変化が生じたとみなしてもよい。つまり、起動直後のステップＳ１０２では、ＹＥＳと判定してもＮＯと判定してもよい。ただし、起動直後のステップＳ１０２でＹＥＳと判定して処理を進める方が、起動直後の第１判定結果の妥当性を判定できるため好ましい。

第１判定結果に変化が生じていなければ（ステップＳ１０２でＮＯ）、第３判定部１３は、第１判定結果を最終的な判定結果として、車載装置２３へ出力する（ステップＳ１０２）。

第１判定結果に変化が生じていれば（ステップＳ１０２でＹＥＳ）、第２判定部１２が、第２の乗員情報取得装置２２が取得した乗員の情報に基づいて当該乗員の状態を判定する（ステップＳ１０４）。そして、第３判定部１３が、第１判定結果と第２判定結果とを比較する（ステップＳ１０５）。第１判定結果と第２判定結果とが一致していれば（ステップＳ１０５でＹＥＳ）、第３判定部１３は、第１判定結果は妥当と判定する（ステップＳ１０６）。この場合、第３判定部１３は、第１判定結果を最終的な判定結果として車載装置２３へ出力し（ステップＳ１０７）、ステップＳ１０１に戻る。

ステップＳ１０３およびＳ１０７は、第１判定結果に誤判定が生じていないと判定されているときに実施される。上記の「通常状態」は、ステップＳ１０３またはＳ１０７が実行される状態に対応する。

一方、第１判定結果と第２判定結果とが一致していなければ（ステップＳ１０５でＮＯ）、第３判定部１３は、第１判定結果は妥当でないと判定する（ステップＳ１０８）。この場合、第３判定部１３は、第２判定結果を最終的な判定結果として、車載装置２３へ出力する（ステップＳ１０９）。

ステップＳ１０９の後は、第１判定部１１が、第１の乗員情報取得装置２１が取得した乗員の情報に基づいて当該乗員の状態を判定し（ステップＳ１１０）、第２判定部１２が、第２の乗員情報取得装置２２が取得した乗員の情報に基づいて当該乗員の状態を判定して（ステップＳ１１１）、ステップＳ１０５へ戻り、ステップＳ１１０で得られた第１判定結果とステップＳ１１１で得られた第２判定結果とが比較される。ステップＳ１０８～Ｓ１１１の処理は、ステップＳ１１０で得られた第１判定結果とステップＳ１１１で得られた第２判定結果とが一致するまで（ステップＳ１０５でＹＥＳと判断されるまで）繰り返され、その間、第３判定部１３は、最終的な判定結果として、第２判定結果を車載装置２３へ出力し続ける。

ステップＳ１１０で得られた第１判定結果とステップＳ１１１で得られた第２判定結果とが一致すると（ステップＳ１０５でＹＥＳ）、第３判定部１３は、ステップＳ１１０で得られた第１判定結果は妥当と判定する（ステップＳ１０６）。この場合、通常状態に戻り、第３判定部１３は、ステップＳ１１０で得られた第１判定結果を最終的な判定結果として車載装置２３へ出力し（ステップＳ１０７）、ステップＳ１０１に戻る。

［変形例］
実施の形態１において、第３判定部１３は、通常状態では第１判定結果を乗員の状態の最終的な判定結果とし、第１判定結果の変化後に第１判定結果と第２判定結果とが一致しない場合に、第２判定結果を乗員の状態の最終的な判定結果とした。しかし、第１判定結果および第２判定結果のそれぞれが、「異常なし」と「異常あり」や、「大人」と「幼児」のような２択である場合、変化後の第１判定結果と一致しない第２判定結果は、変化前の第１判定結果と同じはずである。よって、第３判定部１３は、第１判定結果の変化後に第１判定結果と第２判定結果とが一致しない場合、当該変化前の第１判定結果を乗員の状態の最終的な判定結果として維持してもよい。

図３に、第１判定結果および第２判定結果のそれぞれが２択である場合に適用可能な、乗員状態判定装置１０の動作のフローチャートを示す。図３のフローチャートは、図２のフローチャートのステップＳ１０９を、第３判定部１３が変化前の第１判定結果を最終的な判定結果とするステップＳ１０９ａに置き換えたものである。図３のフローチャートのその他のステップは図２と同様であるため、ここでの説明は省略する。

［ハードウェア構成例］
図４および図５は、それぞれ乗員状態判定装置１０のハードウェア構成の例を示す図である。図１に示した乗員状態判定装置１０の構成要素の各機能は、例えば図４に示す処理回路５０により実現される。すなわち、乗員状態判定装置１０は、第１の方法により車両の乗員の状態を判定し、第１の方法とは異なる第２の方法により車両の乗員の状態を判定し、第１の方法による乗員の状態の判定結果である第１判定結果および第２の方法による乗員の状態の判定結果である第２判定結果に基づいて、乗員の状態を最終的に判定するための処理回路５０であって、通常状態では第１判定結果を乗員の状態の最終的な判定結果とし、第１判定結果に変化が生じたときに、第２判定結果に基づいて当該変化後の第１判定結果が妥当か否かを判定し、当該変化後の第１判定結果が妥当でないと判定した場合は、第２判定結果または当該変化前の第１判定結果を乗員の状態の最終的な判定結果とする処理回路５０を備える。処理回路５０は、専用のハードウェアであってもよいし、メモリに格納されたプログラムを実行するプロセッサ（中央処理装置（ＣＰＵ：Central Processing Unit）、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、ＤＳＰ（Digital Signal Processor）とも呼ばれる）を用いて構成されていてもよい。

処理回路５０が専用のハードウェアである場合、処理回路５０は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、またはこれらを組み合わせたものなどが該当する。乗員状態判定装置１０の構成要素の各々の機能が個別の処理回路で実現されてもよいし、それらの機能がまとめて一つの処理回路で実現されてもよい。

図５は、処理回路５０がプログラムを実行するプロセッサ５１を用いて構成されている場合における乗員状態判定装置１０のハードウェア構成の例を示している。この場合、乗員状態判定装置１０の構成要素の機能は、ソフトウェア等（ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせ）により実現される。ソフトウェア等はプログラムとして記述され、メモリ５２に格納される。プロセッサ５１は、メモリ５２に記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。すなわち、乗員状態判定装置１０は、プロセッサ５１により実行されるときに、第１の方法により車両の乗員の状態を判定する処理と、第１の方法とは異なる第２の方法により車両の乗員の状態を判定する処理と、第１の方法による乗員の状態の判定結果である第１判定結果および第２の方法による乗員の状態の判定結果である第２判定結果に基づいて、乗員の状態を最終的に判定する処理と、が結果的に実行されることになるプログラムであって、通常状態では第１判定結果を乗員の状態の最終的な判定結果とし、第１判定結果に変化が生じたときに、第２判定結果に基づいて当該変化後の第１判定結果が妥当か否かを判定し、当該変化後の第１判定結果が妥当でないと判定した場合は、第２判定結果または当該変化前の第１判定結果を乗員の状態の最終的な判定結果とするプログラムを格納するためのメモリ５２を備える。換言すれば、このプログラムは、乗員状態判定装置１０の構成要素の動作の手順や方法をコンピュータに実行させるものであるともいえる。

ここで、メモリ５２は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）などの、不揮発性または揮発性の半導体メモリ、ＨＤＤ（Hard Disk Drive）、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Digital Versatile Disc）およびそのドライブ装置等、または、今後使用されるあらゆる記憶媒体であってもよい。

以上、乗員状態判定装置１０の構成要素の機能が、ハードウェアおよびソフトウェア等のいずれか一方で実現される構成について説明した。しかしこれに限ったものではなく、乗員状態判定装置１０の一部の構成要素を専用のハードウェアで実現し、別の一部の構成要素をソフトウェア等で実現する構成であってもよい。例えば、一部の構成要素については専用のハードウェアとしての処理回路５０でその機能を実現し、他の一部の構成要素についてはプロセッサ５１としての処理回路５０がメモリ５２に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。

以上のように、乗員状態判定装置１０は、ハードウェア、ソフトウェア等、またはこれらの組み合わせによって、上述の各機能を実現することができる。

＜実施の形態２＞
図６は、実施の形態２に係る乗員状態判定システムの構成を示す図である。図６の乗員状態判定システムでは、第１の乗員情報取得装置２１として、車両の乗員を撮影するカメラ２１ａが用いられ、第２の乗員情報取得装置２２として、乗員の位置、大きさ、姿勢などの情報を取得するセンサ２２ａが用いられている。センサ２２ａは、電波センサまたは超音波センサであるものとする。つまり、実施の形態２の乗員状態判定装置１０においては、第１判定部１１はカメラ２１ａで撮影された乗員の画像に基づいて乗員の状態を判定し、第２判定部１２はセンサ２２ａで検出された乗員の情報に基づいて乗員の状態を判定する。

なお、電波センサまたは超音波センサであるセンサ２２ａは、図７に示すように、車両内の前席上部（例えばオーバーヘッドコンソール付近や、フロントガラスの上部など）に設置されることが好ましい。また、センサ２２ａが出力する電波または電磁波の進行方向の範囲（図７の点線で囲まれた範囲）は、車両の天井の突起物（例えば後席用の表示装置、サンルーフの窓やその開閉スイッチなど）を避けるように設定されることが好ましい。センサ２２ａの位置および出力する電波または電磁波の進行方向をこのように設定することにより、センサ２２ａが、車両室内の広い範囲からの反射波を受信できるため、センサ２２ａの死角領域を少なくすることができる。なお、図７では、車両の断面において、上記進行方向が突起物を避けるように設定されていることが示されているが、車両の天井部の図示しない平面において、上記進行方向が、突起物を避けるように設定されていてもよい。

実施の形態２に係る乗員状態判定装置１０の動作は、図２に示したフローチャートと同様である。そのため本実施の形態ではフローチャートを用いた乗員状態判定装置１０の動作の説明は省略し、乗員状態判定装置１０が実際に使用される場面の例を示すことにより、乗員状態判定装置１０の動作を説明する。

本実施の形態では、乗員状態判定装置１０が、車両の前席（運転席および助手席）にいる乗員の異常の有無を判定する場面を想定する。カメラ２１ａは、車両のセンターコンソールあるいはセンタークラスター付近に設置された広角カメラであり、運転席および助手席を含む領域を撮影するものとする。

第１の例として、車両内に、運転席の乗員Ｐ１（運転者）と後部座席の乗員Ｐ２とが着座している状況を仮定する。このとき、カメラ２１ａによって図８のような画像が撮影される。なお、図８の画像では、運転席の乗員Ｐ１が写っているが、後部座席の乗員Ｐ２は助手席の背もたれの陰に隠れている。

通常状態では、乗員状態判定装置１０の第３判定部１３は、カメラ２１ａにより撮影された画像に基づいて第１判定部１１が判定した乗員の状態である第１判定結果を最終的な判定結果とする。そのため、第１判定部１１が図８の画像に基づいて運転席の乗員Ｐ１の状態を「異常なし」と判定すれば、運転席の乗員Ｐ１の状態の最終的な判定結果は「異常なし」となる。

その後、運転席の乗員Ｐ１が意識を失い前方に倒れ、カメラ２１ａによって図９のような画像が撮影されたとする。第１判定部１１は、図９の画像に基づいて、運転席の乗員Ｐ１の状態を「異常あり」と判定し、第１判定結果が「異常なし」から「異常あり」に変化する。第１判定結果に変化が生じると、第２判定部１２が、センサ２２ａが取得した情報（運転席の乗員Ｐ１の位置や姿勢）に基づき運転席の乗員Ｐ１の状態を判定する。図９のように運転席の乗員Ｐ１の姿勢が崩れていれば、第２判定部１２も、運転席の乗員Ｐ１の状態を「異常あり」と判定する。このように変化後の第１判定結果と第２判定結果とが一致すれば、第３判定部１３は、変化後の第１判定結果は妥当であると判定し、第１判定結果の「異常あり」を、運転席の乗員Ｐ１の状態の最終的な判定結果とする。

例えば、後部座席の乗員Ｐ２が運転席の乗員Ｐ１の異常に気付き、車両のハンドル操作を行うために後部座席から運転席へ体を乗り出し、カメラ２１ａによって図１０のような画像が撮影されたとする。このとき第１判定部１１が、後部座席の乗員Ｐ２の顔を運転席の乗員Ｐ１の顔と誤認識してしまうと、運転席の乗員Ｐ１の状態を「異常なし」と誤判定し、第１判定結果が「異常あり」から「異常なし」に変化する。第１判定結果に変化が生じると、第２判定部１２が、センサ２２ａが取得した情報に基づき運転席の乗員Ｐ１の状態を判定する。センサ２２ａは、後部座席の乗員Ｐ２の顔が運転席の近くにあっても運転席の乗員Ｐ１の姿勢を正しく検出できるため、第２判定部１２は運転席の乗員Ｐ１の状態を「異常あり」と正しく判定する。このように変化後の第１判定結果と第２判定結果とが一致しなければ、第３判定部１３は、変化後の第１判定結果は妥当でないと判定し、第２判定結果（または変化前の第１判定結果）の「異常あり」を、運転席の乗員Ｐ１の状態の最終的な判定結果とする。よって、誤判定された第１判定結果が最終的な判定結果となることが防止され、運転席の乗員Ｐ１の状態の誤判定が防止される。

なお、運転席の乗員Ｐ１が意識を取り戻し、図８のような状況に戻ると、第１判定部１１と第２判定部１２の両方が運転席の乗員Ｐ１の状態を「異常なし」と判定し、第１判定結果と第２判定結果とが一致するようになるため、第３判定部１３は通常状態に戻る。よって第３判定部１３は、第１判定結果の「異常なし」を、運転席の乗員Ｐ１の状態の最終的な判定結果とするようになり、正しい判定が維持される。

また、運転席の乗員Ｐ１の意識が戻らないまま車両が停止し、後部座席の乗員Ｐ２がハンドル操作をやめて図９のような状況に戻ると、第１判定部１１と第２判定部１２の両方が運転席の乗員Ｐ１の状態を「異常あり」と判定し、第１判定結果と第２判定結果とが一致するようになるため、第３判定部１３は通常状態に戻る。よって第３判定部１３は、第１判定結果の「異常あり」を、運転席の乗員Ｐ１の状態の最終的な判定結果とするようになり、この場合も、正しい判定が維持される。

第２の例として、車両内に、運転席の乗員Ｐ１（運転者）と助手席の乗員Ｐ３とが着座している状況を仮定する。このとき、カメラ２１ａによって図１１のような画像が撮影される。

通常状態では、乗員状態判定装置１０の第３判定部１３は、カメラ２１ａにより撮影された画像に基づいて第１判定部１１が判定した乗員の状態である第１判定結果を最終的な判定結果とする。そのため、第１判定部１１が図１１の画像に基づいて助手席の乗員Ｐ３の状態を「異常なし」と判定すれば、助手席の乗員Ｐ３の状態の最終的な判定結果は「異常なし」となる。

その後、助手席の乗員Ｐ３が新聞を広げ、カメラ２１ａによって図１２のような画像が撮影されたとする。第１判定部１１は、新聞で覆われた助手席の乗員Ｐ３を認識できなくなるため、助手席の乗員Ｐ３の状態を「異常あり」と誤判定し、第１判定結果が「異常なし」から「異常あり」に変化する。第１判定結果に変化が生じると、第２判定部１２が、センサ２２ａが取得した情報に基づき助手席の乗員Ｐ３の状態を判定する。センサ２２ａは、新聞で覆われた助手席の乗員Ｐ３の情報を取得できるため、第２判定部１２は助手席の乗員Ｐ３の状態を「異常なし」と正しく判定する。このように変化後の第１判定結果と第２判定結果とが一致しなければ、第３判定部１３は、変化後の第１判定結果は妥当でないと判定し、第２判定結果（または変化前の第１判定結果）の「異常なし」を、助手席の乗員Ｐ３の状態の最終的な判定結果とする。よって、誤判定された第１判定結果が最終的な判定結果となることが防止され、助手席の乗員Ｐ３の状態の誤判定が防止される。

なお、助手席の乗員Ｐ３が新聞を畳んで、図１１のような状況に戻ると、第１判定部１１と第２判定部１２の両方が助手席の乗員Ｐ３の状態を「異常なし」と判定し、第１判定結果と第２判定結果とが一致するようになるため、第３判定部１３は通常状態に戻る。よって第３判定部１３は、第１判定結果の「異常なし」を、助手席の乗員Ｐ３の状態の最終的な判定結果とするようになり、正しい判定が維持される。

また、助手席の乗員Ｐ３が新聞を広げたまま意識を失って倒れてしまった場合、第１判定部１１と第２判定部１２の両方が助手席の乗員Ｐ３の状態を「異常あり」と判定し、第１判定結果と第２判定結果とが一致するようになるため、第３判定部１３は通常状態に戻る。よって第３判定部１３は、第１判定結果の「異常あり」を、助手席の乗員Ｐ３の状態の最終的な判定結果とするようになり、この場合も、正しい判定が維持される。

このように、乗員状態判定装置１０は、第１判定部１１が「異常なし」と誤判定した場合と「異常あり」という誤判定した場合との両方で、最終的な判定結果に誤判定が生じることを防止することができる。

＜実施の形態３＞
実施の形態２では、第１の乗員情報取得装置２１がカメラ、第２の乗員情報取得装置２２がセンサである例を示したが、それとは逆に、第１の乗員情報取得装置２１がセンサ、第２の乗員情報取得装置２２がカメラであってもよい。

実施の形態３では、図１３のように、第１の乗員情報取得装置２１として、乗員の位置、大きさ、姿勢などの情報を取得するセンサ２１ｂが用いられ、第２の乗員情報取得装置２２として、車両の乗員を撮影するカメラ２１ａが用いられる例を示す。つまり、実施の形態３の乗員状態判定装置１０においては、第１判定部１１はセンサ２１ｂで検出された乗員の情報に基づいて乗員の状態を判定し、第２判定部１２はカメラ２１ａで撮影された乗員の画像に基づいて乗員の状態を判定する。

実施の形態３に係る乗員状態判定装置１０の動作も、図２に示したフローチャートと同様である。そのため本実施の形態でもフローチャートを用いた乗員状態判定装置１０の動作の説明は省略し、乗員状態判定装置１０が実際に使用される場面の例を示すことにより、乗員状態判定装置１０の動作を説明する。

本実施の形態では、乗員状態判定装置１０が、車両の乗員の状態として、乗員の体格（「大人」か「幼児」か）を判定する場面を想定する。例えば、車両の後部座席に設置されたチャイルドシートに幼児の乗員がいる状況を仮定する。

通常状態では、乗員状態判定装置１０の第３判定部１３は、センサ２１ｂが取得した情報に基づいて第１判定部１１が判定した乗員の状態である第１判定結果を最終的な判定結果とする。そのため、第１判定部１１がチャイルドシートの乗員を「幼児」と判定すれば、チャイルドシートの乗員の状態の最終的な判定結果は「幼児」となる。

その後、例えば他の乗員が幼児の世話をするためにチャイルドシートに接近し、その結果、センサ２１ｂがチャイルドシートの乗員と他の乗員とを区別できなくなり、チャイルドシートの乗員および他の乗員を１人の乗員として誤認識したとする。この場合、第１判定部１１は、チャイルドシートの乗員を「大人」と誤判定し、第１判定結果が「幼児」から「大人」に変化する。第１判定結果に変化が生じると、第２判定部１２が、カメラ２２ｂが撮影した画像に基づき、チャイルドシートの乗員の状態を判定する。カメラ２２ｂが撮影した画像からは、チャイルドシートの近くに他の乗員がいることが分かるため、第２判定部１２はチャイルドシート上の乗員を「幼児」と正しく判定する。このように変化後の第１判定結果と第２判定結果とが一致しなければ、第３判定部１３は、変化後の第１判定結果は妥当でないと判定し、第２判定結果（または変化前の第１判定結果）の「幼児」を、チャイルドシートの乗員の状態の最終的な判定結果とする。よって、誤判定された第１判定結果が最終的な判定結果となることが防止され、チャイルドシートの乗員の状態の誤判定が防止される。

なお、チャイルドシートに接近していた他の乗員がチャイルドシートから離れると、第１判定部１１と第２判定部１２の両方がチャイルドシート内の乗員を「幼児」と判定でき、第１判定結果と第２判定結果とが一致するようになるため、第３判定部１３は通常状態に戻る。よって第３判定部１３は、第１判定結果の「幼児」を、助手席の乗員Ｐ３の状態の最終的な判定結果とするようになり、正しい判定が維持される。

このように、第１の乗員情報取得装置２１がセンサ２１ｂ、第２の乗員情報取得装置２２がカメラ２２ｂであっても、乗員状態判定装置１０は誤判定を防止することができる。

＜実施の形態４＞
図１４は、実施の形態４に係る乗員状態判定システムの構成を示す図である。図１４の構成は、図１の構成に対し、乗員状態判定装置１０内にログデータ記録部１４を追加するとともに、乗員状態判定装置１０に車両位置算出装置２４および記憶装置２５を追加接続したものである。

車両位置算出装置２４は、例えばＧＮＳＳ（Global Navigation Satellite System）から受信した測位信号に基づいて、乗員状態判定装置１０を搭載した車両の位置を算出する。なお、車両位置算出装置２４は、自立航法やマップマッチングなどの技術を用いて車両の位置を補正する機能を有していてもよい。

乗員状態判定装置１０のログデータ記録部１４は、第３判定部１３による乗員の状態の最終的な判定結果の情報と、その最終的な判定が成されたときの車両の位置（車両位置算出装置２４が算出した車両の位置）とを紐付けしたログデータを作成し、記憶装置２５に記憶させる。このときログデータ記録部１４は、最終的な判定結果の情報として、その最終的な判定結果が、第１判定結果であるのか、第２判定結果であるのか、あるいは変化前の第１判定結果を維持したものであるのかの情報を、ログデータに含ませる。

記憶装置２５に蓄積されたログデータは、例えば、車両に生じた事故の原因究明などに活用でき、車両の走行の安全性向上に寄与できる。

なお、図１４では、車両位置算出装置２４および記憶装置２５を乗員状態判定装置１０とは別の装置として示したが、それらの片方または両方が乗員状態判定装置１０に内蔵されてもよい。

また、図２および図３のフローチャートには、第２判定部１２による判定（ステップＳ１０４およびＳ１１１）が、第１判定結果に変化が生じたとき（ステップＳ１０２でＹＥＳと判定されたとき）と、第１判定結果が妥当でないと判定されたとき（ステップＳ１０５でＮＯと判定されたとき）にだけ実施される例を示したが、第１判定部１１による判定と第２判定部１２による判定の両方が常時行われるようにしてもよく、その場合、ログデータ記録部１４は、第１判定結果と第２判定結果の両方の情報をログデータに含ませてもよい。

＜実施の形態５＞
図１５は、実施の形態５に係る乗員状態判定システムの構成を示す図である。図１５の構成は、図１４の構成に対し、乗員状態判定装置１０内にログデータ送信部１５を追加するとともに、乗員状態判定装置１０に特定のサーバー３０と通信可能な通信装置２６を追加接続したものである。

ログデータ送信部１５は、ログデータ記録部１４が作成したログデータを、通信装置２６を用いてサーバー３０へ送信する。ログデータ送信部１５は、ログデータのサーバー３０への送信を常時行ってもよいし、定期的に行ってもよい。言い換えれば、ログデータ送信部１５は、ログデータ記録部１４がログデータを作成するたびにサーバー３０へ最新のログデータを送信してもよいし、一定期間に記憶装置２５に蓄積されたログデータをまとめてサーバー３０へ送信してもよい。

サーバー３０は、例えば、乗員状態判定装置１０の提供業者に管理されたものであり、提供業者はログデータを収集して分析することで、乗員状態判定装置１０の判定精度の向上などに活用することができる。

通信装置２６は、乗員状態判定装置１０専用の通信機でもよいし、携帯電話やスマートフォンなど汎用の通信機でもよい。通信装置２６が乗員状態判定装置１０専用の通信機である場合、通信装置２６は乗員状態判定装置１０に内蔵されてもよい。

なお、各実施の形態を自由に組み合わせたり、各実施の形態を適宜、変形、省略したりすることが可能である。

上記した説明は、すべての態様において、例示であって、例示されていない無数の変形例が想定され得るものと解される。

１０ 乗員状態判定装置、１１ 第１判定部、１２ 第２判定部、１３ 第３判定部、１４ ログデータ記録部、１５ ログデータ送信部、２１ 第１の乗員情報取得装置、２２ 第２の乗員情報取得装置、２３ 車載装置、２４ 車両位置算出装置、２５ 記憶装置、２６ 通信装置、３０ サーバー、２１ａ，２２ｂ カメラ、２１ｂ，２２ａ センサ、５０ 処理回路、５１ プロセッサ、５２ メモリ、Ｐ１ 運転席の乗員、Ｐ２ 後部座席の乗員、Ｐ３ 助手席の乗員。

Claims (10)

1. 第１の方法により車両の乗員の状態を判定する第１判定部と、
   前記第１の方法とは異なる第２の方法により前記乗員の状態を判定する第２判定部と、
   前記第１判定部による前記乗員の状態の判定結果である第１判定結果および前記第２判定部による前記乗員の状態の判定結果である第２判定結果に基づいて、前記乗員の状態を最終的に判定する第３判定部と、
   を備え、
   前記第３判定部は、
   通常状態では前記第１判定結果を前記乗員の状態の最終的な判定結果とし、
   前記第１判定結果に変化が生じたときに、前記第２判定結果に基づいて当該変化後の前記第１判定結果が妥当か否かを判定し、当該変化後の前記第１判定結果が妥当でないと判定した場合は、前記第２判定結果または当該変化前の前記第１判定結果を前記乗員の状態の最終的な判定結果とする、
   乗員状態判定装置。
2. 前記第３判定部は、前記第１判定結果に変化が生じたときに、当該変化後の前記第１判定結果と前記第２判定結果とが一致していれば当該変化後の前記第１判定結果は妥当と判定し、当該変化後の前記第１判定結果と前記第２判定結果とが一致しなければ当該変化後の前記第１判定結果は妥当でないと判定する、
   請求項１に記載の乗員状態判定装置。
3. 前記第３判定部は、変化後の前記第１判定結果が妥当でないと判定した後、前記第１判定結果と前記第２判定結果とが一致するようになれば、前記通常状態に戻って前記第１判定結果を最終的な判定結果とする、
   請求項１に記載の乗員状態判定装置。
4. 前記第１判定部は、カメラで撮影された前記乗員の画像に基づいて前記乗員の状態を判定し、
   前記第２判定部は、センサで検出された前記乗員の情報に基づいて前記乗員の状態を判定する、
   請求項１に記載の乗員状態判定装置。
5. 前記センサは、前記車両の前席上部に設置された電波センサまたは超音波センサである、
   請求項４に記載の乗員状態判定装置。
6. 前記第１判定部は、センサで検出された前記乗員の情報に基づいて前記乗員の状態を判定し、
   前記第２判定部は、カメラで撮影された前記乗員の画像に基づいて前記乗員の状態を判定する、
   請求項１に記載の乗員状態判定装置。
7. 前記センサは、前記車両の前席上部に設置された電波センサまたは超音波センサである、
   請求項６に記載の乗員状態判定装置。
8. 前記第３判定部による最終的な判定結果と、その最終的な判定結果が第１判定結果であるのか、第２判定結果であるのか、あるいは変化前の第１判定結果を維持したものであるのかの情報とを含むログデータを記憶装置に記憶させるログデータ記録部をさらに備える、
   請求項１に記載の乗員状態判定装置。
9. 前記ログデータを、特定のサーバーへ送信するログデータ送信部を更に備える、
   請求項８に記載の乗員状態判定装置。
10. 乗員状態判定装置の第１判定部が、第１の方法により車両の乗員の状態を判定し、
    前記乗員状態判定装置の第２判定部が、前記第１の方法とは異なる第２の方法により前記乗員の状態を判定し、
    前記乗員状態判定装置の第３判定部が、前記第１の方法による前記乗員の状態の判定結果である第１判定結果および前記第２の方法による前記乗員の状態の判定結果である第２判定結果に基づいて、前記乗員の状態を最終的に判定する、
    乗員状態判定方法であって、
    前記第３判定部は、
    通常状態では前記第１判定結果を前記乗員の状態の最終的な判定結果とし、
    前記第１判定結果に変化が生じたときに、前記第２判定結果に基づいて当該変化後の前記第１判定結果が妥当か否かを判定し、当該変化後の前記第１判定結果が妥当でないと判定した場合は、前記第２判定結果または当該変化前の前記第１判定結果を前記乗員の状態の最終的な判定結果とする、
    乗員状態判定方法。

Images