WO2023243069A1

WO2023243069A1 - 脇見判定装置および脇見判定方法

Info

Publication number: WO2023243069A1
Application number: PCT/JP2022/024255
Authority: WO
Inventors: 友美保科; 太郎熊谷
Original assignee: 三菱電機株式会社
Priority date: 2022-06-17
Filing date: 2022-06-17
Publication date: 2023-12-21
Also published as: JPWO2023243069A1

Abstract

車両内の乗員の顔が撮像された撮像画像を取得する画像取得部（１１）と、画像取得部（１１）が取得した撮像画像に基づき、乗員の視線の向きを検知する視線検知部（１２）と、視線検知部（１２）が検知した乗員の視線の向きに基づき、乗員は脇見をしているか否かの仮判定を行う脇見仮判定部（１４）と、脇見仮判定部（１４）が乗員は下方向の脇見をしていると仮判定した場合、視線検知部（１２）が検知した乗員の視線の向きが正当であるか否かの視線正否判定を行う視線正否判定部（１５，１５ａ）と、脇見仮判定部（１４）が乗員は下方向の脇見をしていると仮判定した場合であっても、視線正否判定部（１５，１５ａ）が、視線検知部（１２）が検知した乗員の視線の向きが不正であると判定した場合は、乗員は脇見をしていないと判定する脇見判定部（１６）とを備えた。

Description

脇見判定装置および脇見判定方法

　本開示は、車両の乗員の脇見判定装置および脇見判定方法に関する。

　従来、車両内の乗員が撮像された撮像画像に基づいて乗員の視線の向きを検知し、検知した視線の向きから乗員が脇見をしているか否かを判定する技術が知られている（例えば、特許文献１）。

特開２０１９－９１２６８号公報

　一般に、撮像画像に基づく人の視線の向きの検知は、例えば、撮像画像上で虹彩または瞳孔を検知することで行われる。ここで、車両内の乗員が撮像された撮像画像上で、乗員の目（より詳細には眼球）が占める領域は、小さい。例えば、瞼またはまつ毛によって虹彩または瞳孔が隠されている等の事象が発生すると、もともと小さい領域である目の領域からの虹彩または瞳孔の検知に失敗する可能性があり、その結果、乗員の視線の向きが誤検知される可能性がある。このように、撮像画像に基づく乗員の視線の向きの検知は難しく、当該乗員の視線の向きが不正に検知されることがある。具体的には、乗員は下方向を向いていることがあり得ない状態であるにもかかわらず、乗員の視線の向きが下向きであると不正に検知されることがある。
　従来技術では、このように、撮像画像に基づいて検知された乗員の視線の向きが、下向きであると不正に検知された視線の向きであった場合に、乗員は脇見をしていないにもかかわらず、脇見をしていると誤判定する可能性があるという課題がある。
　なお、特許文献１に開示されているような技術では、そもそも、撮像画像に基づいて検出された視線の向きが不正に検知され得ることについて考慮されていないため、依然として、撮像画像に基づいて検知された乗員の視線の向きが下向きであると不正に検知された場合に、乗員は脇見をしていないにもかかわらず脇見をしていると誤判定する可能性があるという課題がある。

　本開示は上記のような課題を解決するためになされたもので、撮像画像に基づいて検知された乗員の視線の向きが下向きであると不正に検知された視線の向きであった場合の、乗員による脇見の誤検知を防止する脇見検知装置を提供することを目的とする。

　本開示に係る脇見検知装置は、車両内の乗員の顔が撮像された撮像画像を取得する画像取得部と、画像取得部が取得した撮像画像に基づき、乗員の視線の向きを検知する視線検知部と、視線検知部が検知した乗員の視線の向きに基づき、乗員は脇見をしているか否かの仮判定を行う脇見仮判定部と、脇見仮判定部が乗員は下方向の脇見をしていると仮判定した場合、視線検知部が検知した乗員の視線の向きが正当であるか否かの視線正否判定を行う視線正否判定部と、脇見仮判定部が乗員は下方向の脇見をしていると仮判定した場合であっても、視線正否判定部が、視線検知部が検知した乗員の視線の向きが不正であると判定した場合は、乗員は脇見をしていないと判定する脇見判定部とを備えたものである。

　本開示によれば、脇見検知装置は、撮像画像に基づいて検知された乗員の視線の向きが下向きであると不正に検知された視線の向きであった場合の、乗員による脇見の誤検知を防止することができる。

実施の形態１に係る脇見判定装置の構成例を示す図である。図２Ａおよび図２Ｂは、車両内の乗員が撮像された撮像画像の一例を示す図である。実施の形態１に係る脇見判定装置の動作について説明するためのフローチャートである。図３のステップＳＴ３にて脇見仮判定部が乗員は下方向の脇見をしていると仮判定した場合に図３のステップＳＴ４において視線正否判定部が行う視線正否判定の詳細について説明するためのフローチャートである。図３のステップＳＴ５における、脇見判定部による脇見判定の詳細について説明するためのフローチャートである。図６Ａおよび図６Ｂは、実施の形態１に係る脇見判定装置のハードウェア構成の一例を示す図である。実施の形態２に係る脇見判定装置の構成例を示す図である。実施の形態２に係る脇見判定装置の動作について説明するためのフローチャートである。実施の形態２において、第１機械学習モデルを生成する学習装置を搭載した脇見判定装置の構成例を示す図である。実施の形態２において、図９に示す脇見判定装置が搭載している学習装置の動作について説明するためのフローチャートである。図１０のステップＳＴ１０１における学習用データ生成部による学習用データ生成の動作の詳細を説明するためのフローチャートである。

　以下、本開示の実施の形態について、図面を参照しながら詳細に説明する。
実施の形態１．
　図１は、実施の形態１に係る脇見判定装置１の構成例を示す図である。
　脇見判定装置１は、車両（図示省略）に搭載され、撮像装置２および出力装置３と接続される。脇見判定装置１と撮像装置２と出力装置３とで脇見判定システム４００を構成する。

　撮像装置２は、車両に搭載され、少なくとも乗員の顔が存在すべき範囲を撮像可能に設置されている。
　実施の形態１において、撮像装置２は、車両において、乗員の頭部の正面付近、または、乗員の頭部の正面よりも下方、より詳細には、乗員の目の正面よりも下方に設けられていることを前提とする。例えば、撮像装置２は、車両内においてハンドルの下、インストルメントパネル（以下「インパネ」という。）の上部、センターコンソール、または、ピラーに設けられている。
　撮像装置２は、例えば、車室内をモニタリングすることを目的に設置される、いわゆるＤＭＳ（Ｄｒｉｖｅｒ　Ｍｏｎｉｔｏｒｉｎｇ　Ｓｙｓｔｅｍ）と共用のものであってもよい。撮像装置２は、可視光カメラ、または、赤外線カメラである。
　撮像装置２は、撮像した撮像画像を、脇見判定装置１に出力する。

　出力装置３は、車両に搭載され、脇見判定装置１から出力された警告情報に基づく警告を出力する。出力装置３は、脇見判定装置１から出力された警告情報に基づく警告を行うことで、乗員に対して、脇見への注意喚起を行わせる。
　出力装置３は、例えば、カーナビゲーション装置（図示省略）が備えているタッチパネル式ディスプレイ等の表示装置、または、カーナビゲーション装置が備えているスピーカ等の音声出力装置である。表示装置は、例えば、乗員に対して警告するメッセージを表示する。音声出力装置は、例えば、乗員に対して警告する音声メッセージ、または、警告音を出力する。

　実施の形態１に係る脇見判定装置１は、撮像装置２によって車両内に存在する乗員の顔が撮像された撮像画像に基づいて、当該乗員が脇見しているか否かを判定する。実施の形態１において、脇見判定装置１が行う、乗員が脇見しているか否かの判定を「脇見判定」ともいう。
　具体的には、実施の形態１に係る脇見判定装置１は、撮像画像に基づいて、乗員の視線の向きを検知し、検知した乗員の視線の向きに基づいて脇見判定を行う。ここで、脇見判定装置１は、乗員の視線の向きが下向きであると不正に検知していないかを判定し、下向きであると不正に検知したと判定した場合は、検知した乗員の視線の向きに基づいて乗員が脇見をしていると誤判定しないようにする。実施の形態１において、脇見判定装置１は、乗員が下方向を向いていることがあり得ない状態であるにもかかわらず乗員が視線の向きは下向きと検知した場合に、検知した乗員の視線の向きは不正であると判定する。

　実施の形態１において、脇見判定装置１は、乗員が下方向を向いていることがあり得ない状態であるか否かを、撮像画像に基づいて判定する。詳細には、脇見判定装置１は、乗員が下方向を向いていることがあり得ない状態であるか否かを、撮像画像に基づく乗員の開眼度から判定する。
　ここで、図２Ａおよび図２Ｂは、車両内の乗員が撮像された撮像画像の一例を示す図である。
　例えば、乗員は、下方向を向くとき、すなわち、視線を下方に向けるとき、いわゆる伏し目状態になると想定される（図２Ａ参照）。よって、乗員の視線の向きが下向きと検知された場合、乗員はじゅうぶんに開眼していない状態、言い換えれば、開眼度が低い状態になっているはずである。
　しかし、車両内にて乗員の顔が撮像された撮像画像上で、乗員の目（より詳細には眼球）が占める領域は、小さい。

　一般に、撮像画像に基づく人の視線の向きの検知は、例えば、撮像画像上で、虹彩または瞳孔を検知することで行われる。例えば、可視光カメラが車両内を撮像した撮像画像から乗員の視線の向きを検知する場合、撮像画像上で乗員の目頭と虹彩を検知し、目頭と虹彩の位置関係から、乗員の視線の向きを検知できる。また、例えば、赤外線カメラが車両内を撮像した撮像画像から乗員の視線の向きを検知する場合、赤外線カメラが近赤外の点光源を照射すると角膜で反射して得られたプルキニエ像と瞳孔の位置を検知し、プルキニエ像と瞳孔の位置関係から、乗員の視線の向きを検知できる。
　ここで、例えば、撮像画像において、瞼またはまつ毛によって虹彩または瞳孔が隠されていることがあるが、上述のとおり、撮像画像上で、乗員の目が示す領域は小さい。そのため、瞼またはまつ毛によって虹彩または瞳孔が隠されてしまうと、当該虹彩または瞳孔の位置の検知が難しくなり、虹彩または瞳孔の検知に失敗する可能性がある。詳細には、瞼またはまつ毛によって虹彩または瞳孔が隠されると、虹彩または瞳孔が実際の位置よりも下の位置で検知されてしまうことがある。その結果、乗員の視線の向きが誤検知される可能性がある。
　特に、乗員の目の上下方向の領域は、乗員が開眼していたとしても虹彩が一部隠された状態であるところ、仮に、乗員が半目状態である、または、もともと乗員の目が細い場合、さらに虹彩が隠された状態となる。そのため、撮像画像に基づく虹彩の上下方向の位置の検知は、左右方向の位置の検知よりも、難しい。また、瞼の形状的に、撮像画像に基づく虹彩または瞳孔の下方向の位置の検知は、上方向の位置の検知よりも、難しい。そのため、撮像画像に基づいて乗員の視線の向きが検知される場合、当該乗員の視線の向きの、下向きとの誤検知が発生しやすい。
　また、例えば、乗員が眼鏡を装着している場合、眼鏡のレンズに風景または可視光カメラからの近赤外光が反射し、虹彩または瞳孔と被って当該虹彩が白くうつることがある。撮像画像上で虹彩または瞳孔が白くうつっていると、実際の乗員の視線の向きがどの向きであるかによらず、乗員の視線の向きは、下向きと検知される可能性がある。このように、例えば、乗員が眼鏡を装着している場合も、当該乗員の視線の向きの、下向きとの誤検知が発生しやすい。上述のとおり、撮像画像上で、乗員の目が示す領域は小さいため、虹彩または瞳孔の全域が白くうつってしまい得る。

　このように、撮像画像に基づく乗員の視線の向きの検知は難しく、撮像画像に基づいて乗員の視線の向きを検知すると、乗員はじゅうぶんに開眼している状態、言い換えれば、開眼度が高い状態であるにもかかわらず、乗員は下方向を向いている、すなわち、視線を下方に向けていると検知される（図２Ｂ参照）ことがある。
　脇見判定装置１は、例えば、図２Ｂに示すように、撮像画像上、乗員はじゅうぶんに開眼している状態であるにもかかわらず、乗員の視線の向きが下方向を向いていると検知した場合に、当該視線の向きの検知結果は不正であると判定し、当該視線の向きに基づいて乗員は脇見をしている誤判定しないようにする。

　実施の形態１に係る脇見判定装置１の詳細な構成例について説明する。
　図１に示すように、脇見判定装置１は、画像取得部１１、視線検知部１２、開眼度判定部１３、脇見仮判定部１４、視線正否判定部１５、脇見判定部１６、および、警告部１７を備える。

　画像取得部１１は、撮像装置２によって車両内の乗員の顔が撮像された撮像画像を取得する。
　画像取得部１１は、取得した撮像画像を、視線検知部１２および開眼度判定部１３に出力する。

　視線検知部１２は、画像取得部１１が取得した撮像画像に基づき、乗員の視線の向きを検知する。
　視線検知部１２は、撮像画像に対して公知の画像認識技術を用いて、乗員の視線の向きを検知すればよい。
　例えば、撮像装置２が可視光カメラである場合、視線検知部１２は、撮像画像上で乗員の目頭と虹彩を検知し、目頭と虹彩の位置関係から、乗員の視線の向きを検知できる。
　また、例えば、撮像装置２が赤外線カメラである場合、視線検知部１２は、赤外線カメラが近赤外の点光源を照射すると角膜で反射して得られたプルキニエ像と瞳孔との位置関係から、乗員の視線の向きを検知できる。
　なお、これらは一例に過ぎず、視線検知部１２は、公知の種々のアルゴリズムを用いて乗員の視線の向きを検知すればよい。

　実施の形態１において、乗員の視線の向きは、所定の基準の向きに対する角度であらわされる。例えば、乗員の視線の向きは、乗員が座席にて真っすぐ前方を見たときの状態を基準の向きとして、当該基準の向きに対する角度であらわされる。
　より詳細には、実施の形態１において、乗員の視線の向きは、例えば、乗員が真っすぐ前方をみたときの基準の向きを０度とし、基準よりも上方向の向きをプラス、基準よりも下方向の向きをマイナスとした角度であらわされる。
　視線検知部１２は、検知した乗員の視線の向きを示す情報（以下「視線情報」という。）を、脇見仮判定部１４に出力する。視線情報は、例えば、乗員の視線の向きと、画像取得部１１が取得した撮像画像とが対応付けられた情報である。
　また、視線検知部１２は、視線情報を、撮像画像の取得日時と対応付けて、記憶部（図示省略）に記憶させる。撮像画像の取得日時は、例えば、撮像装置２によって撮像画像に付与されている日時でもよいし、画像取得部１１が撮像画像を取得した日時でもよい。視線検知部１２は、画像取得部１１から撮像画像を取得した日時の情報を取得すればよい。

　開眼度判定部１３は、画像取得部１１が取得した撮像画像に基づき、乗員の開眼度を判定する。
　例えば、開眼度判定部１３は、撮像画像に対して公知の画像認識技術を用いて、乗員の上瞼と下瞼を検知する。例えば、撮像画像において、乗員の顔が存在し得る領域（以下「顔検知領域」という。）が予め設定されており、開眼度判定部１３は、撮像画像の顔検知領域に対して既知のエッジ検出を行って、乗員の上瞼を示す特徴点、および、下瞼を示す特徴点を抽出する。次に、開眼度判定部１３は、例えば、撮像画像における乗員の上瞼と下瞼の上下の距離（以下「瞼距離」という。）を、撮像画像上、左から順に算出し、最大となる瞼距離を算出する。そして、開眼度判定部１３は、算出した最大となる瞼距離と開眼度の基準値との比率に基づき、開眼度を判定する。すなわち、開眼度の単位はパーセントである。開眼度の基準値には、予め、例えば、試験を行って算出された、一般的な体格の成人の覚醒時の開眼度の平均値が設定されている。なお、これは一例に過ぎず、開眼度の基準値は、例えば、乗員が車両に搭乗してから予め設定された時間における乗員の開眼度の平均値としてもよいし、開眼度判定部１３が現在までに判定したすべての開眼度の平均値としてもよい。
　なお、上述した開眼度の判定方法は、一例に過ぎない。開眼度判定部１３は、公知の種々のアルゴリズムを用いて開眼度を判定すればよい。

　開眼度判定部１３は、判定した乗員の開眼度を示す情報（以下「開眼度情報」という。）を、視線正否判定部１５に出力する。開眼度情報は、例えば、乗員の開眼度と、画像取得部１１が取得した撮像画像とが対応付けられた情報である。
　また、開眼度判定部１３は、開眼度情報を、撮像画像の取得日時と対応付けて、記憶部（図示省略）に記憶させる。撮像画像の取得日時は、例えば、撮像装置２によって撮像画像に付与されている日時でもよいし、画像取得部１１が撮像画像を取得した日時でもよい。開眼度判定部１３は、画像取得部１１から撮像画像を取得した日時の情報を取得すればよい。

　脇見仮判定部１４は、視線検知部１２が検知した乗員の視線の向きに基づき、乗員は脇見をしているか否かの仮判定（以下「脇見仮判定」という。）を行う。
　例えば、脇見仮判定部１４は、乗員の視線の向きが、予め設定されている条件（以下「脇見仮判定用条件」という。）を満たすか否かによって、乗員は脇見をしているか否かの仮判定を行う。脇見仮判定部１４は、乗員の視線の向きが脇見仮判定用条件を満たす場合、乗員は脇見をしていると仮判定する。

　脇見仮判定用条件には、例えば、「乗員の視線の垂直方向（言い換えれば、上下方向）の向きが脇見判定用範囲外であること」との条件が設定されている。脇見仮判定用条件は、予め、管理者等によって生成され、脇見判定装置１が参照可能な場所に記憶されている。
　なお、脇見仮判定用条件における脇見仮判定用範囲は、乗員が必要な確認動作を行うための上下方向への視線の向きの動きの範囲として許容される範囲であり、予め管理者等によって設定され、脇見判定装置１が参照可能な場所に記憶されている。
　例えば、脇見仮判定部１４は、乗員の視線の向きが脇見判定用範囲よりも上向きであれば、乗員は上方向の脇見をしていると仮判定する。また、例えば、脇見仮判定部１４は、乗員の視線の向きが脇見判定用範囲よりも下向きであれば、乗員は下方向の脇見をしていると仮判定する。

　なお、脇見仮判定部１４による、乗員は脇見をしているか否かの判定は、暫定的な仮の判定であり、最終的には、脇見判定部１６が、乗員は脇見をしているか否かの判定を確定させる。脇見判定部１６の詳細については、後述する。

　脇見仮判定部１４は、乗員は脇見をしていると仮判定した場合、脇見警告カウンタをカウントアップする。脇見警告カウンタは、脇見仮判定部１４が乗員は脇見をしていると仮判定してからの経過時間をカウントするためのカウンタである。脇見警告カウンタは、脇見判定装置１が参照可能な場所に記憶されている。当該脇見警告カウンタは、脇見判定部１６が、乗員は脇見をしていないと確定させた場合にリセットされる。また、当該脇見警告カウンタは、脇見判定装置１の電源がオフにされた場合、脇見判定装置１において乗員は脇見をしているとの仮判定の結果を棄却した場合、脇見判定装置１が警告情報を出力した場合、または、車両が停止した場合等に、リセットされる。このリセットは、脇見判定装置１の制御部（図示省略）、脇見判定部１６、または、警告部１７等が行う。

　脇見仮判定部１４は、脇見仮判定の結果（以下「脇見仮判定結果」という。）を、視線正否判定部１５に出力する。
　また、脇見仮判定部１４は、視線検知部１２から取得した視線情報を、脇見仮判定結果とともに視線正否判定部１５に出力する。

　視線正否判定部１５は、脇見仮判定部１４が乗員は下方向の脇見をしていると仮判定した場合、視線検知部１２が検知した乗員の視線の向きが正当であるか否かの判定（以下「視線正否判定」という。）を行う。
　詳細には、視線正否判定部１５は、脇見仮判定部１４が乗員は下方向の脇見をしていると仮判定した場合、視線検知部１２が検知した乗員の視線の向きと、開眼度判定部１３が判定した乗員の開眼度とに基づき、視線検知部１２が検知した乗員の視線の向きが正当であるか否かの視線正否判定を行う。

　視線正否判定部１５が行う視線正否判定の詳細について説明する。
　まず、視線正否判定部１５は、現在から遡って画像取得部１１によって取得された撮像画像（以下「正否判定用の撮像画像」という。）のうち、視線検知部１２が検知した乗員の視線の向きが予め設定された閾値（以下「視線判定用閾値」という。）以下であり、かつ、開眼度判定部１３が判定した乗員の開眼度が予め設定された閾値（以下「開眼度判定用閾値」という。）以上である撮像画像の割合（以下「正否判定用割合」という。）を算出する。
　なお、視線正否判定部１５が視線判定用閾値と比較する乗員の視線の向きは、詳細には、乗員の視線の上下方向の向きである。視線正否判定部１５は、視線検知部１２が検知した乗員の視線の上下方向の向きが視線判定用閾値以下であって、言い換えれば、乗員の視線の向きが視線判定用閾値よりも下向きであって、かつ、開眼度判定部１３が判定した乗員の開眼度が開眼度判定用閾値以上である撮像画像の正否判定用割合を算出する。

　実施の形態１において、正否判定用の撮像画像は、現在から予め設定された期間だけ遡った期間に画像取得部１１によって取得されたフレーム数の撮像画像であってもよいし、予め設定されたフレーム数の撮像画像であってもよい。
　なお、視線正否判定部１５は、正否判定用の撮像画像と、当該撮像画像に基づいて視線検知部１２が検知した乗員の視線の向きの情報、および、当該撮像画像に基づいて開眼度判定部１３が判定した乗員の開眼度の情報とを、記憶部に記憶されている視線情報および開眼度情報から取得すればよい。

　次に、視線正否判定部１５は、算出した正否判定用割合が予め設定された閾値（以下「正否判定用閾値」という。）以上であるか否かを判定する。
　視線正否判定部１５は、正否判定用割合が正否判定用閾値以上である場合、視線検知部１２が検知した乗員の視線の向きは不正である、言い換えれば、乗員の視線の向きは誤検知された、と判定する。正否判定用割合が正否判定用閾値以上である場合とは、すなわち、正否判定用の撮像画像のうち、例えば、上述の図２Ｂで示したように、乗員はじゅうぶんに開眼しているにもかかわらず乗員は下方向を向いていると検知されてしまった撮像画像の割合が正否判定用閾値以上であった場合である。
　一方、視線正否判定部１５は、正否判定用割合が正否判定用閾値未満である場合、視線検知部１２が検知した乗員の視線の向きは正当であると判定する。

　なお、視線正否判定部１５は、脇見仮判定部１４が乗員は脇見をしていないと仮判定した場合、および、脇見仮判定部１４が乗員は脇見をしていると仮判定しても当該脇見が下方向の脇見でない場合は、視線検知部１２が検知した乗員の視線の向きは正当であると判定する。

　視線正否判定部１５は、視線正否判定の結果（以下「視線正否判定結果」という。）を、脇見仮判定部１４から取得した脇見仮判定結果とともに、脇見判定部１６に出力する。

　脇見判定部１６は、脇見仮判定部１４による脇見仮判定結果と視線正否判定部１５による視線正否判定結果とに基づき乗員が脇見をしているか否かを判定する脇見判定を行う。

　脇見判定部１６は、脇見仮判定部１４が乗員は脇見をしていないと仮判定した場合、脇見仮判定部１４による脇見仮判定の結果を維持し、乗員は脇見をしていないと判定する。

　また、脇見判定部１６は、脇見仮判定部１４が乗員は脇見をしていると仮判定した場合、乗員は脇見をしていると判定する。ただし、脇見判定部１６は、脇見仮判定部１４が乗員は下方向の脇見をしていると仮判定した場合は、視線正否判定部１５が、視線検知部１２が検知した乗員の視線の向きが不正であると判定したか否かを判定する。そして、脇見判定部１６は、視線正否判定部１５が、視線検知部１２が検知した乗員の視線の向きが不正であると判定した場合は、乗員は脇見をしていないと判定する。すなわち、脇見判定部１６は、脇見仮判定部１４による脇見仮判定の結果を棄却し、乗員は脇見をしていないと判定する。
　このように、脇見判定部１６は、脇見仮判定部１４が乗員は下方向の脇見をしていると仮判定した場合であっても、視線正否判定部１５が、視線検知部１２が検知した乗員の視線の向きが不正であると判定した場合は、乗員は脇見をしていないと判定する。

　脇見判定部１６は、乗員は脇見をしていないと判定すると、脇見警告カウンタをリセットする。上述のとおり、脇見警告カウンタは、脇見仮判定部１４が乗員は脇見をしていると仮判定するとカウントアップされる。脇見判定部１６は、脇見警告カウンタをリセットすることにより、乗員は脇見をしていないと判定したにもかかわらず、警告部１７が乗員に対して警告を出力してしまうことを防ぐ。警告部１７の詳細については、後述する。

　脇見判定部１６は、脇見仮判定部１４が乗員は下方向の脇見をしていると仮判定した場合であっても、視線正否判定部１５が、視線検知部１２が検知した乗員の視線の向きが不正ではない、言い換えれば、正当であると判定した場合は、脇見仮判定部１４による脇見仮判定の結果を維持し、乗員は脇見をしていると判定する。この場合、脇見判定部１６は、脇見警告カウンタをリセットしない。
　また、脇見判定部１６は、脇見仮判定部１４が乗員は脇見をしていると仮判定した脇見の方向が下方向でない場合は、脇見仮判定部１４による脇見仮判定の結果を維持し、乗員は脇見をしていると判定する。この場合も、脇見判定部１６は、脇見警告カウンタをリセットしない。

　脇見判定部１６は、脇見判定の結果（以下「脇見判定結果」という。）を、警告部１７に出力する。
　警告部１７は、脇見判定部１６が乗員は脇見をしていると判定した場合に、出力装置３に警告を行わせる警告情報を出力する。
　詳細には、警告部１７は、脇見判定部１６が脇見をしていると判定した乗員の状態が予め設定された時間（以下「警告対象時間」という。）継続した場合に、警告情報を出力する。警告部１７は、脇見をしていると判定した乗員の状態が警告対象時間継続しているか否かを、脇見警告カウンタから判定すればよい。警告部１７は、警告情報を出力すると、脇見警告カウンタをリセットする。
　出力装置３は、警告部１７から警告情報が出力されると、当該警告情報に基づく警告を出力する。

　実施の形態１に係る脇見判定装置１の動作について説明する。
　図３は、実施の形態１に係る脇見判定装置１の動作について説明するためのフローチャートである。なお、脇見判定装置１は、例えば、車両が走行中、図３のフローチャートに示す動作を繰り返す。

　画像取得部１１は、撮像装置２によって車両内の乗員の顔が撮像された撮像画像を取得する（ステップＳＴ１）。
　画像取得部１１は、取得した撮像画像を、視線検知部１２および開眼度判定部１３に出力する。

　視線検知部１２は、ステップＳＴ１にて画像取得部１１が取得した撮像画像に基づき、乗員の視線の向きを検知する（ステップＳＴ２－１）。
　視線検知部１２は、視線情報を、脇見仮判定部１４に出力する。
　また、視線検知部１２は、視線情報を、撮像画像の取得日時と対応付けて、記憶部に記憶させる。

　開眼度判定部１３は、ステップＳＴ１にて画像取得部１１が取得した撮像画像に基づき、乗員の開眼度を判定する（ステップＳＴ２－２）。
　開眼度判定部１３は、開眼度情報を、視線正否判定部１５に出力する。
　また、開眼度判定部１３は、開眼度情報を、撮像画像の取得日時と対応付けて、記憶部に記憶させる。

　脇見仮判定部１４は、ステップＳＴ２－１にて視線検知部１２が検知した乗員の視線の向きに基づき、脇見仮判定を行う（ステップＳＴ３）。
　脇見仮判定部１４は、乗員は脇見をしていると仮判定した場合、脇見警告カウンタをカウントアップする。
　脇見仮判定部１４は、脇見仮判定結果を、視線正否判定部１５に出力する。
　また、脇見仮判定部１４は、視線検知部１２から取得した視線情報を、脇見仮判定結果とともに視線正否判定部１５に出力する。

　視線正否判定部１５は、ステップＳＴ３にて脇見仮判定部１４が乗員は下方向の脇見をしていると仮判定した場合、ステップＳＴ２－１にて視線検知部１２が検知した乗員の視線の向きが正当であるか否かの視線正否判定を行う（ステップＳＴ４）。
　視線正否判定部１５は、ステップＳＴ３にて脇見仮判定部１４が乗員は脇見をしていないと仮判定した場合、および、脇見仮判定部１４が乗員は脇見をしていると仮判定しても当該脇見が下方向の脇見でない場合は、当該ステップＳＴ４にて、視線検知部１２が検知した乗員の視線の向きは正当であると判定する視線正否判定を行う。
　視線正否判定部１５は、視線正否判定結果を、ステップＳＴ３にて脇見仮判定部１４から取得した脇見仮判定結果とともに、脇見判定部１６に出力する。

　脇見判定部１６は、ステップＳＴ３における脇見仮判定部１４による脇見仮判定結果と、ステップＳＴ４における視線正否判定部１５による視線正否判定結果とに基づき、乗員が脇見をしているか否かを判定する脇見判定を行う（ステップＳＴ５）。
　脇見判定部１６は、脇見判定結果を、警告部１７に出力する。

　警告部１７は、ステップＳＴ５にて脇見判定部１６が乗員は脇見をしていると判定した場合に、出力装置３に警告を行わせる警告情報を出力する（ステップＳＴ６）。詳細には、警告部１７は、ステップＳＴ５にて脇見判定部１６が脇見をしていると判定した乗員の状態が警告対象時間継続した場合に、警告情報を出力する。
　出力装置３は、警告部１７から警告情報が出力されると、当該警告情報に基づく警告を出力する。
　なお、警告部１７は、脇見判定部１６が脇見をしていると判定した乗員の状態が警告対象時間継続していない場合、および、ステップＳＴ５にて脇見判定部１６が乗員は脇見をしていると判定しなかった場合は、警告情報を出力しない。

　なお、図３のフローチャートでは、ステップＳＴ２－２の処理は、ステップＳＴ３の処理よりも前に行われるようにしたが、これは一例に過ぎない。ステップＳＴ２－２の処理は、ステップＳＴ４の処理が行われるよりも前に行われていればよい。

　図４は、図３のステップＳＴ３にて脇見仮判定部１４が乗員は下方向の脇見をしていると仮判定した場合に図３のステップＳＴ４において視線正否判定部１５が行う視線正否判定の詳細について説明するためのフローチャートである。

　視線正否判定部１５は、現在から遡って画像取得部１１によって取得された正否判定用の撮像画像のうち、図３のステップＳＴ２－１にて視線検知部１２が検知した乗員の視線の向きが視線判定用閾値以下であり、かつ、図３のステップＳＴ２－２にて開眼度判定部１３が判定した乗員の開眼度が開眼度判定用閾値以上である撮像画像の割合である正否判定用割合を算出する（ステップＳＴ４１）。

　視線正否判定部１５は、ステップＳＴ４１にて算出した正否判定用割合が正否判定用閾値以上であるか否かを判定する（ステップＳＴ４２）。

　ステップＳＴ４２にて、正否判定用割合が正否判定用閾値以上であると判定した場合（ステップＳＴ４２の“ＹＥＳ”の場合）、視線正否判定部１５は、ステップＳＴ２－１にて視線検知部１２が検知した乗員の視線の向きは不正であると判定する（ステップＳＴ４３）。

　ステップＳＴ４２にて、正否判定用割合が正否判定用閾値未満であると判定した場合（ステップＳＴ４２の“ＮＯ”の場合）、視線正否判定部１５は、ステップＳＴ２－１にて視線検知部１２が検知した乗員の視線の向きは正当であると判定する（ステップＳＴ４４）。

　図５は、図３のステップＳＴ５における、脇見判定部１６による脇見判定の詳細について説明するためのフローチャートである。

　脇見判定部１６は、図３のステップＳＴ３にて脇見仮判定部１４が乗員は下方向の脇見をしていると仮判定したか否かを判定する（ステップＳＴ５１）。

　図３のステップＳＴ３にて脇見仮判定部１４が乗員は下方向の脇見をしていると仮判定した場合（ステップＳＴ５１の“ＹＥＳ”の場合）、脇見判定部１６は、図３のステップＳＴ４にて、視線正否判定部１５が図３のステップＳＴ２－１にて視線検知部１２が検知した乗員の視線の向きが不正であると判定したか否かを判定する（ステップＳＴ５２）。

　図３のステップＳＴ４にて、視線正否判定部１５が図３のステップＳＴ２－１にて視線検知部１２が検知した乗員の視線の向きが不正であると判定した場合（ステップＳＴ５２の“ＹＥＳ”の場合）、脇見判定部１６は、乗員は脇見をしていないと判定する（ステップＳＴ５３）。すなわち、脇見判定部１６は、脇見仮判定部１４による脇見仮判定の結果を棄却し、乗員は脇見をしていないと判定する。このとき、脇見判定部１６は、脇見警告カウンタをリセットする。

　図３のステップＳＴ４にて、視線正否判定部１５が図３のステップＳＴ２－１にて視線検知部１２が検知した乗員の視線の向きが不正ではない、言い換えれば、正当であると判定した場合（ステップＳＴ５２の“ＮＯ”の場合）、脇見判定部１６は、脇見仮判定部１４による脇見仮判定の結果を維持し、乗員は脇見をしている、詳細には、乗員は下方向の脇見をしていると判定する（ステップＳＴ５４）。なお、この場合、脇見判定部１６は、脇見警告カウンタをリセットしない。

　図３のステップＳＴ３にて脇見仮判定部１４が乗員は下方向の脇見をしていると仮判定しなかった場合（ステップＳＴ５１の“ＮＯ”の場合）、脇見判定部１６は、脇見仮判定部１４による脇見仮判定の結果を維持する（ステップＳＴ５５）。
　つまり、図３のステップＳＴ３にて脇見仮判定部１４が乗員は脇見をしていないと仮判定した場合、脇見判定部１６は、乗員は脇見をしていないと判定する。また、図３のステップＳＴ３にて脇見仮判定部１４が乗員は下方向以外の方向への脇見をしていると仮判定した場合、脇見判定部１６は、乗員は脇見をしていると判定する。なお、このとき、脇見判定部１６は、脇見警告カウンタをリセットしておく。

　このように、脇見判定装置１は、撮像装置２によって車両内の乗員の顔が撮像された撮像画像に基づき、乗員の視線の向きを検知するとともに、乗員の開眼度を判定する。
　脇見判定装置１は、検知した乗員の視線の向きに基づき、脇見仮判定を行う。脇見判定装置１は、脇見仮判定の結果、乗員は下方向の脇見をしていると仮判定した場合、検知した乗員の視線の向きと判定した乗員の開眼度とに基づき、検知した乗員の視線の向きが正当であるか否かの視線正否判定を行う。そして、脇見判定装置１は、乗員は下方向の脇見をしていると仮判定した場合であっても、検知した乗員の視線の向きが不正であると判定した場合は、乗員は脇見をしていないと判定する。
　これにより、脇見判定装置１は、撮像画像に基づいて検知された乗員の視線の向きが下向きであると不正に検知された視線の向きであった場合の、乗員による脇見の誤検知を防止することができる。

　図６Ａおよび図６Ｂは、実施の形態１に係る脇見判定装置１のハードウェア構成の一例を示す図である。
　実施の形態１において、画像取得部１１と、視線検知部１２と、開眼度判定部１３と、脇見仮判定部１４と、視線正否判定部１５と、脇見判定部１６と、警告部１７と、図示しない制御部の機能は、処理回路１００１により実現される。すなわち、脇見判定装置１は、撮像画像に基づいて検知された乗員の視線の向きに基づいて乗員が脇見をしているか否かを判定する際、乗員の視線の向きが下向きであると検知した場合にはこれが正当であるか否かを判定した上で、乗員が脇見をしているか否かを判定するための制御を行う処理回路１００１を備える。
　処理回路１００１は、図６Ａに示すように専用のハードウェアであっても、図６Ｂに示すようにメモリ１００５に格納されるプログラムを実行するプロセッサ１００４であってもよい。

　処理回路１００１が専用のハードウェアである場合、処理回路１００１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、またはこれらを組み合わせたものが該当する。

　処理回路がプロセッサ１００４の場合、画像取得部１１と、視線検知部１２と、開眼度判定部１３と、脇見仮判定部１４と、視線正否判定部１５と、脇見判定部１６と、警告部１７と、図示しない制御部の機能は、ソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアは、プログラムとして記述され、メモリ１００５に記憶される。プロセッサ１００４は、メモリ１００５に記憶されたプログラムを読み出して実行することにより、画像取得部１１と、視線検知部１２と、開眼度判定部１３と、脇見仮判定部１４と、視線正否判定部１５と、脇見判定部１６と、警告部１７と、図示しない制御部の機能を実行する。すなわち、脇見判定装置１は、プロセッサ１００４により実行されるときに、上述の図３のステップＳＴ１～ステップＳＴ６が結果的に実行されることになるプログラムを格納するためのメモリ１００５を備える。また、メモリ１００５に記憶されたプログラムは、画像取得部１１と、視線検知部１２と、開眼度判定部１３と、脇見仮判定部１４と、視線正否判定部１５と、脇見判定部１６と、警告部１７と、図示しない制御部の処理の手順または方法をコンピュータに実行させるものであるともいえる。ここで、メモリ１００５とは、例えば、ＲＡＭ、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ　Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ－Ｏｎｌｙ　Ｍｅｍｏｒｙ）等の、不揮発性もしくは揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）等が該当する。

　なお、画像取得部１１と、視線検知部１２と、開眼度判定部１３と、脇見仮判定部１４と、視線正否判定部１５と、脇見判定部１６と、警告部１７と、図示しない制御部の機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。例えば、画像取得部１１については専用のハードウェアとしての処理回路１００１でその機能を実現し、視線検知部１２と、開眼度判定部１３と、脇見仮判定部１４と、視線正否判定部１５と、脇見判定部１６と、警告部１７と、図示しない制御部についてはプロセッサ１００４がメモリ１００５に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
　図示しない記憶部は、メモリ１００５等で構成される。
　また、脇見判定装置１は、撮像装置２または出力装置３等の装置と、有線通信または無線通信を行う入力インタフェース装置１００２および出力インタフェース装置１００３を備える。

　以上の実施の形態１では、脇見判定装置１は警告部１７を備えていたが、これは一例に過ぎない。例えば、警告部１７の機能は脇見判定装置１の外部にて脇見判定装置１と接続されている外部装置が備えていてもよい。この場合、脇見判定装置１において脇見判定部１６は、脇見判定の結果と脇見警告カウンタの値とを外部装置に出力する。

　また、以上の実施の形態１では、脇見判定装置１は、車両に搭載される車載装置とし、画像取得部１１と、視線検知部１２と、開眼度判定部１３と、脇見仮判定部１４と、視線正否判定部１５と、脇見判定部１６と、警告部１７と、図示しない制御部は、車載装置に備えられていた。
　これに限らず、画像取得部１１と、視線検知部１２と、開眼度判定部１３と、脇見仮判定部１４と、視線正否判定部１５と、脇見判定部１６と、警告部１７と、図示しない制御部のうち、一部が車両の車載装置に搭載され、その他が当該車載装置とネットワークを介して接続されるサーバに備えられて、車載装置とサーバとでシステムを構成してもよい。
　また、画像取得部１１と、視線検知部１２と、開眼度判定部１３と、脇見仮判定部１４と、視線正否判定部１５と、脇見判定部１６と、警告部１７と、図示しない制御部が全部サーバに備えられてもよい。

　以上のように、実施の形態１に係る脇見判定装置１は、車両内の乗員の顔が撮像された撮像画像を取得する画像取得部１１と、画像取得部１１が取得した撮像画像に基づき、乗員の視線の向きを検知する視線検知部１２と、視線検知部１２が検知した乗員の視線の向きに基づき、乗員は脇見をしているか否かの仮判定を行う脇見仮判定部１４と、脇見仮判定部１４が乗員は下方向の脇見をしていると仮判定した場合、視線検知部１２が検知した乗員の視線の向きが正当であるか否かの視線正否判定を行う視線正否判定部１５と、脇見仮判定部１４が乗員は下方向の脇見をしていると仮判定した場合であっても、視線正否判定部１５が、視線検知部１２が検知した乗員の視線の向きが不正であると判定した場合は、乗員は脇見をしていないと判定する脇見判定部１６とを備えるように構成した。そのため、脇見判定装置１は、撮像画像に基づいて検知された乗員の視線の向きが下向きであると不正に検知された視線の向きであった場合の、乗員による脇見の誤検知を防止することができる。

　詳細には、実施の形態１に係る脇見判定装置１は、画像取得部１１が取得した撮像画像に基づき、乗員の開眼度を判定する開眼度判定部１３を備え、視線正否判定部１５は、脇見仮判定部１４が乗員は下方向の脇見をしていると仮判定した場合、視線検知部１２が検知した乗員の視線の向きと開眼度判定部１３が判定した乗員の開眼度とに基づき、視線検知部１２が検知した乗員の視線の向きが正当であるか否かの視線正否判定を行うように構成した。そのため、脇見判定装置１は、撮像画像に基づいて検知された乗員の視線の向きが下向きであると不正に検知された視線の向きであった場合の、乗員による脇見の誤検知を防止することができる。

　また、実施の形態１に係る脇見判定装置１は、脇見判定部１６が乗員は脇見をしていると判定した場合に、警告を行わせる警告情報を出力する警告部１７を備えるように構成できる。そのため、脇見判定装置１は、乗員に対して、脇見への注意喚起を行わせることができる。
　また、実施の形態１に係る脇見判定装置１において、警告部１７は、脇見判定部１６が脇見をしていると判定した乗員の状態が警告対象時間継続した場合に、警告情報を出力するように構成できる。そのため、脇見判定装置１は、乗員に対して、脇見への注意喚起を行わせることができるとともに、乗員が一瞬視線を動かしただけである場合等に、不要な警告を行わないようにできる。

実施の形態２．
　実施の形態１では、脇見判定装置は、乗員は下方向の脇見をしていると仮判定した場合、検知した乗員の視線の向きと判定した乗員の開眼度とを予め設定された条件と比較することで、視線正否判定を行っていた。
　実施の形態２では、脇見判定装置が、学習済みのモデル（以下「機械学習モデル」という。）を用いて視線正否判定を行う実施の形態について説明する。

　図７は、実施の形態２に係る脇見判定装置１ａの構成例を示す図である。
　実施の形態２に係る脇見判定装置１ａの構成について、実施の形態１にて図１を用いて説明した脇見判定装置１と同じ構成には、同じ符号を付して重複した説明を省略する。
　実施の形態２に係る脇見判定装置１ａは、実施の形態１に係る脇見判定装置１とは、開眼度判定部１３を備えず、モデル記憶部１８を備えた点が異なる。また、実施の形態２に係る脇見判定装置１ａにおける視線正否判定部１５ａの具体的な動作が、実施の形態１に係る脇見判定装置１における視線正否判定部１５の具体的な動作とは異なる。
　脇見判定装置１ａと撮像装置２と出力装置３とで脇見判定システム４００ａを構成する。

　視線正否判定部１５ａは、脇見仮判定部１４が乗員は下方向の脇見をしていると仮判定した場合、画像取得部１１が取得した撮像画像と、機械学習モデル（第１機械学習モデル）とに基づき、視線検知部１２が検知した乗員の視線の向きが正当であるか否かの視線正否判定を行う。なお、視線正否判定部１５ａは、撮像画像を、視線検知部１２および脇見仮判定部１４を介して取得すればよい。
　第１機械学習モデルは、乗員の顔が撮像された撮像画像を入力とし、当該撮像画像に基づいて検知される乗員の視線の向きは正当であるか否かを示す情報を出力する機械学習モデルである。

　第１機械学習モデルは、予め、管理者等によって生成され、モデル記憶部１８に記憶されている。
　管理者等は、例えば、製品出荷前等に、車両の試験走行を行わせ、乗員が視線を下方に向けていないにも関わらず脇見の警告が行われた場合の撮像画像（以下「第１試験画像」という。）と、乗員が視線を下方に向けていたことにより脇見の警告が行われた場合の撮像画像（以下「第２試験画像」という。）と、乗員が視線を下方に向けておらず脇見の警告が行われなかった場合の撮像画像（以下「第３試験画像」という。）とを収集する。そして、管理者等は、収集した撮像画像に、当該撮像画像に基づいて検知される乗員の視線の向きは正当であるか否かを示す情報を教師ラベルとして付与して学習用データを生成する。詳細には、管理者等は、第１試験画像には当該第１試験画像に基づいて検知される乗員の視線の向きは正当ではない旨を示す情報を教師ラベルとして付与し、第２試験画像には当該第２試験画像に基づいて検知される乗員の視線の向きは正当である旨を示す情報を教師ラベルとして付与し、第３試験画像には当該第３試験画像に基づいて検知される乗員の視線の向きは正当である旨を示す情報を教師ラベルとして付与する。
　管理者等は、生成した学習用データを学習器に学習させて、第１機械学習モデルを生成させる。

　視線正否判定部１５ａは、第１機械学習モデルに画像取得部１１が取得した撮像画像を入力して、当該撮像画像に基づいて検知される乗員の視線の向きは正当である旨を示す情報が得られた場合、視線検知部１２が検知した乗員の視線の向きは正当であると判定する。
　視線正否判定部１５ａは、第１機械学習モデルに画像取得部１１が取得した撮像画像を入力して、当該撮像画像に基づいて検知される乗員の視線の向きは正当ではない、すなわち、不正である旨を示す情報が得られた場合、視線検知部１２が検知した乗員の視線の向きは不正であると判定する。

　なお、視線正否判定部１５ａは、脇見仮判定部１４が乗員は脇見をしていないと仮判定した場合、および、脇見仮判定部１４が乗員は脇見をしていると仮判定しても当該脇見が下方向の脇見でない場合は、視線検知部１２が検知した乗員の視線の向きは正当であると判定する。

　視線正否判定部１５ａは、視線正否判定結果を、脇見仮判定部１４から取得した脇見仮判定結果とともに、脇見判定部１６に出力する。

　モデル記憶部１８は、予め管理者等によって生成された第１機械学習モデルを記憶する。
　なお、図７では、モデル記憶部１８は、脇見判定装置１ａに備えられているが、これは一例に過ぎない。モデル記憶部１８は、脇見判定装置１ａの外部の、脇見判定装置１ａが参照可能な場所に備えられてもよい。

　実施の形態２に係る脇見判定装置１ａの動作について説明する。
　図８は、実施の形態２に係る脇見判定装置１ａの動作について説明するためのフローチャートである。なお、脇見判定装置１ａは、例えば、車両が走行中、図８のフローチャートに示す動作を繰り返す。
　図８のフローチャートにおいて、ステップＳＴ１、ステップＳＴ２－１、ステップＳＴ３、ステップＳＴ５～ステップＳＴ６の具体的な動作は、それぞれ、実施の形態１にて説明済みの、脇見判定装置１によるステップＳＴ１、ステップＳＴ２－１、ステップＳＴ３、ステップＳＴ５～ステップＳＴ６の具体的な動作と同様であるため、重複した説明を省略する。

　視線正否判定部１５ａは、ステップＳＴ３にて脇見仮判定部１４が乗員は下方向の脇見をしていると仮判定した場合、ステップＳＴ１にて撮像画像取得部が取得した撮像画像とモデル記憶部１８に記憶されている機械学習モデルとに基づき、ステップＳＴ２－１にて視線検知部１２が検知した乗員の視線の向きが正当であるか否かの視線正否判定を行う（ステップＳＴ４ａ）。
　視線正否判定部１５ａは、第１機械学習モデルに撮像画像を入力して、当該撮像画像に基づいて検知される乗員の視線の向きは正当である旨を示す情報が得られた場合、ステップＳＴ２－１にて視線検知部１２が検知した乗員の視線の向きは正当であると判定する。
　視線正否判定部１５ａは、第１機械学習モデルに撮像画像を入力して、当該撮像画像に基づいて検知される乗員の視線の向きは正当ではない、すなわち、不正である旨を示す情報が得られた場合、ステップＳＴ２－１にて視線検知部１２が検知した乗員の視線の向きは不正であると判定する。

　なお、視線正否判定部１５ａは、ステップＳＴ３にて脇見仮判定部１４が乗員は脇見をしていないと仮判定した場合、および、脇見仮判定部１４が乗員は脇見をしていると仮判定しても当該脇見が下方向の脇見でない場合は、視線検知部１２が検知した乗員の視線の向きは正当であると判定する。
　視線正否判定部１５ａは、視線正否判定結果を、脇見仮判定部１４から取得した脇見仮判定結果とともに、脇見判定部１６に出力する。

　このように、脇見判定装置１ａは、撮像装置２によって車両内の乗員の顔が撮像された撮像画像に基づき検知した乗員の視線の向きに基づき、脇見仮判定を行う。脇見判定装置１ａは、脇見仮判定の結果、乗員は下方向の脇見をしていると仮判定した場合、撮像画像と、製品出荷前等に予め生成されている第１機械学習モデルとに基づき、検知した乗員の視線の向きが正当であるか否かの視線正否判定を行う。そして、脇見判定装置１ａは、乗員は下方向の脇見をしていると仮判定した場合であっても、検知した乗員の視線の向きが不正であると判定した場合は、乗員は脇見をしていないと判定する。
　これにより、脇見判定装置１ａは、撮像画像に基づいて検知された乗員の視線の向きが下向きであると不正に検知された視線の向きであった場合の、乗員による脇見の誤検知を防止することができる。

　以上の実施の形態２において、第１機械学習モデルは、車両が走行を開始した後に、車両にて取得された撮像画像に基づいて生成されるようにしてもよい。
　詳細には、脇見判定装置が、車両にて取得された撮像画像に基づいて第１機械学習モデルを生成する学習装置を搭載し、学習装置が生成した第１機械学習モデルを用いて視線正否判定を行ってもよい。

　ここで、図９は、実施の形態２において、第１機械学習モデルを生成する学習装置１００を搭載した脇見判定装置１ｂの構成例を示す図である。
　図９に示す脇見判定装置１ｂの構成について、図７を用いて説明した脇見判定装置１ａと同じ構成には、同じ符号を付して重複した説明を省略する。
　図９に示す脇見判定装置１ｂは、図７に示した脇見判定装置１ａとは、学習装置１００を搭載している点が異なる。
　なお、脇見判定装置１ｂと撮像装置２と出力装置３とで脇見判定システム４００ｂを構成する。

　学習装置１００は、予め設定された期間（以下「学習用データ生成期間」という。）に画像取得部１１が取得した撮像画像（以下「学習用データ生成用の撮像画像」という。）に基づき学習用データを生成し、生成した学習用データを用いて第１機械学習モデルを生成する。実施の形態２において、学習用データ生成期間は、例えば、車両が走行を開始してからの所定の期間とする。
　学習装置１００は、学習用データ生成部１０１と学習部１０２を備える。

　学習用データ生成部１０１は、第１機械学習モデルを生成するための学習用データを生成する。

　学習用データ生成部１０１による学習用データの生成方法について、具体例を挙げて説明する。

〈具体例１〉
　まず、学習用データ生成部１０１は、学習用データ生成用の撮像画像に基づき乗員の視線の向きを検知する。学習用データ生成部１０１は、視線検知部１２が乗員の視線の向きを検知するのと同様の方法で、乗員の視線の向きを検知すればよい。なお、ここでは、学習用データ生成部１０１が乗員の視線の向きを検知するものとするが、これは一例に過ぎない。例えば、学習用データ生成用の撮像画像に基づく乗員の視線の向きの検知は視線検知部１２が行い、学習用データ生成部１０１は、視線検知部１２から乗員の視線の向きを取得してもよい。
　また、学習用データ生成部１０１は、学習用データ生成用の撮像画像に基づき、乗員の開眼度を判定する。学習用データ生成部１０１は、実施の形態１にて説明済みの開眼度判定部１３と同様の方法で、乗員の開眼度を判定すればよい。

　そして、学習用データ生成部１０１は、学習用データ生成用の撮像画像に基づき検知された乗員の視線の向きと学習用データ生成用の撮像画像に基づき判定された乗員の開眼度とに基づき、検知された乗員の視線の向きは正当であるか否かを判定する。
　具体的には、学習用データ生成部１０１は、乗員の視線の向きが視線判定用閾値以下である場合、実施の形態１にて説明済みの視線正否判定部１５による視線正否判定と同様の方法で、検知された乗員の視線の向きは正当であるか否かを判定する。なお、学習用データ生成部１０１は、画像取得部１１から取得した撮像画像を図示しない記憶部に記憶させておく。学習用データ生成部１０１は、記憶部に、正否判定用の撮像画像のフレーム数だけ撮像画像が記憶されていない場合は、記憶されているだけの撮像画像を用いて視線正否判定を行えばよい。
　学習用データ生成部１０１は、乗員の視線の向きが視線判定用閾値以下でなければ、検知された乗員の視線の向きは正当であると判定すればよい。

　学習用データ生成部１０１は、検知された乗員の視線の向きは正当であるか否かを判定すると、当該判定の結果を撮像画像と対応付け、撮像画像および乗員の視線の向きは正当であるか否かを示す情報を含む学習用データを生成する。

〈具体例２〉
　上述のとおり、実施の形態２において、学習用データ生成期間は、例えば、車両が走行を開始してからの所定の期間とする。車両が走行を開始してから所定の期間においては、乗員は脇見をせず正面を向いている可能性が高いと想定される。
　そこで、学習用データ生成部１０１は、乗員は脇見をせず正面を向いているとの前提を置いて、学習用データを生成することもできる。

　まず、学習用データ生成部１０１は、〈具体例１〉で説明したのと同様の方法で、学習用データ生成用の撮像画像に基づき乗員の視線の向きを検知する。
　学習用データ生成部１０１は、検知された乗員の視線の向きに基づき、検知された乗員の視線の向きは正当であるか否かを判定する。詳細には、学習用データ生成部１０１は、乗員の視線の向きが視線判定用閾値以下である場合、検知された乗員の視線の向きは正当ではない、すなわち、不正であると判定する。上述のとおり、学習用データ生成期間においては、乗員は正面を向いているとの前提を置いているためである。
　学習用データ生成部１０１は、乗員の視線の向きが視線判定用閾値以下でなければ、検知された乗員の視線の向きは正当であると判定すればよい。

　学習用データ生成部１０１は、生成した学習用データを、学習部１０２に出力する。

　学習部１０２は、学習用データ生成部１０１が生成した学習用データを用いて第１機械学習モデルを生成する。
　学習部１０２は、生成した第１機械学習モデルをモデル記憶部１８に記憶させる。

　視線正否判定部１５ａは、学習部１０２が第１機械学習モデルをモデル記憶部１８に記憶させると、当該第１機械学習モデルを用いて、視線正否判定を行う。

　実施の形態２において、図９に示す脇見判定装置１ｂの具体的な動作は、図８のフローチャートを用いて説明済みの、図７に示す脇見判定装置１ａの具体的な動作と同様であるため、重複した説明を省略する。
　ただし、脇見判定装置１ｂは、学習装置１００によって生成された第１機械学習モデルがモデル記憶部１８に記憶されてから、図８のフローチャートに示す動作を行う。脇見判定装置１ｂは、例えば、車両が走行中、図８のフローチャートに示す動作を繰り返す。

　図１０は、実施の形態２において、図９に示す脇見判定装置１ｂが搭載している学習装置１００の動作について説明するためのフローチャートである。
　学習装置１００は、脇見判定装置１ｂが図９のフローチャートに示すような動作を行うのに先立って、図１０のフローチャートに示すような動作を行う。

　学習用データ生成部１０１は、第１機械学習モデルを生成するための学習用データを生成する（ステップＳＴ１０１）。
　学習用データ生成部１０１は、生成した学習用データを、学習部１０２に出力する。

　学習部１０２は、ステップＳＴ１０１にて学習用データ生成部１０１が生成した学習用データを用いて第１機械学習モデルを生成する（ステップＳＴ１０２）。

　図１１は、図１０のステップＳＴ１０１における学習用データ生成部１０１による学習用データ生成の動作の詳細を説明するためのフローチャートである。
　学習用データ生成部１０１は、例えば、車両が走行を開始すると、学習用データ生成用期間、図１１のフローチャートに示すような動作を繰り返す。
　なお、図１１のフローチャートは、学習用データ生成部１０１が前述の〈具体例１〉にて説明したような方法で学習用データを生成するものとした場合の学習用データ生成部１０１の動作を説明するフローチャートとしている。

　学習用データ生成部１０１は、画像取得部１１が取得した学習用データ生成用の撮像画像を取得する（ステップＳＴ１０１１）。
　学習用データ生成部１０１は、ステップＳＴ１０１１にて取得した学習用データ生成用の撮像画像に基づき乗員の視線の向きを検知する（ステップＳＴ１０１２）。
　また、学習用データ生成部１０１は、ステップＳＴ１０１１にて取得した学習用データ生成用の撮像画像に基づき、乗員の開眼度を判定する（ステップＳＴ１０１３）。

　そして、学習用データ生成部１０１は、ステップＳＴ１０１２にて検知した乗員の視線の向きとステップＳＴ１０１３にて判定した乗員の開眼度とに基づき、ステップＳＴ１０１２にて検知した乗員の視線の向きは正当であるか否かを判定する（ステップＳＴ１０１４）。
　具体的には、学習用データ生成部１０１は、ステップＳＴ１０１２にて検知した乗員の視線の向きが視線判定用閾値以下である場合、実施の形態１にて説明済みの視線正否判定部１５による視線正否判定と同様の方法で、検知された乗員の視線の向きは正当であるか否かを判定する（図４参照）。
　学習用データ生成部１０１は、ステップＳＴ１０１２にて検知した乗員の視線の向きが視線判定用閾値以下でなければ、検知された乗員の視線の向きは正当であると判定すればよい。

　学習用データ生成部１０１は、ステップＳＴ１０１４にて、ステップＳＴ１０１２にて検知された乗員の視線の向きは正当であるか否かを判定すると、当該判定の結果を撮像画像と対応付け、撮像画像および乗員の視線の向きは正当であるか否かを示す情報を含む学習用データを生成する（ステップＳＴ１０１５）。

　なお、学習用データ生成部１０１が前述の〈具体例２〉にて説明したような方法で学習用データを生成するものとした場合、図１１のフローチャートを用いて説明した処理のうち、ステップＳＴ１０１３の処理を省略できる。ステップＳＴ１０１４において、学習用データ生成部１０１は、ステップＳＴ１０１２にて検知した乗員の視線の向きが視線判定用閾値以下である場合、検知された乗員の視線の向きは正当ではない、すなわち、不正であると判定する。学習用データ生成部１０１は、ステップＳＴ１０１２にて検知した乗員の視線の向きが視線判定用閾値以下でなければ、検知された乗員の視線の向きは正当であると判定すればよい。

　このように、脇見判定装置１ｂは、脇見仮判定の結果、乗員は下方向の脇見をしていると仮判定した場合、撮像画像と、車両にて取得された撮像画像に基づいて学習装置１００が生成した第１機械学習モデルとに基づき、検知した乗員の視線の向きが正当であるか否かの視線正否判定を行うこともできる。
　このようにしても、脇見判定装置１ｂは、撮像画像に基づいて検知された乗員の視線の向きが下向きであると不正に検知された視線の向きであった場合の、乗員による脇見の誤検知を防止することができる。

　なお、以上の実施の形態２において、脇見判定装置１ｂは、学習装置１００を搭載しているものとしたが、これは一例に過ぎない。
　脇見判定装置１ｂは学習装置１００を搭載せず、学習装置１００は、脇見判定装置１ｂの外部の、脇見判定装置１ｂが参照可能な場所に備えられてもよい。

　実施の形態２に係る脇見判定装置１ａ，１ｂのハードウェア構成は、実施の形態１において図６Ａおよび図６Ｂを用いて説明した脇見判定装置１のハードウェア構成と同様であるため、図示を省略する。
　実施の形態２において、画像取得部１１と、視線検知部１２と、脇見仮判定部１４と、視線正否判定部１５ａと、脇見判定部１６と、警告部１７の機能は、処理回路１００１により実現される。すなわち、脇見判定装置１ａ，１ｂは、撮像画像に基づいて検知された乗員の視線の向きに基づいて乗員が脇見をしているか否かを判定する際、乗員の視線の向きが下向きであると検知した場合にはこれが正当であるか否かを判定した上で、乗員が脇見をしているか否かを判定するための制御を行う処理回路１００１を備える。

　処理回路１００１は、メモリ１００５に記憶されたプログラムを読み出して実行することにより、画像取得部１１と、視線検知部１２と、脇見仮判定部１４と、視線正否判定部１５ａと、脇見判定部１６と、警告部１７の機能を実行する。すなわち、脇見判定装置１ａ，１ｂは、処理回路１００１により実行されるときに、上述の図８のステップＳＴ１～ステップＳＴ６が結果的に実行されることになるプログラムを格納するためのメモリ１００５を備える。また、メモリ１００５に記憶されたプログラムは、画像取得部１１と、視線検知部１２と、脇見仮判定部１４と、視線正否判定部１５ａと、脇見判定部１６と、警告部１７の処理の手順または方法をコンピュータに実行させるものであるともいえる。
　図示しない記憶部は、例えば、メモリ１００５で構成される。
　また、脇見判定装置１ａ，１ｂは、撮像装置２または出力装置３等の装置と、有線通信または無線通信を行う入力インタフェース装置１００２および出力インタフェース装置１００３を備える。

　実施の形態２に係る学習装置１００のハードウェア構成は、実施の形態１において図６Ａおよび図６Ｂを用いて説明した脇見判定装置１のハードウェア構成と同様であるため、図示を省略する。
　実施の形態２において、学習用データ生成部１０１と学習部１０２の機能は、処理回路１００１により実現される。すなわち、学習装置１００は、撮像画像に基づいて学習用データを生成し、生成した学習用データを用いて第１機械学習モデルを生成する制御を行うための処理回路１００１を備える。
　処理回路１００１は、図６Ａに示すように専用のハードウェアであっても、図６Ｂに示すようにメモリ１００５に格納されるプログラムを実行するプロセッサ１００４であってもよい。

　処理回路がプロセッサ１００４の場合、学習用データ生成部１０１と学習部１０２の機能は、ソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアは、プログラムとして記述され、メモリ１００５に記憶される。プロセッサ１００４は、メモリ１００５に記憶されたプログラムを読み出して実行することにより、学習用データ生成部１０１と学習部１０２の機能を実行する。すなわち、学習装置１００は、プロセッサ１００４により実行されるときに、上述の図１０のステップＳＴ１０１～ステップＳＴ１０２が結果的に実行されることになるプログラムを格納するためのメモリ１００５を備える。また、メモリ１００５に記憶されたプログラムは、学習用データ生成部１０１と学習部１０２の処理の手順または方法をコンピュータに実行させるものであるともいえる。

　なお、学習用データ生成部１０１と学習部１０２の機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。例えば、学習用データ生成部１０１については専用のハードウェアとしての処理回路１００１でその機能を実現し、学習部１０２についてはプロセッサ１００４がメモリ１００５に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
　図示しない記憶部およびモデル記憶部１８は、メモリ１００５等で構成される。
　また、学習装置１００は、撮像装置２等の装置と、有線通信または無線通信を行う入力インタフェース装置１００２および出力インタフェース装置１００３を備える。

　以上の実施の形態２では、脇見判定装置１ａ，１ｂは警告部１７を備えていたが、これは一例に過ぎない。例えば、警告部１７の機能は脇見判定装置１ａ，１ｂの外部にて脇見判定装置１ａ，１ｂと接続されている外部装置が備えていてもよい。

　また、以上の実施の形態１では、脇見判定装置１ａ，１ｂは、車両に搭載される車載装置とし、画像取得部１１と、視線検知部１２と、開眼度判定部１３と、脇見仮判定部１４と、視線正否判定部１５ａと、脇見判定部１６と、警告部１７と、図示しない制御部は、車載装置に備えられていた。
　これに限らず、画像取得部１１と、視線検知部１２と、開眼度判定部１３と、脇見仮判定部１４と、視線正否判定部１５ａと、脇見判定部１６と、警告部１７と、図示しない制御部のうち、一部が車両の車載装置に搭載され、その他が当該車載装置とネットワークを介して接続されるサーバに備えられて、車載装置とサーバとでシステムを構成してもよい。
　また、画像取得部１１と、視線検知部１２と、開眼度判定部１３と、脇見仮判定部１４と、視線正否判定部１５ａと、脇見判定部１６と、警告部１７と、図示しない制御部が全部サーバに備えられてもよい。
　また、学習装置１００について、学習用データ生成部１０１と学習部１０２のうちの一部、または、全部が、サーバに備えられてもよい。

　以上のように、実施の形態２に係る脇見判定装置１ａ，１ｂは、車両内の乗員の顔が撮像された撮像画像を取得する画像取得部１１と、画像取得部１１が取得した撮像画像に基づき、乗員の視線の向きを検知する視線検知部１２と、視線検知部１２が検知した乗員の視線の向きに基づき、乗員は脇見をしているか否かの仮判定を行う脇見仮判定部１４と、脇見仮判定部１４が乗員は下方向の脇見をしていると仮判定した場合、視線検知部１２が検知した乗員の視線の向きが正当であるか否かの視線正否判定を行う視線正否判定部１５ａと、脇見仮判定部１４が乗員は下方向の脇見をしていると仮判定した場合であっても、視線正否判定部１５が、視線検知部１２が検知した乗員の視線の向きが不正であると判定した場合は、乗員は脇見をしていないと判定する脇見判定部１６とを備えるように構成した。そのため、脇見判定装置１は、撮像画像に基づいて検知された乗員の視線の向きが下向きであると不正に検知された視線の向きであった場合の、乗員による脇見の誤検知を防止することができる。

　詳細には、実施の形態２に係る脇見判定装置１ａ，１ｂにおいて、視線正否判定部１５ａは、脇見仮判定部１４が乗員は下方向の脇見をしていると仮判定した場合、画像取得部１１が取得した撮像画像と、乗員の顔が撮像された撮像画像を入力とし撮像画像に基づいて検知される乗員の視線の向きは正当であるか否かを示す情報を出力する機械学習モデル（第１機械学習モデル）とに基づき、視線検知部１２が検知した乗員の視線の向きが正当であるか否かの視線正否判定を行うように構成した。そのため、脇見判定装置１ａ，１ｂは、撮像画像に基づいて検知された乗員の視線の向きが下向きであると不正に検知された視線の向きであった場合の、乗員による脇見の誤検知を防止することができる。
　また、脇見判定装置１ａ，１ｂは、機械学習モデルを用いて視線正否判定を行うことで、高速にパラメータ同士の関係性を分析し、取得された撮像画像に合った柔軟な視線正否判定を行うことができる。

　また、実施の形態２に係る脇見判定装置１ａ，１ｂは、画像取得部１１が学習用データ生成期間に取得した学習用データ生成用の撮像画像に基づき検知された乗員の視線の向きに基づき、検知された乗員の視線の向きは正当であるか否かを判定し、撮像画像および乗員の視線の向きは正当であるか否かを示す情報を含む学習用データを生成する学習用データ生成部１０１と、学習用データ生成部１０１が生成した学習用データを用いて機械学習モデル（第１機械学習モデル）を生成する学習部１０２とを備えるように構成できる。そのため、脇見判定装置１ａ，１ｂは、実際に車両が走行する際の状況に応じた機械学習モデルを用いて、実際に車両が走行する際の状況に応じた視線正否判定を行うことができる。その結果、脇見判定装置１ａ，１ｂは、視線正否判定の精度を向上させることができる。

　また、実施の形態２に係る脇見判定装置１ａ，１ｂは、画像取得部１１が学習用データ生成期間に取得した学習用データ生成用の撮像画像に基づき検知された乗員の視線の向きと学習用データ生成用の撮像画像に基づき判定された乗員の開眼度とに基づき、検知された乗員の視線の向きは正当であるか否かを判定し、撮像画像および乗員の視線の向きは正当であるか否かを示す情報を含む学習用データを生成する学習用データ生成部１０１と、学習用データ生成部１０１が生成した学習用データを用いて機械学習モデル（第１機械学習モデル）を生成する学習部１０２とを備えるように構成できる。そのため、脇見判定装置１ａ，１ｂは、実際に車両が走行する際の状況に応じた機械学習モデルを用いて、実際に車両が走行する際の状況に応じた視線正否判定を行うことができる。その結果、脇見判定装置１ａ，１ｂは、視線正否判定の精度を向上させることができる。

　なお、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

　本開示に係る脇見判定装置は、撮像画像に基づいて検知された車両の乗員の視線の向きが下向きであると不正に検知された視線の向きであった場合の、乗員による脇見の誤検知を防止することができる。

　１，１ａ，１ｂ　脇見判定装置、１１　画像取得部、１２　視線検知部、１３　開眼度判定部、１４　脇見仮判定部、１５，１５ａ　視線正否判定部、１６　脇見判定部、１７　警告部、１８　モデル記憶部、１００　学習装置、１０１　学習用データ生成部、１０２　学習部、２　撮像装置、３　出力装置、４００，４００ａ，４００ｂ　脇見判定システム、１００１　処理回路、１００２　入力インタフェース装置、１００３　出力インタフェース装置、１００４　プロセッサ、１００５　メモリ。

Claims

　車両内の乗員の顔が撮像された撮像画像を取得する画像取得部と、
　前記画像取得部が取得した前記撮像画像に基づき、前記乗員の視線の向きを検知する視線検知部と、
　前記視線検知部が検知した前記乗員の視線の向きに基づき、前記乗員は脇見をしているか否かの仮判定を行う脇見仮判定部と、
　前記脇見仮判定部が前記乗員は下方向の脇見をしていると仮判定した場合、前記視線検知部が検知した前記乗員の視線の向きが正当であるか否かの視線正否判定を行う視線正否判定部と、
　前記脇見仮判定部が前記乗員は下方向の脇見をしていると仮判定した場合であっても、前記視線正否判定部が、前記視線検知部が検知した前記乗員の視線の向きが不正であると判定した場合は、前記乗員は脇見をしていないと判定する脇見判定部
　とを備えた脇見判定装置。
　前記画像取得部が取得した前記撮像画像に基づき、前記乗員の開眼度を判定する開眼度判定部を備え、
　前記視線正否判定部は、前記脇見仮判定部が前記乗員は下方向の脇見をしていると仮判定した場合、前記視線検知部が検知した前記乗員の視線の向きと前記開眼度判定部が判定した前記乗員の前記開眼度とに基づき、前記視線検知部が検知した前記乗員の視線の向きが正当であるか否かの視線正否判定を行う
　ことを特徴とする請求項１記載の脇見判定装置。
　前記視線正否判定部は、現在から遡って前記画像取得部によって取得された正否判定用の前記撮像画像のうち、前記視線検知部が検知した前記乗員の視線の向きが視線判定用閾値以下であり、かつ、前記開眼度判定部が判定した前記乗員の前記開眼度が開眼度判定用閾値以上である前記撮像画像の割合が正否判定用閾値以上である場合、前記視線検知部が検知した前記乗員の視線の向きは不正であると判定する
　ことを特徴とする請求項２記載の脇見判定装置。
　前記視線正否判定部は、前記脇見仮判定部が前記乗員は下方向の脇見をしていると仮判定した場合、前記画像取得部が取得した前記撮像画像と、前記乗員の顔が撮像された前記撮像画像を入力とし前記撮像画像に基づいて検知される前記乗員の視線の向きは正当であるか否かを示す情報を出力する機械学習モデルとに基づき、前記視線検知部が検知した前記乗員の視線の向きが正当であるか否かの視線正否判定を行う
　ことを特徴とする請求項１記載の脇見判定装置。
　前記画像取得部が学習用データ生成期間に取得した学習用データ生成用の前記撮像画像に基づき検知された前記乗員の視線の向きに基づき、検知された前記乗員の視線の向きは正当であるか否かを判定し、前記撮像画像および前記乗員の視線の向きは正当であるか否かを示す情報を含む学習用データを生成する学習用データ生成部と、
　前記学習用データ生成部が生成した前記学習用データを用いて前記機械学習モデルを生成する学習部
　とを備えた請求項４記載の脇見判定装置。
　前記画像取得部が学習用データ生成期間に取得した学習用データ生成用の前記撮像画像に基づき検知された前記乗員の視線の向きと前記学習用データ生成用の前記撮像画像に基づき判定された前記乗員の開眼度とに基づき、検知された前記乗員の視線の向きは正当であるか否かを判定し、前記撮像画像および前記乗員の視線の向きは正当であるか否かを示す情報を含む学習用データを生成する学習用データ生成部と、
　前記学習用データ生成部が生成した前記学習用データを用いて前記機械学習モデルを生成する学習部
　とを備えた請求項４記載の脇見判定装置。
　前記学習用データ生成部は、前記学習用データ生成用の前記撮像画像のうち、前記乗員の視線の向きが視線判定用閾値以下であり、かつ、前記乗員の前記開眼度が開眼度判定用閾値以上である前記撮像画像の割合が正否判定用閾値以上である場合、検知された前記乗員の視線の向きは不正であると判定する
　ことを特徴とする請求項６記載の脇見判定装置。
　前記脇見判定部が前記乗員は脇見をしていると判定した場合に、警告を行わせる警告情報を出力する警告部
　を備えた請求項１から請求項７のうちのいずれか１項記載の脇見判定装置。
　前記警告部は、前記脇見判定部が脇見をしていると判定した前記乗員の状態が警告対象時間継続した場合に、前記警告情報を出力する
　ことを特徴とする請求項８記載の脇見判定装置。
　画像取得部が、車両内の乗員の顔が撮像された撮像画像を取得するステップと、
　視線検知部が、前記画像取得部が取得した前記撮像画像に基づき、前記乗員の視線の向きを検知するステップと、
　脇見仮判定部が、前記視線検知部が検知した前記乗員の視線の向きに基づき、前記乗員は脇見をしているか否かの仮判定を行うステップと、
　視線正否判定部が、前記脇見仮判定部が前記乗員は下方向の脇見をしていると仮判定した場合、前記視線検知部が検知した前記乗員の視線の向きが正当であるか否かの視線正否判定を行うステップと、
　脇見判定部が、前記脇見仮判定部が前記乗員は下方向の脇見をしていると仮判定した場合であっても、前記視線正否判定部が、前記視線検知部が検知した前記乗員の視線の向きが不正であると判定した場合は、前記乗員は脇見をしていないと判定するステップ
　とを備えた脇見判定方法。