JP2011121554A - 操舵装置用車輪把持検出装置、プログラム - Google Patents

Abstract

【課題】画像処理を用いたステア把持検出装置において、ステアリングが把持されていることの検出精度を向上させること
【解決手段】ステア把持検出処理では、ステアリング位置調整機構から入力されるステア位置をステア対応位置関係に照合する（Ｓ１３０）。これにより、撮影画像上におけるステアリングホイールの位置（即ち、ステア領域）を特定する。さらに、撮影画像から手領域を特定する（Ｓ１６０）。そして、それらの特定されたステア領域と手領域とを照合する（Ｓ１８０）ことで、ステア把持判定を実行する。そのステア把持判定の結果、少なくとも、ステアリングホイールが把持されていなければ、警告を発する（Ｓ２３０）。
【選択図】図３

Description

本発明は、ステアリングホイールを把持していることを検出する操舵装置用車輪把持検出装置、及びプログラムに関する。

従来、自動車に搭載して用いられる操舵装置用車輪把持検出装置（以下、ステア把持検出装置と称す）が知られている。この種のステア把持検出装置では、ステアリングホイール（以下単にステアリングと称す）に装着された接触センサを用いて、運転者がステアリングホイールを把持していること（以下、ステア把持と称す）が検出されている（特許文献１参照）。

ところで、一般的な接触センサは、運転者の手（皮膚）と触れる接触部位が金属材料によって形成されている。よって、冬季などの気温が低下している時には、接触センサの接触部位の温度も低下する。このため、上記ステア把持検出装置が搭載された自動車を冬季に運転する場合、運転者は、温度の低い接触センサに手を触れなければならず、苦痛を感じる可能性がある。

この問題を解決するステア把持検出装置として、予め規定された車室内の領域を撮像する撮像装置と、撮像装置で撮像された画像に対して画像処理を実行することで、ステア把持を検出する画像処理プロセッサとを備えたものが考えられている（特許文献２参照）。

この画像処理を用いたステア把持検出装置では、画像処理プロセッサが、画像上におけるステアリングの位置（以下、ステア位置と称す）と、画像上における運転者の手の位置（以下、単に手の位置と称す）とを特定した上で、それら特定されたステア位置と手の位置との位置関係に基づいてステア把持を検出する。

なお、画像処理プロセッサが手の位置を特定する方法として、画像から赤外線放出部分を抽出し、その抽出した赤外線放出部分の位置（座標）を、手の位置とすることがなされている。

一方、画像処理を用いた一般的なステア把持検出装置におけるステア位置は、自動車の車室内に規定された一つの位置を表す固定値とされている。

特開２００８−１２２１４９号公報 特開２００６−１２３６４０号公報

ところで、一般的な自動車におけるステアリングの位置は、周知のチルト機構によって車高方向に沿って変更可能である。また、ステアリングの位置は、周知のテレスコピック機構によって全長方向に変更可能である。

そして、ステアリングの位置が変更されると、ステアリングにおける同一の部位であっても、撮像装置にて撮像された画像上での位置は大きく異なることになる。つまり、図９に示すように、画像における同一画素でありながら、ステアリングの位置が可動範囲の手前下端に位置する場合には、その同一画素はステアリングの左側上方が該当する。一方、ステアリングの位置が可動範囲の最奥上端に位置する場合には、その同一画素はステアリングの左側下方が該当する。

このため、ステア位置が固定値とされる従来のステア把持検出装置では、実際のステア位置と、画像処理プロセッサが認識するステア位置とが乖離することになる。このような状況下では、その検出結果の信頼性は低いものとなる。

つまり、画像処理を用いたステア把持検出装置では、ステアリングが把持されていることの検出精度が良くないという問題があった。
そこで、本発明は、画像処理を用いたステア把持検出装置において、ステアリングが把持されていることの検出精度を向上させることを目的とする。

上記目的を達成するためになされた本発明は、操舵装置用車輪（いわゆるステアリングホイール）の位置を変動可能に構成された自動車に搭載される操舵装置用車輪把持検出装置（以下、単に、把持検出装置と称す）に関するものである。

その本発明の把持検出装置では、実位置を表す情報（以下、位置情報と称す）を位置情報取得手段が取得し、撮像装置にて撮像された画像を画像取得手段が取得する。ただし、ここでいう実位置とは、自動車車室内における操舵装置用車輪の位置である。また、本発明における画像取得手段が取得する画像を撮像する撮像装置は、操舵装置用車輪の可動範囲を少なくとも含む自動車車室内の予め規定された領域を撮像可能な位置に固定されている。

そして、位置特定手段が、少なくとも実位置が変更されると、位置情報と画像位置とが１対１となるように予め対応付けられた対応位置関係に、位置情報取得手段で取得した位置情報を照合することで、画像取得手段で取得した画像における画像位置（以下、検出位置と称す）を特定する。さらに、手特定手段が、画像に写り込む人物の手の位置を特定し、その特定された手の位置が、位置特定手段で特定された検出位置上に存在していれば、判定手段が、操舵装置用車輪が把持されているものと判定する。なお、画像位置とは、画像上における操舵装置用車輪の位置である。

つまり、本発明の把持検出装置では、実位置が変更された場合には、その変更後の実位置に対応する位置情報が対応位置関係に照合される。この結果、本発明の把持検出装置にて特定される検出位置は、変更後の実位置に対応する画像位置となる。

したがって、本発明の把持検出装置によれば、実位置に対応する検出位置上に手の位置が存在していれば、操舵装置用車輪が把持されているものと判定するため、操舵装置用車輪が把持されていることの検出精度を向上させることができる。

ところで、対応位置関係は、操舵装置用車輪の可動範囲内における全ての位置に対して画像位置が１対１に対応付けられたデータとして構成されていても良い。しかしながら、このように構成された対応位置関係は、データの数が膨大なものとなり、当該対応位置関係を記憶するメモリが圧迫されることになる。

そこで、本発明における対応位置関係は、請求項２に記載のように、特定位置それぞれの位置情報と、その特定位置に対応する画像位置とのみが１対１のデータとして形成され、特定位置以外の実位置と特定位置以外の実位置に対応する画像位置とは、区分的多項式補間によって対応付けられていることが望ましい。この場合、特定位置以外の実位置と特定位置以外の実位置に対応する画像位置との対応関係が、算出式などで構成されていることが望ましい。ただし、ここでいう特定位置は、予め規定された少なくとも２つ以上の実位置それぞれであり、操舵装置用車輪の可動範囲内における代表的な位置であることが望ましい。

このように構成された対応位置関係によれば、当該対応位置関係が記憶されるメモリが、当該対応位置関係によって圧迫されることを防止できる。
本発明の把持検出装置では、請求項３に記載のように、把持状態特定手段が操舵装置用車輪の把持状態を特定するように構成されていても良い。

この把持状態特定手段が特定する把持状態とは、操舵装置用車輪が、両手にて把持されていること（以下、両手把持と称す）や、片手にて把持されている（以下、片手把持と称す）ことであっても良い。

前者（即ち、両手把持）を特定する場合、把持状態特定手段は、請求項４に記載のように、位置特定手段で特定された検出位置上に、手特定手段で特定された手の位置が少なくとも２つ以上存在していれば、両手把持であるものと特定すれば良い。

このように構成された本発明の把持検出装置によれば、実位置に対応する検出位置が特定されることから、操舵装置用車輪が両手にて把持されていることを精度良く検出することができる。

一方、後者（即ち、片手把持）を特定する場合、把持状態特定手段は、請求項５に記載のように、位置特定手段で特定された検出位置上に、手特定手段で特定された手の位置が１つだけ存在すれば、片手把持であるものと特定すれば良い。

このように構成された本発明の把持検出装置によれば、実位置に対応する検出位置が特定されることから、操舵装置用車輪が片手にて把持されていることを精度良く検出することができる。

ところで、把持状態特定手段が特定する把持状態とは、操舵装置用車輪における把持位置（以下、単に把持位置と称す）であっても良い。なお、把持位置とは、運転者が操舵装置用車輪を把持している時に運転者の手が、操舵装置用車輪上のどの位置に位置しているのかを表すものである。

このような把持位置を把持状態として特定する場合、把持状態特定手段は、請求項６に記載のように、手特定手段で特定された手の位置が存在する検出位置上における特定点の間を、把持位置として特定するように構成されていることが望ましい。

このように構成された本発明の把持検出装置によれば、実位置に対応する検出位置を用いて把持位置を検出するため、その把持位置の検出精度を向上させることができる。
なお、把持状態の検出、及び把持位置の検出は、特定された手の位置を検出位置に照合することのみから特定しても良い。また、把持状態の検出、及び把持位置の検出は、把持状態と把持位置とを分類した分類パターンを予め用意し、特定された検出位置及び手の位置を、分類パターンに照合することで、ステアリングホイールの把持状態及び把持位置を特定しても良い。ただし、分類パターンには、特定された検出位置及び手の位置の組合せが、その組合せそれぞれについて把持状態と把持位置と対応付けられている必要がある。

ところで、判定手段での判定の結果、操舵装置用車輪が把持されていない場合、自動車の乗員に対して、警報を発することが望ましい。このため、本発明の把持検出装置は、請求項７に記載のように警報手段を備えていても良い。

このように構成された本発明の把持検出装置によれば、少なくとも操舵装置用車輪が把持されていない場合には、警報が出力される。このため、警報を認識した運転者は、ステアリングを把持し、より安全運転を心掛けるようになる。

なお、本発明は、請求項８に記載のように、コンピュータが実行するプログラムとしてなされたものでもよい。
本発明が、このようになされたプログラムであれば、例えば、ＤＶＤ−ＲＯＭ、ＣＤ−ＲＯＭ、ハードディスク等のコンピュータ読み取り可能な記録媒体に記録し、必要に応じてコンピュータにロードさせて起動することや、必要に応じて通信回線を介してコンピュータに取得させて起動することにより用いることができる。

ステア把持検出システムの概略構成を示すブロック図である。 対応位置関係における特定部位の概要を示す説明図である。 ステア把持検出処理の処理手順を示すフローチャートである。 区分多項式補間を利用したステア領域の特定方法を示す概略図である。 ステア把持を検出する手法を簡易的に示した説明図である。 把持状態及び把持位置を特定する手法を示した説明図である。 把持状態を特定する手法の変形例を示した説明図である。 把持状態を特定する手法の変形例を示した説明図である。 ステアリングホイールの位置を変更した様子を示した説明図である。

以下に、本発明の実施形態を図面と共に説明する。
ここで、図１は本発明が適用された操舵装置用車輪把持検出システムの概略構成を示すブロック図である。
〈操舵装置用車輪把持検出システムの構成〉
図１に示す操舵装置用車輪把持検出システム（以下、ステア把持検出システムと称す）１は、自動車に搭載して使用されるものである。以下、ステア把持検出システム１が搭載された車両を搭載車両と称す。

このステア把持検出システム１は、自動車の乗員が操舵装置用車輪（いわゆる、ステアリングホイール）を把持しているか否かを少なくとも判定し、その判定の結果、ステアリングホイールを把持していなければ、車室内に警告を発するものである。

これを実現するために、ステア把持検出システム１は、撮像装置１５と、ステアリング位置調整機構２０と、ナビゲーション装置４０と、画像処理プロセッサ１０とを備えている。

このうち、ステアリング位置調整機構２０は、ステアリングホイールを搭載車両の車高方向に沿って可動するチルト機構２３と、ステアリングホイールを搭載車両の全長方向に沿って可動するテレスコピック機構２８とを備えている。

チルト機構２３は、ステアリングホイールの車高方向に沿った位置を、外部から入力された位置まで可動するチルト調整機構２１と、ステアリングホイールの車高方向の位置（以下、チルト位置Ｓ_chと称す）を検出するチルト位置検出機構２２とを備えている。

なお、チルト調整機構２１は、電動モータ（図示略）を中心に構成されており、外部からの入力に従って電動モータが駆動されることで、車高方向に対するステアリングコラムの角度を変更する。また、チルト位置検出機構２２は、電動モータの回転角度を検出するロータリーエンコーダを中心に構成されており、電動モータの回転角度に基づいて、周知の手法によりチルト位置Ｓ_chを導出する。この導出されたチルト位置Ｓ_chは、画像処理プロセッサ１０に出力される。

一方、テレスコピック機構２８は、ステアリングホイールの全長方向の位置を、外部から入力された位置まで可動するテレスコピック調整機構２６と、ステアリングホイールの全長方向の位置（以下、テレスコ位置Ｓ_trと称す）を検出するテレスコピック位置検出機構２７とを備えている。

なお、テレスコピック調整機構２６は、電動モータ（図示略）を中心に構成されており、外部からの入力に従って電動モータに接続されたラックアンドピニオンなどが駆動されることで、車室空間内へのステアリングコラムの突出量を変更する。また、テレスコピック位置検出機構２７は、電動モータの回転角度を検出するロータリーエンコーダを中心に構成されており、電動モータの回転角度に基づいて、周知の手法によりテレスコ位置Ｓ_trを導出する。この導出されたテレスコ位置Ｓ_trは、画像処理プロセッサ１０に出力される。

以下、チルト位置Ｓ_chと、テレスコ位置Ｓ_trとをまとめてステア位置情報（Ｓ_ch,tr）と称す。このステア位置情報（Ｓ_ch,tr）は、本発明の実位置を表す位置情報に相当する車室内におけるステアリングホイールの位置を、チルト位置検出機構２２及びテレスコピック位置検出機構２７にて検出した数値が存在するセンサ空間にて表現したステアリングホイールの位置を表すものである。

また、撮像装置１５は、周知のデジタルカメラを中心に構成されている。この撮像装置１５は、ステアリングホイールの可動範囲を少なくとも含む車室内の空間を撮像するように、車室内の予め規定された位置（例えば、ルームミラー内など）に配置されている。そして、撮像装置１５は、画像を撮像する毎に、その撮像した画像（以下、撮像画像と称す）を画像処理プロセッサ１０に出力する。

ところで、ナビゲーション装置４０は、位置検出器３０と、操作スイッチ群３５と、表示装置３６と、音声出力部３７と、補助記憶装置３８と、制御装置３９とを備えている。
このうち、位置検出器３０は、搭載車両の現在位置を検出するものである。この位置検出器３０は、ＧＰＳ受信機３１と、ジャイロセンサ３２と、地磁気センサ３３とを少なくとも備えている。なお、ＧＰＳ受信機３１は、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）用の人工衛星からの電波を図示しないＧＰＳアンテナを介して受信して、その受信信号を出力するものである。また、ジャイロセンサ３２は、搭載車両に加えられる回転運動の大きさを検出するためのセンサである。地磁気センサ３３は、地磁気から進行方位を検出するためのセンサである。

さらに、表示装置３６は、制御装置３９からの信号に従って、情報を表示するための装置（例えば、液晶ディスプレイ）である。なお、音声出力部３７は、制御装置３９からの信号を音声に変換して出力するスピーカを中心に構成された装置である。

また、操作スイッチ群３５は、乗員からの各種指示を受け付けるためのものである。
そして、補助記憶装置３８は、書き換え可能な不揮発性の記憶装置（例えば、ハードディスクドライブや、フラッシュメモリ等）として構成されている。この補助記憶装置３８には、地図データ（ノードデータ、リンクデータ、コストデータ、道路データ、地形データ、マークデータ、交差点データ、施設のデータ等）、案内用の音声データ、音声認識データ等が予め記憶されている。

ところで、制御装置３９は、ＲＯＭと、ＲＡＭと、ＣＰＵとを少なくとも備えた周知のマイクロコンピュータを中心に構成されている。この制御装置３９が、処理プログラムを実行することで、位置検出器３０（即ち、ＧＰＳ受信機、及び各センサ）からの出力信号に基づいて、搭載車両の現在位置、進行方向の方位等を算出する。さらに制御装置３９が、処理プログラムを実行することで、搭載車両の現在位置及び進行方向の方位に基づいて、外部からの入力に従って設定された目的地までの経路案内を行う等のナビゲーション装置としての周知の機能が得られる。
〈画像処理プロセッサの構成〉
次に、画像処理プロセッサ１０について説明する。

この画像処理プロセッサ１０は、記憶装置１１と、メモリ１２と、演算装置１３とを備えた周知のマイクロコンピュータを中心に構成されたものである。
このうち、記憶装置１１は、電源が切断されても記憶内容を保持すると共に、記憶内容を書き換え可能な装置（例えば、フラッシュメモリ等）である。また、メモリ１２は、処理途中で一時的に生じたデータを格納するものである。このメモリ１２には、撮像装置１５から入力された撮影画像が一時的に格納される。そして、演算装置１３は、記憶装置１１やメモリ１２に記憶された処理プログラムに基づく処理を実行する装置である。

なお、記憶装置１１には、撮像装置１５から入力された撮影画像を順次画像処理することを少なくとも含むステア把持検出処理を演算装置１３に実行させるための処理プログラムが格納されている。そのステア把持検出処理では、撮影画像上におけるステアリングホイールの位置（即ち、領域）を特定し、その特定された位置に存在するステアリングホイールが把持されているか否かを判定（以下、ステア把持判定と称す）する。これと共に、ステア把持検出処理では、そのステア把持判定の結果、少なくとも、ステアリングホイールが把持されていなければ、警告を発する。

さらに、記憶装置１１には、演算装置１３がステア把持検出処理を実行する際に参照されるステア対応位置関係が格納されている。
このステア対応位置関係は、撮影画像におけるステアリングホイールを表す画素（本発明の画像位置に相当、以下、画像ポイント（Ｉ_x，Ｉ_y）と称す）を、ステア位置情報（Ｓ_ch,tr）に応じて特定するためのものである。

このため、ステア対応位置関係は、ステア位置情報（Ｓ_ch,tr）と、そのステア位置情報（Ｓ_ch,tr）から特定される車室内の位置にステアリングホイールが存在している際の画像ポイント（Ｉ_x，Ｉ_y）とが予め対応付けられたものである。すなわち、本実施形態のステア対応位置関係における画像ポイント（Ｉ_x，Ｉ_y）は、テレスコ位置Ｓ_tr、及びチルト位置Ｓ_chの組合せと１対１に対応付けられている。

ただし、本実施形態のステア対応位置関係における画像ポイント（Ｉ_x，Ｉ_y）は、ステアリングホイールに予め規定された複数の部位（以下、特定部位と称す）について、ステア位置情報（Ｓ_ch,tr）と対応付けられている。なお、特定部位とは、図２に示すように、車室空間内における相対的なステアリングホイールの部位である。本実施形態では、その特定部位として、上端、右上、右端、右下、下端、左下、左端、左上が規定されている。特定部位以外の部位を表す画像ポイント（Ｉ_x，Ｉ_y）については、隣接する２つの特定部位（例えば、上端と右上と）の画像ポイント間を直線や曲線にて近似した近似式で規定されている。曲線の近似式の場合は、ステア位置情報（Ｓ_ch,tr）毎に規定されていても良い。

ところで、本実施形態のステア対応位置関係は、ステア位置情報（Ｓ_ch,tr）が特定部位の画像ポイント（Ｉ_x，Ｉ_y）そのものと１対１に対応付けられたデータマップと、ステア位置情報（Ｓ_ch,tr）から特定部位の画像ポイント（Ｉ_x，Ｉ_y）を算出するための位置算出式とを備えている。

このうち、データマップにて、画像ポイント（Ｉ_x，Ｉ_y）と対応付けられるステア位置情報（Ｓ_ch,tr）は、ステアリングホイールが代表位置に位置している時のものである。その代表位置とは、ステアリングホイールの可動範囲内における代表的な位置として予め設定された複数の位置である。本実施形態では、この代表位置として、最奥下端、最奥上端、手前下端、手前上端、位置中心が想定されている。なお、この代表位置は、本発明の特定位置に相当するものである。

このうち、最奥下端とは、ステアリングホイールのテレスコ位置が可動範囲内における車両の最前方、かつチルト位置が可動範囲における車両の最下端である。最奥上端とは、ステアリングホイールのテレスコ位置が可動範囲内における車両の最前方、かつチルト位置が可動範囲における車両の最上端である。さらに、手前下端とは、ステアリングホイールのテレスコ位置が可動範囲内における車両の最後方、かつチルト位置が可動範囲における車両の最下端である。手前上端とは、ステアリングホイールのテレスコ位置が可動範囲内における車両の最後方、かつチルト位置が可動範囲における車両の最上端である。なお、位置中心とは、最奥下端と手前上端とを結ぶ直線と、最奥上端と手前下端とを結ぶ直線の交点である。

一方、位置算出式は、車室内において代表位置以外の位置に存在するステアリングホイールに関して、代表位置以外の各位置に対応する画像ポイント（Ｉ_x，Ｉ_y）を特定するように、実験などによって予め求められた数式である。その数式は、予め設定された設定数（本実施形態では、３）の代表位置に囲まれた位置推定領域ｉ毎に設定されたものであり、下記（１）〜（４）式によって表される。ただし、式中ａは、実験などによって予め求められた定数。

なお、（１）〜（４）式において、添え字ｎｏｗは、その添え字ｎｏｗが付された画像ポイント（Ｉ_x，Ｉ_y）及びステア位置情報（Ｓ_ch,tr）が現時点におけるものであることを表す。また、（３）、（４）式において、添え字ｉｂは、その添え字ｉｂが付されたステア位置情報（Ｓ_ch,tr）が、位置推定領域ｉ毎に規定された１つの代表位置に対応するものであることを表す。なお、この位置推定領域ｉ毎に規定された１つの代表位置とは、位置推定領域ｉを構成する３つの代表位置のうち、テレスコ位置Ｓ_trが可動範囲における車両の最前方（最奥）に近い位置である。仮に、複数の代表位置が、テレスコ位置について同位置であれば、チルト位置Ｓ_chが可動範囲における車両の最上部に最も近いものである。

つまり、ステア対応位置関係は、ステア位置情報（Ｓ_ch,tr）が入力されると、そのステア位置情報（Ｓ_ch,tr）によって表される位置にステアリングホイールが存在している時の画像ポイント（Ｉ_x，Ｉ_y）群（以下、ステア領域とも称す）を出力するものである。
〈ステア把持検出処理について〉
次に、画像処理プロセッサ１０（より正確には、演算装置１３）が実行するステア把持検出処理について説明する。

ここで、図３は、ステア把持検出処理の処理手順を示したフローチャートである。
このステア把持検出処理は、画像処理プロセッサ１０が起動される（本実施形態では、イグニッション信号が入力される）と実行されるものである。また、このステア把持検出処理は、画像処理プロセッサ１０の動作が終了する（本実施形態では、イグニッション信号が停止される）と、終了処理を実行した後で終了されるものである。なお、終了処理では、ステア把持検出処理の終了タイミングの際に入力されていたステア位置情報（Ｓ_ch,tr）、及び終了タイミングの際に特定されていた画像ポイント（Ｉ_x，Ｉ_y）群（即ち、ステア領域）が記憶装置１１に格納される。

そして、図３に示すように、ステア把持検出処理が起動されると、Ｓ１０５にて、記憶装置１１に格納されているステア位置情報（Ｓ_ch,tr）及び撮影画像上におけるステアリングホイールの位置を、記憶装置１１から取得する。さらに、Ｓ１０５では、取得された画像ポイント（Ｉ_x，Ｉ_y）群をメモリ１２上に展開する。なお、Ｓ１０５にて取得されるステア位置情報（Ｓ_ch,tr）及び画像ポイント（Ｉ_x，Ｉ_y）群は、前回、ステア把持検出処理が実行された際に、終了処理によって記憶装置１１に格納されたものである。

続く、Ｓ１１０では、チルト位置検出機構２２からチルト位置Ｓ_chを、テレスコピック位置検出機構２７からテレスコ位置Ｓ_trを取得する。すなわち、このＳ１１０では、ステア位置情報（Ｓ_ch,tr）を取得する。

さらに、Ｓ１２０では、Ｓ１１０にて取得したステア位置情報（Ｓ_ch,tr）が、先に取得したステア位置情報（Ｓ_ch,tr）と比較して、予め規定された規定値以上変化しているか否かを判定する。そのＳ１２０での判定の結果、ステア位置情報（Ｓ_ch,tr）が規定値以上変化していれば、ステアリングホイールの位置が変更されたものと判定して、Ｓ１３０へと進む。

なお、先に取得したステア位置情報（Ｓ_ch,tr）とは、ステア把持検出処理が起動されてから、最初にＳ１２０へと移行した場合には、Ｓ１０５にて取得したステア位置情報（Ｓ_ch,tr）である。また、先に取得したステア位置情報（Ｓ_ch,tr）とは、ステア把持検出処理が起動されてから、２回目以降にＳ１２０へと移行した場合には、前回のサイクル（Ｓ１１０〜後述するＳ２３０までの処理の一連の流れ）にてＳ１１０にて取得したステア位置情報（Ｓ_ch,tr）である。

そして、Ｓ１３０では、記憶装置１１に格納されているステア対応位置関係に、今回のサイクルのＳ１１０にて取得されたステア位置情報（Ｓ_ch,tr）を照合する。これにより、現時点のステア位置情報（Ｓ_ch,tr）に対応する画像ポイント（Ｉ_x，Ｉ_y）群（すなわち、本発明の検出位置に相当する画像位置であり、ステア領域）を特定する。これと共に、Ｓ１３０では、特定したステア領域をメモリ１２に展開する。

ここで、図４は、ステア対応位置関係における位置算出式を利用して画像ポイント（Ｉ_x，Ｉ_y）を特定する方法を示した説明図である。このうち、図４（Ａ）は、センサ空間におけるステアリングホイールの位置を示した図面であり、図４（Ｂ）は、図４（Ａ）によって表されたステアリングホイールの位置に対応する画像ポイント（Ｉ_x，Ｉ_y）を示した図面である。

この図４（Ａ）に示すように、最奥上端、手前上端、位置中心を頂点とした位置推定領域１（図中はローマ数字）に、ステアリングホイールが位置している場合、Ｓ１３０では、その位置を表すステア情報（Ｓ_ch,tr）が、位置推定領域１（図中はローマ数字）に対応する位置算出式に代入される。これにより、図４（Ｂ）に示すように、画像ポイント（Ｉ_x，Ｉ_y）群が導出され、撮影画像上におけるステアリングホイールの位置が特定される。

なお、ステアリングホイールが代表位置に位置している場合には、その代表位置に対応する画像ポイント（Ｉ_x，Ｉ_y）群がデータマップから読み出される。
その後、Ｓ１４０へと進む。

なお、Ｓ１２０での判定の結果、ステア位置情報（Ｓ_ch,tr）の変化が規定値未満であれば、ステアリングホイールの位置が変更されていないものと判定して、Ｓ１４０へと進む。

そのＳ１４０では、撮像装置１５にて撮像された撮影画像を取得する。そして、Ｓ１５０では、メモリ１２上に展開されているステア領域を少なくとも含む領域を探索領域として設定する。すなわち、探索領域は、ステア領域よりも広い領域に設定される。

さらに、Ｓ１６０では、Ｓ１５０にて設定された探索領域から、撮影画像に写り込んだ人物（例えば、運転者）の手を表す手領域を探索する。なお、手領域の探索は、周知の手法であり、画像処理におけるパターンマッチングや背景差分などによって実現されている。このため、手領域の探索について、ここでの詳しい説明は省略する。

なお、本実施形態のＳ１６０では、探索領域内に手が存在していれば、手領域が検出され、探索領域内に手が存在していなければ、手領域は未検出となる。
続く、Ｓ１７０では、Ｓ１６０にて、少なくとも１つの手領域が探索領域から検出されたか否かを判定する。この判定の結果、少なくとも１つの手領域が探索領域から検出されていれば、Ｓ１８０へと進む。

そのＳ１８０では、Ｓ１６０にて検出された少なくとも１つの手領域を、メモリ１２上に展開されているステア領域に照合する。
続いて、Ｓ１９０では、Ｓ１８０での照合の結果、少なくとも１つの手領域と、ステア領域とが重複するか否かを判定する。そのＳ１９０での判定の結果、少なくとも１つの手領域がステア領域と重複していれば、Ｓ２００へと進む。すなわち、図５（Ａ）に示すように、手領域を形成する座標群の中に、ステア領域を形成する座標と一致するものがあれば、少なくとも片手にてステアリングホイールを把持しているものと判定して、Ｓ２００へと進む。ただし、本実施形態では、Ｓ２００へと進む際に、図５（Ｂ）に示すように、ステア領域に重複する手領域の中で、車高方向に沿った最上部に位置する座標（画素）を、撮影画像中の手の位置（以下、特定手位置と称す）として特定している。

そして、Ｓ２００では、ステアリングホイールの把持状態及び把持位置を特定する。
このうち、把持状態は、特定手位置の数を求めることで特定する。すなわち、特定手位置が１つであれば、ステアリングホイールを片手にて把持していること（即ち、片手把持）を把持状態として特定する。また、特定手位置が２つであれば、ステアリングホイールを両手で把持していること（即ち、両手把持）を把持状態として特定する。

一方、本実施形態において、把持位置は、特定手位置が存在する撮影画像中の特定部位間を検出することで特定される。具体的に本実施形態では、図６に示すように、ステア領域が直線状に変形した後、その直線状に変形されたステア領域に特定手位置が配置される。これにより、特定手位置が存在する撮影画像中の特定部位間を検出する。

例えば、図６に示す例では、左上及び左端の特定部位間に特定手位置が検出されている。このため、左上及び左端の特定部位間が把持位置として特定される。また、図６に示す例では、右上及び右端の特定部位間に特定手位置が検出されている。このため、右上及び右端の特定部位間が把持位置として特定される。

以下では、Ｓ２００にて特定された把持状態及び把持位置を、ステア把持情報と称す。
なお、Ｓ２００が完了すると、Ｓ２３０へと進む。
ところで、Ｓ１７０での判定の結果、探索領域から１つも手領域が検出されなかった場合、Ｓ２２０へと進む。また、Ｓ１９０での判定の結果、手領域が１つもステア領域と重複していなければ、Ｓ２２０へと進む。

すなわち、ステアリングホイールが把持されていなければ、Ｓ２２０へと進む。
そのＳ２２０では、把持状態として、ステアリングホイールが把持されていないこと（即ち、手放しであること）を表す手放し情報を生成し、Ｓ２３０へと進む。

そして、Ｓ２３０では、少なくとも、今回のサイクルにおいて手放し情報が生成されていれば、車室内に警報を出力するようにナビゲーション装置４０に制御指令を出力する警報処理を実行する。

さらに、本実施形態における警報処理では、把持状態が片手把持である場合には、ナビゲーション装置４０などから取得した搭載車両の走行状況が予め規定された規定条件を満たせば、車室内に警報を出力するようにナビゲーション装置４０に制御指令を出力する。本実施形態では、この把持状態が片手把持である場合の警報処理として、例えば、ナビゲーション装置４０から取得した走行予定の道路の曲率が規定値以上であれば、搭載車両がカーブに侵入する前に制御指令を出力する。また、この把持状態が片手把持である場合の警報処理として、例えば、搭載車両の走行速度が規定閾値以上であれば、制御指令を出力する。

なお、把持状態が片手把持である場合に実行される警報処理は、特開２００８−１２２１４９号公報に記載に開示されているため、ここでの詳しい説明は省略する。
その後、Ｓ１１０へと戻り、画像処理プロセッサ１０の動作が終了するまで、Ｓ１１０からＳ２３０を繰り返し実行する。

つまり、本実施形態のステア把持検出処理では、ステアリング位置調整機構２０から入力されるステア位置に基づいて、撮影画像上におけるステアリングホイールの位置（即ち、ステア領域）を特定する。さらに、撮影画像から手領域を特定する。そして、それらの特定されたステア領域と手領域とを照合することで、ステア把持判定を実行する。そのステア把持判定の結果、少なくとも、ステアリングホイールが把持されていなければ（即ち、手放し状態であれば）、警報が出力される。
［実施形態の効果］
以上説明したように、本実施形態のステア把持検出システム１では、ステアリングの位置が変更された場合には、その変更後のステアリングの位置に対応するステア領域が特定される。この結果、本実施形態のステア把持検出処理によれば、ステア領域を、常に、実際のステアリングホイールの位置に対応したものとすることができる。

そして、ステアリング把持検出処理では、ステア領域に重複する手領域が存在すれば、ステアリングホイールが把持されているものと判定している。このため、実際のステアリングホイールの位置に対応したステア領域を常に設定する本実施形態のステア把持検出システム１によれば、ステアリングホイールが把持されていることの検出精度を向上させることができる。

さらに、上記実施形態のステア把持検出システム１によれば、実際のステアリングホイールの位置に対応したステア領域を常に設定するため、ステアリングホイールの把持状態及び把持位置の検出精度も向上させることができる。

この結果、警報処理によって、不要な警報が報知され、乗員に不快感を与えることを低減できる。
［その他の実施形態］
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、様々な態様にて実施することが可能である。

例えば、上記実施形態では、代表位置として、最奥下端、最奥上端、手前下端、手前上端、位置中心の５つの位置が挙げられていたが、代表位置は、これら５つの位置に限るものではない。例えば、各代表位置の間における少なくとも１つの位置（例えば、最奥下端と手前下端との中間や、最奥下端と手前下端とをＸ等分（Ｘは任意の整数）した位置）が代表位置として規定されていても良い。一方、代表位置は、最奥下端、最奥上端、手前下端、手前上端の４つの位置のみであっても良い。つまり、代表位置の数は、４〜Ｎ（Ｎは、４以上の任意の整数）個であれば、いくつであっても良い。

なお、上記実施形態において、ステア対応位置関係の位置算出式（即ち、（１）〜（４）式）は、一次式によって表されていたが、位置算出式は、二次式によって表されていても良いし、二次以上の次数を有した数式によって表されていても良い。

また、上記実施形態におけるステア対応位置関係は、データマップと、位置算出式とから構成されていたが、ステア対応位置関係は、データマップのみから構成されていても良いし、位置算出式のみから構成されていても良い。

ところで、上記実施形態のステア把持検出処理では、探索領域をステア領域よりも広い領域として設定していたが、探索領域は、ステア領域とは同一の領域であっても良い。この場合、手を探索する領域が狭くなるため、ステアリングを把持しているか否かを検出するまでに要する処理量を低減できる。この結果、撮影画像を取得してから、ステアリングを把持しているか否かを検出するまでに要する時間を短縮することができる。

なお、探索領域をステア領域と同一の領域とした場合、ステア把持検出処理におけるＳ１８０，Ｓ１９０は省略されていても良い。
また、上記実施形態におけるＳ１８０〜Ｓ２００，Ｓ２２０では、ステアリングホイールの把持状態及び把持位置を複数の処理にて特定していたが、ステアリングホイールの把持状態及び把持位置は、一度の処理で特定しても良い。

この場合、把持状態と把持位置とを分類した分類パターンを予め用意し、ステア把持検出処理において特定されたステア領域及び手領域を、分類パターンに照合することで、ステアリングホイールの把持状態及び把持位置を特定すればよい。ただし、この場合分類パターンは、ステア領域及び手領域の組合せが、把持状態及び把持位置の組合せと予め対応付けられている必要がある。

ここで、図７、８は、分類パターンを表す図面である。
この分類パターンとしては、図７（Ａ）に示すように、ステア領域と重複する手領域が１つも存在しない手放し状態や、図７（Ｂ）に示すように、２つの手領域がステア領域における下端にて重複した両手把持（把持状態）、下端部（把持位置）持ちが考えられる。また、分類パターンとしては、図７（Ｃ）に示すように、それぞれステア領域における下端よりも上方に、２つの手領域が重畳した両手把持（把持状態）、中段（把持位置）持ちや、図７（Ｄ）に示すように、３つの手領域のうち、１つがステア領域における上端部に、１つがステア領域における下端部に、１つがステア領域における右上端に重畳した両手把持（把持状態）、上段（把持位置）持ちが考えられる。

さらに、分類パターンとしては、図８（Ａ）に示すように、１つの手領域が、ステア領域における左側部に重畳した片手把持（把持状態）、中段（把持位置）持ちや、図８（Ｂ）に示すように、１つの手領域が、ステア領域における右側部に重畳した片手把持（把持状態）、中段（把持位置）持ちが考えられる。なお、分類パターンとしては、図８（Ｃ）に示すように、２つの手領域のうち、１つがステア領域における左側部に、１つがステア領域における右側部に重畳し、かつ左側部の重畳領域が右側部の重畳領域よりも長い両手把持（把持状態）、中段（把持位置）持ちが考えられる。

ところで、上記実施形態では、ステア位置情報（Ｓ_ch,tr）は、チルト位置検出機構２２、またはテレスコピック位置検出機構２７にて導出されていたが、ステア位置情報は、画像処理プロセッサ１０にて導出されても良い。つまり、画像処理プロセッサ１０が、最終的にステア位置情報（Ｓ_ch,tr）を取得できれば、ステア位置情報（Ｓ_ch,tr）を導出する構成は、どの構成であっても良い。また、画像処理プロセッサ１０が最終的にステア位置情報（Ｓ_ch,tr）を取得できれば、画像処理プロセッサ１０に入力される情報（信号）はどのようなものでも良い。

また、上記実施形態におけるチルト調整機構２１及びテレスコピック機構２８は、電動モータを中心に構成されていたが、チルト調整機構２１及びテレスコピック機構２８は、電動モータを備えていなくとも良い。つまり、チルト調整機構２１及びテレスコピック機構２８は、レバーが操作されることで、レバーに連動するギヤやラックアンドピニオン機構が駆動し、ステアリングホイールの位置が変更されるものでも良い。

ただし、チルト調整機構２１及びテレスコピック機構２８が、このように構成されている場合、チルト位置検出機構２２、及びテレスコピック位置検出機構２７は、それぞれ周知のポジションセンサを用いてチルト位置Ｓ_ch，テレスコ位置Ｓ_trを検出するように構成されている必要がある。

さらには、上記実施形態におけるステア位置情報（Ｓ_ch,tr）は、チルト位置Ｓ_ch、テレスコ位置Ｓ_trの両方であったが、ステア位置情報（Ｓ_ch,tr）は、チルト位置Ｓ_ch、テレスコ位置Ｓ_trの何れか一方のみであっても良い。

なお、上記実施形態において、撮像装置１５は、可視光のみを撮像するものでも良いし、赤外光を撮像するものでも良い。また、撮像装置１５は、夜間に撮影領域を照らす照明装置を備えていても良い。
［実施形態と特許請求の範囲との対応関係］
最後に、上記実施形態の記載と、特許請求の範囲の記載との関係を説明する。

上記実施形態のステア把持検出処理におけるＳ１１０を実行することで得られる機能が、本発明の位置情報取得手段に相当し、Ｓ１４０を実行することで得られる機能が、本発明の画像取得手段に相当する。また、ステア把持検出処理におけるＳ１２０及びＳ１３０を実行することで得られる機能が、本発明の位置特定手段に相当し、Ｓ１６０を実行することで得られる機能が、本発明の手特定手段に相当する。さらに、ステア把持検出処理におけるＳ１７０〜Ｓ１９０を実行することで得られる機能が、本発明の判定手段に相当する。

なお、上記実施形態のステア把持検出処理におけるＳ２００を実行することで得られる機能が、本発明の把持状態検出手段に相当し、ステア把持検出処理におけるＳ２３０を実行することで得られる機能が、本発明の警報手段に相当する。

１…ステア把持検出システム １０…画像処理プロセッサ １１…記憶装置 １２…メモリ １３…演算装置 １５…撮像装置 ２０…ステアリング位置調整機構 ２１…チルト調整機構 ２２…チルト位置検出機構 ２３…チルト機構 ２６…テレスコピック調整機構 ２７…テレスコピック位置検出機構 ２８…テレスコピック機構 ３０…位置検出器 ４０…ナビゲーション装置

Claims (8)

1. 操舵装置用車輪の位置を変動可能に構成された自動車に搭載される操舵装置用車輪把持検出装置であって、
   自動車車室内における前記操舵装置用車輪の位置を実位置とし、前記実位置を表す位置情報を取得する位置情報取得手段と、
   前記操舵装置用車輪の可動範囲を少なくとも含む自動車車室内の予め規定された領域を撮像可能な位置に固定された撮像装置から、その撮像装置にて撮像された画像を取得する画像取得手段と、
   前記画像上における操舵装置用車輪の位置を画像位置とし、少なくとも前記実位置が変更された場合、前記位置情報と前記画像位置とが１対１となるように予め対応付けられた対応位置関係に、前記位置情報取得手段で取得した位置情報を照合することで、前記画像取得手段で取得した画像における前記画像位置である検出位置を特定する位置特定手段と、
   前記画像取得手段にて取得された画像から、その画像に写り込む人物の手の位置を特定する手特定手段と、
   前記位置特定手段で特定された検出位置上に、前記手特定手段にて特定された手の位置が存在していれば、前記操舵装置用車輪が把持されているものと判定する判定手段と
   を備えることを特徴とする操舵装置用車輪把持検出装置。
2. 前記対応位置関係は、
   予め規定された少なくとも２つ以上の実位置それぞれを特定位置とし、前記特定位置それぞれの位置情報と各特定位置に対応する画像位置とが１対１に対応付けられていると共に、その特定位置それぞれと各特定位置に対応する画像位置との対応関係から導出された区分的多項式補間によって、前記特定位置以外の実位置を表す位置情報と前記特定位置以外の実位置に対応する前記画像位置とが対応付けられている
   ことを特徴とする請求項１に記載の操舵装置用車輪把持検出装置。
3. 前記判定手段にて前記操舵装置用車輪が把持されているものと判定されると、前記操舵装置用車輪の把持状態を特定する把持状態特定手段
   を備えることを特徴とする請求項１または請求項２に記載の操舵装置用車輪把持検出装置。
4. 前記把持状態特定手段は、
   前記位置特定手段で特定された検出位置上に、前記手特定手段で特定された手の位置が少なくとも２つ以上存在していれば、前記操舵装置用車輪が両手にて把持されていることを前記把持状態として特定することを特徴とする請求項３に記載の操舵装置用車輪把持検出装置。
5. 前記把持状態特定手段は、
   前記位置特定手段で特定された検出位置上に、前記手特定手段で特定された手の位置が１つだけ存在すれば、前記操舵装置用車輪を片手にて把持していることを前記把持状態として特定することを特徴とする請求項３または請求項４に記載の操舵装置用車輪把持検出装置。
6. 前記把持状態特定手段は、
   前記操舵装置用車輪上に予め規定された複数のポイントを特定点とし、前記手特定手段で特定された手の位置が存在する前記検出位置上における特定点の間を、前記操舵装置用車輪における把持位置として特定し、
   その特定された把持位置を前記把持状態とすることを特徴とする請求項３ないし請求項５のいずれか一項に記載の操舵装置用車輪把持検出装置。
7. 少なくとも、前記判定手段での判定の結果、操舵装置用車輪が把持されていない場合、前記自動車が安全に運転されるように警報を出力する警報手段
   を備えることを特徴とする請求項１ないし請求項６のいずれか一項に記載の操舵装置用車輪把持検出装置。
8. コンピュータを、
   請求項１ないし請求項７のいずれか一項に記載の操舵装置用車輪把持検出装置を構成する各手段として機能させるためのプログラム。