JP6171718B2 - 操作者識別装置 - Google Patents

操作者識別装置 Download PDF

Info

Publication number
JP6171718B2
JP6171718B2 JP2013170341A JP2013170341A JP6171718B2 JP 6171718 B2 JP6171718 B2 JP 6171718B2 JP 2013170341 A JP2013170341 A JP 2013170341A JP 2013170341 A JP2013170341 A JP 2013170341A JP 6171718 B2 JP6171718 B2 JP 6171718B2
Authority
JP
Japan
Prior art keywords
information
occupant
movement
motion
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013170341A
Other languages
English (en)
Other versions
JP2015039904A (ja
Inventor
智由 安江
智由 安江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2013170341A priority Critical patent/JP6171718B2/ja
Publication of JP2015039904A publication Critical patent/JP2015039904A/ja
Application granted granted Critical
Publication of JP6171718B2 publication Critical patent/JP6171718B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Instrument Panels (AREA)

Description

本明細書が開示する技術は、車載装置を操作した乗員を識別する操作者識別装置に関する。
車載装置を操作した乗員を識別する技術として、例えば、下記特許文献1に開示される技術がある。この技術では、カメラ、マイクロフォンやレーザセンサにより検出された画像情報や音声信号等に基づいて、操作対象となる装置(操作装置)に対する操作アクセスが運転者により行われるか他の乗員により行われるかを識別する。この識別に基づいて操作アクセスが運転者により行われている場合には、運転操作から注意を逸らせる可能性のある操作アクセスを抑制する。
特表2007−526840号公報
上記特許文献1には、顔認識に関する技術は直接的には開示されていない。例えば、カメラによる画像情報から顔認識をする技術として、予め登録された上半身の画像パターンとカメラで撮った画像情報を比較するものがある。このような顔認識の場合、運転者や他の乗員が、普段着用していないマスクや眼鏡あるいはサングラスを顔に着けている場合には顔の認識が難しい。また、画像認識処理のアルゴリズムは一般的に複雑であり情報処理に時間を要する。これに対して、マイクロフォンの音声信号に基づく識別として、上記特許文献1には、マイクロフォンによる音声信号の伝搬時間差から運転者と他の乗員とを識別する技術が開示されている。この技術では、それぞれの音声を集音するマイクロフォンを2本以上設ける必要がある。また、運転者と他の乗員がほぼ同時期に声を発した場合には、音声信号が乱れることから、声の認識が難しい。本明細書は、簡素なアルゴリズムでありながら操作者の識別確度を向上する技術を提供する。
本明細書が開示する操作者識別装置は、複数の乗員が操作し得る車載装置に対して操作した乗員を識別する操作者識別装置であり、動き検出部から出力される動き情報及び操作時点検出部から出力される操作時点情報に基づいて乗員の体が動いたタイミング(動作タイミング)と車載装置が操作されたタイミング(操作タイミング)とが同期しているか否かを識別判定部により判定して同期している場合、体が動いた乗員を識別する識別情報を車載装置に出力する。これにより、識別判定部は、動き検出部から出力される動作タイミングと操作時点検出部から出力される操作タイミングとを比較する簡素なアルゴリズムによって、体が動いた乗員が車載装置を操作したか否かを判定する。車載装置を操作するとき、操作をした乗員の体が動く。ここで、「体の動き」には、腕や頭の動きだけでなく、発話するときに口や胸部や頚部が動くこと、呼吸するときに胸の表面が変位すること、を含む。例えば、車載装置を手動により操作する場合には操作動作に伴い肩、腕や手が動く。また、車載装置を音声認識により操作した場合には発声や発話に伴い口や頚部や胸部が動く。したがって、車載装置が操作された操作タイミングに同期して体が動いた乗員が、車載装置を操作した乗員であるという判定をすることによって、簡素なアルゴリズムでありながら識別確度が向上する。
なお、動き検出部から出力される動き情報とは、動いた体部分を特定する情報やどのように動いたかを特定する情報(動いた部位の軌跡)などである。また、検出された体の動きが生じた位置に最も近い座席を特定する情報を含んでいてもよい。座席の情報により、体の動きを検知した対象の乗員が運転者であるか、助手席の乗員であるか、あるいは、後部座席の乗員であるかを特定することができる。
また、操作された対象(操作対象)に応じて、動きを着目する体の部位を選別(フィルタリング)することも好適である。例えば、音声入力装置が操作された場合には、動き検出部から出力される動き情報のうち、口と胸部の動きだけを抽出してそれらの動作タイミングを特定し、操作タイミングと比較する。また、スイッチが操作された場合には、動き検出部から出力される動き情報のうち、腕と肩の動きだけを抽出してそれらの動作タイミングを特定し、操作タイミングと比較する。操作対象に応じて動きを着目する体の部位を制限することで、操作者特定の精度を向上させることができる。
本明細書が開示する技術の詳細、及び、さらなる改良は、発明の実施の形態で説明する。
エージェントシステムの機能構成例を示すブロック図である。 エージェントシステムが実装される車載装置の一例として、ナビゲーション装置のハードウェア構成例を示すブロック図である。 図3(A)はタッチパネルの操作入力に対する体の動き変化例を示す特性図、図3(B)はマイクの音声入力に対する体の動きの変化例を示す特性図である。 情報提示処理のフローチャートである。 図4に示すサブルーチン(利用者識別処理)のフローチャートである。
図面を参照して操作者識別装置を説明する。この実施例は、操作者識別装置を、エージェントシステムが実装された車載装置に適用したものである。エージェントシステムとは、擬人化されたキャラクタの画像をディスプレィに表示させて車両の乗員とのコミュニケーションに資するシステムのことであり、乗員の性格、行動、趣味や嗜好等の多様な情報を学習して最適な情報を提供する。このような車載装置として、例えば、カーナビゲーション装置が挙げられる。なお、本明細書及び図面において、擬人化されたキャラクタの画像を単に「エージェント」と称する。
まず、図1を参照してエージェントシステムの機能構成について説明する。図1に、当該システムの機能構成例を表すブロック図を示す。本実施例では、後に車載装置としてナビゲーション装置に適用した例を挙げて説明するが、まずは一般的な車載装置に対するエージェントシステムを説明する。
エージェントシステム2は、操作入力部3、動き検出部4、利用者識別部5、エージェント特性制御部6、提示情報生成部7及び提示情報出力部8により構成されている。これらのうち、操作入力部3、動き検出部4及び利用者識別部5が、操作者識別装置に相当する。
車載装置に指示を与えるための入力装置が操作入力部3を兼ねている。操作入力部3は、車載装置が操作されたタイミングを検出して操作情報(操作時点情報)を出力する機能を有するものである。例えば、乗員が指先で触れて操作するマンマシンインタフェースにおいては、タッチパネルを構成するタッチセンサがこれに相当する。また、音声入力により操作するマンマシンインタフェースにおいては、乗員の発話による音声を集音するマイクが操作入力部3に相当する。操作入力部3は、利用者識別部5、エージェント特性制御部6及び提示情報生成部7に接続されており、検出した操作情報をこれらに出力する。
動き検出部4は、乗員の体の動きを検出して動き情報を出力する機能を有するものである。後述するように、例えば、マイクロ波ドップラーセンサがこれに相当する。乗員の体の動きの例は、車載装置を手動により操作した場合における肩、腕や手の動きや、発話による胸部、頸部や***の動きである。動き検出部4も、利用者識別部5、エージェント特性制御部6及び提示情報生成部7に接続されており、検出した動き情報をこれらに出力する。動き検出部4は、上記したマイクロ波ドップラーセンサに代えて、あるいはマイクロ波ドップラーセンサに加えて、ほかのセンサ、例えば画像センサを装備してもよい。動き情報には、動いた体の部位を特定する情報や、動いた軌跡(動き開始の位置と動きが止まった位置の情報)が含まれる。画像情報から腕や肩や口の動きを検出するアルゴリズムは多数存在する。また、胸部や頚部の動きを検出するアルゴリズムは、前述の腕等の動きを検出するアルゴリズムをベースに実現することができる。それゆえ、動きを検出するアルゴリズムに関する説明は省略する。
動き検出部4は、動きが検出された位置から、車両内でその動きがどのシートに着座ししている乗員のものであるかを特定する情報(乗員の位置情報)も動き情報に付加して出力する。典型的には、腕の動きが検知された場合、助手席、運転席、後部右座席、後部左座席、後部中央座席のうち、動きが検知された腕の位置に最も近い座席を特定する情報を、乗員の位置情報として出力する。口の動きや胸部の動きが検知された場合も同様である。
利用者識別部5は、動き検出部4から入力される動き情報、及び、操作入力部3から入力される操作情報に基づいて、車載装置を操作した者が誰であるのかを識別する機能を有するものである。本実施例では、操作入力のタイミングと同期した体の動きの発生の有無を検出する第1段階と、動き情報から取得可能な1つ以上の生体信号に基づく個人の識別を行う第2段階と、の2段階に分けて乗員の識別を行う。このアルゴリズムについては後で詳述する。利用者識別部5は、エージェント特性制御部6及び提示情報生成部7に接続されており、これらに識別情報を出力する。
エージェント特性制御部6は、利用者識別部5から出力される識別情報に基づいて定められる乗員(以下「利用者」と称する)に対応するエージェントを特定するとともに、特定したエージェントの特性を決定する値(エージェント特性制御値)を動き情報及び操作情報に基づいて更新する機能を有するものである。エージェント特性制御部6は、提示情報出力部8に接続されており、これに更新したエージェント特性制御値を出力する。エージェント特性制御値に応じて変化するエージェント特性の項目としては、例えば、エージェントの喋り方や声のトーン(高低)、あるいはエージェントの体型や髪の色の明るさ等があり、これらが動き情報や操作情報に基づいて変化する。
例えば、車載装置がナビゲーション装置である場合、操作情報としては、利用者により入力される目的地情報やその周辺情報等がある。また、動き情報としては、利用者の腕や頭の動きのほか、心拍数や呼吸数等がある。操作情報としては、例えば、目的地の選択回数や周辺情報の検索回数等がある。これらの場合、特定の目的地(例えば、飲食店)を選択した回数が増えるほど、エージェントの口調がフレンドリーになり、また特定の周辺情報(例えば、コンビニエンスストア)を検索した回数が増えるほど、エージェントの声のトーンが高くなるようにエージェント特性制御値を更新する。また、心拍数の積算値が多くなるほどエージェントの体型が大型になるように、あるいは呼吸数の積算値が多くなるほどエージェントの髪の色が明るくなるように、エージェント特性制御値を更新する。
提示情報生成部7は、操作入力部3から入力される操作情報、動き検出部4から入力される動き情報、及び、利用者識別部5から入力される識別情報に基づいて、提示する情報(提示情報)を生成する機能を有するものである。例えば、操作情報による操作内容や要求動作に応じて、識別情報及び動き情報により特定された利用者の心拍や呼吸状態、さらには利用者の過去の履歴情報から、最適と推定される提示情報を生成する。利用者の過去の履歴情報は、例えば、当該システム2が有するデータベース又は外部のデータベースから得る。提示情報生成部7は、提示情報出力部8に接続されており、これに提示情報を出力する。
具体的には、例えば、操作情報が「周辺の飲食店を検索」するものであり、動き情報による心拍数や呼吸数から利用者が疲労状態であると判断される場合には、疲労回復に効果のある料理や食材を提供する飲食店をデータベースから検索する。そして、その検索結果の中から、利用者の過去の履歴情報に基づいて利用頻度の多い飲食店を抽出して、それを出力する。動き情報による心拍数や呼吸数に基づいて推定可能なものには、疲労度のほかに、眠気やリラックス度合い等がある。
提示情報出力部8は、利用者に対してエージェントを介して情報を提供する機能を有するものである。より詳しくは、提示情報出力部8は、エージェント特性制御部6から入力される更新された新たな制御値と提示情報生成部7から入力される提示情報とに基づいて、エージェントにより提示する情報を出力する機能を有するものである。具体的には、例えば、提示情報生成部7から入力される提示情報を、ディスプレィに表示されるエージェントを介して見せたりスピーカを介して喋らせたりして利用者に提供する。このときのエージェントは、エージェント特性制御部6から入力されるエージェント特性制御値によりその個性が与えられる。個性とは、前述したキャラクタの体型、髪の明るさ、声のトーンなど、視覚的聴覚的にキャラクタを特徴付けるデータである。エージェント特性制御値によりキャラクタの個性が変化するので、利用者の状態、趣味や嗜好等に基づく容姿に変更されたエージェントが提示情報を案内する。
このように構成されるエージェントシステム2は、本実施例ではナビゲーション装置10に実装される。そのため、ここからはナビゲーション装置10のハードウェア構成について図2を参照して説明する。なお、ナビゲーション装置10は、当該システム2が実装される車載装置の一例である。そのため、例えば、車載用オーディオ機器や車載用ビデオ機器に前述したエージェントシステム2が実装される場合もあり得る。図2に、ナビゲーション装置10のハードウェア構成例を表すブロック図を示す。
ナビゲーション装置10は、主に、マイコン11、記憶装置12、通信装置13、タッチパネル15、動きセンサ16、マイク17、ディスプレィ18、スピーカ19により構成されている。なお、これらのハードウェアと前述したエージェントシステム2の各機能との対応関係は、次の通りである。操作入力部3は、タッチパネル15及びマイク17に対応する。動き検出部4は、動きセンサ16に対応する。利用者識別部5及びエージェント特性制御部6は、マイコン11に対応する。提示情報生成部7は、マイコン11、記憶装置12及び通信装置13にそれぞれ対応する。提示情報出力部8は、マイコン11、ディスプレィ18及びスピーカ19にそれぞれ対応する。
マイコン(マイクロコンピュータ)11は、典型的には、制御用のワンチップマイコンやワンボードマイコン等がこれに相当する。本実施例では、マイコン11が使用する主記憶等には、マイコン11に内蔵されている半導体メモリが用いられる。マイコン11には、シリアルやパラレルによる入出力インタフェースも内蔵されている。また、これらに加えて、アナログ信号による入力をディジタル信号に変換するA/D変換器等も、マイコン11に内蔵されており、タッチパネル15、動きセンサ16やマイク17から入力されるアナログ信号についても情報処理可能に構成されている。
記憶装置12は、前述したデータベース及びマイコン11の補助記憶装置として用いられるメモリ装置であり、EEPROM等からなる半導体メモリ装置、又はハードディスク、DVD若しくはCD−ROM等からなるディスクドライブ等である。この記憶装置12には、ナビゲーションの処理に必要な経路探索プログラム及び地図データのほかに、前述したエージェントのシステムプログラムや利用者の過去の履歴情報、さらには後述する情報提示処理を実行するためのプログラム等々が格納されている。
通信装置13は、外部データベースに対して情報通信可能にする通信インタフェースである。マイコン11は、この通信装置13を介して外部データベースにアクセスして前述したような飲食店等を検索する。外部データベースには、衣食住等に関する種々のデータが格納されている。
タッチパネル15は、ディスプレィ18の表面に設けられる入力装置であり、ポインティングデバイスの一種である。抵抗膜方式や静電気容量式等、様々な方式があるが、いずれもタッチされた位置情報をアナログ値又はディジタル値によって検出してマイコン11に出力する。これにより、マイコン11はディスプレィ18に表示されるボタンやピクトグラム等の画像と重なる位置に入力があるか否かを判断する。
動きセンサ16は利用者の体の動きを検知する複数のセンサの総称であり、画像センサのほか、例えば、マイクロ波ドップラーセンサがこれに相当する。画像センサは、経時的な画像の解析により、利用者の特に頭や腕の動きを検知する。画像から頭や腕を特定する技術や、その動きを特定する技術については説明を省略する。また、カメラの位置と、動きが検知された画像中の位置から、その動きがどの座席の乗員のものであるかを特定し、その情報(乗員の位置情報)を生成する。
また、本実施例では、マイクロ波ドップラーセンサは、乗員にマイクロ波を照射して反射波のドップラーシフトからセンサに対する乗員の体表面変位の速度を計測しその速度を変位量に変換しアナログ量としてマイコン11に出力する。そのため、乗員のうち運転者(運転席に着座する乗員)の体表面変位や挙動を検出する場合には、運転席に向けてマイクロ波を照射する。このときの検知される動き情報には、その動きが運転席に着座した乗員のものであるという情報(乗員の位置情報)が付加される。
マイク17は、乗員同士の会話音や発話音を集音するマイクロフォンであり、例えば、コンデンサマイクがこれに相当する。マイク17による集音信号はアナログ量としてマイコン11に出力される。本実施例では、マイク17から入力された音声をマイコン11による音声認識処理によってコマンド解析をすることにより、音声入力による操作を可能にしている。マイク17とマイコン11の間には、例えば、乗員の音声帯域を中心に低域及び高域の周波数成分を除去するカットするバンドパスフィルタが挿入されている。マイク17で音声が検知されると同時に、動きセンサ16の一つである画像センサは、乗員の口の動きを検知し、画像中の口の動きが検知された位置からその乗員の座席を特定し、その乗員の位置情報を含む動き情報を出力する。
ディスプレィ18は、例えば、液晶表示装置であり、マイコン11に接続されている。このディスプレィ18には、マイコン11から入力されるデータによって所定のメニュー画面、案内画面、さらにはエージェントが表示される。ディスプレィ18の画面表面には、タッチパネル15が設けられており、乗員によるタッチ操作を可能にするボタンやピクトグラム等の画像表示もこのディスプレィ18により行われる。
スピーカ19は、例えば、オーディオアンプ付きのスピーカであり、マイコン11に接続されている。このスピーカ19からは、例えば、ナビゲーション装置10の起動や終了を知らせる所定音や経路案内に伴う合成音声、さらにはエージェントによるこれらの音声案内音等が出力される。
ここで、操作入力のタイミングと同期した体の動きの発生の有無を利用者識別部5による検出する方法(第1段階)について図3を参照して説明する。図3(A)に、タッチパネル15の操作入力に対する動きセンサ16による体の動き(肩付近の動き)の変化例を表す特性図を示す。また、図3(B)に、マイク17の音声入力に対する動きセンサ16による体の動き(胸部の変位)の変化例を表す特性図を示す。
マイコン11には、タッチパネル15が乗員によりタッチされるとその位置情報(操作情報)が入力され、またその操作に伴って乗員の肩や腕等の位置が変化すると動きセンサ16から乗員の動き情報が入力される。なお、前述したように、動き情報には乗員の位置情報が含まれる。タッチパネル15による位置情報(操作情報)が入力されたタイミング、つまりナビゲーション装置10がタッチ操作されたタイミング(操作タイミング)に同期して、動きセンサ16から入力される動き情報に肩や腕の動きが示されている場合には、マイコン11は、操作タイミングと体が動いたタイミング(動作タイミング)との同期を検出する(図3(A)参照)。その結果、動き情報に含まれる乗員の位置情報から、ナビゲーション装置10を操作した乗員がどの座席の乗員であるかが利用者識別部5により識別される。
また、マイコン11には、マイク17により乗員の音声が入力されるとその音声信号(操作情報)が入力され、またその発話に伴って胸部や頸部等の体表面が変位すると動きセンサ16から胸部の動き情報が入力される。そのため、マイク17による音声信号(操作情報)が入力されたタイミング、つまりナビゲーション装置10が音声入力により操作された操作タイミングに同期して、動きセンサ16から入力される動き情報が胸部の動きを示している場合には、マイコン11は、操作タイミングと動作タイミングとの同期を検出する(図3(B)参照)。これにより、ナビゲーション装置10を操作した乗員がどの座席の乗員であるかが利用者識別部5により識別される。通常、胸部や頸部等の体表面は呼吸によっても変位する。呼吸だけによる体表面の変位は周期的かつ定常的であるのに対して、発話時においてはこのような定常的な変位に変化が生じて乱れる。そのため、このような乱れによる変化を捉えることによって、呼吸による体表面の変位から発話による体の動きを判別する。
このように、操作された対象(操作対象)に応じて、動きを着目する体の部位を選別(フィルタリング)する。具体的には、マイコン11は、タッチパネルが操作された場合には、着目する動きとして肩や腕の動き情報を採用し、口や胸部の動き情報は除外する。また、マイコン11は、マイク17により乗員の音声が入力された場合には、着目する動きとして口や胸部や頚部の動き情報を採用し、肩や腕の動き情報は除外する。
利用者識別部5では、このように操作入力のタイミングと同期した体の動きの発生の有無を検出する第1段階のほかに、動き情報から取得可能な1つ以上の生体信号に基づいて、個人の識別も行う(第2段階)。動きセンサ16によって検出される体の動き情報は、呼吸の周期や呼吸に伴う胸部や頚部の体表面変位以外に、心拍の周期や心拍に伴う体表面変位に関する情報も含んでいる。そのため、これらの情報を生体信号に基づく情報として、例えば、記憶装置12等のデータベースに格納することによって、マイコン11では、ナビゲーション装置を操作した乗員を個人識別する。これにより、単にナビゲーション装置10を操作した乗員がどの座席の乗員であるかを識別するだけでなく、操作者個人を識別することが可能になる。つまり、利用者識別部5による第2段階の識別では、操作者の個人レベルの識別が可能になる。
次に、図4及び図5を参照して情報提示処理を説明する。図4に、マイコン11により実行される情報提示処理のフローチャートを図示する。また、図5に、図4に示されるサブルーチンである利用者識別処理のフローチャートを図示する。
この情報提示処理は、ナビゲーション装置10の電源が投入された後、マイコン11による所定の初期化処理やナビゲーションの準備処理等が実行された後に起動される。マイコン11は、まず、操作情報の入力を待つ(S11,13;NO)。そして、操作情報の入力があると(S13;YES)、利用者識別処理を行う。利用者識別処理は図5に図示されている。
図5に示す利用者識別処理では、まずタイミングの抽出を行う(S21)。これは、前述したように、タッチパネル15若しくはマイク17による操作情報(位置情報又は音声信号)から、ナビゲーション装置10が操作された操作タイミングを抽出する処理である。この操作タイミングに基づいて、動きセンサ16から出力される乗員の動きのデータが示す動きが操作タイミングと同期しているか否か、つまり操作タイミングと動作タイミングとが同期しているか否かを判定する(S23)。
そして、操作タイミングと変位タイミングが同期していると判定した場合には(S23;YES)、利用者(ナビゲーション装置10を操作した乗員)がどの座席の乗員であるかを特定する(S25)。先に述べたように、動き情報には、動きが検知された乗員がどの座席の乗員かを示す情報(乗員の位置情報)が含まれる。乗員の位置情報から、利用者がどの座席の乗員であるかが特定される。これに対して、両タイミングが同期していると判定しない場合(両タイミングが同期していないと判定した場合)には(S23;NO)、利用者の識別が不成功であったとして図5の処理を終了する。なお、利用者の識別が不成功であった場合(S23;NO)には、ナビゲーション装置10は、図4の「エージェント特性の制御値の更新」(S17)もスキップし、ステップS18にて、従来の不特定の利用者に対する提示情報を生成する。
利用者を識別できた場合(S25)、続いて特徴量の抽出を行う(S28)。これは、前述した利用者個人に特有の身体的特徴量(呼吸の周期と呼吸に伴う体表面変位量、及び心拍の周期と心拍に伴う体表面変位量等)を、動きセンサ16から出力されるデータから抽出する処理である。これにより、抽出された身体的特徴量に基づいて、記憶装置12に記憶されている乗員データを検索することによって、利用者を判別、つまり利用者個人の識別が可能になる。抽出された利用者の識別情報は、識別情報の出力処理によってエージェント特性制御部6に出力されて(S29)、利用者識別処理が終了する。
利用者識別処理が終了すると、再び図3に示す情報提示処理に戻ってエージェント特性制御値の更新を行う(S17)。エージェント特性制御値の更新処理では、前述したように、利用者識別部5から出力される識別情報に基づいて利用者に対応するエージェントを特定するとともに、エージェント特性制御値を動き情報及び操作情報に基づいて更新用の新たな制御値を設定して提示情報出力部8に出力する。続く提示情報の生成は、提示情報生成部7により行われる(S18)。前述したように、操作入力部3から入力される操作情報、動き検出部4から入力される動き情報、及び、利用者識別部5から入力される識別情報に基づいて、提示情報を生成して提示情報出力部8に出力する。
このように設定された新たなエージェント特性制御値(S17)と生成された提示情報(S18)に基づいて、最後に提示情報の出力を行って(S19)、一連の本情報提示処理を終了する。エージェントによる提示情報は、エージェントシステム2を構成する提示情報出力部8の説明で述べた通りである。
以上説明したように、エージェントシステム2を実装したナビゲーション装置10では、動き検出部4(動きセンサ16)から出力される動き情報、及び、操作入力部3(タッチパネル15又はマイク17)から出力される操作情報に基づいて、乗員の体が動いたタイミング(動作タイミング)とナビゲーション装置10が操作されたタイミング(操作タイミング)とが同期しているか否かを利用者識別部5(マイコン11)により判定し、これらが同期している場合には、動き情報に含まれる乗員の位置情報からその利用者がどの座席の乗員であるかを識別する情報(識別情報)をエージェント特性制御部6に出力する。このように、利用者識別部5は、動作タイミングと操作タイミングとを比較する簡素なアルゴリズムによって、どの座席の乗員がナビゲーション装置10を操作したのかを特定することができる。実施例の技術は、簡素なアルゴリズムでありながら高い確度で利用者を識別することができる。また、識別確度の向上により、エージェントシステム2として、ナビゲーション装置10を操作した乗員(利用者)に対する提示情報生成部7による適確な提示情報の生成や、エージェント特性制御部6及び提示情報出力部8による適確な情報提示が可能になる。そのため、よりフレンドリーなユーザインタフェースとして、エージェントシステム2の機能や性能の向上が図られる。さらに、操作情報及び動き情報を識別した乗員ごとに蓄積して学習させる機能をエージェント特性制御部6等に持たせることによって、エージェントが経験値を得て成長するような感覚を乗員(利用者)に与え得る。そのため、乗員(利用者)のエージェントに対する愛着や親近感が深まるので、提示情報の受容性の向上に寄与する。
実施例技術に関する留意点を述べる。操作入力部3が「操作時点検出部」の一例に相当し、利用者識別部5が「識別判定部」の一例に相当する。また、タッチパネル15又はマイク17が「操作時点検出部」の一例に相当し、画像センサやマイクロ波ドップラーセンサを含む動きセンサ16が「動き検出部」の一例に相当し、マイコン11が「識別判定部」の一例に相当する。さらに、ナビゲーション装置10が「車載装置」の一例に相当する。操作情報が「操作時点情報」の一例に相当する。
動き検出部は、実施例で挙げた動きセンサ16(画像センサやマイクロ波ドップラーセンサ)に限られない。簡単なものでは、人体の動きを検知する赤外線センサも利用可能であるし、レーザセンサを利用することも可能である。
以上、本発明の具体例を詳細に説明したが、これらは例示にすぎず、特許請求の範囲を限定するものではない。特許請求の範囲に記載の技術には、以上に例示した具体例を様々に変形、変更したものが含まれる。また、本明細書又は図面に説明した技術要素は、単独であるいは各種の組合せによって技術的有用性を発揮するものであり、出願時請求項記載の組合せに限定されるものではない。また、本明細書又は図面に例示した技術は複数目的を同時に達成するものであり、そのうちの一つの目的を達成すること自体で技術的有用性を持つものである。
2:エージェントシステム
3:操作入力部
4:体表面変位検出部
5:利用者識別部
6:エージェント特性制御部
7:提示情報生成部
8:提示情報出力部
10:ナビゲーション装置
11:マイコン
12:記憶装置
13:通信装置
15:タッチパネル
16:体表面変位センサ
17:マイク
18:ディスプレィ
19:スピーカ

Claims (1)

  1. 複数の乗員が操作し得る車載装置に対して操作した乗員を識別する操作者識別装置であり、
    乗員の体の複数部位の動きを検出して動き情報を出力する動き検出部と、
    車載装置が操作されたタイミングを検出して操作時点情報を出力する操作時点検出部と、
    操作された対象に応じて前記複数部位の中から着目する部位を選択し、選択された部位についての動き検出部からの動き情報及び操作時点検出部からの操作時点情報に基づいて乗員の体が動いたタイミングと車載装置が操作されたタイミングとが同期しているか否かを判定して同期している場合に前記乗員の識別情報を車載装置に出力する識別判定部と、
    を備えることを特徴とする操作者識別装置。
JP2013170341A 2013-08-20 2013-08-20 操作者識別装置 Active JP6171718B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013170341A JP6171718B2 (ja) 2013-08-20 2013-08-20 操作者識別装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013170341A JP6171718B2 (ja) 2013-08-20 2013-08-20 操作者識別装置

Publications (2)

Publication Number Publication Date
JP2015039904A JP2015039904A (ja) 2015-03-02
JP6171718B2 true JP6171718B2 (ja) 2017-08-02

Family

ID=52694314

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013170341A Active JP6171718B2 (ja) 2013-08-20 2013-08-20 操作者識別装置

Country Status (1)

Country Link
JP (1) JP6171718B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11941896B1 (en) * 2020-05-20 2024-03-26 Kismet Technologies Inc. System and method for alerting and monitoring health and wellness conditions of an individual within a defined environment

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6478221B2 (ja) * 2015-03-31 2019-03-06 Kddi株式会社 人物特定装置およびプログラム
JP2019073069A (ja) * 2017-10-12 2019-05-16 京セラ株式会社 車両、判定方法及び判定プログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08184449A (ja) * 1994-12-28 1996-07-16 Aqueous Res:Kk 操作制限装置
JP2004196260A (ja) * 2002-12-20 2004-07-15 Nissan Motor Co Ltd 車両用表示装置
JP2007038938A (ja) * 2005-08-04 2007-02-15 Alpine Electronics Inc 車両搭載機器操作装置
JP4753735B2 (ja) * 2006-02-06 2011-08-24 アルパイン株式会社 車載電子機器
JP2007331692A (ja) * 2006-06-19 2007-12-27 Xanavi Informatics Corp 車載電子装置およびタッチパネル装置
JP4918872B2 (ja) * 2007-03-12 2012-04-18 株式会社エクォス・リサーチ 車載装置
JP2009241707A (ja) * 2008-03-31 2009-10-22 Fujitsu Ten Ltd 操作者判別装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11941896B1 (en) * 2020-05-20 2024-03-26 Kismet Technologies Inc. System and method for alerting and monitoring health and wellness conditions of an individual within a defined environment

Also Published As

Publication number Publication date
JP2015039904A (ja) 2015-03-02

Similar Documents

Publication Publication Date Title
US11137832B2 (en) Systems and methods to predict a user action within a vehicle
US11854550B2 (en) Determining input for speech processing engine
JP4609527B2 (ja) 自動車用情報提供システム
JP6030430B2 (ja) 制御装置、車両及び携帯端末
JP5911796B2 (ja) マルチモーダル情報を用いるユーザ意図推論装置及び方法
JP2003162294A (ja) 感情検出方法及び感情検出装置
JP7504476B2 (ja) モバイル装置のユーザの認知状態を判定するための装置、方法、及びプログラム
JP2002182680A (ja) 操作指示装置
JP2015509204A (ja) 直接的文法アクセス
JPWO2015128960A1 (ja) 車載制御装置および車載制御方法
JP2017090613A (ja) 音声認識制御システム
JP6171718B2 (ja) 操作者識別装置
JP2017525002A (ja) 改善された音声認識を容易にする視覚的コンテンツの修正
JP7000759B2 (ja) 案内装置、案内システム、案内方法及びプログラム
JP7222757B2 (ja) エージェント装置、エージェント装置の制御方法、およびプログラム
Qvarfordt Gaze-informed multimodal interaction
US11009963B2 (en) Sign language inputs to a vehicle user interface
KR101652705B1 (ko) 멀티 모달 정보를 이용하는 사용자 의도 추론 장치 및 방법
US11325605B2 (en) Information providing device, information providing method, and storage medium
KR20200029716A (ko) 차량 및 차량의 제어방법
CN107548483B (zh) 控制方法、控制装置、***以及包括这样的控制装置的机动车辆
WO2017195388A1 (ja) 情報処理装置、情報処理方法およびプログラム
KR20140079025A (ko) 차량 내 다리 제스처 인식을 이용한 사용자 인터페이스 조작 방법
JP2004280673A (ja) 情報提供装置
KR20170029390A (ko) 음성 명령 모드 진입 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160310

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170131

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170606

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170619

R151 Written notification of patent or utility model registration

Ref document number: 6171718

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151