JP2018180851A - ユーザインタフェースシステム - Google Patents
ユーザインタフェースシステム Download PDFInfo
- Publication number
- JP2018180851A JP2018180851A JP2017078274A JP2017078274A JP2018180851A JP 2018180851 A JP2018180851 A JP 2018180851A JP 2017078274 A JP2017078274 A JP 2017078274A JP 2017078274 A JP2017078274 A JP 2017078274A JP 2018180851 A JP2018180851 A JP 2018180851A
- Authority
- JP
- Japan
- Prior art keywords
- user
- interface system
- user interface
- operation image
- detection device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
【課題】 利用者の身体動作を検出して当該利用者の意図を認識するユーザインタフェースシステムの技術的課題を解決可能な技術を提供する。【解決手段】 ユーザインタフェースシステムは、着席者の手に操作画像Osを投影し、当該操作画像Osが投影された手の動きを利用して当該着席者の意図を判断する。したがって、投影された操作画像Osの位置と操作をする指先の位置とが重なるといった状態は原理的に発生し難い。【選択図】図3
Description
本願は、利用者の身体動作を検出して当該利用者の意図を認識するユーザインタフェースシステムに関する。
例えば、特許文献1に記載のユーザインタフェースシステムでは、例えば、着席者の左手に操作画像を投影するとともに、当該着席者の右手の指先位置を検出して着席者の意図を認識している。
つまり、着席者は、左手に投影された仮想の操作パネル上の操作ボタンを右手の指で操作する。ユーザインタフェースシステムは、投影された操作パネル上の操作ボタンが操作されたか否かを検出する。ユーザインタフェースシステムは、操作されたと判断したときには、操作された操作ボタンに対応した出力コマンドを操作対象に向けて出力する。
特許文献1に係るユーザインタフェースシステムは、少なくとも以下の技術的課題を有する。
(a)投影された操作ボタンの位置及び操作をする指先の位置を同時に認識する必要がある。このため、両者の位置が重なった場合には、ユーザインタフェースシステムはいずれかの一方の位置を認識できない可能性がある。
(a)投影された操作ボタンの位置及び操作をする指先の位置を同時に認識する必要がある。このため、両者の位置が重なった場合には、ユーザインタフェースシステムはいずれかの一方の位置を認識できない可能性がある。
(b)投影された操作ボタンの位置に指先が位置したとき、ユーザインタフェースシステムは操作ボタンを投影することができない。このため、利用者は、操作ボタンを認識できなくなる。
本願は、上記点に鑑み、上記(a)及び(b)に示す技術的課題を解決可能なユーザインタフェースシステムの一例を開示する。
ユーザインタフェースシステムは、利用者が操作可能な機能が表示された操作画像を当該利用者の身体の一部に投影する投影装置(11)と、操作画像が投影された身体部分の動きを検出する検出装置(12)と、検出装置(12)が検出した結果を利用して利用者の意図を判断する判断装置(13)とを備える。
そして、上記の技術的課題に準えて本願の作動を例示すれば、以下の通りである。すなわち、ユーザインタフェースシステムは、利用者の身体の一部に操作ボタンを投影し、当該操作ボタンが投影された身体の一部の動きを利用して当該利用者の意図を判断する。
したがって、投影された操作ボタンの位置と操作をする指先の位置とが重なるといった状態は原理的に発生し難い。延いては、上記(a)及び(b)に示す技術的課題を解決することが可能となる。
なお、以下の構成でもよい。
すなわち、利用者が操作可能な機能が表示された操作画像を当該利用者の手に投影する投影装置(11)と、操作画像が投影された手の動きを検出する検出装置(12)と、検出装置(12)が検出した結果を利用して利用者の意図を判断する判断装置(13)とを備えるユーザインタフェースシステムであってもよい。そして、検出装置(12)は、操作画像が投影された手の指の動きを検出することが望ましい。これにより、利用者は、直感的にユーザインタフェースシステムを操作でき得る。
すなわち、利用者が操作可能な機能が表示された操作画像を当該利用者の手に投影する投影装置(11)と、操作画像が投影された手の動きを検出する検出装置(12)と、検出装置(12)が検出した結果を利用して利用者の意図を判断する判断装置(13)とを備えるユーザインタフェースシステムであってもよい。そして、検出装置(12)は、操作画像が投影された手の指の動きを検出することが望ましい。これにより、利用者は、直感的にユーザインタフェースシステムを操作でき得る。
因みに、上記各括弧内の符号は、後述する実施形態に記載の具体的構成等との対応関係を示す一例であり、本発明は上記括弧内の符号に示された具体的構成等に限定されるものではない。
以下に説明する「発明の実施形態」は、本願発明の技術的範囲に属する実施形態の一例を示すものである。つまり、特許請求の範囲に記載された発明特定事項等は、下記の実施形態に示された具体的構成や構造等に限定されるものではない。
以下、本発明の実施形態を図面と共に説明する。なお、各図に付された方向を示す矢印等は、各図相互の関係を理解し易くするために記載したものである。本発明は、各図に付された方向に限定されるものではない。
少なくとも符号を付して説明した部材又は部位は、「1つの」等の断りをした場合を除き、少なくとも1つ設けられている。つまり、「1つの」等の断りがない場合には、当該部材は2以上設けられていてもよい。
なお、本明細書に係る「着席者」とは、乗物の乗員や乗物用シートを利用する者をいう。したがって、着席者には、現実に着席していない者も含まれる。
(第1実施形態)
本実施形態は、車両等の乗物用ユーザインタフェースシステムに本発明を適用したものである。
(第1実施形態)
本実施形態は、車両等の乗物用ユーザインタフェースシステムに本発明を適用したものである。
1.ユーザインタフェースシステム
図1に示す乗物用シート1には、乗物用ユーザインタフェースシステム(以下、ユーザインタフェースシステムと略す。)10を構成するために機器に搭載されている。当該ユーザインタフェースシステム10は、着席者の身体動作を検出して当該利用者の意図を認識するためのシステムである。
図1に示す乗物用シート1には、乗物用ユーザインタフェースシステム(以下、ユーザインタフェースシステムと略す。)10を構成するために機器に搭載されている。当該ユーザインタフェースシステム10は、着席者の身体動作を検出して当該利用者の意図を認識するためのシステムである。
ユーザインタフェースシステム10は、図2に示すように、投影装置11、検出装置12及び判断装置13等を少なくとも備える。投影装置11は、操作画像Os(図3参照)を着席者の身体の一部に投影する。
本実施形態に係る投影装置11は、図3に示すように、着席者の手の平又は手の甲に操作画像Osを投影する。操作画像Osは、利用者が操作可能な機能が表示されたメニュー画面である。
図3に示す操作画像Osでは、利用者が操作可能な機能として、(a)空調装置の始動スイッチ(A/C)、(b)テレビジョンの始動スイッチ(TV)、(c)音楽の再生スイッチ(MUSIC)、及び(d)ラジオの始動スイッチ(RADIO)等が表示されている。
操作画像Osの「UP」及び「DOWN]は、上記(a)〜(d)の機能を選択するためのスイッチである。つまり、例えば、ラジオの始動スイッチ(RADIO)が選択された状態で、「UP」が選択されると、音楽の再生スイッチ(MUSIC)が選択される。
検出装置12は、操作画像Osが投影された身体部分の動きを検出する。すなわち、検出装置12は、操作画像Osが投影された手の動きを検出する。具体的には、本実施形態係る検出装置12は、「当該手の動き」として「操作画像Osが投影された手の指の動き」を監視している。
なお、投影装置11及び検出装置12は、例えば、乗物用シート1のシートバック3の上端肩口等に搭載されている(図1参照)。投影装置11は、ピコプロジェクターにて構成されている。検出装置12は、3Dセンシングカメラにて構成されている。
判断装置13は、検出装置12が検出した結果を利用して着席者の意図を判断する。判断装置13は、例えば、次のようにして着席者の意図を判断する。すなわち、「親指」の動きを検出装置12が検出した場合、判断装置13は「選択されているスイッチを1つ下のスイッチに変更する」と判断する(図4A及び図4B参照)。
「人差し指」の動きを検出装置12が検出した場合、判断装置13は「選択されているスイッチを1つ上のスイッチに変更する」と判断する。「中指」の動きを検出装置12が検出した場合、判断装置13は「表示されているスイッチメニューを変更する」と判断する。
「親指と人差し指を付ける(輪を作るような動作)」を検出装置12が検出した場合、判断装置13は「選択されているスイッチが確定(決定)された」と判断する(図4C参照)。そして、判断装置13の判断結果出力は、制御装置14に入力される。
制御装置14は、当該判断結果に対応した出力コマンドを、操作対象、つまり空調装置やテレビジョン等に向けて出力する。なお、本実施形態に係る制御装置14は、投影装置11及び検出装置12の作動も制御する。
つまり、制御装置14は、判断結果に対応した出力コマンドを投影装置11に出力するとともに、検出装置12の検出結果出力を判断装置13に入力する。なお、制御装置14は、CPU、ROM及びRAM等にて構成されたマイクロコンピュータである。
本実施形態に係る判断装置13もマイクロコンピュータに構成されている。このため、本実施形態では、制御装置14と判断装置13とは1つのマイクロコンピュータに構成されている。そして、ROM等の不揮発性記憶部に予め記憶されたプログラムにより、当該マイクロコンピュータが判断装置13として機能する。
2.ユーザインタフェースシステムの作動(図5参照)
ユーザインタフェースシステム10の起動スイッチ(図示せず。)が投入されると、制御装置14は、投影装置11を作動させて操作画像Osを着席者の手に投影させる(S1)。制御装置14は、予め決められた「無操作経過時間」内に検出装置12が指の動きを検出したか否かを判断する(S3)。
ユーザインタフェースシステム10の起動スイッチ(図示せず。)が投入されると、制御装置14は、投影装置11を作動させて操作画像Osを着席者の手に投影させる(S1)。制御装置14は、予め決められた「無操作経過時間」内に検出装置12が指の動きを検出したか否かを判断する(S3)。
制御装置14は、「無操作経過時間」内に検出装置12が指の動きを検出しなかったと判断した場合には(S3:NO)、ユーザインタフェースシステム10を停止させる。制御装置14は、「無操作経過時間」内に検出装置12が指の動きを検出したと判断した場合には(S3:YES)、上記した手法にて着席者の意図を判断する(S5)。
次に、制御装置14は、その判断結果、つまり着席者の意図に対応した出力コマンドを出力して着席者の意図に対応した機能を実現する処理を実行する(S7)。当該処理の実行後(S7)、制御装置14は、操作画像Osの投影が終了しているか否かを判断する(S9)。
制御装置14は、操作画像Osの投影が終了していないと判断した場合には(S9:NO)、S3を実行する。制御装置14は、操作画像Osの投影が終了していると判断した場合には(S9:YES)、ユーザインタフェースシステム10を停止させる。
3.本実施形態に係るユーザインタフェースシステムの特徴
ユーザインタフェースシステム10は、着席者の手に操作画像Osを投影し、当該操作画像Osが投影された手の動きを利用して当該着席者の意図を判断する。したがって、投影された操作画像Osの位置と操作をする指先の位置とが重なるといった状態は原理的に発生し難い。延いては、上記(a)及び(b)に示す技術的課題を解決することが可能となる。
ユーザインタフェースシステム10は、着席者の手に操作画像Osを投影し、当該操作画像Osが投影された手の動きを利用して当該着席者の意図を判断する。したがって、投影された操作画像Osの位置と操作をする指先の位置とが重なるといった状態は原理的に発生し難い。延いては、上記(a)及び(b)に示す技術的課題を解決することが可能となる。
検出装置12は、操作画像Osが投影された手の指の動きを検出する。これにより、着席者は、事前に説明書等を詳細に読むことなく、直感的にユーザインタフェースシステム10を操作でき得る。
(その他の実施形態)
上述の実施形態に係る投影装置11は、「利用者の身体の一部」として、利用者の「手の平又は手の甲」に操作画像Osを投影した。しかし、本願明細書に開示された発明はこれに限定されるものではない。すなわち、例えば、利用者の「太もも」に操作画像Osが投影されるように構成された投影装置11であってもよい。
上述の実施形態に係る投影装置11は、「利用者の身体の一部」として、利用者の「手の平又は手の甲」に操作画像Osを投影した。しかし、本願明細書に開示された発明はこれに限定されるものではない。すなわち、例えば、利用者の「太もも」に操作画像Osが投影されるように構成された投影装置11であってもよい。
上述の実施形態に係る判断装置13は、「指の動き」に対応させて利用者の意図を判断した。しかし、本願明細書に開示された発明はこれに限定されるものではない。すなわち、例えば、図4A〜図4C以外の「身体の動き」に対応させて利用者の意図を判断してもよい。
上述の実施形態に係る投影装置11及び判断装置13は、乗物用シート1に設けられていた。しかし、本願明細書に開示された発明はこれに限定されるものではない。すなわち、例えば、投影装置11及び判断装置13のうち少なくとも一方が、利用者が存在する空間を構成する部材(例えば、天井)に設けられていてもよい。
上述の実施形態では、車両に本発明に係るユーザインタフェースシステムを適用した。しかし、本発明の適用はこれに限定されるものではなく、鉄道車両、船舶及び航空機等の乗物、又は劇場用若しくは家庭用にも適用できる。
さらに、本発明は、特許請求の範囲に記載された発明の趣旨に合致するものであればよく、上述の実施形態に限定されるものではない。したがって、上述した複数の実施形態のうち少なくとも2つの実施形態を組み合わせてもよい。
1… 乗物用シート 3… シートバック 10… ユーザインタフェースシステム
11… 投影装置 12… 検出装置 13… 判断装置 14… 制御装置
11… 投影装置 12… 検出装置 13… 判断装置 14… 制御装置
Claims (4)
- 利用者の身体動作を検出して当該利用者の意図を認識するユーザインタフェースシステムにおいて、
利用者が操作可能な機能が表示された操作画像を当該利用者の身体の一部に投影する投影装置と、
前記操作画像が投影された身体部分の動きを検出する検出装置と、
前記検出装置が検出した結果を利用して利用者の意図を判断する判断装置と
を備えるユーザインタフェースシステム。 - 利用者の身体動作を検出して当該利用者の意図を認識するユーザインタフェースシステムにおいて、
利用者が操作可能な機能が表示された操作画像を当該利用者の手に投影する投影装置と、
前記操作画像が投影された手の動きを検出する検出装置と、
前記検出装置が検出した結果を利用して利用者の意図を判断する判断装置と
を備えるユーザインタフェースシステム。 - 前記検出装置は、前記操作画像が投影された手の指の動きを検出する請求項2に記載のユーザインタフェースシステム。
- 乗物に搭載される乗物用シートにおいて、
着席者が操作可能な機能が表示された操作画像を当該着席者の身体の一部に投影する投影装置と、
前記操作画像が投影された身体部分の動きを検出する検出装置と、
前記検出装置が検出した結果を利用して着席者の意図を判断する判断装置と
を備える乗物用シート。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017078274A JP2018180851A (ja) | 2017-04-11 | 2017-04-11 | ユーザインタフェースシステム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017078274A JP2018180851A (ja) | 2017-04-11 | 2017-04-11 | ユーザインタフェースシステム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018180851A true JP2018180851A (ja) | 2018-11-15 |
Family
ID=64276724
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017078274A Pending JP2018180851A (ja) | 2017-04-11 | 2017-04-11 | ユーザインタフェースシステム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2018180851A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021135841A (ja) * | 2020-02-28 | 2021-09-13 | 日本精機株式会社 | 操作装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012089079A (ja) * | 2010-10-22 | 2012-05-10 | Honda Access Corp | 車両用入出力装置 |
JP2013061848A (ja) * | 2011-09-14 | 2013-04-04 | Panasonic Corp | 非接触入力装置 |
JP2013073556A (ja) * | 2011-09-29 | 2013-04-22 | Toshiba Corp | コマンド発行装置、方法及びプログラム |
JP2013542114A (ja) * | 2010-09-10 | 2013-11-21 | パナソニック・アビオニクス・コーポレイション | 統合ユーザインターフェースシステムおよび方法 |
-
2017
- 2017-04-11 JP JP2017078274A patent/JP2018180851A/ja active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013542114A (ja) * | 2010-09-10 | 2013-11-21 | パナソニック・アビオニクス・コーポレイション | 統合ユーザインターフェースシステムおよび方法 |
JP2012089079A (ja) * | 2010-10-22 | 2012-05-10 | Honda Access Corp | 車両用入出力装置 |
JP2013061848A (ja) * | 2011-09-14 | 2013-04-04 | Panasonic Corp | 非接触入力装置 |
JP2013073556A (ja) * | 2011-09-29 | 2013-04-22 | Toshiba Corp | コマンド発行装置、方法及びプログラム |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021135841A (ja) * | 2020-02-28 | 2021-09-13 | 日本精機株式会社 | 操作装置 |
JP7375611B2 (ja) | 2020-02-28 | 2023-11-08 | 日本精機株式会社 | 操作装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6143982B2 (ja) | 車載機器操作装置および車載機器操作システム | |
US9354780B2 (en) | Gesture-based selection and movement of objects | |
JP5333397B2 (ja) | 情報処理端末およびその制御方法 | |
JP2017211884A (ja) | 動き検出システム | |
JP6508173B2 (ja) | 車両用表示装置 | |
JP2007172303A (ja) | 情報入力システム | |
US10809823B2 (en) | Input system | |
JP2016029532A (ja) | ユーザインターフェース | |
JP2018180851A (ja) | ユーザインタフェースシステム | |
KR101260756B1 (ko) | 시각 장애인용 엘리베이터의 안내방법 및 이를 이용한 시각 장애인용 엘리베이터 | |
JP4888063B2 (ja) | 手動操作装置 | |
EP2988194B1 (en) | Operating device for vehicle | |
CN107636567B (zh) | 用于运行操作装置的方法以及用于机动车的操作装置 | |
JP2016005157A (ja) | 操作装置 | |
JP6833146B2 (ja) | タッチパネル制御装置及びタッチパネル制御方法 | |
KR100986333B1 (ko) | 차량용 입체영상 입력장치 | |
KR102023187B1 (ko) | 디스플레이 장치에 설치되는 착탈식 터치 패널 장치 | |
TWI408570B (zh) | 互動式投影裝置以及互動式投影裝置的操作方法 | |
JP2015018523A (ja) | 入力装置 | |
WO2024117168A1 (ja) | 操舵装置、制御装置、および非一時的なコンピュータ可読媒体 | |
JP2015056179A (ja) | 注文型インターフェースシステムおよびその操作方法 | |
JP5027084B2 (ja) | 入力装置及び入力方法 | |
JP2013073412A5 (ja) | ||
JP2021099721A (ja) | 車両用入力装置 | |
WO2021059479A1 (ja) | 操作対象物を操作可能範囲内に表示する表示制御装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191014 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200520 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200602 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20201124 |