JP6762812B2

JP6762812B2 - 操作入力装置及びプログラム

Info

Publication number: JP6762812B2
Application number: JP2016172988A
Authority: JP
Inventors: 孝浩斉藤
Original assignee: Toshiba TEC Corp
Current assignee: Toshiba TEC Corp
Priority date: 2016-09-05
Filing date: 2016-09-05
Publication date: 2020-09-30
Anticipated expiration: 2036-09-05
Also published as: JP2018041159A

Description

本発明の実施形態は、操作入力装置及びプログラムに関する。

従来、ユーザの腕（手首）等の特定部位に装着されたセンサから得られた測定値をもとに、ユーザの手や指等の動作（ジェスチャ）を非接触で認識する技術がある。係る技術では、認識した動作に対応させて、ＰＣ（Personal Computer）等の画面に配置されたポインタを移動し、ポインタの位置に対応するオブジェクトに対して処理が実行される。このような非接触式の操作入力装置のメリットとして、離れた場所から操作できる点、画面を直接触れないで操作できるため衛生的であるという点が上げられる。

しかしながら、非接触式の操作入力装置では、タッチパネル等の接触式の入力装置と比較して操作感を得ることが難しく、操作性が悪いという問題がある。

本発明が解決しようとする課題は、非接触式の操作入力装置において、ユーザの操作性を向上させることが可能な操作入力装置を提供することである。

実施形態の操作入力装置は、非接触式の操作入力装置であって、表示制御手段と、認識手段と、操作受付手段と、フィードバック手段とを備える。表示制御手段は、操作の対象となる操作画面を表示装置に表示する。認識手段は、ユーザの動作を非接触で認識する。操作受付手段は、前記認識手段の認識結果に基づいて、前記操作画面に対する操作を受け付ける。フィードバック手段は、前記操作受付手段が前記操作を受け付けたことを条件に、当該操作の内容に応じたフィードバックを前記ユーザに提供する。また、フィードバック手段は、前記操作受付手段が前記操作画面に表示されたポインタの移動を指示する操作を受け付けたことを条件に、前記フィードバックとして、前記ポインタが指し示す箇所又は当該ポインタを強調表示させ、当該強調表示を行っている間に前記ポインタが所定時間停止すると前記強調表示を解除する。

図１は、実施形態に係る操作入力装置の構成の一例を示す図である。図２は、表示部が表示する操作画面（注文表示画面）の一例を示す図である。図３は、実施形態の操作入力装置が備える機能構成の一例を示す図である。図４は、実施形態のフィードバック処理部が実行するフィードバックの一例を説明するための図である。図５は、実施形態の操作入力装置が実行する操作支援処理の一例を示すフローチャートである。

以下に図面を参照して、本発明に係る入力支援装置及びプログラムの実施形態を詳細に説明する。以下に示す実施形態では、本発明を飲食店等の店舗で用いられる、注文内容を表示するためのキッチンディスプレイに適用した例について説明するが、本発明はこの実施形態に限定されるものではない。

図１は、本実施形態に係る操作入力装置１の構成の一例を示す図である。図１に示すように、操作入力装置１は、表示部１１と、制御部１２と、通信部１３と、動作認識部１４とを備える。なお、制御部１２、通信部１３及び動作認識部１４は、表示部１１と一体的に構成されてもよいし、別体として構成されてもよい。

表示部１１は、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electro Luminescence）等の表示デバイスを備えた表示装置である。表示部１１は、調理場等のバックヤードに設置され、制御部１２による制御の下、注文されたメニュー名等の各種の情報を表示する。

制御部１２は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等のコンピュータ構成を備え、操作入力装置１の動作を制御する。また、制御部１２は、動作認識部１４とともに操作支援部２０として機能し、表示部１１に対する画面表示を制御する。

具体的に、制御部１２は、操作入力装置１の操作に係る各種のＧＵＩ（Graphical User Interface）や情報を表示部１１に表示させる。例えば、制御部１２は、通信部１３により受信されたオーダ情報を記憶及び管理し、そのオーダ情報に含まれたメニュー名やオーダ数、テーブル番号等を表した注文表示画面を表示部１１に表示させる。

図２は、表示部１１が表示する画面（注文表示画面）の一例を示す図である。図２に示す注文表示画面Ｇ１では、１オーダにつき１マスの表示領域が割り当てられ、各表示領域には各注文（オーダ情報）に含まれるメニュー名及び注文数が表示される。また、各表示領域の上部には、各注文を識別できるよう、テーブル番号、オーダ時間、客数、担当者情報がそれぞれ表示される。

ユーザは、表示部１１に表示された注文表示画面Ｇ１を見ることで、現在の注文状況を確認し、注文されたメニューの調理等を行う。また、ユーザは、後述する動作認識部１４の機能を用いることで、注文表示画面Ｇ１に対する操作を非接触で行う。例えば、ユーザは、注文されたメニューの調理等が完了すると、そのメニューを消し込むための動作（ジェスチャ操作）を行うことで、注文表示画面Ｇ１から該当するメニューの消去を行う。

メニューの消し込みを行う場合、例えばユーザは、手を動かす等の所定のジェスチャを行うことで、消し込み対象のメニューの上までカーソル等のポインタＰ１を移動させ、当該メニューを選択する。そして、ユーザは、ポインタＰ１を消込ボタンＢ１上に移動させ、当該消込ボタンＢ１を選択（ボタン押下）することで、選択したメニューの消し込みを指示する。制御部１２は、上記したメニューの消し込み操作が動作認識部１４で認識されると、この消し込み操作で指示されたメニューを注文表示画面Ｇ１から消去する。ここで、制御部１２は、消し込み操作の対象となったメニューを、破線等で表す形態としてもよい（図２のメニューＭ６１参照）。なお、注文表示画面Ｇ１は、基本的にポインタＰ１の移動と操作子（メニュー、ボタン等）の選択操作とで、各種の処理を指示できるよう構成されているとする。

図１に戻り、通信部１３は、有線又は無線により通信を行う通信装置である。通信部１３は、店舗内に設けられたオーダ端末（図示せず）と通信し、当該オーダ端末から送信されるオーダ情報を受信する。係るオーダ端末は、例えば、店員により携帯され、店員により入力されたオーダ情報を通信部１３に送信する。なお、オーダ情報には、メニュー名及び注文数の他、テーブル番号、オーダ時間、客数、接客を担当した店員の担当者情報等が含まれるものとする。

動作認識部１４は、ＣＰＵ、ＧＰＵ、ＲＯＭ、ＲＡＭ等のコンピュータ構成や、各種のセンシング機器、無線通信インタフェース等を備え、ユーザが行う所定動作（ジェスチャ）を認識する。本実施形態において、動作認識部１４は、制御部１２とともに操作支援部２０として機能し、表示部１１に表示された画面に対する操作入力を非接触で受け付ける。

具体的には、動作認識部１４は、ユーザによる所定動作であるジェスチャを認識し、制御部１２と協働することで、表示部１１に表示された画面に対する操作を非接触で受け付ける。例えば、動作認識部１４は、上記したメニューの消し込み操作を認識すると、表示部１１と協働することで、この消し込み操作で指示されたメニューを注文表示画面Ｇ１から消去する。なお、本実施形態では、制御部１２と動作認識部１４とを別体としたが、これに限らず、共通するコンピュータ構成により一体的に構成してもよい。

また、ユーザ動作の認識方法は特に問わず、公知公用の技術を用いることが可能である。例えば、動作認識部１４は、ＣＣＤ（Charge Coupled Device）や赤外線等のカメラにより撮像されたユーザの撮像画像から、当該ユーザの顔や動作（例えば手の動作）を認識する構成としてもよい。この場合、動作認識部１４は、動作認識部１４のＲＯＭ等に記憶された各種のジェスチャを表す設定情報に基づき、ユーザが行った動作が何れかのジェスチャに該当するかを判定する。そして、動作認識部１４は、ユーザの動作が何れかのジェスチャに該当した場合に、当該ジェスチャをユーザが行ったと認識する。係る構成としては、例えばＩｎｔｅｌＲｅａｌＳｅｎｓｅ（登録商標）等に係る技術を用いることができる。

また、例えば、動作認識部１４は、図１に示すように、ユーザの腕（手首）に装着される測定装置３０によって測定された測定値をもとに、ユーザの動作を認識する構成としてもよい。係る測定装置３０は、例えば、加速度や角速度、地磁気等を測定するための各種センサを有する。また、測定装置３０は、測定対象であるユーザの特定部位に装着される。特定部位は、例えば、ユーザの腕、手首、指、頭、足等である。図１では、ユーザの手首に測定装置３０を装着した例を示している。

ユーザの手首に装着される場合、測定装置３０は、当該測定装置３０を装着したユーザの手の加速度や角速度を、測定値として無線通信により動作認識部１４に送信する。測定値を受信する動作認識部１４は、動作認識部１４のＲＯＭ等に記憶された各種のジェスチャを表す設定情報に基づき、その測定値に対応するユーザの動作が何れかのジェスチャに該当するかを判定する。そして、動作認識部１４は、ユーザの動作が何れかのジェスチャに該当した場合に、当該ジェスチャをユーザが行ったと認識する。なお、本実施形態では、測定装置３０を用い、当該測定装置３０をユーザの手首に装着する場合の例について説明する。

次に、操作入力装置１の機能構成について説明する。図３は、操作入力装置１（操作支援部２０）が備える機能構成の一例を示す図である。図３に示すように、操作支援部２０は、表示制御部２１と、操作受付部２２と、フィードバック処理部２３とを機能部として備える。これら機能部の一部又は全ては、制御部１２及び動作認識部１４の何れか一方又は両方のプロセッサ（ＣＰＵやＧＰＵ）と、ＲＯＭ等のメモリに記憶されたプログラムとの協働によりＲＡＭ上に実現されるソフトウェア構成としてもよい。また、これら機能部の一部又は全ては、各機能を実現するよう設計された一又は複数の処理回路等によって実現されるハードウェア構成としてもよい。

表示制御部２１は、操作入力装置１の操作に係る各種の操作画面（ＧＵＩ）や情報を表示部１１に表示させる。例えば、表示制御部２１は、上述した注文表示画面Ｇ１（図２参照）等を表示部１１に表示させる。

操作受付部２２は、ユーザが行う所定動作（ジェスチャ）を非接触で認識し、当該動作に対応する操作を受け付ける。具体的に、操作受付部２２は、ユーザの動作が所定の動作に該当するか否かを判定し、該当すると判定した場合に、当該動作に対応する操作を受け付ける。例えば、操作受付部２２は、ユーザが手を上下左右方向の何れかに移動させると、その移動方向にポインタＰ１の移動を指示する操作として受け付ける。また、操作受付部２２は、ユーザが指打ち等の動作を行うと、選択や押下の操作（選択操作）として受け付ける。そして、操作受付部２２は、指示された操作に応じた処理を制御部１２に実行させる。ここで、指打ちとは、摘まむような形で親指と他の指（中指等）とを軽く打ち付ける動作を意味する。

フィードバック処理部２３は、操作受付部２２が操作を受け付けたことを条件に、当該操作の内容に応じたフィードバックを操作者であるユーザに提供する。ここで、フィードバックは、指示された操作の操作感をユーザに知覚させるための効果を意味する。

例えば、フィードバック処理部２３は、ポインタＰ１の移動が指示されると、操作画面内でのポインタＰ１の移動方向や存在位置を知覚させるため、ポインタＰ１が指し示す箇所を強調して表示する。

図４は、フィードバック処理部２３が実行するフィードバックの一例を説明するための図である。例えば、図４（ａ）に示す位置に存在したポインタＰ１が、操作子であるメニュー上に移動されたとする。この場合、フィードバック処理部２３は、図４（ｂ）に示すようにポインタＰ１の直下（又は近傍）に位置するメニューを拡大表示やポップアップ表示することで、ポインタＰ１が指し示す箇所を強調表示する。また、フィードバック処理部２３は、ポインタＰ１が他の位置に移動すると、この移動先となったメニューを順次強調表示する。なお、ポインタＰ１がメニュー上で停止している場合、フィードバック処理部２３は、当該メニューの強調表示を維持してもよいし、所定時間後に通常表示に切り替えてもよい。

これにより、操作者であるユーザは、操作画面内でのポインタＰ１の移動方向や位置を容易に認識することができるとともに、ポインタＰ１の移動に伴う操作感を得ることができる。また、ポインタＰ１が指し示す操作子（メニュー）拡大表示又はポップアップ表示することで、当該操作子に対する操作を容易に行うことができるため、操作性の向上を図ることができる。

なお、ポインタＰ１の移動方向や存在位置を知覚させるためフィードバックは、図４の例に限らないものとする。例えば、フィードバック処理部２３は、ポインタＰ１の移動軌跡を明示する処理を行ってもよい。また、例えば、フィードバック処理部２３は、ポインタＰ１が移動されている間、当該ポインタＰ１自体を強調して表示（例えば、拡大表示）する処理を行ってもよい。

また、フィードバック処理部２３は、操作画面に表示されたメニューやボタン等の操作子が選択操作されると、当該選択操作が反映されたことを知覚させるためのフィードバックを行う。例えば、フィードバック処理部２３は、操作子の選択操作が指示されると、操作画面全体を所定回数点滅させる。また、例えば、フィードバック処理部２３は、操作子が選択操作されると、その操作子を所定回数点滅させる。これにより、操作者であるユーザは、選択操作が反映されたことを容易に認識することができるとともに、当該選択操作に伴う操作感を得ることができる。

なお、選択操作の反映を知覚させるためのフィードバックは、上記の例に限らないものとする。例えば、フィードバック処理部２３は、操作された操作子を拡大表示やポップアップ表示させてもよい。また、操作入力装置１がスピーカやブザー等の音声出力装置を備える場合、フィードバック処理部２３は、操作子の選択操作が指示されたタイミングで、音声出力装置から音声を出力させてもよい。

以下、上記した構成の操作入力装置１の動作について説明する。図５は、操作入力装置１が実行する操作支援処理の一例を示すフローチャートである。なお、本処理の前提として、表示制御部２１の制御により、操作画面が表示部１１に表示されているとする。

まず、操作受付部２２は、ユーザが所定動作を行うまで待機する（ステップＳ１１；Ｎｏ）。操作受付部２２は、ユーザが所定動作を行ったことを認識すると（ステップＳ１１；Ｙｅｓ）、その動作に対応する操作がポインタＰ１の移動又は操作子の選択操作を指示するものか判定する。

ユーザの所定動作がポインタＰ１の移動を指示するものである場合（ステップＳ１２；Ｙｅｓ）、操作受付部２２は、制御部１２と協働することで、ポインタＰ１を指示された方向に移動させる。また、フィードバック処理部２３は、ポインタＰ１の移動方向や存在位置をユーザに知覚させるため、ポインタＰ１が指し示す箇所を強調表示させ（ステップＳ１３）、ステップＳ１１に戻る。

また、ユーザの所定動作が操作子の選択操作を指示するものである場合（ステップＳ１２；Ｎｏ）、操作受付部２２は、選択操作が指示された操作子に応じた処理を制御部１２に実行させる。また、フィードバック処理部２３は、選択操作が反映されたことを知覚させるため、操作画面又は選択操作が指示された操作子を点滅表示させ（ステップＳ１４）、ステップＳ１１に戻る。

以上のように、本実施形態の操作入力装置１は、ユーザの所定動作（ジェスチャ）を操作入力として認識するとともに、その操作内容に応じたフィードバックをユーザに提供する。これにより、操作入力装置１では、ジェスチャにより指示した操作の操作感をユーザが得ることができるため、意図した操作を行うことが可能となり、操作性を向上させることができる。

以上、本発明の実施形態を説明したが、上記の実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。上記の新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、組み合わせ、変更を行うことができる。上記の実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１操作入力装置
１１表示部
１２制御部
１３通信部
１４動作認識部
２０操作支援部
２１表示制御部
２２操作受付部
２３フィードバック処理部
３０測定装置

特開２０１５−９９５７４号公報特開２０１６−６２２７４号公報

Claims

非接触式の操作入力装置であって、
操作の対象となる操作画面を表示装置に表示する表示制御手段と、
ユーザの動作を非接触で認識する認識手段と、
前記認識手段の認識結果に基づいて、前記操作画面に対する操作を受け付ける操作受付手段と、
前記操作受付手段が前記操作を受け付けたことを条件に、当該操作の内容に応じたフィードバックを前記ユーザに提供するフィードバック手段と、
を備え、
前記フィードバック手段は、前記操作受付手段が前記操作画面に表示されたポインタの移動を指示する操作を受け付けたことを条件に、前記フィードバックとして、前記ポインタが指し示す箇所又は当該ポインタを強調表示させ、当該強調表示を行っている間に前記ポインタが所定時間停止すると前記強調表示を解除する操作入力装置。
前記フィードバック手段は、前記操作画面に表示された操作子の上に前記ポインタが位置することを条件に、前記フィードバックとして、当該操作子を拡大表示又はポップアップ表示させる請求項１に記載の操作入力装置。
前記フィードバック手段は、前記操作受付手段が前記操作画面に表示された操作子の選択操作を受け付けたことを条件に、前記フィードバックとして、前記操作画面又は前記選択操作された操作子を点滅させる請求項１又は２に記載の操作入力装置。
前記フィードバック手段は、前記操作受付手段が前記操作画面に表示された操作子の選択操作を受け付けたことを条件に、前記フィードバックとして、音声を出力する請求項１〜３の何れか一項に記載の操作入力装置。
非接触式の操作入力装置のコンピュータを、
操作の対象となる操作画面を表示装置に表示する表示制御手段と、
ユーザの動作を非接触で認識する認識手段と、
前記認識手段の認識結果に基づいて、前記操作画面に対する操作を受け付ける操作受付手段と、
前記操作受付手段が前記操作を受け付けたことを条件に、当該操作の内容に応じたフィードバックを前記ユーザに提供するフィードバック手段と、
して機能させ、
前記フィードバック手段は、前記操作受付手段が前記操作画面に表示されたポインタの移動を指示する操作を受け付けたことを条件に、前記フィードバックとして、前記ポインタが指し示す箇所又は当該ポインタを強調表示させ、当該強調表示を行っている間に前記ポインタが所定時間停止すると前記強調表示を解除するプログラム。