JP2010204730A - ジェスチャーに応答して機器を制御するシステム - Google Patents
ジェスチャーに応答して機器を制御するシステム Download PDFInfo
- Publication number
- JP2010204730A JP2010204730A JP2009046678A JP2009046678A JP2010204730A JP 2010204730 A JP2010204730 A JP 2010204730A JP 2009046678 A JP2009046678 A JP 2009046678A JP 2009046678 A JP2009046678 A JP 2009046678A JP 2010204730 A JP2010204730 A JP 2010204730A
- Authority
- JP
- Japan
- Prior art keywords
- gesture
- background
- attribute
- control
- recognized
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Abstract
【課題】同一のジェスチャーで異なる制御を可能とする技術の利便性を高める。
【解決手段】機器を制御するシステムが、ジェスチャーを認識するジェスチャー認識手段と、認識されたジェスチャーの背景対象の属性を認識する属性認識手段と、認識されたジェスチャーとその背景対象属性との組合せに基づく制御命令を生成して機器に発信する命令発信手段とを備える。
【選択図】図1
【解決手段】機器を制御するシステムが、ジェスチャーを認識するジェスチャー認識手段と、認識されたジェスチャーの背景対象の属性を認識する属性認識手段と、認識されたジェスチャーとその背景対象属性との組合せに基づく制御命令を生成して機器に発信する命令発信手段とを備える。
【選択図】図1
Description
本発明は、ジェスチャーに応答した機器の制御に関する。
人間にとって自然で直感的な方法で機器を制御するために、ジェスチャーで機器を制御する技術がいくつか提案されている。しかしながら、同一のジェスチャーで異なる制御をしようとする場合(例えば、同一の機器に異なる制御をしようとしたり、異なる複数の機器を制御しようとしたりする場合)、以下のような課題がある。
・機能毎にジェスチャーが必要になるケースがある。機能によっては、対応しそうなジェスチャーの類推が難しいものもある(例えば、「電源を入れる」という機能)。機能毎に全てのジェスチャーを記憶して正しく制御することは、人間にとって容易ではない。
・制御又は機器を選択させなければならないケースがある。このケースでは、いったん制御又は機器の候補を提示する何らかの方法が必要になり、その上でさらに選択のためのジェスチャーを実行するなど、本来直感的なはずのジェスチャーが、面倒で効率の悪い方法となってしまう。
・機能毎にジェスチャーが必要になるケースがある。機能によっては、対応しそうなジェスチャーの類推が難しいものもある(例えば、「電源を入れる」という機能)。機能毎に全てのジェスチャーを記憶して正しく制御することは、人間にとって容易ではない。
・制御又は機器を選択させなければならないケースがある。このケースでは、いったん制御又は機器の候補を提示する何らかの方法が必要になり、その上でさらに選択のためのジェスチャーを実行するなど、本来直感的なはずのジェスチャーが、面倒で効率の悪い方法となってしまう。
これらの課題は、何らかの方法で特定のジェスチャーに異なる意味を付与することで、一部解決が可能であると考えられる。
その一つの方法としては、例えば特許文献1のように、音声を併用する方法がある。つまり、ジェスチャーを認識した時点での音声や、音声認識による言語情報を利用する方法がある。
しかし、音声には、雑音や個人差による誤認識の問題が無視できないほか、制御又は機器と複数種類の言葉との対応関係を人間が記憶しなければならず、人間にとっての不便を本質的には解消できていない。
そこで、本発明の目的は、同一のジェスチャーで異なる制御を可能とする技術の利便性を高めることにある。
機器を制御するシステムが、ジェスチャーを認識するジェスチャー認識手段と、認識されたジェスチャーの背景対象の属性を認識する属性認識手段と、認識されたジェスチャーとその背景対象属性との組合せに基づく制御命令を生成して機器に発信する命令発信手段とを備える。
なお、ジェスチャーは、人間の体のみを動かすことに限らず、何らかの物(例えば指し棒)を持って行われても良い。
また、背景対象は、例えば、形状、文字(例えば数字や符号を含む)、色彩及び模様のうちの少なくとも一つである。背景対象は、例えば、ジェスチャーの背景の撮影画像を基に特定されても良いし、種々の対象に取り付けられている記憶媒体(例えばRFID(Radio Frequency Identification)タグ)から読み出された情報に表されていても良い。
以下、図面を参照して、本発明の幾つかの実施形態を説明する。
図1は、本発明の第1の実施形態に係る制御システム100の機能ブロック及び処理流れを示す。
制御対象の機器109がある。機器109としては、例えば、パーソナルコンピューター、テレビジョン装置、プリンター、プロジェクター、電子ペーパー、照明機器、エアコンディショナー(以下、エアコン)など種々の装置を採用し得る。本実施形態では、制御対象の機器109は一つであるが、例えば第3の実施形態で説明するように、制御対象の機器109は複数個あっても良い。
制御システム100は、ジェスチャーの背景対象として色を識別し、ジャスチャーと識別された色の属性との組合せに応じた制御命令を機器109に発信する。このため、ユーザーは、どんな色を有する対象の上でジェスチャーをするかで、機器109を制御する。つまり、機器109をどのように制御したいかに応じて、どんな色を有する対象の上でジェスチャーを行うかが選択される。ジェスチャーの背景対象を有する「もの」としては、例えば、壁、紙、機器、人間の体又はその各部位(頭、手、足など)、プロジェクター等により投影された画像、携帯電話機、パーソナルコンピューター又は電子ペーパー等のディスプレイ画面上の表示画像など、種々のものがあり得る。
制御システム100は、ジェスチャーセンサー108と、カメラ107と、ジェスチャー認識部105と、属性認識部104と、設定情報記憶部103と、命令発信部106とを備える。ジェスチャー認識部105、属性認識部104及び命令発信部106は、ハードウェア回路であっても良いし、マイクロプロセッサーがコンピュータープログラムを実行することにより実現される機能であっても良いし、ハードウェア回路とその機能との組合せであっても良い。また、ジェスチャー認識部105、属性認識部104、設定情報記憶部103及び命令発信部106は、一つの装置(例えば、ハードウェア回路)に備えられていても良いし、複数の装置に分散して備えられていても良い。
ジェスチャーセンサー108は、ジェスチャーを検出する。ジェスチャーセンサー108としては、例えば、カメラ、レーザーポインターなどを採用し得る。検出したジェスチャーを表す信号が、ジェスチャーセンサー108からジェスチャー認識部105に入力される。
カメラ107は、例えば、所定の場所(例えば部屋の天井)に取り付けられており、ジェスチャーの背景を撮影する。カメラ107の撮影画像を表す信号が、カメラ107から属性認識部104に入力される。なお、撮影画像は、動画像であっても良いし静止画像であっても良い。カメラ107は、複数台あっても良い。カメラ107としては、特定の波長の光のみを検出する特殊なカメラであっても良い。この場合、ジェスチャーの背景対象属性を有する対象には、特定の波長の光を発する色材が表面に付されていることになる。
ジェスチャー認識部105は、ジェスチャーセンサー108から入力された信号に基づき、ジェスチャーを認識する。ジェスチャー認識部105は、認識したジェスチャーを表す情報を命令発信部106に通知する。また、ジェスチャー認識部105は、ジェスチャーが行われた位置(以下、ジェスチャー位置)も認識する。ジェスチャー位置は、例えば、複数のジェスチャーセンサー108のうちのどのジェスチャーセンサー108から信号が入力されたかを基に(つまりどのジェスチャーセンサー108がジェスチャーを検出したかを基に)、認識される。ジェスチャー認識部105は、認識されたジェスチャー位置を表す情報を属性認識部104に通知する。なお、ジェスチャー位置は、例えば、カメラ107の設置位置などに応じた座標系で表現することができる。例えば、カメラ107が部屋の天井に設置されている場合、ジェスチャー位置は、部屋の縦横をx軸・y軸とし高さをz軸としたxyz座標で表現されて良い。この場合、ジェスチャーの背景対象属性は、ジェスチャー位置のz座標よりも低い位置に存在することとなる。
属性認識部104は、ジェスチャー認識部105から通知された情報が表すジェスチャー位置を基に、カメラ107から入力された撮影画像を解析することで、ジェスチャーの背景対象の属性を認識する。属性認識部104は、認識した背景対象属性を表す情報を命令発信部106に通知する。
設定情報記憶部103は、記憶資源(例えば、揮発性又は不揮発性のメモリ)である。設定情報記憶部103は、設定情報を予め記憶している。設定情報は、どのようなジェスチャーとどのような背景対象属性が認識された場合にどのような制御を行うかを表す情報である。設定情報は、特定のコンソールからユーザーによって編集されても良い。
命令発信部106は、ジェスチャー認識部105から通知された情報が表すジェスチャーと属性認識部104から通知された情報が表す背景対象属性との組合せに対応する制御及び制御対象を、設定情報記憶部103内の設定情報から特定する。命令発信部106は、特定された制御対象(機器109)に特定された制御を行うための制御命令を生成し、生成した制御命令を機器109に送信する。
以下、本実施形態で行われる処理の流れを説明する。その際、機器109はエアコンであるとし、設定情報は、「制御対象:エアコン、赤色又は青色:電源スイッチ、赤色:オン、青色:オフ」という情報を含んでいるとする。また、ジェスチャーの背景対象「色」の属性としては、赤と青の2色とし、背景対象を有するものは、赤紙112と、青紙113であるとする(赤紙112及び青紙113は、特殊な波長の光を発する色材を用いて赤色や青色の領域が印刷された紙であっても良いし、市販されている紙であっても良い)。また、赤紙112及び青紙113上で行われるジェスチャーは、同一のジェスチャー(例えば、矢印に示すように、手を左から右へと水平に移動させるジェスチャー)であるとする。
例えば、青紙113の近傍且つ上方で、ユーザーがジェスチャーを行った場合、ジェスチャーセンサー108が、そのジェスチャーを検出する(S101)。検出されたジェスチャーを表す信号がジェスチャー認識部105に入力される。
ジェスチャー認識部105は、ジェスチャーセンサー108から入力された信号に基づき、ジェスチャーと、ジェスチャー位置とを認識する(S102)。ジェスチャー認識部105は、認識したジェスチャーを表す情報を命令発信部106に通知し(S103)、認識したジェスチャー位置を表す情報を属性認識部104に通知する(S104)。
属性認識部104は、通知された情報が表すジェスチャー位置の背景の撮影画像、つまり青紙113がうつっている撮影画像をカメラ107から取得する(S105)。例えば、属性認識部104は、ジェスチャー位置を含んだ所定サイズの領域を視野とした背景をカメラ107に撮影させる。この場合、ジェスチャーが認識された後のジェスチャーの背景対象の撮影画像が取得されることになる。このため、撮影画像において、ジェスチャーにより動かされた部位で背景対象が隠れてしまっているという可能性を低減できる。属性認識部104は、撮影画像を解析することで、背景対象属性として色「青」を認識し(S106)、認識した背景対象属性:色「青」を表す情報を命令発信部106に通知する(S107)。
命令発信部106は、通知された情報が表すジェスチャー及び背景対象属性:色「青」の組合せに対応した制御「電源スイッチオン」を、設定情報記憶部103内の設定情報から特定する(S108)。命令発信部106は、エアコン109をターンオンするための制御命令を生成し(S109)、生成した制御命令をエアコン109に送信する(S110)。これにより、エアコン109がターンオンされる。
以上が、第1の実施形態についての説明である。なお、赤紙112及び青紙113は、室内の壁に貼られる等のユーザー所望の場所に備えられても良いし、別の部屋へ持ち運ばれても良い。別の部屋で赤紙112及び青紙113上でジェスチャーが行われた場合、その別の部屋に設置されているエアコンの電源のオン/オフが制御される。つまり、複数の部屋にあるエアコンの電源スイッチ(赤紙112及び青紙113)を共通のスイッチとすることができる。また、制御システム100は、部屋毎にあっても良いが、部品点数削減などの観点から、カメラ107、ジェスチャーセンサー108及び機器109が部屋毎に設けられていて、ジェスチャー認識部105、属性認識部104、設定情報記憶部103及び命令発信部106が、複数の部屋に共通であることが好ましいと考えられる。
上述した第1の実施形態によれば、ジェスチャーと背景対象属性との組合せに応じた制御が行われる。このため、同一のジェスチャーで異なる制御が可能となる。また、背景対象属性から直感的にどんな制御が行われるかを類推できるので、ジェスチャー及び背景対象属性の組合せと行われる制御との対応関係をユーザーが記憶しなければならないという負担を軽減できる。
以下、本発明の第2の実施形態を説明する。その際、第1の実施形態との相違点を主に説明し、第1の実施形態との共通点については説明を省略又は簡略化する(これは、第3の実施形態以降も同様である)。
図2は、本発明の第2の実施形態に係る制御システム200の機能ブロック及び処理流れを示す。
エアコン109の電源スイッチ(背景対象を有するもの)として、一枚の黄紙214が利用される。黄紙214には、エアコン109の電源オン/オフのそれぞれのジェスチャーの方法(例えば、図2に示すように、手を動かす方向を表す矢印)が記載されている。黄紙214によれば、エアコン109の電源をターンオンするためには、黄紙214上で手を上から下に移動させる下ジェスチャーを行う必要があり、電源をターンオフするためには、黄紙214上で手を下から上に移動させる上ジェスチャーを行う必要があることがわかる。
設定情報記憶部203内の設定情報が、「制御対象:エアコン、黄色:電源スイッチ、上ジェスチャー:オフ、下ジェスチャー:オン」という情報を含んでいる。
例えば、図2に示すように、黄紙214の近傍且つ上方で、手を下から上に移動させるジェスチャー(以下、上ジェスチャー)が行われたとする。この場合、前述したS101〜S110とそれぞれほぼ同様のS201〜S210が行われる。例えば、S202では、上ジェスチャーが認識され、S203では、上ジェスチャーを表す情報が命令発信部106に通知される。また、S206では、背景対象属性:色「黄」が認識され、S207では、背景対象属性:色「黄」を表す情報が命令発信部106に通知される。命令発信部106は、上ジェスチャー及び背景対象属性:色「黄」に対応する制御「オフ」を設定情報から特定し(S208)、エアコン109をターンオフするための制御命令を生成し(S109)、その制御命令をエアコン109に発信する。これにより、エアコン109がターンオフされる。
この第2の実施形態によれば、黄紙214に、下向きの矢印及び文字「ON」のセットと、下向きの矢印及び文字「OFF」のセットとが書かれている。このため、電源オンとオフでは異なるジェスチャーが必要になるものの、人間はとまどうことなくエアコン109を制御でき、且つ、電源スイッチとしての紙を1枚に減らすことができる(第1の実施形態において、一枚の紙に、赤色の領域と青色の領域があっても良い)。
なお、この第2実施形態は、第1実施形態を基に以下のようにして実現可能である。すなわち、第1の実施形態での設定情報が上記の設定情報に編集され、紙112及び113に代えて黄紙214が用意されれば、この第2の実施形態となる。なお、矢印などのジェスチャーの方法は、ユーザーが手で書いても良い。
図3は、本発明の第3の実施形態に係る制御システム300の機能ブロック及び処理流れを示す。
複数の機器として、例えば、エアコン109Aとテレビジョン装置(TV)109Tがある。そして、制御システム300に、OCR(Optical Character Reader)エンジン302が備えられる。OCRエンジン302は、撮影画像にうつっている対象上の文字を認識する。OCRエンジン302は、例えば、コンピュータープログラムであり、マイクロプロセッサーに実行される。
本実施形態は、背景対象として、色の他に、文字も利用される。例えば、設定情報記憶部303内の設定情報が、「文字「A」:エアコン、文字「T」:TV、横ジェスチャー:オン/オフのトグル、上ジェスチャー:上げる、下ジェスチャー:下げる、黄色:スイッチ」という情報を含んでいる。そして、背景対象を有するものとして、第1と第2の紙315A及び315Tが用意される。第1の紙315Aは、文字「A」と色「黄」を表面に有しており、第2の紙315Tは、文字「T」と色「黄」を表面に有している。
例えば、図3に示すように、第2の紙315Tの近傍且つ上方で、手を横方向に移動させる横ジェスチャーが行われたとする。この場合、前述したS101〜S110とそれぞれほぼ同様のS301〜S310が行われる。例えば、S302では、横ジェスチャーが認識され、S303では、横ジェスチャーを表す情報が命令発信部106に通知される。また、S306では、背景対象属性:色「黄」が認識され、且つ、属性認識部304がOCRエンジン302に撮影画像を解析させることで背景対象属性:文字「T」も認識される。S307では、背景対象属性:色「黄」及び文字「T」を表す情報が命令発信部106に通知される。命令発信部106は、横ジェスチャーと背景対象属性:色「黄」及び文字「T」に対応する制御対象「TV」と制御「オン/オフのトグル」とを設定情報から特定する(S308)。命令発信部106は、TV109Tの電源のオン/オフを切り替えるための制御命令を生成し(S309)、その制御命令をTV109Tに発信する。これにより、TV109Tの電源のオン/オフが切り替わる。
この第3の実施形態によれば、横ジェスチャー、上ジェスチャー及び下ジェスチャーの3種類のジェスチャーだけで、エアコン109Aの電源オン/オフの切替えと設定温度の上下の調節や、TV109Tの電源オン/オフの切替えと音量の上下の調節が可能となる。つまり、背景対象属性の種類として色の他に文字が加わったことで、同一のジェスチャーでより多くの制御対象を制御したりより多くの制御をしたりすることが可能となる。しかも、上下のジェスチャーはどんな制御が行われるかを容易に類推できるため、これらのジェスチャーは覚えやすい。
この第3の実施形態では、次のような応用も期待できる。例えば、電話番号一覧のうちの所望の電話番号の上で横方向に指を動かすだけで、その電話番号を相手先として発信したり(この場合、制御対象は室内の電話器)、室内の壁に貼られているカレンダーの数字(日付)上で或る方向に指を動かすだけで、ユーザーのスケジュール或いはTV番組表など日付に関連した情報をTV或いはPC等の出力機器に表示したりすることが期待できる(この場合、制御対象は出力機器である)。
また、この第3の実施形態や、上述した第1及び第2の実施形態によれば、どのような設定情報とどのような背景対象属性を有する対象とを用意するかによって、様々な制御方法が生まれる。つまり、柔軟性が高く、また、記憶しなければいけないことも少なく、故に、ユーザーの利便性は高いと考えられる。
本発明の第4の実施形態では、命令発信部が、ジェスチャーの背景対象属性を有する出力を出力機器に実行させるための制御命令を生成して発信する。
具体的には、例えば、図4に示すように、命令発信部が、プロジェクターに、初期メニュー123をスクリーン122に投影させる。この処理は、ユーザーの入室の検出に応答して行われても良いし、ユーザーによる特定のジェスチャーに応答して行われても良い。プロジェクターは、ジャスチャーによる制御対象となり得る一つの機器である。
初期メニュー123には、制御対象となり得る機器を表す文字列の一覧である。文字列に代えて、マークなど他のジェスチャー背景対象が採用されても良い。
初期メニュー123上で所定のジェスチャーが行われると、そのジェスチャーと、そのジェスチャーの背景対象属性とが認識される。命令発信部は、その組合せに応じた操作メニューを表示するための制御命令を生成し、プロジェクターに送信する。これにより、初期メニュー123から操作メニューへの遷移が行われる。例えば、初期メニュー123における文字列「テレビ」の上で所定のジェスチャーが行われると、TV操作メニュー124が表示され、一方、初期メニュー123における文字列「エアコン」の上で所定のジェスチャーが行われると、エアコン操作メニュー125が表示される。
以上のように、第4の実施形態では、命令発信部が、プロジェクターから、ジェスチャーの背景対象を有するメニューを表示させる。この第4の実施形態によれば、制御対象の機器や制御が増えても、背景対象を有するもの(例えば紙)を増やす必要が無い。
なお、上記の説明では、利便性を考慮し、全ての背景対象上で同一のジェスチャーが行われることとしたが、それに代えて、ユーザー所望のジェスチャーが行われても良い。ジェスチャーと背景対象属性との組合せは、設定情報に定義される。また、メニューを出力する出力機器は、プロジェクターに限らず、パーソナルコンピューター、TV、電子ペーパーなどの機器であっても良い。
本発明の第5の実施形態では、制御システムに、ユーザーがいる空間内(例えば室内)に存在する物のうちジェスチャー背景対象をユーザーに通知する背景対象通知部が備えられる。背景対象通知部は、例えば、前述した命令発信部と、照明機器との組合せにより実現することが可能である。この場合、命令発信部は、背景対象に照明機器から光をあてることで、ユーザーに背景対象を知らしめることができる。図5Aの例によれば、カレンダー501にある文字列や、紙503上の色に、点線で示すように光があてられているため、ユーザーは、カレンダー501にある文字列や紙503上の色が背景対象であることがわかる。
より具体的には、次の通りである。例えば、属性認識部が、カメラから室内の撮影画像を取得し、撮影画像を解析し、その解析結果と、設定情報とを基に、背景対象を特定する。例えば、属性認識部は、設定情報に、色に関する属性を表す情報しか含まれていない場合には、色を背景対象として認定するが、文字やその他の対象が撮影画像から特定されても、背景対象として認定しない。属性認識部は、特定された背景対象の位置を表す情報を、命令発信部に通知する。命令発信部は、属性認識部から通知された情報が表す位置に光をあてるよう照明機器を制御する。
なお、次のような変形例も考えられる。すなわち、属性認識部は、撮影画像から、ユーザーの位置も認識し、ユーザーの位置情報も命令発信部に通知する。命令発信部は、ユーザーが背景対象から所定の距離内にいる場合には、その背景対象に光をあてるよう照明機器を制御し、ユーザーがその背景対象から所定の距離より遠い位置に離れた場合には、照明機器から照射を停止する。この場合、例えば図5Bに示すように、背景対象を有する紙119にユーザーが近づいた場合には、その紙119が照らされるので、その紙119に背景対象があることがユーザーにわかる。また、その背景対象から離れた場合には、照射が停止されるので、省電力への貢献が期待できる。
以上が、本発明の第5の実施形態及びその一つの変形例についての説明である。なお、背景対象の通知方法としては、光の照射に限らず、音声での通知など、種々の方法が考えられる。
本発明の第6の実施形態では、背景対象の有効期間が設定される。その有効期間外に背景対象上でジェスチャーが行われても、その背景対象の属性とジェスチャーとの組合せに対応した制御は非実行となる。以下、その一つの具体例を説明する。
具体的には、例えば、図6に示すように、会議室(又は会議室内の機器)の利用時間の予約が実行された場合に、予約を受け付けたシステム601(以下、例えばコンピュータープログラムを実行するマイクロプロセッサー)が、背景対象(例えば色)を有する領域610と2次元バーコード603とをプリンターから印刷させる。これにより、ユーザーは、背景対象を有する領域610と2次元バーコード603とを有するプリントアウト602を得ることになる。2次元バーコード603は、予約された利用時間を表す情報を有する。
ユーザーは、プリントアウト602を会議室604に持参する。そして、会議室内の所望の又は特定の場所(例えばテーブルの上)に、プリントアウト602を置く。ユーザーは、プリントアウト602における領域610上で、所望の制御を行うためのジェスチャーを行う。
属性認識部は、ジェスチャーの背後にあるプリントアウト602の撮影画像を解析する。これにより、属性認識部は、プリントアウト602における2次元バーコード603が表す情報を特定し、背景対象属性を表す情報の他に、2次元バーコード603から特定された情報を、命令発信部に通知する。
命令発信部は、2次元バーコード603から特定された情報が表す利用時間を特定し、現在日時がその利用時間内であるか否かを判断する。現在日時が利用時間内であれば、命令発信部は、ジェスチャーと背景対象属性との組合せに対応した制御命令をその制御対象(つまり会議室内の機器)に発信する。一方、現在日時が利用時間外であれば、命令発信部は、その制御命令をその制御対象に発信しない。
以上により、予約された利用時間以外の時間帯で会議室内の機器を制御することは不可能である。この第六の実施形態は、会議室の利用の予約に限らず、他の部屋或いは機器の利用について応用することが可能である。
なお、この第6の実施形態において、背景対象属性が認識される前に、2次元バーコード603から特定された情報が表す利用時間に現在日時が属するか否かが判定されても良い。この場合、属すると判定された場合に、背景対象属性の認識が行われ、属さないと判定された場合に、背景対象属性の認識は非実行とされても良い。或いは、例えば、2次元バーコード603から特定された情報が表す利用時間に現在日時が属しないと判定された場合には、制御命令は生成されなくて良い。
以上、本発明の好適な実施形態を説明したが、これは本発明の説明のための例示であって、本発明の範囲をこの実施形態にのみ限定する趣旨ではない。本発明は、他の種々の形態でも実施することが可能である。例えば、カメラ107はジェスチャーセンサー108と兼用であっても良い。つまり、カメラ107の撮影画像を解析することで、ジェスチャーとその背景対象属性の両方が認識されても良い。
100…制御システム 107…カメラ 108…ジェスチャーセンサー 109…機器
Claims (8)
- ジェスチャーとそのジェスチャーの背景に関わる信号を入力する入力手段と、
前記入力された信号を基に、ジェスチャーを認識するジェスチャー認識手段と、
前記入力された信号を基に、認識されたジェスチャーの背景対象の属性を認識する属性認識手段と、
認識されたジェスチャーとその背景対象属性との組合せに基づく制御命令を生成して機器に発信する命令発信手段と
を備える制御システム。 - どのようなジェスチャーとどのような背景対象属性が認識された場合にどのような制御を行うかを表す設定情報を記憶する記憶手段と、
特定の部屋又はその部屋に設置されている機器の利用時間が指定された場合に、その利用時間に関するオブジェクトである利用制限オブジェクトと前記特定の部屋での機器制御のための背景対象とを出力機器から出力させる出力制御手段と
を更に備え、
前記入力手段は、ジェスチャーを検出するジェスチャーセンサーと、ジェスチャーの背景を撮影するカメラとを有し、
前記ジェスチャー認識手段についての前記入力された信号は、検出されたジェスチャーを表す信号であり、
前記属性認識手段についての前記入力された信号は、前記利用制限オブジェクトと背景対象とが出力されている被出力媒体上でのジェスチャーの、前記カメラによって撮影された背景画像であり、
前記属性認識手段は、前記背景画像を解析することで、前記被出力媒体上の利用制限オブジェクトとジェスチャーの背景対象の属性とを認識し、
前記命令発信手段は、前記認識された利用制限オブジェクトが表す利用時間を特定し、現在日時がその利用時間に属する場合にのみ、前記特定の部屋に設けられている機器に制御命令を発信し、その制御命令は、認識されたジェスチャーとその背景対象属性との組合せを基に前記設定情報から特定した制御をその機器に対して行うための命令である、
請求項1記載の制御システム。 - 前記命令発信手段が、ジェスチャーの背景対象を有する出力を出力機器に実行させるための制御命令を生成して発信する、
請求項1記載の制御システム。 - ユーザーがいる空間内に存在する物のうちジェスチャー背景対象をユーザーに通知する属性通知手段、
を更に備える請求項1乃至3のうちのいずれかに記載の制御システム。 - 前記背景対象属性通知手段は、ジェスチャー背景対象からユーザーが所定の距離以内にいる場合にその対象に光を当てることで、ジェスチャー背景対象をユーザーに通知し、ユーザーがその対象から所定の距離より離れた場所に移動した場合に、その対象に光を当てることを停止する、
請求項4記載の制御システム。 - 前記命令発信手段は、スケジュールを特定し、前記命令発信手段が行う処理は、特定されたスケジュールと現在日時との関係によって異なる、
請求項1記載の制御システム。 - ジェスチャーを認識するジェスチャー認識手段と、
認識されたジェスチャーの背景対象の属性を認識する属性認識手段と、
認識されたジェスチャーとその背景対象属性との組合せに基づく制御命令を生成して機器に発信する命令発信手段と
を備える制御装置。 - ジェスチャーを認識するステップと、
認識されたジェスチャーの背景対象の属性を認識するステップと、
認識されたジェスチャーとその背景対象属性との組合せに基づく制御命令を生成して機器に発信するステップと
をコンピュータに実行させるためのコンピュータープログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009046678A JP2010204730A (ja) | 2009-02-27 | 2009-02-27 | ジェスチャーに応答して機器を制御するシステム |
US12/713,117 US8183977B2 (en) | 2009-02-27 | 2010-02-25 | System of controlling device in response to gesture |
US13/455,095 US20120213408A1 (en) | 2009-02-27 | 2012-04-24 | System of controlling device in response to gesture |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009046678A JP2010204730A (ja) | 2009-02-27 | 2009-02-27 | ジェスチャーに応答して機器を制御するシステム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010204730A true JP2010204730A (ja) | 2010-09-16 |
Family
ID=42666800
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009046678A Withdrawn JP2010204730A (ja) | 2009-02-27 | 2009-02-27 | ジェスチャーに応答して機器を制御するシステム |
Country Status (2)
Country | Link |
---|---|
US (2) | US8183977B2 (ja) |
JP (1) | JP2010204730A (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013105203A (ja) * | 2011-11-10 | 2013-05-30 | Canon Inc | 情報処理装置、情報処理装置の制御方法、及び情報処理システム |
JP2015125670A (ja) * | 2013-12-27 | 2015-07-06 | 日立マクセル株式会社 | 画像投射装置 |
JP2017534191A (ja) * | 2014-08-28 | 2017-11-16 | シェンジェン ピーアールテック カンパニー リミテッド | 画像認識に基づくスマートテレビのインタラクションコントロールシステムおよびその方法 |
JP6418618B1 (ja) * | 2017-09-04 | 2018-11-07 | 三菱ロジスネクスト株式会社 | 配車システムおよび配車方法 |
JP2018181140A (ja) * | 2017-04-19 | 2018-11-15 | 東芝情報システム株式会社 | コマンド入力システム及びコマンド入力システム用プログラム |
Families Citing this family (44)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9035876B2 (en) | 2008-01-14 | 2015-05-19 | Apple Inc. | Three-dimensional user interface session control |
US8933876B2 (en) | 2010-12-13 | 2015-01-13 | Apple Inc. | Three dimensional user interface session control |
US8305188B2 (en) * | 2009-10-07 | 2012-11-06 | Samsung Electronics Co., Ltd. | System and method for logging in multiple users to a consumer electronics device by detecting gestures with a sensory device |
US20110164032A1 (en) * | 2010-01-07 | 2011-07-07 | Prime Sense Ltd. | Three-Dimensional User Interface |
TW201135341A (en) * | 2010-04-13 | 2011-10-16 | Hon Hai Prec Ind Co Ltd | Front projection system and method |
JP5439347B2 (ja) * | 2010-12-06 | 2014-03-12 | 日立コンシューマエレクトロニクス株式会社 | 操作制御装置 |
US8872762B2 (en) | 2010-12-08 | 2014-10-28 | Primesense Ltd. | Three dimensional user interface cursor control |
ES2693060T3 (es) * | 2011-03-17 | 2018-12-07 | Ssi Schäfer Automation Gmbh | Control y supervisión de una instalación de almacén y preparación de pedidos mediante movimiento y voz |
US8693726B2 (en) * | 2011-06-29 | 2014-04-08 | Amazon Technologies, Inc. | User identification by gesture recognition |
US9377865B2 (en) | 2011-07-05 | 2016-06-28 | Apple Inc. | Zoom-based gesture user interface |
US8881051B2 (en) | 2011-07-05 | 2014-11-04 | Primesense Ltd | Zoom-based gesture user interface |
US9459758B2 (en) | 2011-07-05 | 2016-10-04 | Apple Inc. | Gesture-based interface with enhanced features |
US9030498B2 (en) | 2011-08-15 | 2015-05-12 | Apple Inc. | Combining explicit select gestures and timeclick in a non-tactile three dimensional user interface |
US9218063B2 (en) * | 2011-08-24 | 2015-12-22 | Apple Inc. | Sessionless pointing user interface |
US8693731B2 (en) | 2012-01-17 | 2014-04-08 | Leap Motion, Inc. | Enhanced contrast for object detection and characterization by optical imaging |
US9070019B2 (en) | 2012-01-17 | 2015-06-30 | Leap Motion, Inc. | Systems and methods for capturing motion in three-dimensional space |
US11493998B2 (en) | 2012-01-17 | 2022-11-08 | Ultrahaptics IP Two Limited | Systems and methods for machine control |
US20150253428A1 (en) | 2013-03-15 | 2015-09-10 | Leap Motion, Inc. | Determining positional information for an object in space |
US9501152B2 (en) | 2013-01-15 | 2016-11-22 | Leap Motion, Inc. | Free-space user interface and control using virtual constructs |
US8638989B2 (en) | 2012-01-17 | 2014-01-28 | Leap Motion, Inc. | Systems and methods for capturing motion in three-dimensional space |
US9679215B2 (en) | 2012-01-17 | 2017-06-13 | Leap Motion, Inc. | Systems and methods for machine control |
US10691219B2 (en) | 2012-01-17 | 2020-06-23 | Ultrahaptics IP Two Limited | Systems and methods for machine control |
US9229534B2 (en) | 2012-02-28 | 2016-01-05 | Apple Inc. | Asymmetric mapping for tactile and non-tactile user interfaces |
US9066129B2 (en) | 2012-04-24 | 2015-06-23 | Comcast Cable Communications, Llc | Video presentation device and method |
CN103375880B (zh) * | 2012-04-27 | 2016-10-05 | 珠海格力电器股份有限公司 | 空调器的遥控装置和方法 |
US20130326253A1 (en) * | 2012-06-01 | 2013-12-05 | Wilfred Lam | Toggling sleep-mode of a mobile device without mechanical or electromagnetic toggling buttons |
US9285893B2 (en) | 2012-11-08 | 2016-03-15 | Leap Motion, Inc. | Object detection and tracking with variable-field illumination devices |
US10609285B2 (en) | 2013-01-07 | 2020-03-31 | Ultrahaptics IP Two Limited | Power consumption in motion-capture systems |
US9465461B2 (en) | 2013-01-08 | 2016-10-11 | Leap Motion, Inc. | Object detection and tracking with audio and optical signals |
US9459697B2 (en) | 2013-01-15 | 2016-10-04 | Leap Motion, Inc. | Dynamic, free-space user interactions for machine control |
US10042510B2 (en) | 2013-01-15 | 2018-08-07 | Leap Motion, Inc. | Dynamic user interactions for display control and measuring degree of completeness of user gestures |
US10620709B2 (en) | 2013-04-05 | 2020-04-14 | Ultrahaptics IP Two Limited | Customized gesture interpretation |
US9916009B2 (en) | 2013-04-26 | 2018-03-13 | Leap Motion, Inc. | Non-tactile interface systems and methods |
US9747696B2 (en) | 2013-05-17 | 2017-08-29 | Leap Motion, Inc. | Systems and methods for providing normalized parameters of motions of objects in three-dimensional space |
US10281987B1 (en) | 2013-08-09 | 2019-05-07 | Leap Motion, Inc. | Systems and methods of free-space gestural interaction |
US10846942B1 (en) | 2013-08-29 | 2020-11-24 | Ultrahaptics IP Two Limited | Predictive information for free space gesture control and communication |
US9632572B2 (en) | 2013-10-03 | 2017-04-25 | Leap Motion, Inc. | Enhanced field of view to augment three-dimensional (3D) sensory space for free-space gesture interpretation |
US9996638B1 (en) | 2013-10-31 | 2018-06-12 | Leap Motion, Inc. | Predictive information for free space gesture control and communication |
US9613262B2 (en) | 2014-01-15 | 2017-04-04 | Leap Motion, Inc. | Object detection and tracking for providing a virtual device experience |
US9857869B1 (en) | 2014-06-17 | 2018-01-02 | Amazon Technologies, Inc. | Data optimization |
PT107791A (pt) * | 2014-07-21 | 2016-01-21 | Ricardo José Carrondo Paulino | Sistema integrado de divulgação multimeios com capacidade de interação em tempo real por comando natural e capacidade de acionamento e controlo de motores e atuadores elétricos e eletrónicos |
DE202014103729U1 (de) | 2014-08-08 | 2014-09-09 | Leap Motion, Inc. | Augmented-Reality mit Bewegungserfassung |
CN105549446A (zh) * | 2016-02-24 | 2016-05-04 | 中国科学院城市环境研究所 | 体感环保灶智能化控制*** |
US11875012B2 (en) | 2018-05-25 | 2024-01-16 | Ultrahaptics IP Two Limited | Throwable interface for augmented reality and virtual reality environments |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05342322A (ja) * | 1992-06-08 | 1993-12-24 | Toshiba Corp | ポインティング装置 |
JPH07168949A (ja) * | 1993-04-30 | 1995-07-04 | Rank Xerox Ltd | 対話式複写装置 |
JPH11327753A (ja) * | 1997-11-27 | 1999-11-30 | Matsushita Electric Ind Co Ltd | 制御方法及びプログラム記録媒体 |
JP2007116270A (ja) * | 2005-10-18 | 2007-05-10 | Hitachi Ltd | 端末装置及び機器制御システム |
JP2007158680A (ja) * | 2005-12-05 | 2007-06-21 | Victor Co Of Japan Ltd | 追尾撮像装置およびこれを利用した追尾撮像システム |
JP2009003576A (ja) * | 2007-06-19 | 2009-01-08 | Canon Inc | 機器制御装置及び制御方法 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07175587A (ja) | 1993-10-28 | 1995-07-14 | Hitachi Ltd | 情報処理装置 |
US5732227A (en) | 1994-07-05 | 1998-03-24 | Hitachi, Ltd. | Interactive information processing system responsive to user manipulation of physical objects and displayed images |
JPH1031551A (ja) | 1996-07-15 | 1998-02-03 | Mitsubishi Electric Corp | ヒューマンインターフェースシステムおよびこれを使用した高速移動物***置検出装置 |
US6075895A (en) * | 1997-06-20 | 2000-06-13 | Holoplex | Methods and apparatus for gesture recognition based on templates |
US6175954B1 (en) | 1997-10-30 | 2001-01-16 | Fuji Xerox Co., Ltd. | Computer programming using tangible user interface where physical icons (phicons) indicate: beginning and end of statements and program constructs; statements generated with re-programmable phicons and stored |
US8035612B2 (en) * | 2002-05-28 | 2011-10-11 | Intellectual Ventures Holding 67 Llc | Self-contained interactive video display system |
US8745541B2 (en) * | 2003-03-25 | 2014-06-03 | Microsoft Corporation | Architecture for controlling a computer using hand gestures |
US7724242B2 (en) * | 2004-08-06 | 2010-05-25 | Touchtable, Inc. | Touch driven method and apparatus to integrate and display multiple image layers forming alternate depictions of same subject matter |
US9377874B2 (en) * | 2007-11-02 | 2016-06-28 | Northrop Grumman Systems Corporation | Gesture recognition light and video image projector |
US9241143B2 (en) * | 2008-01-29 | 2016-01-19 | At&T Intellectual Property I, L.P. | Output correction for visual projection devices |
-
2009
- 2009-02-27 JP JP2009046678A patent/JP2010204730A/ja not_active Withdrawn
-
2010
- 2010-02-25 US US12/713,117 patent/US8183977B2/en active Active
-
2012
- 2012-04-24 US US13/455,095 patent/US20120213408A1/en not_active Abandoned
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05342322A (ja) * | 1992-06-08 | 1993-12-24 | Toshiba Corp | ポインティング装置 |
JPH07168949A (ja) * | 1993-04-30 | 1995-07-04 | Rank Xerox Ltd | 対話式複写装置 |
JPH11327753A (ja) * | 1997-11-27 | 1999-11-30 | Matsushita Electric Ind Co Ltd | 制御方法及びプログラム記録媒体 |
JP2007116270A (ja) * | 2005-10-18 | 2007-05-10 | Hitachi Ltd | 端末装置及び機器制御システム |
JP2007158680A (ja) * | 2005-12-05 | 2007-06-21 | Victor Co Of Japan Ltd | 追尾撮像装置およびこれを利用した追尾撮像システム |
JP2009003576A (ja) * | 2007-06-19 | 2009-01-08 | Canon Inc | 機器制御装置及び制御方法 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013105203A (ja) * | 2011-11-10 | 2013-05-30 | Canon Inc | 情報処理装置、情報処理装置の制御方法、及び情報処理システム |
JP2015125670A (ja) * | 2013-12-27 | 2015-07-06 | 日立マクセル株式会社 | 画像投射装置 |
JP2017534191A (ja) * | 2014-08-28 | 2017-11-16 | シェンジェン ピーアールテック カンパニー リミテッド | 画像認識に基づくスマートテレビのインタラクションコントロールシステムおよびその方法 |
JP2018181140A (ja) * | 2017-04-19 | 2018-11-15 | 東芝情報システム株式会社 | コマンド入力システム及びコマンド入力システム用プログラム |
JP6418618B1 (ja) * | 2017-09-04 | 2018-11-07 | 三菱ロジスネクスト株式会社 | 配車システムおよび配車方法 |
JP2019046220A (ja) * | 2017-09-04 | 2019-03-22 | 三菱ロジスネクスト株式会社 | 配車システムおよび配車方法 |
Also Published As
Publication number | Publication date |
---|---|
US20100219934A1 (en) | 2010-09-02 |
US8183977B2 (en) | 2012-05-22 |
US20120213408A1 (en) | 2012-08-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2010204730A (ja) | ジェスチャーに応答して機器を制御するシステム | |
JP4243248B2 (ja) | ポインティングデバイスに基づくユーザインターフェイスシステム | |
CN107272923B (zh) | 显示装置、投影仪、显示***以及设备的切换方法 | |
KR101541561B1 (ko) | 유저 인터페이스 장치, 유저 인터페이스 방법, 및 기록 매체 | |
JP2009134718A5 (ja) | ||
KR101446902B1 (ko) | 사용자 인터랙션 장치 및 방법 | |
JP2015014882A (ja) | 情報処理装置、操作入力検出方法、プログラム、および記憶媒体 | |
JP7294350B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP6770502B2 (ja) | 通信装置、表示装置、それらの制御方法、プログラムならびに表示システム | |
US10341627B2 (en) | Single-handed floating display with selectable content | |
KR101395723B1 (ko) | 전자칠판 시스템 | |
JP4957327B2 (ja) | 表示制御装置 | |
JPWO2017056147A1 (ja) | 照明装置 | |
US10063730B2 (en) | Image forming system, image forming apparatus, remote control apparatus, and recording medium | |
US10795467B2 (en) | Display device, electronic blackboard system, and user interface setting method | |
JPH1153111A (ja) | 情報入出力装置 | |
US20180024696A1 (en) | Image projection apparatus and operation method thereof | |
KR20170039345A (ko) | 전자펜 시스템 | |
CN115997388A (zh) | 信息处理终端、远程控制方法以及程序 | |
JP2017009664A (ja) | 画像投写装置、及び対話型入出力システム | |
JP6943029B2 (ja) | 投影装置、投影システム、制御方法及びプログラム | |
JP7287156B2 (ja) | 表示装置、表示方法、プログラム | |
CN113194302B (zh) | 智能显示设备及开机控制方法 | |
JP6938308B2 (ja) | プロジェクタシステム及びプロジェクタシステム用プログラム | |
JP6900115B2 (ja) | プロジェクタシステム及びプロジェクタシステム用プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20111129 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120927 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121009 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20121017 |