JP2017207891A - 情報処理装置、情報処理システム、情報処理方法 - Google Patents

情報処理装置、情報処理システム、情報処理方法 Download PDF

Info

Publication number
JP2017207891A
JP2017207891A JP2016099394A JP2016099394A JP2017207891A JP 2017207891 A JP2017207891 A JP 2017207891A JP 2016099394 A JP2016099394 A JP 2016099394A JP 2016099394 A JP2016099394 A JP 2016099394A JP 2017207891 A JP2017207891 A JP 2017207891A
Authority
JP
Japan
Prior art keywords
gesture
unit
recognition unit
recognized
voice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016099394A
Other languages
English (en)
Other versions
JP6789668B2 (ja
Inventor
龍 青山
Tatsu Aoyama
龍 青山
智雄 水上
Tomoo Mizukami
智雄 水上
洋二 廣瀬
Yoji Hirose
洋二 廣瀬
高橋　慧
Kei Takahashi
高橋　　慧
山野　郁男
Ikuo Yamano
郁男 山野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Sony Mobile Communications Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Mobile Communications Inc filed Critical Sony Corp
Priority to JP2016099394A priority Critical patent/JP6789668B2/ja
Priority to EP17167878.2A priority patent/EP3246790B1/en
Priority to US15/584,330 priority patent/US10635152B2/en
Priority to CN201710327703.9A priority patent/CN107402629A/zh
Publication of JP2017207891A publication Critical patent/JP2017207891A/ja
Application granted granted Critical
Publication of JP6789668B2 publication Critical patent/JP6789668B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/162—Interface to dedicated audio devices, e.g. audio drivers, interface to CODECs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W52/00—Power management, e.g. TPC [Transmission Power Control], power saving or power classes
    • H04W52/02—Power saving arrangements
    • H04W52/0209—Power saving arrangements in terminal devices
    • H04W52/0251—Power saving arrangements in terminal devices using monitoring of local events, e.g. events related to user activity
    • H04W52/0254—Power saving arrangements in terminal devices using monitoring of local events, e.g. events related to user activity detecting a user operation or a tactile contact or a motion of the device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1601—Constructional details related to the housing of computer displays, e.g. of CRT monitors, of flat displays
    • G06F1/1605—Multimedia displays, e.g. with integrated or attached speakers, cameras, microphones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3215—Monitoring of peripheral devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)
  • Image Analysis (AREA)

Abstract

【課題】携帯電話に備えられる機能またはアプリケーションに対する操作は多様であり、ジェスチャに基づく操作では対応できないことがある。【解決手段】受音部からの情報に基づいて音声操作を認識する音声操作認識部が認識した音声操作およびセンサからの情報に基づいて認識されたユーザのジェスチャを認識するジェスチャ認識部が認識したジェスチャ操作に関連する処理を行う処理実行部、を備え、前記音声操作認識部は、前記ジェスチャ認識部によるジェスチャ待ち受け状態と並行して音声操作待ち受け状態となる、情報処理装置。【選択図】図１

Description

本開示は、情報処理装置、情報処理システム、情報処理方法に関する。
近年、ユーザは様々な操作方法によって情報処理装置に対して操作を行うことができる。例えば、ユーザのジェスチャを検出することによって、ユーザが操作を行える情報処理装置が開発されている。
特許文献１には、上述したユーザのジェスチャに基づいてユーザが操作を行える情報処理装置が開示されている。特許文献１に開示されている情報処理装置は撮像装置を備え、当該撮像装置によってユーザのジェスチャが検出される。
特開２０１０−１９１８２６号公報
現在の携帯電話に備えられる機能またはアプリケーションに対する操作は多様であり、ジェスチャに基づく操作では対応できないことがある。よってジェスチャ操作とは異なる他の操作方法がジェスチャ操作と共に用いられることが望ましい。
本開示によれば、受音部からの情報に基づいて音声操作を認識する音声操作認識部が認識した音声操作およびセンサからの情報に基づいて認識されたユーザのジェスチャを認識するジェスチャ認識部が認識したジェスチャ操作に関連する処理を行う処理実行部、を備え、前記音声操作認識部は、前記ジェスチャ認識部によるジェスチャ待ち受け状態と並行して音声操作待ち受け状態となる、情報処理装置が提供される。
また、本開示によれば、受音部からの情報に基づいて音声操作を認識する音声操作認識部が認識した音声操作およびセンサからの情報に基づいて認識されたユーザのジェスチャを認識するジェスチャ認識部が認識したジェスチャ操作に関連する処理を行う処理実行部、を備え、前記音声操作認識部は、前記ジェスチャ認識部によるジェスチャ待ち受け状態と並行して音声操作待ち受け状態となる、情報処理システムが提供される。
また、本開示によれば、受音部からの情報に基づいて認識された音声操作およびセンサからの情報に基づいて認識されたジェスチャに関する操作に関連する処理を行うことと、前記音声操作が認識される音声操作待ち受け状態と、前記ジェスチャが認識されるジェスチャ待ち受け状態とが並存することと、を含む、情報処理方法が提供される。
以上説明したように本開示によれば、ユーザはジェスチャ操作と共に音声操作を行えるので、多様な操作を行うことができる。
なお、上記の効果は必ずしも限定されず、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
図１は、本開示の実施形態の情報処理システムの一例を示す図である。 図２は、本開示の実施形態の小型端末の外観の一例を示す図である。 図３は、本開示の実施形態の情報処理システムの構成の一例を示すブロック図である。 図４は、本開示の実施形態の情報処理システムにおける処理の一例を示すフロー図である。 図５は、本開示の実施形態の情報処理システムにおける処理の一例を示すフロー図である。 図６は、本開示の実施形態の情報処理システムにおける処理の優先度の一例を示す図である。 図７は、本開示の実施形態の情報処理システムにおける処理の一例を示すフロー図である。 図８は、本開示の実施形態の携帯電話の構成の他の例を示すブロック図である。 図９は、本開示の実施形態の小型端末に備えられるセンサによって検出される加速度の一例を示す図である。 図１０は、本開示の実施形態の小型端末に備えられるセンサによって検出される加速度の他の例を示す図である。 図１１は、本開示の実施形態の情報処理システムにおける処理の一例を示すフロー図である。 図１２は、本開示の実施形態の携帯電話の構成の他の例を示すブロック図である。 図１３は、本開示の実施形態の小型端末に備えられるセンサによって検出される加速度に対して閾値が設けられることを示す図である。 図１４は、ジェスチャが検出されるためのタイムアウト時間が設定されることを示す図である。 図１５は、本開示の実施形態の情報処理システムの他の例を示す図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行う。
１．システム構成
２．ジェスチャ操作を認識するためのセンサの起動タイミングに関する処理例
３．ジェスチャ操作と他の操作方法とが並行して認識される処理の例
４．認識されたジェスチャ操作が取り消される処理の例
５．機械学習を用いてジェスチャ操作が認識される処理の例
６．認識されるジェスチャの強さに応じて異なる操作が認識される処理の例
７．ジェスチャ認識のためのタイムアウト時間が設定される処理の例
８．補足
９．むすび
＜＜１．システム構成＞＞
＜１−１．システム構成の概略＞
図１は、本開示の実施形態の情報処理システムの概略を示す図である。本開示の実施形態の情報処理システムは、小型端末１００と、携帯電話２００と、通信ネットワーク３００と、サーバ４００とを含む。小型端末１００は、ユーザの耳に装着される端末であり、携帯電話２００と近距離無線で接続される。小型端末１００は、スピーカを備え、ユーザは小型端末１００を用いて通話できる。また小型端末１００はボタンを備え、ユーザはボタンを操作することによって、携帯電話２００の様々な機能またはアプリケーションに対して操作を行う。なお、小型端末１００、携帯電話２００およびサーバ４００は、情報処理装置の一例である。
携帯電話２００は、スピーカおよびマイクロフォンを備え、移動体通信ネットワークに含まれる基地局と通信することによって他の端末と通信できる。また、携帯電話２００は、情報を表示する表示部を備え、また表示部に形成されたタッチパネルを備える。ユーザはタッチパネルを用いて操作することによって、携帯電話２００の様々な機能またはアプリケーションに関する操作を行う。なお、携帯電話２００の操作に用いられる構成はタッチパネルに限定されず、方向キーまたはハードボタンまたはジョグダイヤルのような構成であってもよい。
また、携帯電話２００は通話機能以外の様々な機能およびアプリケーションを備えており、一部の機能は、通信ネットワーク３００を介してサーバ４００と通信を行うことにより実現されてもよい。携帯電話２００が有する機能およびアプリケーションの種類としては、例えばメール、ショートメッセージ、ソーシャルネットワーキングサービス、写真撮影、音楽再生、ブラウジング機能、地図表示などが含まれる。
サーバ４００は、通信ネットワーク３００を介して携帯電話２００と接続される。サーバ４００は、携帯電話２００が有するアプリケーションまたは機能に対応した処理を行う。例えば、サーバ４００は、携帯電話２００から送信された音声データを処理する。
以上のようなシステム構成において、ユーザは小型端末１００を耳に装着して小型端末１００に対して各種の操作を行うことにより、ユーザは携帯電話２００の機能または携帯電話２００で実行されているアプリケーションに対して操作を行うことができる。
＜１−２．小型端末の構成＞
以上では、本開示の実施形態の通信システムの概略が説明された。以下では、本開示の実施形態の小型端末１００の構成について説明される。図２は、小型端末１００の外観を示す図である。小型端末１００は、ユーザの耳に装着される端末であり、ユーザの耳に挿入される挿入部１２２を有する。また、小型端末１００は、ユーザによって操作されるボタン１０２を有する。なお、ボタン１０２は、操作部の一例である。
以上では、小型端末１００の外観について説明された。以下では、本実施形態の情報処理システムの構成について説明される。図３は、情報処理システムの構成を示すブロック図である。小型端末１００は、ボタン１０２と、処理部１０４と、バッテリ１０６と、を備える。また、小型端末１００は、スピーカ１０８と、マイクロフォン１１０と、センサ１１２と、近距離通信部１１４を備える。
ユーザは、ボタン１０２に対して複数の異なる操作を行うことができる。例えば、ユーザのボタン１０２に対する異なる操作方法としては、ユーザがボタン１０２を短く１回叩くまたは短く２回叩くという操作方法がある。また、ユーザのボタン１０２に対する異なる操作方法としては、ユーザが所定の時間ボタン１０２を押すという操作方法がある。なお、ボタン１０２は、静電式または感圧式のタッチパネルであってもよく、また物理キーであってもよい。また、ボタン１０２は１つでもよく、また複数個でもよく、数は制限されない。しかし、本実施形態の小型端末１００のような小さい端末では、ボタン１０２を配置する場所が限られるため、ボタン１０２の数は少ないほうが好ましい。
処理部１０４は、小型端末１００の各部と接続され、各部からの情報を処理する。例えば、処理部１０４は、ボタン１０２がユーザによって操作された信号を検出する。また、処理部１０４は、近距離通信部１１４を介して携帯電話２００から受信した音声データを処理し、処理された音声データをスピーカ１０８に対して出力する。また、処理部１０４は、マイクロフォン１１０が受音した音声を処理して音声データを生成し、近距離通信部１１４を介して携帯電話２００に送信する。
また、処理部１０４は、センサ１１２からの信号を処理する。センサ１１２は、近接センサ１１６と、加速度センサ１１８と、ジャイロセンサ１２０と、を含む。処理部１０４は、近接センサが生成する検知信号に基づいて小型端末１００がユーザの耳に装着されていることを検知する。また、処理部１０４は、加速度センサ１１８およびジャイロセンサ１２０から出力された信号を処理して携帯電話２００に送信する。バッテリ１０６は蓄積した電気を小型端末１００の各部に供給し、各部は供給された電気によって動作する。
スピーカ１０８は、処理部１０４が処理した音声データに基づいて音声を出力する。例えば、スピーカ１０８は、携帯電話２００において通話機能が使用されている場合、携帯電話２００から送信された音声データに基づいて通話の音声を出力する。また、マイクロフォン１１０は音声を受音し、音声信号を処理部１０４に送る。例えば、マイクロフォン１１０は、ユーザが話した声を受音し、音声信号を処理部１０４に送る。
なお、近接センサ１１６は、例えば、検出対象物に接触することなく、対象物を検出可能な近接センサであってもよい。近接センサは、例えば、赤外線、超音波または電磁波を使用して検出対象物を検出してもよい。また別の例では、近接センサは、電磁誘導による渦電流の変化または検出対象物が近づくことによる静電容量の変化などを利用して検出対象物を検出してもよい。
また、加速度センサ１１８は、小型端末１００に加わった加速度を検出する。例えば、加速度センサ１１８は、小型端末１００がユーザに装着されている場合、ユーザが首を振ったときの加速度を検出する。加速度センサ１１８には光学的方式、半導体方式など多様な種類があり、本実施形態の小型端末１００は、どのような種類の加速度センサを備えてもよい。
また、ジャイロセンサ１２０は、小型端末１００の角速度および角加速度を検出する。例えば、ジャイロセンサ１２０は、小型端末１００がユーザに装着されている場合、ユーザが首を振ったときの角速度および角加速度を検出する。ジャイロセンサ１２０も加速度センサ１１８と同様に、流体式、光学式などの多様な種類があり、本実施形態の小型端末１００は、どのような種類のジャイロセンサを備えてもよい。
また、近距離通信部１１４は、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの近距離無線通信インタフェースを使用して携帯電話２００などの他の装置と通信を行う。小型端末１００では、小容量のバッテリ１０６が使用されるため、Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙなどの省電力である無線通信インタフェースが使用されることが望ましい。なお、近距離通信部１１４は上述したインタフェースに限られず、ＺｉｇＢｅｅ（登録商標）などの近距離無線通信インタフェースであってもよい。
なお、小型端末１００と携帯電話２００とは、ペアリングによって相互に接続される。ペアリングは、電波の届く範囲にある機器を探索し、ユーザが検出された機器の中から接続したい機器を選択することによってなされる。ペアリングに関して、小型端末１００と携帯電話２００は、暗証番号を用いることによって相互に認証を行うように構成されてもよい。このようにペアリングを行うことによって携帯電話２００と小型端末１００は通信可能となる。
＜１−３．携帯電話およびサーバの構成＞
以上では、小型端末１００の構成について説明された。以下では本実施形態の携帯電話２００の構成について説明される。携帯電話２００は、図３に示すように処理部２０２と、近距離通信部２０４と、セルラ通信部２０６と、を備える。また、処理部２０２は、音声生成部２０８と、ジェスチャ認識部２１０と、ボタン操作認識部２１２と、音声操作認識部２１４と、処理実行部２１６と、を有する。
近距離通信部２０４は、近距離無線通信インタフェースを使用して小型端末１００などの他の装置と通信を行う。近距離通信部２０４は、上述したようにＢｌｕｅｔｏｏｔｈまたはＺｉｇＢｅｅなどの近距離無線通信インタフェースであってもよい。セルラ通信部２０６は近距離通信部２０４と比べて離れて位置する装置と通信をするために用いられる。例えば、セルラ通信部２０６は、Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎなどの３ＧＰＰによって規定されている通信規格に基づくインタフェースであってもよい。
音声生成部２０８は、各種の音声データを生成する。例えば、音声生成部２０８は、携帯電話２００において通話機能が実行されている場合、通話相手の音声データを生成する。また、音声生成部２０８は、携帯電話２００において実行されているアプリケーションに基づく音声データを生成する。なお、生成された音声データは、近距離通信部２０４を介して小型端末１００に送られてもよい。
ジェスチャ認識部２１０は、加速度センサ１１８および／またはジャイロセンサ１２０が出力した信号に基づいてユーザのジェスチャを認識する。例えばジェスチャは、予め記憶されている所定のジェスチャと関連付けられた加速度センサ１１８および／またはジャイロセンサ１２０の信号のパターンと、ジェスチャ認識部２１０が受け取った加速度センサ１１８および／またはジャイロセンサ１２０が出力した信号とを比較することによって認識されてもよい。ジェスチャ認識部２１０が認識するジェスチャは、例えばユーザが小型端末１００を耳に装着した状態で頭を横または縦に振ったことであってもよい。ジェスチャ認識部２１０は、ユーザが頭を縦に振ることによって、肯定の操作を行ったと認識してもよい。またジェスチャ認識部２１０は、ユーザが頭を横に振ることによって、否定の操作を行ったと認識してもよい。
ボタン操作認識部２１２は、ユーザが小型端末１００のボタン１０２を操作したことを認識する。例えばユーザがボタン１０２を操作したことは、ユーザがボタン１０２を操作したときに小型端末１００が携帯電話２００にボタン操作信号を送ることによって認識されてもよい。
音声操作認識部２１４は、ユーザの音声による操作を認識する。例えば、小型端末１００のマイクロフォン１１０はユーザの音声を受音し、小型端末１００はユーザの音声データを携帯電話２００に送信する。音声データを受信した携帯電話２００は、当該音声データをサーバ４００に送信する。サーバ４００の音声分析部４０４は、受信された音声データを分析し、分析結果を携帯電話２００に送る。音声操作認識部２１４は、受信された分析結果に基づいて、ユーザの音声による操作を認識する。
処理実行部２１６は、各種処理を実行する。例えば処理実行部２１６は、携帯電話２００にインストールされているアプリケーションを実行する。また、処理実行部２１６は、ジェスチャ認識部２１０、ボタン操作認識部２１２および音声操作認識部２１４から操作情報を受け取り、当該操作情報に基づいた処理を実行されているアプリケーションに対して行う。
なお、上述した例では音声データの分析はサーバ４００の音声分析部４０４で行われた。しかし、サーバ４００の音声分析部４０４で行われた音声データの分析は、携帯電話２００の音声操作認識部２１４で行われてもよい。
なお、ジェスチャ認識部２１０が認識するジェスチャは、ユーザが頭を左右に傾けることであってもよい。例えば、ジェスチャ認識部２１０がユーザが頭を左右に傾けたことを認識すると、処理実行部２１６は音楽再生のアプリケーションにおいて、再生する曲を早送りしたり巻き戻したりしてもよい。またジェスチャ認識部２１０が認識するジェスチャは、ユーザが顔を前に押し出すことであってもよい。例えば、ジェスチャ認識部２１０がユーザが顔を押し出したことを認識すると、処理実行部２１６は写真表示のアプリケーションにおいて写真を拡大してもよい。またジェスチャ認識部２１０が認識するジェスチャは、ユーザが顔を後ろに引くことであってもよい。例えば、ジェスチャ認識部２１０がユーザが顔を後ろに引いたことを認識すると、処理実行部２１６は写真表示のアプリケーションにおいて写真を縮小してもよい。
＜＜２．ジェスチャ操作を認識するためのセンサの起動タイミングに関する処理例＞＞
以上では、本実施形態のシステム構成について説明された。以下では、本実施形態の情報処理システムにおける処理の一例について説明される。図４は、ジェスチャ認識に用いられる加速度センサ１１８および／またはジャイロセンサ１２０が起動するタイミングについて示すフロー図である。図４におけるフロー図では、携帯電話２００がショートメッセージサービスまたはソーシャルネットワーキングサービスなどのアプリケーションにおいてメッセージを受信した際の処理例について説明される。
最初にＳ１０２において、携帯電話２００はメッセージを受信する。このとき、処理実行部２１６で実行されているアプリケーションは、音声生成部２０８、ジェスチャ認識部２１０、音声操作認識部２１４にメッセージの受信があったことを示す通知を送る。次にＳ１０４においてアプリケーションから通知を受け取った音声生成部２０８は、Ｓ１０２においてメッセージの受信があったことを音声によってユーザに知らせるために音声データを生成する。そして携帯電話２００は生成された音声データを小型端末１００に送信し、小型端末１００の処理部１０４は受信された音声データを再生する。ここで、再生される音声データの内容は、例えば「メッセージを受信しました。読み上げますか？」という内容であってもよい。
Ｓ１０６においてアプリケーションから通知を受け取った音声操作認識部２１４は、ユーザからの音声操作を待ち受ける音声操作待ち受け状態に移行する。Ｓ１０６の処理と並行して、Ｓ１０８において小型端末１００のセンサが起動する。これは、アプリケーションから通知を受け取ったジェスチャ認識部２１０によって起動信号が生成され、当該起動信号が小型端末１００に送信されることによって実現されてもよい。
Ｓ１０８において、ジェスチャ認識に用いられる加速度センサ１１８および／またはジャイロセンサ１２０が起動する。Ｓ１１０において、加速度センサ１１８および／またはジャイロセンサ１２０の起動と同期して、ジェスチャ認識部２１０はユーザからのジェスチャ操作を待ち受けるジェスチャ待ち受け状態に移行する。なお、加速度センサ１１８および／またはジャイロセンサ１２０の起動は、音声操作認識部２１４が音声操作認識部２１４が音声操作待ち受け状態に移行したことを示す情報をジェスチャ認識部２１０に送ることによって実現されてもよい。このとき、加速度センサ１１８および／またはジャイロセンサ１２０の起動は、音声操作認識部２１４が音声操作待ち受け状態に移行することと同期する。
次にＳ１１２においてジェスチャ認識部２１０がジェスチャ待ち受け状態であることを示す効果音が再生される。これによってユーザは、ジェスチャ認識部２１０がいつジェスチャ待ち受け状態になったかを認識することができる。次にＳ１１４においてジェスチャ認識部２１０は、ユーザがジェスチャを行ったか否かを判定する。Ｓ１１４においてジェスチャ認識部２１０がジェスチャを認識すると、処理はＳ１１６に進む。
Ｓ１１６では、Ｓ１１４において認識されたジェスチャに関する操作情報が図示されない記憶部に一時的に記憶される。次にＳ１１８において、ジェスチャ認識部２１０がジェスチャ待ち受け状態であることを示す効果音が停止される。そしてＳ１２０においてジェスチャ認識部２１０はジェスチャ待ち受け状態を解除し、ジェスチャ認識部２１０はジェスチャ認識を終了する。これによってＳ１２２において加速度センサ１１８および／またはジャイロセンサ１２０は、休止状態に移行する。
次にＳ１２４において処理実行部２１６は、Ｓ１１６で一時的に記憶されたジェスチャに関する処理をアプリケーションに対して実行する。具体的には、Ｓ１０４において再生される音声データの内容が、「メッセージを受信しました。読み上げますか？」という内容であり、Ｓ１１４においてユーザが首を縦に振るジェスチャを行った場合、Ｓ１２４において処理実行部２１６は受信されたメッセージを読み上げる処理を行う。
Ｓ１１４においてジェスチャ認識部２１０がジェスチャを認識しないと、処理はＳ１２６に進む。Ｓ１２６においてジェスチャ認識部２１０は、所定時間経過したか否かを判定する。Ｓ１２６においてジェスチャ認識部２１０が所定時間経過したと判定すると、処理はＳ１２８に進む。
Ｓ１２８において、ジェスチャ認識部２１０がジェスチャ待ち受け状態であることを示す効果音が停止される。そしてＳ１３０においてジェスチャ認識部２１０はジェスチャ待ち受け状態を解除し、ジェスチャ認識部２１０はジェスチャ認識を終了する。これによってＳ１３２において加速度センサ１１８および／またはジャイロセンサ１２０は、休止状態に移行する。
以上説明されたように、加速度センサ１１８および／またはジャイロセンサ１２０は、ジェスチャ認識部２１０がアプリケーションからメッセージを受信した通知を受け取ることに基づいて起動する。このようにアプリケーションからの通知に基づいて加速度センサ１１８および／またはジャイロセンサ１２０が起動することにより、アプリケーションの操作に対して適切なタイミングでセンサ１１２が起動するため、小型端末１００の消費電力を低減させることができる。これは、小型端末１００のように小さい容量のバッテリ１０６を有する端末にとって非常に有益である。
また、上述した処理に加え、アプリケーションからの通知またはアプリケーションの種類に応じて、起動されるセンサ１１２が選択されてもよい。例えばアプリケーションからの通知またはアプリケーションの種類に基づいて認識されるべきジェスチャが単純なジェスチャである場合、加速度センサ１１８またはジャイロセンサ１２０の一方が起動されてもよい。また複雑なジェスチャが認識されるべきジェスチャである場合、加速度センサ１１８とジャイロセンサ１２０の両方が起動されてもよい。このとき、アプリケーションからの通知または種類と、当該通知または種類に応じて認識されるべきジェスチャとが関連付けられて記憶されていてもよい。
なお、上述した例においてアプリケーションからの通知は、メッセージを受信したことを示す通知である。また、当該アプリケーションからの通知によって認識されるべきジェスチャは、ユーザが頭を縦に振るジェスチャ（肯定応答）またはユーザが頭を横に振るジェスチャ（否定応答）である。
また、アプリケーションからの通知またはアプリケーションの種類に基づいて起動されるセンサ１１２のモードが選択されてもよい。例えば選択されるセンサ１１２のモードは、異なるサンプリング周波数を有するモードであってもよい。動きが速いジェスチャが認識される場合、サンプリング周波数が高いモードが選択され、動きが遅いジェスチャが認識される場合、サンプリング周波数が低いモードが選択される。このように、認識されるべきジェスチャに応じて起動されるセンサ１１２が選択される、または起動されるセンサ１１２のモードが選択されることによって、より小型端末１００の消費電力を低減できる。
なお、上述した実施形態では、Ｓ１１２においてジェスチャ認識部２１０がジェスチャ待ち受け状態であることを示す効果音が再生された。しかし、効果音はユーザがジェスチャを行っている間、つまり加速度センサ１１８および／またはジャイロセンサ１２０が加速度、角速度または角加速度を検知しているときに再生されてもよい。また、効果音に代わって振動によってジェスチャ認識部２１０がジェスチャ待ち受け状態であることが示されてもよい。また、効果音に代わってメッセージが再生されてもよい。例えばメッセージは、「ジェスチャ認識を開始します。」という内容であってもよい。また、同様に、ジェスチャ認識を終了する場合にメッセージが再生されてもよい。このとき、例えば「ジェスチャ認識を終了します。」というメッセージが再生されてもよい。
また、上述した処理例において、ユーザがジェスチャ操作を行わず音声操作を行った場合、当該音声操作が認識されたことに同期して加速度センサ１１８およびジャイロセンサ１２０は、休止状態に移行してもよい。
＜＜３．ジェスチャ操作と他の操作方法とが並行して認識される処理の例＞＞
以上では、本実施形態におけるジェスチャ操作に用いられるセンサ１１２の起動タイミングに関する処理の例が示された。以下では、ジェスチャ操作と他の操作方法とを認識する処理の例が説明される。本実施形態の情報処理システムでは、ジェスチャ操作の認識と並行して音声操作とボタン操作の認識が行われる。これによって、ユーザは複数の操作方法を組み合わせて、多様な操作を行うことができる。図５は、ジェスチャ操作の認識と並行して音声操作とボタン操作の認識が行われる処理の一例を示す図である。
図４の処理例と同様に、Ｓ２０２において、携帯電話２００はメッセージを受信する。次にＳ２０４において音声操作認識部２１４は、アプリケーションからメッセージを受信したことを示す通知を受け取ることに基づいて、ユーザからの音声操作を待ち受ける音声操作待ち受け状態に移行する。
Ｓ２０４の処理と並行して、Ｓ２０６において小型端末１００の加速度センサ１１８および／またはジャイロセンサ１２０が起動し、ジェスチャ認識部２１０はユーザからのジェスチャ操作を待ち受けるジェスチャ待ち受け状態に移行する。またＳ２０４およびＳ２０６の処理と並行して、ボタン操作認識部２１２は、ユーザからのボタン操作を待ち受けるボタン操作待ち受け状態に移行する（Ｓ２０８）。
そしてＳ２１０において、ジェスチャ認識部２１０はユーザがジェスチャを行ったか否かを判定する。Ｓ２１０においてジェスチャ認識部２１０がジェスチャを認識すると、処理はＳ２１２に進む。Ｓ２１２では、Ｓ２１０において認識されたジェスチャに関する操作情報が一時的に記憶される。なお、Ｓ２１０においてジェスチャ認識部２１０がジェスチャを認識しないと、処理はＳ２１４に進む。Ｓ２１４においてジェスチャ認識部２１０は、所定時間経過したか否かを判定する。Ｓ２１４においてジェスチャ認識部２１０が所定時間経過したと判定すると、処理は終了する。
次にＳ２１６において、ボタン操作認識部２１２はユーザがボタン１０２を操作したか否かを判定する。Ｓ２１６においてボタン操作認識部２１２がユーザがボタン１０２を操作したことを認識すると、ボタン操作認識部２１２はボタン操作に関する操作情報を処理実行部２１６に送り、処理実行部２１６はボタン操作に関する処理を行う（Ｓ２１８）。
Ｓ２１６においてボタン操作認識部２１２がユーザがボタン１０２を操作したことを認識しないと、処理はＳ２２０に進む。Ｓ２２０において、音声操作認識部２１４はユーザが音声操作を行ったか否かを判定する。Ｓ２２０において音声操作認識部２１４がユーザが音声操作を行ったことを認識すると、音声操作認識部２１４は音声操作に関する操作情報を処理実行部２１６に送り、処理実行部２１６は音声操作に関する処理を行う（Ｓ２２２）。
Ｓ２２０において音声操作認識部２１４がユーザが音声操作を行ったことを認識しないと、処理はＳ２２４に進む。Ｓ２２４においてジェスチャ認識部２１０は、Ｓ２１２において一時的に記憶されたジェスチャに関する操作情報を処理実行部２１６に送り、処理実行部２１６はジェスチャ操作に関する処理を行う。
以上では、ジェスチャ操作が最初に行われた場合の処理例が説明された。しかし、操作が行われる順番は図５で説明された例に限定されない。図６は、先行して行われた操作方法とその後に行われた操作方法の関係が示された図である。
最初に、先行してボタン操作が行われた場合の他の操作方法との関係が説明される。先行してボタン操作が行われ、その後にジェスチャ操作が行われた場合、ボタン操作に関する処理がジェスチャ操作よりも優先して実行される。このとき、ボタン操作が行われた時点で、ジェスチャ認識部２１０がジェスチャ待ち受け状態であることを示す効果音は停止されてもよい。また先行してボタン操作が行われ、その後に音声操作が行われた場合も同様に、ボタン操作に関する処理が音声操作よりも優先して実行される。
次に、先行してジェスチャ操作が行われた場合の他の操作方法との関係が説明される。先行してジェスチャ操作が行われ、その後にボタン操作が行われた場合、ボタン操作に関する処理がジェスチャ操作よりも優先して実行される。また先行してジェスチャ操作が行われ、その後に音声操作が行われた場合、音声操作に関する処理がジェスチャ操作よりも優先して実行される。
次に、先行して音声操作が行われた場合の他の操作方法との関係が説明される。先行して音声操作が行われ、その後にボタン操作が行われた場合、ボタン操作に関する処理が音声操作よりも優先して実行される。また先行して音声操作が行われ、その後にジェスチャ操作が行われた場合、音声操作に関する処理がジェスチャ操作よりも優先して実行される。
各操作方法に対する優先度は上述された例に限られない。また、各操作方法に対する優先度は変更されてもよい。例えば、それぞれの操作方法に対して重みづけがされ、処理実行部２１６は当該重みづけを考慮して各操作方法に関する処理を実行してもよい。各操作方法に対する重みづけの付与は、ユーザによって設定されてもよい。また各操作方法に対する重みづけは、各操作方法の認識精度などに応じて設定されてもよい。
なお、上述した各操作方法は組み合わされて用いられてもよい。例えば、ボタン操作とジェスチャ操作は組み合わされてもよい。処理実行部２１６によって音楽再生のアプリケーションが実行されている場合において、ユーザがボタン１０２に触れながら首を右に動かすことによって処理実行部２１６は次の曲を再生する処理を行ってもよい。
また、音声操作とジェスチャ操作は組み合わされてもよい。処理実行部２１６によってメッセージのアプリケーションが実行されている場合において、ユーザが「ＯＫ」と言いながら頭を縦に振ることによって処理実行部２１６は「ＯＫ」という文字を強調して入力する処理を行ってもよい。また処理実行部２１６は文字を強調する処理に代えて、「ＯＫ」の文字に対応する画像（スタンプ）を入力してもよい。
また、音声操作とボタン操作は組み合わされてもよい。処理実行部２１６によってメッセージのアプリケーションが実行されている場合において、ユーザがボタン１０２に触れながら「ＯＫ」と言うことによって処理実行部２１６は「ＯＫ」という文字を強調して入力する処理を行ってもよい。また処理実行部２１６は文字を強調する処理に代えて、「ＯＫ」の文字に対応する画像（スタンプ）を入力してもよい。
以上説明されたように本実施形態の情報処理システムでは、ジェスチャ操作、音声操作およびボタン操作が並行して行われる。これによって、ユーザは複数の操作方法を用いて、多様な操作を行うことができる。
＜＜４．認識されたジェスチャ操作が取り消される処理の例＞＞
以上ではジェスチャ操作、音声操作およびボタン操作が並行して行われる処理の例が説明された。以下では、ジェスチャ操作をキャンセルする処理の例について説明される。ジェスチャ操作は誤認識される可能性があるため、認識されたジェスチャ操作が取り消される処理が用意されることが好ましい。図７は、認識されたジェスチャ操作が取り消される処理の一例を示す図である。図７では、メッセージのアプリケーションにおいてメッセージを返信する際の処理例について説明される。
Ｓ３０２において、小型端末１００は、メッセージに対する返信を行うか否かの判断をユーザに行わせるために、例えば「ＯＫと返信しますか？」という音声を再生する。Ｓ３０６において、ジェスチャ認識部２１０は、ユーザからのジェスチャ操作を待ち受けるジェスチャ待ち受け状態に移行する。
そしてＳ３０６において、ジェスチャ認識部２１０はユーザがジェスチャを行ったか否かを判定する。Ｓ３０６においてジェスチャ認識部２１０がジェスチャを認識すると、処理はＳ３０８に進む。なお以下では、Ｓ３０６において認識されたジェスチャが、ユーザが頭を縦に振る（うなずく）ジェスチャであった場合の処理例について説明される。
Ｓ３０８では、Ｓ３０６においてジェスチャ認識部２１０は、認識されたジェスチャに関する操作情報を処理実行部２１６に送り、処理実行部２１６は認識されたジェスチャに関する操作情報を記憶する。なお、Ｓ３０６においてジェスチャ認識部２１０がジェスチャを認識しないと、処理はＳ３１０に進む。Ｓ３１０においてジェスチャ認識部２１０は、所定時間経過したか否かを判定する。Ｓ３１０においてジェスチャ認識部２１０が所定時間経過したと判定すると、処理は終了する。
次にＳ３１２において、Ｓ３０６で認識されたジェスチャに基づいて音声による通知が行われる。Ｓ３０６において認識されたジェスチャが肯定応答を示す「うなずき」に関するジェスチャである場合、Ｓ３１２では例えば、「３秒後に返信します。」という音声による通知が行われる。
次にＳ３１４においてジェスチャ認識部２１０は、Ｓ３０６において認識されたジェスチャに関する操作を取り消すための取り消しジェスチャを認識する取り消しジェスチャ待ち受け状態に移行する。例えば取り消しジェスチャは、ユーザが頭を横に振るジェスチャであってもよい。なお取り消しジェスチャは予め定められている特定のジェスチャである。
次にＳ３１６においてジェスチャ認識部２１０は、ユーザが取り消しジェスチャを行ったか否かを判定する。Ｓ３１６においてジェスチャ認識部２１０が取り消しジェスチャを認識すると、ジェスチャ認識部２１０はジェスチャ認識を終了する（Ｓ３１８）。そしてＳ３２０においてジェスチャ認識部２１０は、Ｓ３１６において認識された取り消しジェスチャに関する操作情報を処理実行部２１６に送り、処理実行部２１６は取り消し処理を実行する。具体的には処理実行部２１６は、Ｓ３０８において記憶されたジェスチャに関する処理を実行しない。つまり、Ｓ３０６において認識されたジェスチャに関する操作は取り消される。そしてＳ３２２において、小型端末１００は、Ｓ３０６において認識された操作が取り消されたことをユーザに示すために、音声通知を行う。Ｓ３２２によって再生される音声の内容は、例えば「返信を取り消しました。」という内容であってもよい。
Ｓ３１６においてジェスチャ認識部２１０が取り消しジェスチャを認識しないと、処理はＳ３２４に進む。Ｓ３２４においてジェスチャ認識部２１０は所定時間経過したか否かを判定する。Ｓ３２４における期間は、ユーザがＳ３０６において認識されたジェスチャに関する操作を取り消すために設定される取り消し期間である。また、この取り消し期間において処理実行部２１６は、ジェスチャ認識部２１０からの取り消しジェスチャに関する操作情報の入力を待ち受ける。
Ｓ３２４においてジェスチャ認識部２１０が所定時間経過したと判定すると、処理はＳ３２６に進む。Ｓ３２６においてジェスチャ認識部２１０はジェスチャ認識を終了し、取り消し期間が経過したことを処理実行部２１６に通知する。そしてＳ３２８において処理実行部２１６は、Ｓ３０８において記憶されたジェスチャに関する処理を実行する。Ｓ３３０において、Ｓ３０６でユーザが行ったジェスチャ操作に関する処理が実行されたことを示すために、例えば、「返信しました。」という音声による通知が行われる。
なお、処理実行部２１６は、ジェスチャ認識部２１０からの取り消しジェスチャに関する操作情報の入力を待ち受ける取り消し期間の長さを動的に設定してもよい。例えば、処理実行部２１６は、実行されているアプリケーションから取得される情報に基づいて取り消し期間の長さを設定してもよい。
このとき、処理実行部２１６は、実行されているアプリケーションの種類に基づいて取り消し期間の長さを設定してもよい。例えば処理実行部２１６は、メッセージを送受信するアプリケーションにおいては取り消し期間の長さを長く設定し、音楽再生のアプリケーションにおいては取り消し期間の長さを短く設定してもよい。これは、メッセージの送信においては、ユーザは重要な情報を送信することがあるため、ユーザはより慎重にメッセージの送信の判断を行うためである。一方、音楽を再生する操作においてユーザがたとえ誤操作を行ったとしても、ユーザにとって大きな不利益は生じないからである。これによって、実行されているアプリケーションの種類に応じた適切な長さのキャンセル期間が設定される。
また処理実行部２１６は、実行されているアプリケーションの状態に基づいて取り消し期間の長さを設定してもよい。例えば処理実行部２１６は、動画を撮影するアプリケーションにおいて、動画の撮影を終了する操作に対する取り消し期間の長さを長く設定し、動画の撮影を開始する操作に対する取り消し期間の長さを短く設定してもよい。つまり、処理実行部２１６は、動画の撮影を開始する前の状態における操作と動画を撮影している状態における操作に対する取り消し期間の長さを異なる長さに設定する。これは、一般的に動画撮影を開始するときは被写体の動きを迅速に撮影することが求められる一方、動画の撮影を終了するときは、不要に長く撮影された動画は後に削除されればよいからである。これによって、実行されているアプリケーションの状態に応じた適切な長さのキャンセル期間が設定される。
また処理実行部２１６は、実行されているアプリケーションの通知の種類に基づいて取り消し期間の長さを設定してもよい。例えば処理実行部２１６は、メッセージを送受信するアプリケーションにおいて、メッセージを送信するか否かをユーザに問いかける通知に対する操作の取り消し期間の長さを長く設定し、メッセージを読み上げるか否かをユーザに問いかける通知に対する操作に対する取り消し期間の長さを短く設定してもよい。これは、ユーザはより慎重にメッセージの送信の判断を行う一方、メッセージを読み上げる操作においてユーザがたとえ誤操作を行ったとしても、ユーザにとって大きな不利益は生じないからである。これによって、実行されているアプリケーションの通知の種類に応じた適切な長さのキャンセル期間が設定される。
また処理実行部２１６は、加速度センサ１１８およびジャイロセンサ１２０から得られる加速度、角速度または角加速度の大きさに基づいて取り消し期間の長さを設定してもよい。例えば処理実行部２１６は、加速度センサ１１８およびジャイロセンサ１２０から得られる加速度、角速度または角加速度が大きい場合、ユーザが運動していると判定し、取り消し期間の長さを長く設定する。これは、ユーザが運動しているとき、ユーザは誤操作を多く行うためである。これによって、ユーザの運動状態に応じた適切な長さのキャンセル期間が設定される。
また、取り消し期間はユーザが携帯電話２００の操作部を操作することなどによって、ユーザが設定してもよい。また取り消し期間は、アプリケーションの種類、状態またはアプリケーションからの通知に応じて設けられなくてもよい。これは、迅速に操作が行われることが好ましい操作に対しては、取り消し期間が設けられないことが好ましいからである。例えば、「音楽を再生しますか？」というアプリケーションからの通知に対しては取り消し期間が設けられず、即座に操作に関する処理が行われることが望ましい。
また、図７においてはジェスチャ操作の取り消しは、ジェスチャ操作によって行われた。しかし、操作の取り消しはこれに限定されない。例えば、操作の取り消しはボタン操作によって行われてもよい。このとき取り消し期間にユーザがボタン１０２を長押しすることによってボタン操作認識部２１２は操作情報を処理実行部２１６に送り、当該操作情報を受け取った処理実行部２１６は操作を取り消してもよい。また、操作の取り消しは音声操作によって行われてもよい。このとき取り消し期間にユーザが「いいえ。」と発言することによって音声操作認識部２１４は操作情報を処理実行部２１６に送り、当該操作情報を受け取った処理実行部２１６は操作を取り消してもよい。
また、Ｓ３１６における取り消しジェスチャに関する操作情報は、ジェスチャ認識部２１０が所定の値以上の加速度、角速度または角加速度を検知することによって生成されてもよい。例えば、取り消しジェスチャは、ユーザが激しく頭を横に振ることによって行われてもよい。これによって、取り消し操作に対する誤操作が低減される。
以上では、認識されたジェスチャ操作を取り消す処理の例について説明された。これによって、ジェスチャ操作が誤認識された場合またはユーザが誤操作を行った場合に、ユーザは一旦認識されたジェスチャ操作を取り消すことができる。
また、上述した例において取り消される処理は、ジェスチャ操作に関する処理以外の処理であってもよい。例えば、音声操作が認識された後に取り消しジェスチャが認識されることによって、認識された音声操作に関する処理が取り消されてもよい。またボタン操作が認識された後に取り消しジェスチャが認識されることによって、認識されたボタン操作に関する処理が取り消されてもよい。
＜＜５．機械学習を用いてジェスチャ操作が認識される処理の例＞＞
以上では、認識されたジェスチャ操作を取り消す処理の例について説明された。以下では機械学習による学習結果を用いてジェスチャ操作を認識する処理の例について説明される。ジェスチャ操作の認識においては、機械学習による学習結果を用いて認識の精度が高められてもよい。しかしながら機械学習ではジェスチャ操作の認識精度が不十分である場合がある。よって、本実施形態の情報処理システムでは、機械学習によるジェスチャ操作の認識とは別に、特定のルールに基づくジェスチャ操作の認識が行われる。
図８は、本実施形態の携帯電話２００の構成を示すブロック図である。本実施形態における携帯電話２００のジェスチャ認識部２１０は、機械学習判定部２１８と、ルール判定部２２０と、を有する。機械学習判定部２１８は、機械学習による学習結果を用いてジェスチャの認識を行う。一方、ルール判定部２２０は、予め定められた所定のルールに基づいてジェスチャの認識を行う。
図９は、ユーザがうなずいたときに加速度センサ１１８によって検出される加速度のパターンを示す図である。ユーザがうなずきの動作を行う前の図９のＡの領域において、加速度センサ１１８によって検出される加速度は一定である。ユーザが頭を下に振った時の図９のＢの領域において、加速度センサ１１８は単調に落ち込む加速度を検出する。ユーザが頭を上に振った時の図９のＣの領域において、加速度センサ１１８は、領域Ｂとは反対の方向でほぼ同じ大きさの加速度を検出する。
図１０は、ユーザが急に下を向いたときに加速度センサ１１８によって検出される加速度のパターンを示す図である。図１０の加速度のパターンは、領域ＡおよびＢまでは図９の加速度のパターンと同様のパターンである。しかし、領域Ｃにおいて図１０の加速度のパターンは、領域Ｂと反対方向の加速度が検出されていない。
ルール判定部２２０は、例えば図９で示された加速度のパターンをユーザによるうなずきのジェスチャのルールとして予め記憶しておく。そしてルール判定部２２０は、記憶された加速度のパターンと加速度センサ１１８によって検出された加速度のパターンとを比較してジェスチャの認識を行う。つまり、ルール判定部２２０は、図１０で示される加速度のパターンは記憶されている加速度のパターンと異なるため、ジェスチャ認識を行わない。
以上説明されたルールが以下により具体的に説明される。例えば、ジェスチャ開始前の加速度が(ｘ０，ｙ０，ｚ０)と設定され、ジェスチャ終了時の加速度が(ｘ１，ｙ１，ｚ１)と設定される。ルール判定部２２０は、この２つの加速度の大きさの差である|(ｘ１−ｘ０)，(ｙ１−ｙ０)，(ｚ１−ｚ０)|の値が所定の閾値以下になっていることをルールとして用いてもよい。
図１１は、本実施形態のジェスチャ認識部２１０によって行われるジェスチャ認識の処理の一例を示すフロー図である。最初にＳ４０２において、機械学習判定部２１８は機械学習による学習結果に基づいてジェスチャ認識を行う。Ｓ４０２において、機械学習判定部２１８がジェスチャを認識すると、処理はＳ４０４に進む。Ｓ４０４において、ルール判定部２２０は機械学習判定部２１８とは独立してジェスチャ認識を所定のルールに基づいて行う。なお、Ｓ４０２において、機械学習判定部２１８がジェスチャを認識しないと、処理は終了する。
Ｓ４０４において、ルール判定部２２０がジェスチャを認識すると、処理はＳ４０６に進む。Ｓ４０６においてジェスチャ認識部２１０は、認識されたジェスチャに関する操作情報を処理実行部２１６に送り、処理実行部２１６は、認識されたジェスチャに関する処理を実行する。なお、Ｓ４０４において、ルール判定部２２０８がジェスチャを認識しない場合、処理は終了する。このとき、処理実行部２１６は、Ｓ４０２において機械学習判定部２１８が認識したジェスチャに関する処理を行わない。
以上説明されたように、本実施形態のジェスチャ認識部２１０において、機械学習判定部２１８とルール判定部２２０とによってジェスチャが認識される。これによって機械学習によるジェスチャの誤認識が軽減される。
＜＜６．認識されるジェスチャの強さに応じて異なる操作が認識される処理の例＞＞
以上では機械学習による学習結果と所定のルールに基づいてジェスチャが認識される処理の例について説明された。以下では、認識されるジェスチャの強さに応じて認識されるジェスチャの操作が変わる処理の例が説明される。例えばユーザは、強い否定を示すときに激しく頭を横に振り、弱い否定を示すときにゆっくりと頭を横に振る場合がある。本実施形態の情報処理システムでは、ユーザは、このようなジェスチャの強さに応じて異なる操作を行うことができる。
図１２は、本実施形態の携帯電話２００の構成を示すブロック図である。本実施形態における携帯電話２００のジェスチャ認識部２１０は、強度判定部２２２を有する。強度判定部２２２は、加速度センサ１１８またはジャイロセンサ１２０によって検出される加速度、角速度または角加速度が所定の大きさより小さいときに第１のジェスチャを認識する。また強度判定部２２２は、加速度、角速度または角加速度が所定の大きさより大きいときに第２のジェスチャを認識する。
図１３は、本実施形態のジェスチャ認識部２１０によって認識される第１のジェスチャと第２のジェスチャの加速度のパターンを示す図である。ここで上述した第１のジェスチャと第２のジェスチャとを区分するために用いられる加速度の所定の大きさは、閾値Ｔで表される。よって図１３のＡの領域において認識されるジェスチャは第１のジェスチャであり、Ｂの領域において認識されるジェスチャは第２のジェスチャである。なお以下では加速度センサ１１８によって検出される加速度の大きさに応じて異なるジェスチャ操作が行われる例について説明される。
ユーザがゆっくりと頭を横に振ったとき、図１３のＡの領域において示されるように、加速度センサ１１８は閾値Ｔを超えない大きさの加速度を検出する。ジェスチャ認識部２１０は当該ジェスチャを第１のジェスチャと認識し、第１のジェスチャに関する操作情報を処理実行部２１６に送る。またユーザが激しく頭を横に振ったとき、図１３のＢの領域において示されるように、加速度センサ１１８は閾値Ｔを超える大きさの加速度を検出する。ジェスチャ認識部２１０は当該ジェスチャを第２のジェスチャと認識し、第２のジェスチャに関する操作情報を処理実行部２１６に送る。
第１のジェスチャに関する操作情報と、第２のジェスチャに関する操作情報を受け取った処理実行部２１６は、それぞれの操作情報に対して異なる処理を実行する。例えば、第１の操作情報に関する処理は、メッセージの入力操作において通常の大きさおよび色で「ＮＯ」と入力する処理であってもよい。一方、第２の操作情報に関する処理は、メッセージの入力操作において通常よりも大きく、また赤色で「ＮＯ」と入力する処理であってもよい。このように上述した例では、ユーザは激しく頭を振ることによって、強い否定のメッセージを入力することができる。
以上説明されたように、ユーザは異なる強さのジェスチャを行うことによって異なる操作を行うことができる。なお、異なる操作は上述された例に限られない。例えば、通話のアプリケーションにおいて、ユーザが上述した第１のジェスチャを行ったときに処理実行部２１６は「保留」の操作を実行してもよい。また、ユーザが上述した第２のジェスチャを行ったときに処理実行部２１６は「終話」の操作を実行してもよい。
また、以上ではユーザが異なる強さのジェスチャを行うことによって第１のジェスチャおよび第２のジェスチャを行うことができる例が説明された。しかし、上述した閾値Ｔは複数設定されてもよく、例えば閾値Ｔ１、Ｔ２、Ｔ３の順に大きくなる、異なる値の閾値Ｔ１、Ｔ２およびＴ３が設定されることによって他の異なるジェスチャが認識されてもよい。例えば、閾値Ｔ１よりも小さい加速度、角速度または角加速度が検出された場合に、第１のジェスチャが認識されてもよい。また、閾値Ｔ１よりも大きく閾値Ｔ２よりも小さい加速度、角速度または角加速度が検出された場合に、第２のジェスチャが認識されてもよい。また、閾値Ｔ２よりも大きく閾値Ｔ３よりも小さい加速度、角速度または角加速度が検出された場合に、第３のジェスチャが認識されてもよい。また、閾値Ｔ３よりも大きい加速度、角速度または角加速度が検出された場合に、第４のジェスチャが認識されてもよい。このように、検出される加速度、角速度または角加速度に対する閾値が複数設定され、設定された閾値に応じて複数のジェスチャ操作が認識されてもよい。
また、上述された例ではジェスチャの強さに応じて異なるジェスチャ操作が認識された。しかし、異なるジェスチャ操作は、認識されるジェスチャの回数に応じて認識されてもよい。例えば、ユーザは強い否定を示すときに、頭を何回も振ることが考えられる。よって処理実行部２１６は、同じジェスチャが所定の回数以上認識された場合、第２のジェスチャに関する処理を実行してもよい。また、処理実行部２１６は、同じジェスチャが所定の回数未満認識された場合、第１のジェスチャに関する処理を実行してもよい。また、検出されるジェスチャの回数に関して、複数の閾値が設定され、設定された閾値の回数に応じた複数のジェスチャ操作が認識されてもよい。
＜＜７．ジェスチャ認識のためのタイムアウト時間が設定される処理の例＞＞
以上では、認識されるジェスチャの強さに応じて認識されるジェスチャの操作が変わる処理の例が説明された。以下では、ジェスチャ認識のためのタイムアウト時間が設定される処理の例が説明される。ジェスチャ認識において、例えばユーザが複数回頭を横に振る場合がある。このとき、ユーザは１度の操作を望むのにもかかわらず、複数回の操作が行われる可能性がある。本実施形態ではこのようなユーザの意思と反する操作が行われることを防ぐため、ジェスチャ認識に関するタイムアウト時間が設定される。
図１４は、本実施形態において設定されるジェスチャ認識に関するタイムアウト時間である。なお以下では、加速度センサ１１８が検出する加速度に基づいてジェスチャが認識される例について説明される。図１４では、ユーザが頭を横に振るなどのジェスチャを行うことによって、加速度センサ１１８は加速度を検出する。ジェスチャ認識部２１０は、加速度を検出した時点からタイムアウト時間のカウントを開始する。
そして、Ｐ１で示される時点において１回目のジェスチャが認識される。その後、ユーザが同様のジェスチャを複数回行ったことによる加速度の変化が検出される。このとき、ジェスチャ認識部２１０はタイムアウト時間が経過しているか否かを判定する。ジェスチャ認識部２１０がタイムアウト時間が経過していないと判定すると、ジェスチャ認識部２１０はその間のジェスチャを認識しない。そしてタイムアウト時間が経過した後に、ジェスチャ認識部２１０はジェスチャの認識を開始する。よって、ジェスチャ認識部２１０はタイムアウト時間が経過した後のＰ２の時点において２回目のジェスチャが認識される。
以上のように、タイムアウト時間が設定されることによって、ユーザが望まない回数の処理が行われることが防がれる。
＜＜８．補足＞＞
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属する。
例えば、上述した実施形態では、携帯電話２００によってジェスチャの認識、ボタン操作の認識および音声操作の認識が行われた。しかし、ジェスチャの認識、ボタン操作の認識および音声操作の認識は、サーバ４００で行われてもよい。具体的には、小型端末１００はセンサ１１２からの信号、マイクロフォン１１０からの音声信号およびボタン１０２の操作信号をネットワークを介してサーバ４００に送信する。各信号を受信したサーバ４００は、受信された信号を処理してジェスチャの認識、ボタン操作の認識および音声操作の認識を行う。そしてサーバ４００は認識の結果を小型端末１００に送信する。そして小型端末１００は、受信した認識結果に応じた処理をアプリケーションに対して行う。
また、ジェスチャの認識、ボタン操作の認識および音声操作の認識は、小型端末１００で行われてもよい。このとき、小型端末１００の処理部１０４は、各部からの信号を処理してジェスチャの認識、ボタン操作の認識および音声操作の認識の認識を行う。そして小型端末１００は、受信した認識結果に応じた処理をアプリケーションに対して行う。このように小型端末１００は、すべての処理を行うように構成されてもよい。なお上述した例では、図１５に示されるように、小型端末１００は通信ネットワーク３００を介して直接サーバ４００と接続されてもよい。また、小型端末１００がジェスチャ認識を行い、小型鍛圧１００は認識したジェスチャに関する操作情報を携帯電話２００に送信してもよい。
また、小型端末１００はジェスチャ認識の確からしさを計算して携帯電話２００に当該確からしさを送信し、携帯電話２００は小型端末１００が算出したジェスチャ認識の確からしさと所定の閾値とを用いてジェスチャ認識の判断を行ってもよい。この例において小型端末１００と携帯電話２００とは、Ｂｌｕｅｔｏｏｔｈ、Ｗｉ−Ｆｉ、または有線ネットワークなどの通信路で接続されてもよい。
小型端末１００はセンサ１１２からの情報に基づいてジェスチャ認識に係る処理を行い、ジェスチャ認識の中間結果を生成する。Ｎ種類のジェスチャ認識が行われる場合、中間結果の一例は、それぞれのジェスチャに対する適合値（閾値）がリスト化されたデータでもよい。例えば、「うなずき」および「横振り」の２つのジェスチャが認識される場合、中間結果は、「うなずき:０．８」、「横振り:０．２」のような表現になる。このような小型端末１００において生成されたジェスチャとスコアのペアである中間結果は、携帯電話２００に送信される。携帯電話２００は、設定値、ユーザごとの個人化ポリシー、その他のユーザ、小型端末１００または携帯電話２００の状況に応じて閾値の判定を行い、ジェスチャ認識に関する操作の処理を行うか否かを判断してもよい。
また上述された実施形態においては、小型端末１００は、ユーザの耳に装着される情報処理装置であった。しかし、小型端末１００はこれに限られない。例えば、小型端末１００は、リストバンド型のウェアラブル端末であってもよい。
また、処理部１０４、２０２を上述したように動作させるためのコンピュータプログラムが提供されてもよい。また、このようなプログラムが記憶された記憶媒体が提供されてもよい。
＜＜９．むすび＞＞
以上説明したように、本開示の実施形態に係る情報処理システムでは、ジェスチャ認識に用いられるセンサ１１２は、アプリケーションからの通知に基づいて起動する。また、ジェスチャ認識に用いられるセンサ１１２は、音声操作と同期して起動する。これによって小型端末１００は、消費電力を低減することができる。
また、本開示の実施形態に係る情報処理システムでは、ジェスチャ認識に関する操作、音声操作およびボタン操作が並行して待ち受けられる。また、ユーザはジェスチャ認識に関する操作、音声操作およびボタン操作を組み合わせた操作を行うことができる。これによってユーザは、多様な操作を行うことができる。
また、本開示の実施形態に係る情報処理システムでは、一旦認識されたジェスチャに関する操作を取り消す処理を行う。これによってユーザは、誤操作を行った場合でも、当該操作を取り消すことができる。また、本開示の実施形態に係る情報処理システムでは、認識されたジェスチャに関する操作を取り消す処理を受け付ける取り消し期間が動的に設定される。これによって実行されているアプリケーションの状態または種類に応じた適切な取り消し期間が設定される。
また、本明細書に記載された効果は、あくまで例示であって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
受音部からの情報に基づいて音声操作を認識する音声操作認識部と、
センサからの情報に基づいてユーザのジェスチャを認識するジェスチャ認識部と、
前記音声操作認識部および前記ジェスチャ認識部が認識した操作に関連する処理を行う処理実行部と、を備え、
前記音声操作認識部は、前記ジェスチャ認識部によるジェスチャ待ち受け状態と並行して音声操作待ち受け状態となる、情報処理装置。
（２）
前記ジェスチャ認識部は、前記音声操作認識部が前記音声操作待ち受け状態となることに同期して前記ジェスチャ待ち受け状態となる、前記（１）に記載の情報処理装置。
（３）
前記処理実行部はアプリケーションを実行し、
前記音声操作認識部は、前記処理実行部が実行している前記アプリケーションからの通知に基づいて前記音声操作待ち受け状態となる、前記（２）に記載の情報処理装置。
（４）
前記処理実行部は、前記ジェスチャ認識部が認識する操作よりも優先して前記音声操作認識部が認識する操作に関する処理を行う、前記（１）から前記（３）のいずれか１項に記載の情報処理装置。
（５）
ユーザの操作部に対する操作を認識する操作部操作認識部をさらに備え、
前記操作部操作認識部は、前記ジェスチャ認識部によるジェスチャ待ち受け状態および前記音声操作認識部による音声操作待ち受け状態と並行して操作部操作待ち受け状態となる、前記（１）から前記（４）にずれか１項に記載の情報処理装置。
（６）
前記処理実行部は、前記音声操作認識部が認識する操作よりも優先して前記操作部操作認識部が認識する操作に関する処理を行う、前記（５）に記載の情報処理装置。
（７）
前記ジェスチャ認識部が認識する操作、前記音声操作認識部が認識する操作、前記操作部操作認識部が認識する操作のそれぞれに対して重みづけがされ、
前記処理実行部は、前記重みづけを考慮して優先して実行する処理を判定する、前記（５）または前記（６）に記載の情報処理装置。
（８）
前記処理実行部は、前記ジェスチャ認識部が認識する操作、前記音声操作認識部が認識する操作、前記操作部操作認識部が認識する操作のうち少なくとも２つの操作を組み合わせた処理を実行する、前記（５）から前記（７）のいずれか１項に記載の情報処理装置。
（９）
前記アプリケーションからの通知または前記アプリケーションの種類に応じて起動されるセンサのモードが選択される、前記（３）から前記（８）のいずれか１項に記載の情報処理装置。
（１０）
前記センサは複数のセンサを含み、
前記アプリケーションからの通知または前記アプリケーションの種類に応じて起動されるセンサが選択される、前記（３）から前記（８）のいずれか１項に記載の情報処理装置。
（１１）
前記センサは加速度センサまたはジャイロセンサであり、
前記ジェスチャ認識部は、所定の値より小さい加速度または角速度が検出された場合に第１のジェスチャを認識し、前記所定の値より大きい加速度または角速度が検出された場合に第２のジェスチャを認識する、前記（１）から前記（１０）のいずれか１項に記載の情報処理装置。
（１２）
前記ジェスチャ認識部は、同じジェスチャが所定の回数より少ない回数認識された場合に第１のジェスチャを認識し、同じジェスチャ入力が前記所定の回数より多い回数認識された場合に第２のジェスチャを認識する、前記（１）から前記（１１）のいずれか１項に記載の情報処理装置。
（１３）
前記ジェスチャ認識部は、
機械学習に基づいて前記ジェスチャを認識する機械学習判定部と、
所定のルールに基づいて前記ジェスチャを認識するルール判定部と、を有し、
前記機械学習判定部と前記ルール判定部が共に前記ジェスチャの認識を行った場合に、前記ジェスチャ認識部は前記ジェスチャの認識を行う、前記（１）からっ前記（１２）のいずれか１項に記載の情報処理装置。
（１４）
受音部からの情報に基づいて音声操作を認識する音声操作認識部と、
センサからの情報に基づいてユーザのジェスチャを認識するジェスチャ認識部と、
前記音声操作認識部および前記ジェスチャ認識部が認識した操作に関連する処理を行う処理実行部と、を備え、
前記音声操作認識部は、前記ジェスチャ認識部によるジェスチャ待ち受け状態と並行して音声操作待ち受け状態となる、情報処理システム。
（１５）
受音部からの情報に基づいて音声操作を認識することと、
センサからの情報に基づいてユーザのジェスチャを認識することと、
前記認識された音声操作および前記認識されたジェスチャに関する操作に関連する処理を行うことと、
前記音声操作が認識される音声操作待ち受け状態と、前記ジェスチャが認識されるジェスチャ待ち受け状態とが並存することと、を含む、情報処理方法。
１００ 小型端末
１０２ ボタン
１０４ 処理部
１０６ バッテリ
１０８ スピーカ
１１０ マイクロフォン
１１２ センサ
１１４ 近距離通信部
１１６ 近接センサ
１１８ 加速度センサ
１２０ ジャイロセンサ
１２２ 挿入部
２００ 携帯電話
２０２ 処理部
２０４ 近距離通信部
２０６ セルラ通信部
２０８ 音声生成部
２１０ ジェスチャ認識部
２１２ ボタン操作認識部
２１４ 音声操作認識部
２１６ 処理実行部
２１８ 機械学習判定部
２２０ ルール判定部
２２２ 強度判定部
３００ 通信ネットワーク
４００ サーバ
４０２ 通信部
４０４ 音声分析部

Claims (15)

  1. 受音部からの情報に基づいて音声操作を認識する音声操作認識部が認識した音声操作およびセンサからの情報に基づいて認識されたユーザのジェスチャを認識するジェスチャ認識部が認識したジェスチャ操作に関連する処理を行う処理実行部、を備え、
    前記音声操作認識部は、前記ジェスチャ認識部によるジェスチャ待ち受け状態と並行して音声操作待ち受け状態となる、情報処理装置。
  2. 前記ジェスチャ認識部は、前記音声操作認識部が前記音声操作待ち受け状態となることに同期して前記ジェスチャ待ち受け状態となる、請求項１に記載の情報処理装置。
  3. 前記処理実行部はアプリケーションを実行し、
    前記音声操作認識部は、前記処理実行部が実行している前記アプリケーションからの通知に基づいて前記音声操作待ち受け状態となる、請求項２に記載の情報処理装置。
  4. 前記処理実行部は、前記ジェスチャ認識部が認識する操作よりも優先して前記音声操作認識部が認識する操作に関する処理を行う、請求項１に記載の情報処理装置。
  5. ユーザの操作部に対する操作を認識する操作部操作認識部をさらに備え、
    前記操作部操作認識部は、前記ジェスチャ認識部によるジェスチャ待ち受け状態および前記音声操作認識部による音声操作待ち受け状態と並行して操作部操作待ち受け状態となる、請求項１に記載の情報処理装置。
  6. 前記処理実行部は、前記音声操作認識部が認識する操作よりも優先して前記操作部操作認識部が認識する操作に関する処理を行う、請求項５に記載の情報処理装置。
  7. 前記ジェスチャ認識部が認識する操作、前記音声操作認識部が認識する操作、前記操作部操作認識部が認識する操作のそれぞれに対して重みづけがされ、
    前記処理実行部は、前記重みづけを考慮して優先して実行する処理を判定する、請求項５に記載の情報処理装置。
  8. 前記処理実行部は、前記ジェスチャ認識部が認識する操作、前記音声操作認識部が認識する操作、前記操作部操作認識部が認識する操作のうち少なくとも２つの操作を組み合わせた処理を実行する、請求項５に記載の情報処理装置。
  9. 前記アプリケーションからの通知または前記アプリケーションの種類に応じて起動されるセンサのモードが選択される、請求項３に記載の情報処理装置。
  10. 前記センサは複数のセンサを含み、
    前記アプリケーションからの通知または前記アプリケーションの種類に応じて起動されるセンサが選択される、請求項３に記載の情報処理装置。
  11. 前記センサは加速度センサまたはジャイロセンサであり、
    前記ジェスチャ認識部は、所定の値より小さい加速度または角速度が検出された場合に第１のジェスチャを認識し、前記所定の値より大きい加速度または角速度が検出された場合に第２のジェスチャを認識する、請求項１に記載の情報処理装置。
  12. 前記ジェスチャ認識部は、同じジェスチャが所定の回数より少ない回数認識された場合に第１のジェスチャを認識し、同じジェスチャ入力が前記所定の回数より多い回数認識された場合に第２のジェスチャを認識する、請求項１に記載の情報処理装置。
  13. 前記ジェスチャ認識部は、
    機械学習に基づいて前記ジェスチャを認識する機械学習判定部と、
    所定のルールに基づいて前記ジェスチャを認識するルール判定部と、を有し、
    前記機械学習判定部と前記ルール判定部が共に前記ジェスチャの認識を行った場合に、前記ジェスチャ認識部は前記ジェスチャの認識を行う、請求項１に記載の情報処理装置。
  14. 受音部からの情報に基づいて音声操作を認識する音声操作認識部が認識した音声操作およびセンサからの情報に基づいて認識されたユーザのジェスチャを認識するジェスチャ認識部が認識したジェスチャ操作に関連する処理を行う処理実行部、を備え、
    前記音声操作認識部は、前記ジェスチャ認識部によるジェスチャ待ち受け状態と並行して音声操作待ち受け状態となる、情報処理システム。
  15. 受音部からの情報に基づいて認識された音声操作およびセンサからの情報に基づいて認識されたジェスチャに関する操作に関連する処理を行うことと、
    前記音声操作が認識される音声操作待ち受け状態と、前記ジェスチャが認識されるジェスチャ待ち受け状態とが並存することと、を含む、情報処理方法。
JP2016099394A 2016-05-18 2016-05-18 情報処理装置、情報処理システム、情報処理方法 Active JP6789668B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2016099394A JP6789668B2 (ja) 2016-05-18 2016-05-18 情報処理装置、情報処理システム、情報処理方法
EP17167878.2A EP3246790B1 (en) 2016-05-18 2017-04-25 Information processing of combined voice and gesture input operations
US15/584,330 US10635152B2 (en) 2016-05-18 2017-05-02 Information processing apparatus, information processing system, and information processing method
CN201710327703.9A CN107402629A (zh) 2016-05-18 2017-05-11 信息处理装置，信息处理***和信息处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016099394A JP6789668B2 (ja) 2016-05-18 2016-05-18 情報処理装置、情報処理システム、情報処理方法

Publications (2)

Publication Number Publication Date
JP2017207891A true JP2017207891A (ja) 2017-11-24
JP6789668B2 JP6789668B2 (ja) 2020-11-25

Family

ID=58709767

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016099394A Active JP6789668B2 (ja) 2016-05-18 2016-05-18 情報処理装置、情報処理システム、情報処理方法

Country Status (4)

Country Link
US (1) US10635152B2 (ja)
EP (1) EP3246790B1 (ja)
JP (1) JP6789668B2 (ja)
CN (1) CN107402629A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108181992A (zh) * 2018-01-22 2018-06-19 北京百度网讯科技有限公司 基于手势的语音唤醒方法、装置、设备及计算机可读介质
JP2019185470A (ja) * 2018-04-12 2019-10-24 株式会社Ｎｔｔドコモ 情報処理装置
WO2020049921A1 (ja) * 2018-09-07 2020-03-12 ソニー株式会社 端末装置、端末装置の制御方法および記憶媒体
JP7438034B2 (ja) 2020-06-15 2024-02-26 株式会社Ｎｔｔドコモ 端末装置

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108804010B (zh) * 2018-05-31 2021-07-30 北京小米移动软件有限公司 终端控制方法、装置及计算机可读存储介质
US10839778B1 (en) * 2019-06-13 2020-11-17 Everett Reid Circumambient musical sensor pods system
US20220291752A1 (en) * 2020-01-16 2022-09-15 Von Clausewitz Systems, LLC Distributed Application Platform Projected on a Secondary Display for Entertainment, Gaming and Learning with Intelligent Gesture Interactions and Complex Input Composition for Control
US11972095B2 (en) 2021-03-23 2024-04-30 Microsoft Technology Licensing, Llc Voice assistant-enabled client application with user view context and multi-modal input support
WO2022203968A1 (en) * 2021-03-23 2022-09-29 Microsoft Technology Licensing, Llc Voice assistant-enabled client application with user view context and multi-modal input support
US11789696B2 (en) 2021-03-23 2023-10-17 Microsoft Technology Licensing, Llc Voice assistant-enabled client application with user view context

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002251234A (ja) * 2001-02-23 2002-09-06 Fujitsu Ltd 複数のセンサによるヒューマンインタフェースシステム
JP2003053028A (ja) * 2001-08-15 2003-02-25 Aruze Corp 音声入力を用いて表示画面上のキャラクタを動作させるプログラム及びこれを記憶した外部記憶媒体
WO2009072240A1 (ja) * 2007-12-07 2009-06-11 Panasonic Corporation 電子機器
JP2013186646A (ja) * 2012-03-07 2013-09-19 Toshiba Corp 情報処理装置および情報処理装置の制御方法
EP2778865A2 (en) * 2013-03-14 2014-09-17 Samsung Electronics Co., Ltd. Input control method and electronic device supporting the same
JP2015056154A (ja) * 2013-09-13 2015-03-23 独立行政法人情報通信研究機構 テキスト編集装置及びプログラム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5483899B2 (ja) 2009-02-19 2014-05-07 株式会社ソニー・コンピュータエンタテインメント 情報処理装置および情報処理方法
US9316827B2 (en) * 2010-09-20 2016-04-19 Kopin Corporation LifeBoard—series of home pages for head mounted displays (HMD) that respond to head tracking
US9348417B2 (en) * 2010-11-01 2016-05-24 Microsoft Technology Licensing, Llc Multimodal input system
US20120260284A1 (en) * 2011-04-07 2012-10-11 Sony Corporation User interface for audio video display device such as tv personalized for multiple viewers
JP5974649B2 (ja) * 2012-06-08 2016-08-23 株式会社リコー 情報処理装置、会議システム、プログラム
WO2014107410A1 (en) * 2013-01-04 2014-07-10 Kopin Corporation Lifeboard-series of home pages for head mounted displays (hmd) that respond to head tracking
US10466795B2 (en) * 2013-03-29 2019-11-05 Lg Electronics Inc. Mobile input device and command input method using the same
KR102033077B1 (ko) * 2013-08-07 2019-10-16 나이키 이노베이트 씨.브이. 제스처 인식 및 전력 관리를 갖는 손목 착용 운동 디바이스
EP2947635B1 (en) * 2014-05-21 2018-12-19 Samsung Electronics Co., Ltd. Display apparatus, remote control apparatus, system and controlling method thereof
KR102287160B1 (ko) * 2014-07-31 2021-08-06 엘지전자 주식회사 웨어러블 디바이스 및 그것의 제어방법
US20160103655A1 (en) * 2014-10-08 2016-04-14 Microsoft Corporation Co-Verbal Interactions With Speech Reference Point
KR102277259B1 (ko) * 2014-11-26 2021-07-14 엘지전자 주식회사 디바이스 제어 시스템, 디지털 디바이스 및 디지털 디바이스 제어 방법
WO2016106358A1 (en) * 2014-12-22 2016-06-30 Robert Bosch Gmbh System and methods for interactive hybrid-dimension map visualization
US9491517B2 (en) * 2015-03-03 2016-11-08 Google Inc. Systems and methods for broadcast audience interaction and participation
US10802620B2 (en) * 2015-03-17 2020-10-13 Sony Corporation Information processing apparatus and information processing method
US9870755B2 (en) * 2015-05-22 2018-01-16 Google Llc Prioritized display of visual content in computer presentations

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002251234A (ja) * 2001-02-23 2002-09-06 Fujitsu Ltd 複数のセンサによるヒューマンインタフェースシステム
JP2003053028A (ja) * 2001-08-15 2003-02-25 Aruze Corp 音声入力を用いて表示画面上のキャラクタを動作させるプログラム及びこれを記憶した外部記憶媒体
WO2009072240A1 (ja) * 2007-12-07 2009-06-11 Panasonic Corporation 電子機器
JP2013186646A (ja) * 2012-03-07 2013-09-19 Toshiba Corp 情報処理装置および情報処理装置の制御方法
EP2778865A2 (en) * 2013-03-14 2014-09-17 Samsung Electronics Co., Ltd. Input control method and electronic device supporting the same
JP2015056154A (ja) * 2013-09-13 2015-03-23 独立行政法人情報通信研究機構 テキスト編集装置及びプログラム

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108181992A (zh) * 2018-01-22 2018-06-19 北京百度网讯科技有限公司 基于手势的语音唤醒方法、装置、设备及计算机可读介质
JP2019128939A (ja) * 2018-01-22 2019-08-01 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド ジェスチャーによる音声ウェイクアップ方法、装置、設備及びコンピュータ可読媒体
US10783364B2 (en) 2018-01-22 2020-09-22 Beijing Baidu Netcom Science And Technology Co., Ltd. Method, apparatus and device for waking up voice interaction function based on gesture, and computer readable medium
JP2019185470A (ja) * 2018-04-12 2019-10-24 株式会社Ｎｔｔドコモ 情報処理装置
JP7098390B2 (ja) 2018-04-12 2022-07-11 株式会社Ｎｔｔドコモ 情報処理装置
WO2020049921A1 (ja) * 2018-09-07 2020-03-12 ソニー株式会社 端末装置、端末装置の制御方法および記憶媒体
JPWO2020049921A1 (ja) * 2018-09-07 2021-09-16 ソニーグループ株式会社 端末装置、端末装置の制御方法および記憶媒体
JP7396286B2 (ja) 2018-09-07 2023-12-12 ソニーグループ株式会社 端末装置、端末装置の制御方法および記憶媒体
US11979511B2 (en) 2018-09-07 2024-05-07 Sony Group Corporation Terminal device, terminal device control method, and memory medium
JP7438034B2 (ja) 2020-06-15 2024-02-26 株式会社Ｎｔｔドコモ 端末装置

Also Published As

Publication number Publication date
EP3246790A3 (en) 2018-02-28
CN107402629A (zh) 2017-11-28
US10635152B2 (en) 2020-04-28
EP3246790A2 (en) 2017-11-22
US20170336848A1 (en) 2017-11-23
EP3246790B1 (en) 2020-11-04
JP6789668B2 (ja) 2020-11-25

Similar Documents

Publication Publication Date Title
JP6789668B2 (ja) 情報処理装置、情報処理システム、情報処理方法
US9891719B2 (en) Impact and contactless gesture inputs for electronic devices
EP1994462B1 (en) Electronic equipment with data transfer function using motion and method
CN109213732B (zh) 一种改善相册分类的方法、移动终端及计算机可读存储介质
US11144130B2 (en) Information processing apparatus, information processing system, and information processing method
US20070211573A1 (en) Electronic equipment with data transfer function using motion and method
US20080027984A1 (en) Method and system for multi-dimensional action capture
CN107743178B (zh) 一种消息播放方法及移动终端
CN101889431A (zh) 基于设备与设备的物理接触而与设备交互
CN111712778B (zh) 信息处理装置、信息处理方法和计算机程序
WO2019154322A1 (zh) 来电处理方法及移动终端
CN116057926A (zh) 处理音频数据的电子装置及其运行方法
CN110784394A (zh) 一种提示方法及电子设备
CN108040003B (zh) 一种提醒方法及装置
CN113905302B (zh) 触发提示信息的方法、装置以及耳机
KR20230002728A (ko) 정보 처리 방법 및 전자기기
CN108304709A (zh) 人脸解锁方法及相关产品
WO2021104254A1 (zh) 信息处理方法及电子设备
KR20150106535A (ko) 이동 단말기 및 이의 제어 방법
EP4358536A1 (en) Ambient sound control method and electronic device for same
WO2018232646A1 (zh) 具有自适应播放能力的移动终端和相关产品
US20220225449A1 (en) Electronic device for switching communication connections according to noise environment and method for controlling the same
WO2018232651A1 (zh) 移动终端和相关程序产品
KR101229582B1 (ko) 진동을 이용한 데이터 전달 장치, 시스템 및 방법, 이를 위한 기록 매체
CN117881008A (zh) 蓝牙连接方法、装置、设备及存储介质

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190208

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190214

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190222

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190426

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190507

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191016

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191112

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200114

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200519

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200629

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20200629

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20200708

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20200714

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201006

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201104

R150 Certificate of patent or registration of utility model

Ref document number: 6789668

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150