JP2018129664A - 電子機器、制御方法、およびプログラム - Google Patents

電子機器、制御方法、およびプログラム Download PDF

Info

Publication number
JP2018129664A
JP2018129664A JP2017021188A JP2017021188A JP2018129664A JP 2018129664 A JP2018129664 A JP 2018129664A JP 2017021188 A JP2017021188 A JP 2017021188A JP 2017021188 A JP2017021188 A JP 2017021188A JP 2018129664 A JP2018129664 A JP 2018129664A
Authority
JP
Japan
Prior art keywords
electronic device
information
predetermined
voice
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017021188A
Other languages
English (en)
Inventor
茂輝 田辺
Shigeki Tanabe
茂輝 田辺
学 佐久間
Manabu Sakuma
学 佐久間
英樹 森田
Hideki Morita
英樹 森田
功 益池
Isao Masuike
功 益池
上野 泰弘
Yasuhiro Ueno
泰弘 上野
浩太郎 山内
Kotaro Yamauchi
浩太郎 山内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Priority to JP2017021188A priority Critical patent/JP2018129664A/ja
Priority to US15/890,625 priority patent/US10496365B2/en
Publication of JP2018129664A publication Critical patent/JP2018129664A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Train Traffic Observation, Control, And Security (AREA)
  • Telephone Function (AREA)

Abstract

【課題】案内放送に含まれる情報をより確実に被提供者に報知できる、または、案内放送によって被提供者が得る情報を拡張できる電子機器を提供すること。【解決手段】電子機器は、音声入力部と、前記音声入力部に入力された音声を認識可能なコントローラとを備える。当該コントローラは、ユーザの予定情報をあらかじめ設定し、ユーザの音声以外の所定の音声を認識した場合に、当該所定の音声に含まれる情報と予定情報とが一致すると、当該一致した予定情報を含む情報を報知する。【選択図】図1

Description

本出願は、利用者に情報を提供する電子機器に関する。
従来、車上無線機と、沿線無線機と、車上無線機と沿線無線機との間の無線通信によって得られた列車の位置に関する情報とに基づいて、予め定めたタイミングで列車の駅案内放送を行う案内手段を備えた列車案内放送システムが開示されている(下記特許文献1参照)。
特開2013−75611
電車、空港などで提供される案内放送は被提供者が聞き逃すことがあり、聞き逃した場合に被提供者は不便を感じることがある。また、被提供者は、案内放送を聞き取れた場合でも、案内放送に含まれる情報が不足していると感じることがある。
本出願の目的は、案内放送に含まれる情報をより確実に被提供者に報知できる、または、案内放送によって被提供者が得る情報を拡張できる電子機器を提供することである。
1つの態様に係る電子機器は、前記音声入力部に入力された音声を認識可能なコントローラと、を備え、前記コントローラは、ユーザの予定情報をあらかじめ設定し、ユーザの音声以外の所定の音声を認識した場合に、当該所定の音声に含まれる情報と前記予定情報とが一致すると、当該一致した予定情報を含む情報を報知する。
1つの態様に係る制御方法は、音声入力部と、前記音声入力部に入力された音声を認識可能なコントローラとを備える電子機器の制御方法であって、ユーザの予定情報をあらかじめ設定するステップと、ユーザの音声以外の所定の音声を認識するステップと、当該所定の音声に含まれる情報と前記予定情報とが一致すると、当該一致した予定情報を含む情報を報知するステップとを含む。
1つの態様に係る制御プログラムは、音声入力部と、前記音声入力部に入力された音声を認識可能なコントローラとを備える電子機器に、ユーザの予定情報をあらかじめ設定するステップと、ユーザの音声以外の所定の音声を認識するステップと、当該所定の音声に含まれる情報と前記予定情報とが一致すると、当該一致した予定情報を含む情報を報知するステップとを実行させる。
案内放送に含まれる情報をより確実に被提供者に報知できる、または、案内放送によって被提供者が得る情報を拡張できる電子機器を提供することができる。
実施形態に係る電子機器の外観図である。 実施形態に係る電子機器の機能構成を示すブロック図である。 ユーザの予定情報とユーザの予定情報を記憶する際の契機とを対応付けて示すテーブルである。 ユーザの予定情報とユーザの予定情報と関連度の高い関連情報とを対応付けて示すテーブルである。 実施形態に係る電子機器の動作の例を示すイメージ図である。 認識した所定の音声の内容とそれに応じて実行される処理の第1の例を示すテーブルである。 認識した所定の音声の内容とそれに応じて実行される処理の第2の例を示すテーブルである。 実施形態に係る電子機器が行う制御の第1の例を示すフローチャートである。 実施形態に係る電子機器が行う制御の第2の例を示すフローチャートである。
本出願に係る実施形態について、図面を参照しつつ詳細に説明する。ただし、以下の実施の形態によって本出願が限定されるものではない。また、以下の説明における構成要素には、当業者が容易に想定できるものおよび実質的に同一のものなど、いわゆる均等の範囲のものが含まれる。なお、図面の説明については同一要素には同一符号を付し、重複する説明を省略することがある。
以下に説明する本出願の実施形態に係る電子機器1は、例えば、いわゆるスマートフォンのような端末とすることができる。しかしながら、本出願の実施形態に係る電子機器1はスマートフォンに限定されるものではない。電子機器1は、例えばタブレット、パーソナルコンピュータ、車載電子機器などであってもよい。
図1は、本実施形態に係る電子機器1の外観図である。図1に示すように、電子機器1は、音声入力部としてのマイク11と、音声出力部としてのスピーカ12と、タッチパネル13とを備える。
マイク11は、電子機器1への入力を受け付ける入力手段のうちの1つである。マイク11は、周囲の音声を集音する。
スピーカ12は、電子機器1から出力を行う出力手段の1つである。スピーカ12は、電話の音声や各種プログラムの情報等を音声で出力する。
タッチパネル13は、タッチセンサ131と表示部としてのディスプレイ132とを備える。
タッチセンサ131は、電子機器1への入力を受け付ける入力手段のうちの1つである。タッチセンサ131は、ユーザの指、スタイラス等の接触を検出する。接触を検出する方法としては、例えば抵抗膜方式や静電容量方式があるが、任意の方式でよい。
ディスプレイ132は、電子機器1から出力を行う出力手段の1つである。ディスプレイ132は、文字、画像、記号、図形等のオブジェクトを画面上に表示する。ディスプレイ132には、例えば液晶ディスプレイ、有機EL(Electro Luminescence)ディスプレイが用いられる。
図1のタッチパネル13において、ディスプレイ132はタッチセンサ131と重なるように設けられており、ディスプレイ132の表示領域はタッチセンサ131と重複しているが、本実施形態はこれに限定されない。ディスプレイ132およびタッチセンサ131は、例えば、並べて配置されてもよいし、離して配置されてもよい。ディスプレイ132とタッチセンサ131とが重複する場合、ディスプレイ132の1または複数の辺は、タッチセンサ131のいずれの辺とも沿っていなくてもよい。
続いて、図2を参照しながら、電子機器1の機能的な構成について説明する。図2は、電子機器1の機能構成を示すブロック図である。図2に示すように、電子機器1は、音声入力部111と、音声出力部121と、タッチセンサ131と、ディスプレイ132と、通信部21と、ストレージ22と、検出部23と、位置情報取得部24と、振動部25と、コントローラ26とを備える。
音声入力部111は、入力を受け付けた音声に対応する信号をコントローラ26に入力する。音声入力部111は、上記のマイク11を含む。また、音声入力部111は、外部のマイクを接続可能な入力インターフェイスであってもよい。外部のマイクは無線または有線で接続される。入力インターフェイスに接続されるマイクは、例えば電子機器に接続可能なイヤホン等に備えられるマイクである。
音声出力部121は、コントローラ26から入力された信号に基づいて、音声を出力する。音声出力部121は、上記のスピーカ12を含む。また、音声出力部121は、外部のスピーカを接続可能な出力インターフェイスであってもよい。外部のスピーカは無線または有線で接続される。出力インターフェイスに接続されるスピーカは、例えば電子機器に接続可能なイヤホン等に備えられるスピーカである。
タッチセンサ131は、指などによる接触操作を検出し、検出された接触操作に対応する信号をコントローラ26に入力する。
ディスプレイ132は、コントローラ26から入力された信号に基づいて、文字、画像、記号、図形等のオブジェクトを画面上に表示する。
通信部21は、無線により通信する。通信部21によってサポートされる無線通信規格には、例えば、2G、3G、4G等のセルラーフォンの通信規格や、近距離無線の通信規格などがある。セルラーフォンの通信規格としては、例えば、LTE(Long Term Evolution)、W−CDMA(Wideband Code Division Multiple Access)、WiMAX(Worldwide Interoperability for Microwave Access)、CDMA2000、PDC(Personal Digital Cellular)、GSM(登録商標)(Global System for Mobile Communications)、PHS(Personal Handy−phone System)等がある。近距離無線の通信規格としては、例えば、IEEE802.11、Bluetooth(登録商標)、IrDA(Infrared Data Association)、NFC(Near Field Communication)、WPAN(Wireless Personal Area Network)等がある。WPANの通信規格には、例えば、ZigBee(登録商標)がある。通信部21は、セルラーフォンの通信規格により無線通信を行う場合、基地局によって割り当てられるチャネルを介し、基地局との間で無線ネットワークを確立し、基地局との間で電話通信及び情報通信を行う。また、通信部21は、Wi−Fi(登録商標)に準拠したAP(Access Point)に接続することで、APを介して情報通信を行うことができる。
ストレージ22は、プログラムおよびデータを記憶する。ストレージ22は、コントローラ26の処理結果を一時的に記憶する作業領域としても利用される。ストレージ22は、半導体記憶媒体、および磁気記憶媒体等の任意の非一過的(non−transitory)な記憶媒体を含んでよい。また、ストレージ22は、複数の種類の記憶媒体を含んでよい。また、ストレージ22は、メモリカード、光ディスク、または光磁気ディスク等の可搬の記憶媒体と、記憶媒体の読み取り装置との組み合わせを含んでよい。また、ストレージ22は、RAM(Random Access Memory)等の一時的な記憶領域として利用される記憶デバイスを含んでよい。ストレージ22に記憶されるプログラムには、フォアグランドまたはバックグランドで実行されるアプリケーションと、アプリケーションの動作を支援する制御プログラムとが含まれる。
ストレージ22には、ユーザの予定情報(以下、単に予定情報とも称する)がテキスト情報として記憶される。当該予定情報は、種々のアプリケーションがデータとして持っている所定のテキスト情報そのものであってよい。また、当該予定情報は、種々のアプリケーションが持つテキスト情報に基づいて、ストレージ22内の別の場所に記憶されてもよい。その場合、当該予定情報は、ユーザの操作なく自動で記憶されてもよいし、ユーザが予定情報として記憶するか否かを決定した上で記憶されてもよい。ユーザの予定情報とは、例えば、電車乗換案内アプリケーション(以下、アプリケーションをアプリとも称する)で設定された降車予定駅情報および路線名、メールアプリの本文や添付ファイルに記載されたユーザが搭乗する予定の飛行機のフライト情報、カレンダーアプリに入力されたスケジュール情報などであるが、これらに限定されない。これらの予定情報には、ユーザが指定したスケジュールの実行時刻、飛行機の搭乗予定時刻、目的地の到着予定時刻、降車予定駅の到着予定時刻、またこれらの予定の所要時間などの時間に関する情報が含まれていてもよい。
ストレージ22には、ユーザの予定情報と関連度の高い関連情報が記憶されていてもよい。当該関連情報は、ユーザの予定情報の種類に応じて設定されてよい。また、当該関連情報は、アプリケーションの種類に応じて設定されてもよい。当該関連情報は、例えば、所定の音声に含まれ、かつ所定の時間毎または所定の場所毎に定型的に出力される情報である。当該定型的に出力される情報には、固有名詞や地名等も含まれてよい。また、当該関連情報は、例えば、定型的な情報出力がなされない時に出力される情報である。言い換えると、当該関連情報は、異常やトラブルが発生した際に所定の音声から出力される情報であってもよい。特定の情報(文字列)は、関連情報にも設定され得るし、上記の予定情報にも設定され得る。
ストレージ22には、音声認識辞書データと認識対象音データと言語処理データとが記憶される。音声認識辞書データは、音声の特徴パターン(特徴量)と文字列とが対応付けられたデータである。認識対象音データは、音量、音程、音調、周波数などの情報と音声認識の対象となる種々の音声とが対応付けられたデータである。言語処理データは、所定の文字列とコントローラ26によって実行され得る所定の処理とが対応付けられたデータである。当該所定の文字列は、例えば、上記のユーザの予定情報である。当該所定の処理は、コントローラ26が、所定の音声に含まれる情報と所定の文字列とが一致したと判定した場合に実行されてよい。
ストレージ22には、言語翻訳辞書データが記憶される。言語翻訳辞書データは、所定の言語の文字列と当該文字列と同等の意味を持った所定の言語とは異なる言語の文字列とが対応付けられたデータである。所定の言語および所定の言語とは異なる言語とは、英語、日本語、中国語などの世界各国で公用される言語である。
検出部23は、電子機器1の状態を検出し、検出結果をコントローラ26に入力する。検出部23は、加速度センサを少なくとも含む。検出部23は、さらにジャイロセンサ、方位センサ等を含んでいてもよい。加速度センサは、電子機器1に働く加速度の方向および大きさを検出する。ジャイロセンサは、電子機器1の角度および角速度を検出する。方位センサは、地磁気の向きを検出する。
位置情報取得部24は、自機の現在地を示す位置情報を取得し、取得した結果をコントローラ26に入力する。位置情報取得部24は、自機の位置を、例えば、GPS(Global Positioning System)受信機や通信部21が無線ネットワークを確立している基地局に基づいて検出する。
振動部25は、コントローラ26から入力された信号に基づいて動作する。振動部は例えば偏心モータなどの振動モータであるが、これに限定されない。振動部25が動作すると、電子機器1全体が振動する。
コントローラ26は、演算処理装置である。演算処理装置は、例えば、CPU(Central Processing Unit)、SoC(System−on−a−chip)、MCU(Micro Control Unit)、FPGA(Field−Programmable Gate Array)、およびコプロセッサを含むが、これらに限定されない。コントローラ26は、電子機器1の動作を統括的に制御して各種の機能を実現する。
コントローラ26は、タッチセンサ131が検出した接触操作等に応じて入力される信号に基づいて、電子機器1の機能の実行や設定の変更などの各種制御を実行する。
コントローラ26は、検出部23の検出結果に基づいて、電子機器1の加速度と傾きの変化を検出する。コントローラ26は、電子機器1の加速度と傾きの変化を検出することにより、電子機器1がユーザによって手に持たれていない状態からユーザによって手に持たれている状態になったこと、およびユーザによって手に持たれている状態からユーザによって手に持たれていない状態になったことを検出する。また、コントローラ26は、ユーザが移動していない状態から移動している状態になったこと、およびユーザが移動している状態から移動していない状態になったことを検出する。また、コントローラ26は、ユーザが乗り物に乗っていない状態から所定の乗り物に乗っている状態になったこと、およびユーザが乗り物に乗っている状態から所定の乗り物に乗っていない状態になったことを検出する。
コントローラ26は、位置情報取得部24の取得結果に基づいて、ユーザの現在地を示す位置情報を認識する。
コントローラ26は、音声入力部111に入力された音声を解析することにより、音声を認識(音声認識)する。コントローラ26は、音声認識処理として、入力された音声の特徴パターンに基づいて、ストレージ22に記憶された音声認識辞書データから文字列を読み出す。文字列を読み出す際には、音声認識辞書データと入力された音声の特徴パターンとを照合し、その類似度を判断する。
コントローラ26は、音声入力部111に入力された音声を解析することにより、音声の発生源を特定する。コントローラ26は、音声認識処理として、ストレージ22に記憶された認識対象音データと入力された音声の音量、音程、音調、周波数などとを照合し、その類似度を判断する。このようにして、コントローラ26は、入力された音声の発生源を特定することが可能である。すなわち、コントローラ26は、例えば、ユーザの音声、案内放送の音声、電車などの乗り物から発せられる環境音などを特定できる。
コントローラ26は、所定の音声を認識した場合に、当該所定の音声に含まれる情報と予定情報とが一致すると、当該一致した予定情報を含む情報を報知する。所定の音声に含まれる情報とは、コントローラ26が所定の音声を認識した際に上記の音声認識辞書データから読み出される文字列である。また、情報の報知は上記の言語処理データに基づいて実行される。
コントローラ26は、認識対象音データに基づいて特定した音声の発生源の種類によって上記の報知処理を実行するか否かを決定する。コントローラ26は、認識した音声がユーザの音声によるものである場合には、処理を実行せず、認識した音声がユーザの音声以外の所定の音声(以下、単に所定の音声とも称する)によるものである場合には、処理を実行する。ここでユーザの音声以外の所定の音声とは、例えば、電車内や駅のホームでの案内放送、空港での案内放送、テレビの音声などであるが、これらに限定されない。ユーザの音声以外の所定の音声とは、言い換えると、所定の音声信号によって出力される言語音声である。
コントローラ26は、ユーザの予定情報と関連度の高い関連情報(以下、単に関連情報とも称する)をあらかじめストレージ22に記憶させている場合に、ユーザ以外の所定の音声を認識すると、所定の音声に含まれる情報と、予定情報および関連情報とが一致した際に、当該一致した予定情報を含む情報を報知してもよい。
また、コントローラ26は、ユーザ以外の所定の音声を認識した場合に、所定の音声に含まれる情報と予定情報とが複数一致すると、一致した予定情報を含む当該複数の情報のうちの少なくとも1つを報知してもよい。
また、コントローラ26は、ユーザ以外の所定の音声を認識した場合に、所定の音声に含まれる情報と、予定情報および関連情報とが一致すると、当該一致した関連情報を含む情報を報知してもよい。
また、コントローラ26は、ユーザ以外の所定の音声を認識した場合に、予定情報1つ、および、所定の音声に含まれる時間情報と所定の音声を認識した時刻とユーザの現在地を示す位置情報とのいずれか1つを利用して、報知を実行してもよい。
また、コントローラ26は、所定のアプリケーションによって報知を実行してよい。
また、コントローラ26は、予定情報に含まれる時間情報、および、所定の音声に含まれる時間情報または当該所定の音声を認識した時刻に基づいて、当該所定の音声が予定情報に関連するかを判定し、予定情報に関連すると判定した場合にのみ報知を行ってもよい。関連するか否かの判定は、例えば、予定情報に含まれる時間情報、すなわち予定が実行されることになっている時刻と、所定の音声が流れた時刻との時間差が所定の時間内であるかを判定することで行われる。当該所定の時間は、所定の音声の種類によって異なる。例えば、ユーザの電車の降車予定駅に着く直前に流れる次の停車駅に関するアナウンスは停車前の数分以内に流れるのが一般的である。また、例えば、空港のアナウンスでは、搭乗開始を促すアナウンスがユーザの搭乗予定時刻の数十分前に流れるのが一般的である。
また、コントローラ26は、ユーザの現在地を示す位置情報と所定の音声に含まれる場所情報とに基づいて、所定の音声が予定情報に関連するかを判定し、所定の音声が予定情報に関連すると判定した場合にのみ報知を行ってもよい。関連するか否かの判定は、例えば、ユーザの現在地を示す位置情報と所定の音声に含まれる場所情報との距離の差が所定の範囲内であるかを判定することで行われる。
また、コントローラ26は、認識した所定の音声の言語とは異なる、あらかじめ電子機器1で設定された使用言語によって報知を実行してよい。すなわち、コントローラ26は、認識した所定の言語の音声に含まれる情報と当該所定の言語とは異なる言語(あらかじめ電子機器1で設定された使用言語)のユーザ情報とを、それぞれの言語の文字列の意味が同等であれば、一致していると判定して報知を実行してよい。また、コントローラ26は、認識した所定の音声を言語翻訳辞書データに基づいて翻訳した後に、翻訳された所定の音声に含まれる情報とあらかじめ電子機器1で設定された使用言語のユーザ情報とが一致するかを判定してもよい。
また、コントローラ26は、音声入力の受付の開始タイミングおよび停止タイミングを設けず、常に音声の入力を受け付けてよい。
また、コントローラ26は、音声入力部に入力される環境音を認識することにより、当該環境音に基づいてユーザが所定の乗り物に乗っているかを判定し、ユーザが所定の乗り物に乗っていると判定した場合に、入力されたユーザの音声以外の所定の音声を認識してもよい。
また、コントローラ26は、検出部23の検出結果に基づいてユーザが所定の乗り物に乗っていると判定した場合に、音声の入力を受け付けてもよい。
また、コントローラ26は、ユーザが所定の場所を中心とした所定の範囲の中にいる場合に、音声の入力を受け付けてもよい。
また、コントローラ26は、所定のアプリケーションが起動している場合に、音声の入力を受け付けてもよい。当該アプリケーションは、フォアグラウンドで起動されていてもよいし、バックグラウンドで起動されていてもよい。
また、コントローラ26は、音声出力部121が外部のスピーカを接続可能な入力インターフェイスであり、当該入力インターフェイスに外部のスピーカが接続される場合は、情報を当該スピーカのみ、または当該外部のスピーカおよびディスプレイ132によって報知してよい。さらに、コントローラ26は、音声出力部121が自機に備えられるスピーカである場合は、情報をディスプレイ132のみによって報知してよい。
また、コントローラ26は、音声入力111が外部のマイクを接続可能な入力インターフェイスであり、当該入力インターフェイスに外部のマイクが接続される場合は、音声を当該外部のマイクによって受け付けてよい。
また、コントローラ26は、情報を報知した後、所定時間内にユーザによって所定の操作がなされない場合に、音または振動による報知を行ってよい。
また、コントローラ26は、情報を報知した後、検出部23の検出結果に基づいて、所定時間の間ユーザが移動をしていないと判定した場合に、音または振動による報知を行ってよい。
また、コントローラ26は、情報を報知した後、ユーザが所定の場所を中心とした所定の範囲の中から当該所定の範囲の外に出た場合に、音または振動による報知を行ってよい。
また、コントローラ26は、情報を報知した後、所定の音声を再び認識した場合に、音または振動による報知を行ってよい。
続いて、図3を参照しながら、ユーザの予定情報の種類と当該情報をユーザの予定情報として記憶する際の契機について説明する。
図3は、ユーザの予定情報を記憶する際の情報源となるアプリケーションと、予定情報のカテゴリと、ユーザの予定情報の内容と、予定情報を記憶する際の契機とを、それぞれ対応付けて例示したテーブルである。図3に示すように、アプリケーションに応じて、種々の契機となる操作が実行されると、ユーザの予定情報がストレージ22に記憶される。
続いて、図4を参照しながら、ユーザの予定情報に関連する情報について説明する。
図4は、ユーザの予定情報を記憶する際の情報源となるアプリケーションと、予定情報のカテゴリと、ユーザの予定情報と関連度の高い関連情報とをそれぞれ対応付けて例示したテーブルである。図4に示すように、予定情報によって、関連情報は異なってよい。
続いて、図5を参照しながら、電子機器1の動作の一例について説明する。図5は、電子機器1の動作の例を示すイメージ図である。具体的には、図5では、ユーザが電子機器1を携帯しており、乗換案内アプリを使用して自らの所望する乗降車予定駅を調べた後に電車に乗る際の様子を示す。コントローラ26は、音声入力部111に入力された案内放送の音声を認識し、認識した音声に応じて処理を行う。
図5−(a)は、ユーザが電車に乗る際に、電子機器1の電車乗換案内アプリに行き先を入力することにより表示された検索結果画面を示している。画面には、乗車路線としてA線、乗車予定駅として東京駅、降車予定駅として新宿駅が表示されている。また、現在時刻は12:00であり、12:03に東京駅から乗車し、12:18に新宿駅に到着する予定となっている。
この時、ストレージ22には、ユーザの予定情報として、乗車路線、乗車予定駅、乗車予定時刻、降車予定駅、降車予定時刻などが記憶される。
以下では、降車予定駅の名称として「新宿」、路線名として「A線」、ユーザの予定情報と関連度の高い関連情報として「次の停車駅」というテキスト情報が記憶されているものとして説明を行う。
図5−(b)は、ユーザが電車に乗っている間に、案内放送が流れた場面を示している。案内放送の内容は「A線をご利用頂きありがとうございます。次の停車駅は新宿です。」である。この案内放送は新宿駅での停車の所定時間前に放送される。
図5−(c)は、案内放送が流れた際に電子機器1に表示される画面を示している。コントローラ26は、ユーザの降車予定駅情報に基づいて、次の駅でユーザが電車を降りるべきであるとの報知を「次は新宿駅です。」という文字をディスプレイ132に表示することによって行う。
図5の動作において、コントローラ26は、電車内の案内放送による「新宿」という音声を認識すると、当該案内放送の内容とストレージ22に記憶されたユーザの降車予定駅情報とを照合する。コントローラ26は、照合した結果、案内放送に含まれる新宿という文字列がユーザの降車予定駅情報と一致することを検出する。コントローラ26は、一致することを検出すると、ユーザに次の駅がユーザの降車予定駅であるということを伝える旨の情報を報知する処理を実行する。
以上のように、コントローラ26は、ユーザの音声以外の所定の音声を認識した場合に、当該所定の音声に含まれる情報とユーザの予定情報とが一致すると、当該一致した予定情報を含む情報を報知する。これにより、電子機器1はユーザに対して当該所定の音声に含まれる情報を提供でき、ユーザが案内放送を聞き逃すことによって不便が発生する可能性を軽減することができる。
ここで、コントローラ26は、例えば、所定の音声に含まれる情報と、ユーザの予定情報(「新宿」)および関連情報(「次の停車駅」)とが一致することで、当該一致した予定情報を含む情報(「次は新宿駅です」)を報知する処理を行ってもよい。これにより、電子機器1は、ユーザが案内放送を聞き逃すことによって不便が発生する可能性を軽減しつつ、よりユーザの予定情報に関連する可能性の高い、有益な情報を提供することができる。すなわち、ユーザが聞き逃したものの必要としていない情報は報知しないようにすることが可能になる。
また、コントローラ26は、例えば、所定の音声に含まれる情報とユーザの予定情報とが複数一致(「A線」と「新宿」とが一致)することで、当該一致した予定情報を含む複数の情報のうちの少なくとも1つ(「次は新宿駅です」)を報知する処理を行ってよい。これによっても、電子機器1は、ユーザが案内放送を聞き逃すことによって不便が発生する可能性を軽減しつつ、よりユーザの予定情報に関連する可能性の高い、有益な情報を提供することができる。すなわち、ユーザが聞き逃したものの必要としていない情報は報知しないようにすることが可能になる。
なお、コントローラ26は、一致した予定情報を含む複数の情報のうちの少なくとも1つを報知する際、あらかじめ、予定情報の種類によって報知を実行するか否かの優先度を設定しておいてよい。例えば、図5において、ユーザの第1情報(「A線」)と第2情報(「新宿」)とでは、第2情報(「新宿」)の優先度を高く設定してよい。この時、コントローラ26は、所定の音声に含まれる情報とユーザの第1予定情報(「A線」)および第2予定情報(「新宿」)とが一致すると、当該一致した第2予定情報を含む情報を報知してよい。図5においては、ユーザにとって、行き先(降車予定駅)や日時(乗車および降車日時)に関する情報のほうが、手段(乗車路線)に関する情報よりも有益な情報であると言える。
図5においては、一致した情報を認識した旨の情報として、「次は新宿です。」画面に表示しているが、当該一致した予定情報を含む情報は、例えば、所定の音声に含まれる情報(すなわち、音声認識したテキスト情報)でもよい。また、当該一致した予定情報を含む情報は、例えば、音声に含まれる情報のうち、一致したテキスト情報を含む文節であってもよい。
また、コントローラ26は、一致した予定情報を含む情報の報知として、例えば、図5において、「次は新宿駅です。降りてください。」という表示を出力してもよい。このように、報知される情報には、例えば、一致した予定情報「新宿」と対象のアプリケーション(電車乗換案内アプリ)の機能とに基づいてユーザが取るべき行動の内容などが含まれていてもよい。これにより、ユーザは、報知される情報から所定の音声に含まれる情報よりも多くの情報を得ることができる。なお、報知される情報に含まれる一致した予定情報以外の情報は、これに限定されない。報知される一致した予定情報を含む情報は、一致する予定情報の種類に応じてあらかじめストレージ22に記憶されていてもよいが、例えば、所定の音声を認識した時刻、ユーザの位置情報などに基づいて決定されてもよい。
また、コントローラ26は、降車予定駅の到着予定時刻と案内放送を認識した時刻に基づいて、案内放送の音声がユーザの予定情報に関連するかを判定し、関連する場合にのみ報知を行ってもよい。新宿駅の到着予定時刻は12:18であり、案内放送が流れた時刻は、図5には示されていないが、例えば12:16である。この時、案内放送の音声はユーザの予定情報に関連すると判定がなされた上で、報知が実行されてよい。これにより、電子機器1は、ユーザの予定情報と関連度の低い所定の音声が認識された際に、報知が実行されるのを防ぎ、不要な情報を得ることによってユーザがストレスを感じる可能性を軽減できる。なお、コントローラ26は、所定の音声を認識した時刻に限らず、所定の音声に含まれる時間に関する情報に基づいて、所定の音声がユーザの予定情報に関連するかを判定してもよい。
また、コントローラ26は、ユーザの現在地を示す位置情報と所定の音声に含まれる場所情報とに基づいて、所定の音声がユーザの予定情報に関連するかを判定してもよい。例えば、ユーザの位置情報が新宿駅から1キロ以内である時に、所定の音声に含まれる「新宿」という情報を認識すると、案内放送の音声はユーザの予定情報に関連すると判定がなされ、報知が実行されてよい。これによっても、電子機器1は、ユーザの予定情報と関連度の低い所定の音声が認識された際に、情報が報知されるのを防ぎ、ユーザが不要な情報を得ることによってストレスが発生する可能性を軽減できる。
続いて、図6、7を参照しながら、コントローラ26が所定の音声を認識した際に、ユーザに報知される情報について説明する。
図6および図7は、コントローラ26が認識した所定の音声と、当該所定の音声に含まれる一致した情報(ユーザの予定情報、ユーザの予定情報と関連度の高い関連情報)と、報知される情報の種別とを、それぞれ対応付けて例示したテーブルである。
図6において、ストレージ22には、ユーザの予定情報として、乗車路線「A線」降車予定駅「新宿」という情報が、それぞれ関連付けられて記憶されている。また、ストレージ22には「四ツ谷」「次の停車駅」「分」「遅れ」という情報が関連情報として記憶されている。なお、四ツ谷駅は、新宿駅の隣の駅の名称である。
コントローラ26は、所定の音声として電車の案内放送を認識すると、当該案内放送に含まれる情報と予定情報とが一致するかを判定する。また、コントローラ26は、当該案内放送に含まれる情報と関連情報とが一致するかを判定する。コントローラは、判定した結果に応じて、情報を報知する。
なお、図6に示すように、コントローラ26は、所定の音声(電車の案内放送)に含まれる情報(「ただいま、A線は10分ほど遅れています。」)と、予定情報(A線)および関連情報(「遅れています」)とが一致した場合に、一致した予定情報を含む情報の1つとして、一致した関連情報を含む情報を報知してもよい。すなわち予定情報(「A線」)と関連情報(「遅れています」)とをどちらも含む情報とを報知してもよい。
電子機器1は、図6のテーブル内に示す図5で説明した動作とは異なる処理を実行することによっても、ユーザが案内放送を聞き逃すことによって不便が発生する可能性を軽減しつつ、よりユーザの予定情報に関連度の高い、有益な情報をユーザに提供することができる。すなわち、ユーザが聞き逃したものの必要としていない情報は報知しないようにすることが可能になる。また、電子機器は、所定の音声に含まれる情報よりも多くの情報をユーザに提供することができる。
図7には、空港の案内放送の内容とそれに対応する処理を示す。図7において、ストレージ22には、ユーザの予定情報として、航空会社「ABC航空」、目的地「東京行」、便名「123便」といった情報が、それぞれ関連付けられて記憶されている。また、ストレージ22には「搭乗」「開始」といった情報がユーザの予定情報と関連度の高い関連情報として記憶されている。
図7において、コントローラ26は英語の音声を認識し、当該英語の音声に含まれる情報と、日本語のユーザ情報との意味が一致すると、日本語でユーザに対する報知を実行する。これにより、ユーザは、自身が内容を理解できない案内放送から自らの予定に関する情報を得ることができ、電子機器1は、ユーザが案内放送を聞き取れないことによって不便が発生する可能性を軽減することができる。
また、コントローラ26は、予定情報の少なくとも1つと音声を認識した時刻とを利用して、報知を実行してもよい。例えば、ストレージ22に、ユーザの予定情報として、降車予定駅と到着時刻とが情報がそれぞれ関連付けられて記憶されているとする。この時、コントローラ26は、例えば、ユーザが新幹線に乗車している際に、案内放送に含まれる情報とユーザの予定情報(降車予定駅)とが一致すると、ユーザの降車予定駅まであと何分かかるかという情報を、到着予定時刻から音声を認識した時刻を差し引くことにより報知することができる。このとき、報知する情報は例えば「次は○○です。到着まであと30分です。」というような情報である。これによっても、ユーザは、報知される情報から、所定の音声に含まれる情報よりも多くの情報を得ることができる。
なお、コントローラ26は、予定情報の少なくとも1つとユーザの現在地を示す位置情報とを利用して、報知を実行してもよい。例えば、ストレージ22には、予定情報として、航空会社、便名、搭乗ゲートといった情報が、それぞれ関連付けられて記憶されている。また、ストレージ22には「搭乗」「開始」といった情報が関連情報として記憶されている。この時、コントローラ26は、例えば、案内放送に含まれる情報と、ユーザの予定情報(航空会社、便名)および関連情報(「搭乗」、「開始」)とが一致すると、搭乗ゲートの位置情報とユーザの位置情報とを利用して、ユーザに搭乗ゲートまでの案内を報知できる。このとき、報知する情報は例えば「〇〇航空の〇〇便が搭乗を開始しました。搭乗ゲートは、現在地からまっすぐ進み、突き当りを右に向かったところにあります。」というような情報である。これによっても、ユーザは、報知される情報から、所定の音声に含まれる情報よりも多くの情報を得ることができる。
また、コントローラ26は、所定のアプリケーションによって報知を実行してもよい。すなわち、例えば上記のナビゲーションの例において、テキスト情報による報知に続いてナビゲーションアプリによる案内報知が実行されてよい。これにより、電子機器1は、単なる文字列の情報よりもインタラクィブな情報を提供し、ユーザにとっての利便性を向上させることができる。
所定のアプリケーションとは、例えば、乗換案内アプリでもよい。一実施形態によれば、例えば、図6で示したように電車の遅延を伝える案内放送(「ただいま、A線は10分ほど遅れています。」)が流れた場合、一致した予定情報と一致した関連情報とを含む情報として、「A線は電車が10分遅れています」という情報に加えて、乗換案内アプリ上での迂回路情報を報知できる。当該迂回路は、例えば、乗換予定駅および降車予定駅といった情報が予定情報として記憶されている場合に、当該予定情報とユーザの位置情報とを利用して検索される。
なお、当該迂回路の報知は、ユーザの乗換予定駅および乗換時間が予定情報として記憶されている場合において、コントローラ26が、乗換予定時刻に10分を加算することにより、遅延により電車がユーザの乗換時刻に乗換予定駅に到着しない(もしくは乗換時刻と到着時刻との時間差が所定の時間以下である)と判定することによって行われてよい。言い換えると、コントローラ26は、ユーザの予定情報と所定の音声に含まれる時間情報とを利用して、報知を実行してよい。
なお、上述のような、コントローラ26が、情報の一致を判定する処理は、文字列の完全な一致に限らない。すなわち、情報の一致を判定する処理は、情報の類似を判定する処理であってもよい。例えば、ユーザの予定情報が「新宿駅に到着する」という文章情報で記憶されていた場合、所定の音声から認識した文字列が「新宿駅に着きます」である場合には、コントローラ26は、当該所定の音声の情報とユーザの予定情報とが一致したと判定してよい。コントローラ26は、それぞれの文字情報(文章)を比較し、共通する文字の数やある文字に隣り合う共通する文字の数などを計算する等、種々の手法によって類似するか否かを判定してよい。
続いて、図8、図9を参照しながら、電子機器1によって実行される制御について説明する。
図8は、電子機器1の制御の第1の例を示すフローチャートである。図8における電子機器1の制御は、図5における電子機器1の動作に対応する。
コントローラ26は、音声の入力があったかを判定する(ステップS101)。コントローラ26は、音声の入力がない場合(ステップS101/No)、処理を終了する。コントローラ26は、音声の入力があった場合(ステップS101/Yes)、当該音声を認識する(ステップS102)。
コントローラ26は、認識した音声がユーザ以外の所定の音声かを判定する(ステップS103)。コントローラ26は、認識した音声がユーザ以外の所定の音声でないと判定した場合(ステップS103/No)、処理を終了する。コントローラ26は、認識した音声がユーザ以外の所定の音声であると判定した場合(ステップS103/Yes)、ステップS104に進む。当該所定の音声は、図5において、電車内で流れる「A線をご利用頂きありがとうございます。次の停車駅は新宿です。」という案内放送である。
コントローラ26は、ユーザの予定情報が自機に記憶されているかを判定する(ステップS104)。コントローラ26は、ユーザの予定情報が自機に記憶されてない場合(ステップS104/No)、処理を終了する。コントローラ26は、ユーザの予定情報が自機に記憶されている場合(ステップS104/Yes)、ステップS105に進む。
コントローラ26は、認識した所定の音声とユーザの予定情報とが一致するかを判定する(ステップS105)。コントローラ26は、認識した所定の音声とユーザの予定情報とが一致しないと判定した場合(ステップS105/No)、処理を終了する。コントローラ26は、認識した所定の音声とユーザの予定情報とが一致すると判定した場合(ステップS105/Yes)、一致した情報を含む情報を報知する(ステップS106)。
なお、図8の制御において、音声入力の受付の開始タイミングと停止タイミングは設けられておらず、音声の入力の受付は常に行われている。これにより、ユーザが電子機器1に音声認識を実行させるための契機となる操作が不要となり、電子機器1の操作性が向上する。
コントローラ26は、入力される音声の内の所定の環境音を認識することにより、当該環境音に基づいてユーザが所定の乗り物に乗っているかを判定し、ユーザが所定の乗り物に乗っていると判定した場合のみ、入力された所定の音声を認識してもよい。ここで、所定の乗り物とは、例えば電車であり、所定の環境音とは、電車の走行音である。また、所定の音声とは、電車内で流れる案内放送である。これにより、ユーザが電子機器1に音声認識を実行させるための契機となる操作が不要となるだけでなく、電子機器1は、入力された音声を誤認識する可能性を軽減することができる。
また、音声入力部111が外部のマイクを接続可能な入力インターフェイスであり、当該入力インターフェイスに外部のマイクが接続される場合、ステップS101における音声の入力は当該外部のマイクによって行われてもよい。これにより、電子機器1は、ユーザが電子機器1をポケットに入れている場合などに起こり得る、衣服等による音声の遮断を減らし、音声を認識できない可能性を軽減することができる。
また、音声出力部121が外部のスピーカを接続可能な入力インターフェイスであり、当該入力インターフェイスに外部のスピーカが接続される場合、ステップS106における情報の報知は、当該外部のスピーカのみ、または当該外部のスピーカおよびディスプレイ132によって出力してもよい。これにより、ユーザは、ディスプレイ132を確認する手間なく情報を得ることができる。なお、外部の音声入力部とは例えば電子機器1に接続されるイヤホンであり、その場合、ユーザは手間なく、かつ周囲に音を漏らすことなく音声で情報を得ることができる。
なお、ステップS105における、認識した所定の音声に含まれる情報とユーザの予定情報とが一致するかを判定する処理は、図6および図7のテーブルで示した例のいずれかに基づく処理でもよい。
図9は、電子機器1の制御の第2の例を示すフローチャートである。
コントローラ26は、自機が所定の乗り物内にあるかを判定する(ステップS201)。コントローラ26は、自機が所定の乗り物内にないと判定した場合(ステップS201/No)、処理を終了する。コントローラ26は、自機が所定の乗り物内にあると判定した場合(ステップS201/Yes)、音声の入力を受け付ける(ステップS202)。なお、所定の乗り物とは、例えば電車、自動車、飛行機などであるが、これらに限定されない。
コントローラ26は、音声の入力があったかを判定する(ステップS203)。コントローラ26は、音声の入力がない場合(ステップS203/No)、処理を終了する。コントローラ26は、音声の入力があった場合(ステップS203/Yes)、当該音声を認識する(ステップS204)。
コントローラ26は、認識した音声がユーザ以外の所定の音声かを判定する(ステップS205)。コントローラ26は、認識した音声がユーザ以外の所定の音声でないと判定した場合(ステップS205/No)、処理を終了する。コントローラ26は、認識した音声がユーザ以外の所定の音声であると判定した場合(ステップS205/Yes)、ステップS206に進む。
コントローラ26は、ユーザの予定情報が自機に記憶されているかを判定する(ステップS206)。コントローラ26は、ユーザの予定情報が自機に記憶されてない場合(ステップS206/No)、処理を終了する。コントローラ26は、ユーザの予定情報が自機に記憶されている場合(ステップS206/Yes)、ステップS207に進む。
コントローラ26は、認識した所定の音声とユーザの予定情報とが一致するかを判定する(ステップS207)。コントローラ26は、認識した所定の音声とユーザの予定情報とが一致しないと判定した場合(ステップS207/No)、処理を終了する。コントローラ26は、認識した所定の音声とユーザの予定情報とが一致すると判定した場合(ステップS207/Yes)、一致した情報を含む情報を報知する(ステップS208)。
コントローラ26は、情報を報知した後、所定時間内にユーザによって所定の操作がなされたかを判定する(ステップS209)。コントローラ26は、所定の時間内にユーザによって所定の操作がなされていないと判定すると(ステップS209/No)、音による報知を実行し(ステップS210)、ステップS209に戻る。この時、再度音による報知を実行するタイミングは、任意の時間でよい。コントローラ26は、ユーザによって所定の操作がなされない場合、任意の時間間隔でステップS209を繰り返す。コントローラ26は、所定の時間内にユーザによって所定の操作がなされたと判定すると(ステップS209/Yes)、処理を終了する。ここで、所定の時間とは、例えば数分であるが、これに限定されない。所定の時間は、予定が実行されることになっている時刻と、所定の音声が流れた時刻との時間差に基づいて決定してよい。また、所定の操作とは、例えば、ディスプレイ132上で、報知された情報の存在を示すオブジェクトをタッチすることにより情報の内容を確認することや、報知された情報が表示された画面に設けられる所定のオブジェクトをタッチすることなどであるが、これらに限定されない。なお、報知された情報が存在することを示すオブジェクトは通知領域やロック画面に表示される。通知領域とは、例えば、ディスプレイ132の画面の上部に設けられ、メールの受信、不在着信などのイベントに対応する情報を文字やアイコン等のオブジェクトを用いて表示するものである。通知領域に表示される情報は、ディスプレイ132をスリープ状態から復帰させて最初に表示されるロック画面などにも表示することができる。
図9における制御では、コントローラ26は、ユーザが所定の乗り物に乗っていると判定した場合に、音声の入力を受け付ける。これにより、電子機器1は、所定の音声が流れる可能性が高い場面では音声の入力を受け付けつつ、音声を誤認識する可能性を軽減できる。
また、図9における制御では、コントローラ26は、情報を報知した後、所定時間内にユーザによって所定の操作がなされない場合に、音または振動による報知を行う。これにより、電子機器1は、報知された情報がユーザに伝わっていない可能性が高い場合に、再度ユーザに報知された情報の存在を伝え、ユーザが報知された情報を知ることができない可能性を軽減できる。
なお、ステップS201におけるユーザが所定の乗り物に乗っているかを判定する処理は、ユーザが所定の場所を中心とした所定の範囲の中にいるかを判定する処理としてもよい。所定の場所とは例えば電車の降車予定駅の改札であり、所定の範囲内とは半径1キロ圏内であるが、これに限定されない。これによっても、電子機器1は、所定の音声が流れる可能性が高い場面では音声の入力を受け付けつつ、音声を誤認識する可能性を軽減できる。
また、ステップS201におけるユーザが所定の乗り物に乗っているかを判定する処理は、所定のアプリケーションが起動しているかを判定する処理としてもよい。所定のアプリケーションは、例えば、電子機器1に用意された、音声入力および所定の音声の音声認識の可否を設定するためのアプリである。所定のアプリケーションが音声入力および所定の音声の音声認識の可否を設定するためのアプリである時、ユーザは、情報を報知させるか否かを自らの意志で決めることができ、不要な報知を減らすことができる。また、所定のアプリケーションは、例えば、ユーザが所定の音声を聞き取ることを阻害する可能性のある音楽再生アプリである。所定のアプリケーションが音楽再生アプリである時、電子機器1は、ユーザが所定の音声を聞き取れない可能性が高い際には当該所定の音声を認識しつつ、音声を誤認識する可能性を軽減できる。
また、ステップS209における所定時間内にユーザによって所定の操作がなされたかを判定する処理は、所定時間内にユーザが移動したかを判定する処理としてもよい。コントローラ26は、所定時間内にユーザが移動しなかった、すなわち、所定時間の間ユーザが移動していないと判定した場合に、音による報知を実行する(ステップS210)。これによっても、電子機器1は、報知された情報がユーザに伝わっていない可能性が高い場合に、再度ユーザに報知された情報の存在を伝え、ユーザが報知された情報を知ることができない可能性を軽減できる。
また、ステップS209における所定時間内にユーザによって所定の操作がなされたかを判定する処理は、ユーザが所定の場所を中心とした所定の範囲の中から当該所定の範囲の外に出たかを判定する処理としてもよい。コントローラ26は、ユーザが当該所定の範囲の外に出たと判定した場合に、音による報知を実行する(ステップS210)。所定の場所とは例えば電車の降車予定駅の改札であり、所定の範囲の外とは半径1キロ圏内の外であるが、これに限定されない。これによっても、電子機器1は、報知された情報がユーザに伝わっていない可能性が高い場合に、再度ユーザに報知された情報の存在を伝え、ユーザが報知された情報を知ることができない可能性を軽減できる。
また、ステップS209における所定時間内にユーザによって所定の操作がなされたかを判定する処理は、音声が入力されかつ当該音声が所定の音声かを判定する処理としてもよい。コントローラ26は、音声が入力されかつ当該音声が所定の音声であると判定した場合に、音による報知を実行する(ステップS210)。具体的には、コントローラ26は、例えば、電車でユーザに降りるべき駅を報知した後に、降りるべき駅の後に到着する駅に関する案内放送の音声を認識した場合、音による報知を実行する。これによっても、電子機器1は、報知された情報がユーザに伝わっていない可能性が高い場合に、再度ユーザに報知された情報の存在を伝え、ユーザが報知された情報を知ることができない可能性を軽減できる。
また、ステップS210における音による報知は、振動による報知としてもよい。
なお、ステップS207における、認識した所定の音声に含まれる情報とユーザの予定情報とが一致するかを判定する処理は、図6および図7のテーブルで示した例のいずれかに基づく処理でもよい。
以上、添付の請求項に係る技術を完全かつ明瞭に開示するために特徴的な実施形態に関し記載してきた。しかし、添付の請求項は上記実施形態に限定されるべきものではなく、本明細書に示した基礎的事項の範囲内で、当該技術分野の当業者が創作しうる全ての変形例および代替可能な構成を具現化するように構成されるべきである。
1 電子機器
11 マイク
12 スピーカ
13 タッチパネル
111 音声入力部
121 音声出力部
131 タッチセンサ
132 ディスプレイ
21 通信部
22 ストレージ
23 検出部
24 位置情報取得部
25 振動部
26 コントローラ

Claims (23)

  1. 音声入力部と、
    前記音声入力部に入力された音声を認識可能なコントローラと、
    を備え、
    前記コントローラは、
    ユーザの音声以外の所定の音声を認識した場合に、当該所定の音声に含まれる情報とユーザの予定情報とが一致すると、当該一致した予定情報を含む情報を報知する、
    ことを特徴とする電子機器。
  2. 前記コントローラは、
    あらかじめ設定された前記予定情報と関連度の高い関連情報をあらかじめ設定し、
    前記所定の音声に含まれる情報と、前記予定情報および前記関連情報とが一致すると、前記一致した予定情報を含む情報を報知する、
    ことを特徴とする請求項1に記載の電子機器。
  3. 前記コントローラは、
    アプリケーションに応じた前記関連情報をあらかじめ設定し、
    前記所定の音声に含まれる情報と、前記予定情報および前記関連情報とが一致すると、前記一致した予定情報を含む情報を報知する、
    ことを特徴とする請求項2に記載の電子機器。
  4. 前記コントローラは、
    前記所定の音声に含まれる情報と前記予定情報とが複数一致すると、一致した予定情報を含む当該複数の情報のうちの少なくとも1つを報知する、
    ことを特徴とする請求項1から3のいずれか一項に記載の電子機器。
  5. 前記コントローラは、
    前記所定の音声に含まれる情報と、前記予定情報および前記関連情報とが一致すると、当該一致した関連情報を含む情報を報知する、
    ことを特徴とする請求項2または3に記載の電子機器。
  6. 位置情報を取得する位置情報取得部を備え、
    前記コントローラは、
    前記予定情報、および、前記所定の音声に含まれる時間情報と前記所定の音声を認識した時刻とユーザの現在地を示す位置情報とのうちの少なくとも1つを利用して前記報知を実行する、
    ことを特徴とする請求項1から5のいずれか一項に記載の電子機器。
  7. 前記コントローラは、
    所定のアプリケーションによって前記報知を実行する、
    ことを特徴とする請求項6に記載の電子機器。
  8. 前記コントローラは、
    前記予定情報に含まれる時間情報、および、前記所定の音声に含まれる時間情報または前記所定の音声を認識した時刻に基づいて、前記所定の音声が前記予定情報に関連するかを判定し、
    前記所定の音声が前記予定情報に関連すると判定した場合に前記報知を実行する、
    ことを特徴とする請求項1から5のいずれか一項に記載の電子機器。
  9. 位置情報を取得する位置情報取得部を備え、
    前記コントローラは、
    ユーザの現在地を示す位置情報と前記所定の音声に含まれる場所情報とに基づいて、前記所定の音声が前記予定情報に関連するかを判定し、
    前記所定の音声が前記予定情報に関連すると判定した場合に前記報知を実行する、
    ことを特徴とする請求項1から5のいずれか一項に記載の電子機器。
  10. 前記コントローラは、
    所定の言語の音声を認識し、当該所定の言語とは異なるあらかじめ設定された自機の使用言語によって前記報知を実行する、
    ことを特徴とする請求項1から9のいずれか一項に記載の電子機器。
  11. 前記コントローラは、
    常に前記音声の入力を受け付ける、
    ことを特徴とする請求項1から10のいずれか一項に記載の電子機器。
  12. 前記コントローラは、
    音声入力部に入力される環境音を認識することにより、当該環境音に基づいてユーザが所定の乗り物に乗っているかを判定し、
    ユーザが前記所定の乗り物に乗っていると判定した場合に、入力された前記所定の音声を認識する、
    ことを特徴とする請求項11に記載の電子機器。
  13. 自機の移動を検出する検出部を備え、
    前記コントローラは、
    前記検出部の検出結果に基づいてユーザが所定の乗り物に乗っていると判定した場合に、前記音声の入力を受け付ける、
    ことを特徴とする請求項1から10のいずれか一項に記載の電子機器。
  14. ユーザの現在地を示す位置情報を取得する位置情報取得部を備え、
    前記コントローラは、
    ユーザが所定の場所を中心とした所定の範囲の中にいる場合に、前記音声の入力を受け付ける、
    ことを特徴とする請求項1から10のいずれか一項に記載の電子機器。
  15. 前記コントローラは、
    所定のアプリケーションが起動している場合に、前記音声の入力を受け付ける、
    ことを特徴とする請求項1から10のいずれか一項に記載の電子機器。
  16. 表示部と、
    音声出力部と、
    を備え、
    前記コントローラは、
    前記音声出力部が外部のスピーカを接続可能な入力インターフェイスであり、当該入力インターフェイスに外部のスピーカが接続される場合は、当該外部のスピーカのみ、または当該外部のスピーカおよび前記表示部によって前記報知を実行し、
    前記音声出力部が自機に備えられた音声出力部の場合は、前記表示部のみによって前記報知を実行する、
    ことを特徴とする請求項1から10のいずれか一項に記載の電子機器。
  17. 前記コントローラは、
    前記音声入力部が外部のマイクを接続可能な入力インターフェイスであり、当該入力インターフェイスに外部のマイクが接続される場合は、前記音声を当該外部のマイクによって受け付ける、
    ことを特徴とする請求項11から15のいずれか一項に記載の電子機器。
  18. 音声出力部と、
    振動部と、
    を備え、
    前記コントローラは、
    報知を実行した後、所定時間内にユーザによって所定の操作がなされない場合に、音または振動による報知を行う、
    ことを特徴とする請求項1から10のいずれか一項に記載の電子機器。
  19. 音声出力部と、
    振動部と、
    自機の移動を検出する検出部と、
    を備え、
    前記コントローラは、
    報知を実行した後、前記検出部の検出結果に基づいて、所定時間の間ユーザが移動をしていないと判定した場合に、音または振動による前記報知を行う、
    ことを特徴とする請求項1から10のいずれか一項に記載の電子機器。
  20. 音声出力部と、
    振動部と、
    ユーザの現在地を示す位置情報を取得する位置情報取得部と、
    を備え、
    前記コントローラは、
    報知を実行した後、ユーザが所定の場所を中心とした所定の範囲の中から当該所定の範囲の外に出た場合に、音または振動による前記報知を行う、
    ことを特徴とする請求項1から10のいずれか一項に記載の電子機器。
  21. 音声出力部と、
    振動部と、
    を備え、
    前記コントローラは、
    ユーザの音声以外の所定の音声を認識した上で報知を実行した後、ユーザの音声以外の所定の音声を再び認識した場合に、音または振動による前記報知を行う、
    ことを特徴とする請求項1から10のいずれか一項に記載の電子機器。
  22. 音声入力部と、前記音声入力部に入力された音声を認識可能なコントローラとを備える電子機器の制御方法であって、
    ユーザの予定情報をあらかじめ設定するステップと、
    ユーザの音声以外の所定の音声を認識するステップと、
    当該所定の音声に含まれる情報と前記予定情報とが一致すると、当該一致した予定情報を含む情報を報知するステップと、
    を含む制御方法。
  23. 音声入力部と、前記音声入力部に入力された音声を認識可能なコントローラとを備える電子機器に、
    ユーザの予定情報をあらかじめ設定するステップと、
    ユーザの音声以外の所定の音声を認識するステップと、
    当該所定の音声に含まれる情報と前記予定情報とが一致すると、当該一致した予定情報を含む情報を報知するステップと、
    を実行させる制御プログラム。
JP2017021188A 2017-02-08 2017-02-08 電子機器、制御方法、およびプログラム Pending JP2018129664A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017021188A JP2018129664A (ja) 2017-02-08 2017-02-08 電子機器、制御方法、およびプログラム
US15/890,625 US10496365B2 (en) 2017-02-08 2018-02-07 Electronic device, control method, and non-transitory storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017021188A JP2018129664A (ja) 2017-02-08 2017-02-08 電子機器、制御方法、およびプログラム

Publications (1)

Publication Number Publication Date
JP2018129664A true JP2018129664A (ja) 2018-08-16

Family

ID=63037219

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017021188A Pending JP2018129664A (ja) 2017-02-08 2017-02-08 電子機器、制御方法、およびプログラム

Country Status (2)

Country Link
US (1) US10496365B2 (ja)
JP (1) JP2018129664A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021532486A (ja) * 2018-08-09 2021-11-25 グーグル エルエルシーGoogle LLC ホットワード認識および受動的支援
US11804241B2 (en) 2020-12-21 2023-10-31 Samsung Electronics Co., Ltd. Electronic apparatus and controlling method thereof

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11301648B2 (en) * 2018-02-01 2022-04-12 International Business Machines Corporation Smart train

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09322212A (ja) * 1996-05-28 1997-12-12 Matsushita Electric Ind Co Ltd 無線選択呼出受信機
JP2004235702A (ja) * 2003-01-28 2004-08-19 Sony Ericsson Mobilecommunications Japan Inc 携帯端末装置およびコンピュータプログラム
JP2005333599A (ja) * 2004-05-21 2005-12-02 Nec Saitama Ltd 携帯端末の事故防止付加機能動作システム及び方法
JP2010083378A (ja) * 2008-09-30 2010-04-15 Toshiba Corp 携帯型経路案内装置
JP2011030074A (ja) * 2009-07-28 2011-02-10 Kyocera Corp 携帯通信端末、乗車中警報プログラムおよび乗車中警報方法
US20140064511A1 (en) * 2012-08-31 2014-03-06 Qualcomm Incorporated Smart tool for headphones
JP2015115822A (ja) * 2013-12-12 2015-06-22 ソフトバンクモバイル株式会社 端末及び制御プログラム
JP2016152572A (ja) * 2015-02-19 2016-08-22 株式会社ナカヨ 特定音アラーム機能を有する携帯端末

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5200891A (en) * 1990-01-17 1993-04-06 Bruce A. Kehr Electronic medication dispensing method
US5623260A (en) * 1993-05-18 1997-04-22 Global Research Systems, Inc. Advance notification system and method utilizing passenger-definable notification time period
CN1627851A (zh) * 2003-12-09 2005-06-15 三星电子株式会社 在无线电话中利用动漫形象来告警日程的方法
WO2010004629A1 (ja) * 2008-07-10 2010-01-14 パイオニア株式会社 コンテンツ再生装置
JP6075942B2 (ja) * 2011-09-30 2017-02-08 日本信号株式会社 列車案内放送システム
KR102083209B1 (ko) * 2012-11-22 2020-03-02 삼성전자 주식회사 데이터 제공 방법 및 휴대 단말
JPWO2016136062A1 (ja) * 2015-02-27 2017-12-07 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
CN113407743A (zh) * 2016-04-08 2021-09-17 北京三星通信技术研究有限公司 物体信息翻译、以及衍生信息获取方法和装置
US10891946B2 (en) * 2016-07-28 2021-01-12 Red Hat, Inc. Voice-controlled assistant volume control
US20180060989A1 (en) * 2016-08-30 2018-03-01 MaaS Global Oy System, method and device for digitally assisted personal mobility management

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09322212A (ja) * 1996-05-28 1997-12-12 Matsushita Electric Ind Co Ltd 無線選択呼出受信機
JP2004235702A (ja) * 2003-01-28 2004-08-19 Sony Ericsson Mobilecommunications Japan Inc 携帯端末装置およびコンピュータプログラム
JP2005333599A (ja) * 2004-05-21 2005-12-02 Nec Saitama Ltd 携帯端末の事故防止付加機能動作システム及び方法
JP2010083378A (ja) * 2008-09-30 2010-04-15 Toshiba Corp 携帯型経路案内装置
JP2011030074A (ja) * 2009-07-28 2011-02-10 Kyocera Corp 携帯通信端末、乗車中警報プログラムおよび乗車中警報方法
US20140064511A1 (en) * 2012-08-31 2014-03-06 Qualcomm Incorporated Smart tool for headphones
JP2015115822A (ja) * 2013-12-12 2015-06-22 ソフトバンクモバイル株式会社 端末及び制御プログラム
JP2016152572A (ja) * 2015-02-19 2016-08-22 株式会社ナカヨ 特定音アラーム機能を有する携帯端末

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021532486A (ja) * 2018-08-09 2021-11-25 グーグル エルエルシーGoogle LLC ホットワード認識および受動的支援
JP7250900B2 (ja) 2018-08-09 2023-04-03 グーグル エルエルシー ホットワード認識および受動的支援
US11804241B2 (en) 2020-12-21 2023-10-31 Samsung Electronics Co., Ltd. Electronic apparatus and controlling method thereof

Also Published As

Publication number Publication date
US10496365B2 (en) 2019-12-03
US20180225088A1 (en) 2018-08-09

Similar Documents

Publication Publication Date Title
KR102000267B1 (ko) 컨텍스트에 기초한 입력 명확화
KR101578737B1 (ko) 이동 단말기의 음성 처리 장치 및 그 방법
KR101070362B1 (ko) 휴대 단말기의 위치 알람 제어 방법 및 장치
KR101569021B1 (ko) 정보 제공 장치 및 그 방법
KR101811399B1 (ko) 이동 단말기, 이동 단말기의 제어 방법 및 시스템
US10496365B2 (en) Electronic device, control method, and non-transitory storage medium
JP2015148582A (ja) 案内装置
US20150126224A1 (en) Facility search system, facility search program product, and in-vehicle device
KR20130100549A (ko) 전자기기에서 내비게이션 서비스를 제공하기 위한 장치 및 방법
JP6076027B2 (ja) ナビゲーションシステム
US8538760B2 (en) Methods and apparatuses for identifying audible samples for use in a speech recognition capability of a mobile device
JP7216138B2 (ja) 電子機器、制御方法、およびプログラム
JP2018141742A (ja) ナビゲーション装置、ナビゲーション方法、及びナビゲーション用プログラム
US9900674B2 (en) Electronic device, control method, and control program
JP2017075968A (ja) 表示装置
JP2013218666A (ja) 携帯端末
US20150192425A1 (en) Facility search apparatus and facility search method
KR101659029B1 (ko) 전자기기 및 그것의 제어방법
KR100773711B1 (ko) 스크린 기능들이 터치 스크린의 공통 디스플레이 영역을 공유하도록 허용하기
KR102262878B1 (ko) 통화음성 또는 문자 분석을 통한 내비게이션 목적지 설정 및 변경 방법
KR101622729B1 (ko) 정보 제공 장치 및 그 방법
JP6115202B2 (ja) 音声認識システム、方法およびプログラム
JP2014157040A (ja) タクシー乗務員支援アプリケーション、端末装置、データ集計サーバ、アプリケーションサーバ、及びこれらを含むタクシー乗務員支援システム
KR101736860B1 (ko) 콜 신호 제어 장치 및 그 방법
KR101677625B1 (ko) 내비게이션 장치 및 그 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190311

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200316

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200407

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20200602

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20201104