JP2019193121A - 電子機器及び処理システム - Google Patents

電子機器及び処理システム Download PDF

Info

Publication number
JP2019193121A
JP2019193121A JP2018084492A JP2018084492A JP2019193121A JP 2019193121 A JP2019193121 A JP 2019193121A JP 2018084492 A JP2018084492 A JP 2018084492A JP 2018084492 A JP2018084492 A JP 2018084492A JP 2019193121 A JP2019193121 A JP 2019193121A
Authority
JP
Japan
Prior art keywords
electronic device
voice
communication
unit
counterpart
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018084492A
Other languages
English (en)
Other versions
JP7037426B2 (ja
Inventor
彰人 畑中
Akihito HATANAKA
彰人 畑中
朋樹 岩泉
Tomoki Iwaizumi
朋樹 岩泉
庸二 濱田
Yoji Hamada
庸二 濱田
永愛 本間
Hisae Homma
永愛 本間
功典 長瀬
Isanori Nagase
功典 長瀬
須藤 智浩
Tomohiro Sudo
智浩 須藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Priority to JP2018084492A priority Critical patent/JP7037426B2/ja
Priority to PCT/JP2019/002201 priority patent/WO2019207867A1/ja
Publication of JP2019193121A publication Critical patent/JP2019193121A/ja
Priority to US17/072,415 priority patent/US12008989B2/en
Application granted granted Critical
Publication of JP7037426B2 publication Critical patent/JP7037426B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M3/00Automatic or semi-automatic exchanges
    • H04M3/42Systems providing special services or facilities to subscribers
    • H04M3/50Centralised arrangements for answering calls; Centralised arrangements for recording messages for absent or busy subscribers ; Centralised arrangements for recording messages
    • H04M3/53Centralised arrangements for recording incoming messages, i.e. mailbox systems
    • H04M3/533Voice mail systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M11/00Telephonic communication systems specially adapted for combination with other electrical systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2201/00Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/60Medium conversion

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Telephone Function (AREA)
  • Telephonic Communication Services (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】電子機器の利便性を向上することが可能な技術を提供する。【解決手段】電子機器は、通信部及び制御部を備える。通信部は、相手装置に関する情報を取得する。制御部は、第1音声入力部が出力する音声信号が入力される。電子機器と相手装置との間では、第1マイクに入力される第1音声が第1メッセージに変換され、当該第1メッセージが相手装置で表示される音声・メッセージ変換通信が可能である。制御部は、通信部が取得する情報に基づいて音声・メッセージ変換通信の実行を決定する。【選択図】図4

Description

本開示は、電子機器に関する。
特許文献1に記載されているように、電子機器に関して様々な技術が提案されている。
特開2008−252196号公報
電子機器については、その利便性の向上が望まれる。
そこで、本発明は上述の点に鑑みて成されたものであり、電子機器の利便性を向上することが可能な技術を提供することを目的とする。
電子機器及び処理システムが開示される。一の実施の形態では、電子機器は、通信部及び制御部を備える。通信部は、相手装置に関する情報を取得する。制御部は、第1音声入力部が出力する音声信号が入力される。電子機器と相手装置との間では、第1音声入力部に入力される第1音声が第1メッセージに変換され、当該第1メッセージが相手装置で表示される音声・メッセージ変換通信が可能である。制御部は、通信部が取得する情報に基づいて音声・メッセージ変換通信の実行を決定する。
また、一の実施の形態では、電子機器は、通信部及び制御部を備える。通信部は、相手装置に関する情報を取得する。制御部は、第1音声入力部が出力する音声信号が入力される。相手装置は、第2音声入力部が出力する音声信号を用いた処理を行い、音声を音出力部から出力させる。制御部は、相手装置が、通信部が送信する、第1音声入力部に入力される第1音声を音出力部に出力させる場合に、相手装置が、第2音入力部に入力される第2音声を電子機器に送信せずに、メッセージ通信のためのアプリケーションを実行するように相手装置を制御する制御処理を実行することが可能である。制御部は、通信部が取得する情報に基づいて制御処理の実行を決定する。
また、一の実施の形態では、電子機器は、通信部、ユーザに通知を行う通知部及び制御部を備える。通信部は、相手装置に関する情報を取得する。制御部は、第1音声入力部が出力する音声信号が入力される。相手装置は、第2音声入力部が出力する音声信号を用いた処理を行い、音声を音出力部から出力させる。制御部は、相手装置が、通信部が送信する、第1音声入力部に入力される第1音声を音出力部に出力させる場合に、相手装置が、第2音入力部に入力される第2音声を電子機器に送信せずに、メッセージ通信のためのアプリケーションを実行するように相手装置を制御する制御処理を実行することが可能である。制御部は、制御処理を電子機器が行うか否かをユーザが選択することを通知部に通知させる処理の実行を、通信部が取得する情報に基づいて決定する。
また、一の実施の形態では、電子機器は、上記の電子機器が通信可能な相手装置である。
また、一の実施の形態では、処理システムは、上記の電子機器と、当該電子機器が通信可能な相手装置とを備える。
電子機器の利便性が向上する。
処理システムの一例を示す図である。 電子機器の外観の一例を示す斜視図である。 電子機器の外観の一例を示す背面図である。 電子機器の構成の一例を示すブロック図である。 サーバ装置の構成の一例を示すブロック図である。 電子機器の表示の一例を示す図である。 電子機器の動作の一例を示すフローチャートである。 電子機器の表示の一例を示す図である。 電子機器の動作の一例を示すフローチャートである。 電子機器の動作の一例を示すフローチャートである。 電子機器の表示の一例を示す図である。 電子機器の表示の一例を示す図である。 電子機器の動作の一例を示すフローチャートである。 電子機器の動作の一例を示すフローチャートである。 電子機器の表示の一例を示す図である。 電子機器の動作の一例を示すフローチャートである。 電子機器の動作の一例を示すフローチャートである。 電子機器の表示の一例を示す図である。 処理システムの動作の一例を示す図である。 処理システムの動作の一例を示す図である。 電子機器の表示の一例を示す図である。 電子機器の表示の一例を示す図である。 電子機器の動作の一例を示すフローチャートである。 電子機器の表示の一例を示す図である。 電子機器の動作の一例を示すフローチャートである。 電子機器の動作の一例を示すフローチャートである。 電子機器の動作の一例を示すフローチャートである。 電子機器の動作の一例を示すフローチャートである。 電子機器の外観の一例を示す斜視図である。 電子機器の表示の一例を示す図である。 電子機器の動作の一例を示すフローチャートである。
<処理システムの一例の概要>
図1は処理システム1の構成の一例を示す図である。図1に示されるように、処理システム1は、ネットワーク2に接続された複数の電子機器10及びサーバ装置50を備える。複数の電子機器10及びサーバ装置50は、ネットワーク2を通じて互いに通信することが可能である。
ネットワーク2には、無線ネットワーク及び有線ネットワークの少なくとも一方が含まれる。本例では、ネットワーク2には、例えば、基地局等を含む、携帯電話システムのネットワーク、無線LAN(Local Area Network)及びインターネット等が含まれる。
各電子機器10は、それ自身に関する情報をサーバ装置50に送信することが可能である。以後、電子機器10に関する情報を「機器情報」と呼ぶことがある。また、電子機器10の動作を説明する場合に、「自装置」と言えば、その電子機器10自身のことを意味し、「自装置ユーザ」と言えば、その電子機器10のユーザを意味する。また、電子機器10の動作を説明する場合に、単に「ユーザ」と言えば、当該電子機器10のユーザを意味する。また、電子機器10の動作を説明する場合に、その電子機器10が通信する相手装置となる電子機器10を「相手機器10」と呼ぶことがある。また、相手機器10のユーザを「相手ユーザ」と呼ぶことがある。また、説明対象の電子機器10を「対象電子機器10」と呼ぶことがある。
ネットワーク2に接続される複数の電子機器10には、例えば、スマートフォン等の携帯電話機、タブレット端末、パーソナルコンピュータ及びウェアラブル機器などが含まれる。複数の電子機器10に含まれるウェアラブル機器は、リストバンド型あるいは腕時計型などの腕に装着するタイプであってもよいし、ヘッドバンド型あるいはメガネ型などの頭に装着するタイプであってもよいし、服型などの体に装着するタイプであってもよい。腕時計型のウェアラブル機器は、スマートウォッチと呼ばれることがある。
サーバ装置50は、一種のコンピュータ装置である。サーバ装置50は、各電子機器10から送信される機器情報を記憶することが可能である。サーバ装置50は、電子機器10からの要求に応じて、当該電子機器10に対して、他の電子機器10の機器情報を送信することが可能である。電子機器10は、サーバ装置50から他の電子機器10の機器情報を受け取り、受け取った機器情報に基づいた処理を行うことが可能である。
以下に処理システム1の詳細について説明する。以下では、主に電子機器10が携帯電話機である場合を例に挙げて、処理システム1について説明する。
<電子機器の構成例>
<電子機器の外観の一例>
図2及び3は、携帯電話機である電子機器10の外観の一例を示す斜視図及び背面図である。図2及び3に示されるように、電子機器10は、平面視で略長方形の板状の機器ケース11を備えている。機器ケース11は電子機器10の外装を構成している。
機器ケース11の前面11aには、文字、記号及び図形等の各種情報が表示される表示面12が位置している。表示面12の背面側には後述するタッチパネル130が位置している。これにより、ユーザは、電子機器10の前面の表示面12を指等で操作することによって、電子機器10に対して各種情報を入力することができる。なお、ユーザは、指以外の操作子、例えば、スタイラスペンなどのタッチパネル用ペンで表示面12を操作することによっても、電子機器10に対して各種情報を入力することができる。
機器ケース11の前面11aの上端部にはレシーバ穴13が位置している。前面11aの下端部にはスピーカ穴14が位置している。機器ケース11の下側の側面11cにはマイク穴15が位置している。
機器ケース11の前面11aの上端部からは、後述する第1カメラ180が有するレンズ181が視認可能となっている。図3に示されるように、機器ケース11の背面11bの上端部からは、後述する第2カメラ190が有するレンズ191が視認可能となっている。
電子機器10は、複数の操作ボタン21から成る操作ボタン群210(後述の図4参照)を備えている。複数の操作ボタン21のそれぞれはハードウェアボタンである。具体的には、複数の操作ボタン21のそれぞれは押しボタンである。なお、操作ボタン群210に含まれる少なくとも一つの操作ボタン21は、表示面12に表示されるソフトウェアボタンであってもよい。
操作ボタン群210には、機器ケース11の前面11aの下端部に位置する操作ボタン21a,21b,21cが含まれる。操作ボタン群210には、電源ボタン及びボリュームボタンが含まれてもよい。
操作ボタン21aは、例えばバックボタンである。バックボタンは、表示面12の表示を一つ前の表示に切り替えるための操作ボタンである。ユーザが操作ボタン21aを操作することよって、表示面12の表示が一つ前の表示に切り替わる。操作ボタン21bは、例えばホームボタンである。ホームボタンは、表示面12にホーム画面を表示させるための操作ボタンである。ユーザが操作ボタン21bを操作することよって、表示面12にホーム画面が表示される。操作ボタン21cは、例えば履歴ボタンである。履歴ボタンは、電子機器10で実行されたアプリケーションの履歴を表示面12に表示させるための操作ボタンである。ユーザが操作ボタン21cを操作することよって、表示面12には、電子機器10で実行されたアプリケーションの履歴が表示される。
<電子機器の電気的構成の一例>
図4は、図2及び3に示される電子機器10の電気的構成の一例を示すブロック図である。図4に示されるように、電子機器10は、例えば、制御部100、無線通信部110、表示部120、タッチパネル130、操作ボタン群210、位置取得部140及びリアルタイムクロック220を備える。さらに電子機器10は、レシーバ150、スピーカ160、マイク170、第1カメラ180、第2カメラ190、センサ装置200、振動部230及び電池240を備える。電子機器10が備えるこれらの構成要素は、機器ケース11内に収められている。
制御部100は、電子機器10の他の構成要素を制御することによって、電子機器10の動作を統括的に管理することが可能である。制御部100は制御装置あるいは制御回路とも言える。制御部100は、以下にさらに詳細に述べられるように、種々の機能を実行するための制御及び処理能力を提供するために、少なくとも1つのプロセッサを含む。
種々の実施形態によれば、少なくとも1つのプロセッサは、単一の集積回路(IC)として、または複数の通信可能に接続された集積回路(IC)及び/またはディスクリート回路(discrete circuits)として実行されてもよい。少なくとも1つのプロセッサは、種々の既知の技術に従って実行されることが可能である。
1つの実施形態において、プロセッサは、例えば、関連するメモリに記憶された指示を実行することによって1以上のデータ計算手続又は処理を実行するように構成された1以上の回路又はユニットを含む。他の実施形態において、プロセッサは、1以上のデータ計算手続き又は処理を実行するように構成されたファームウェア(例えば、ディスクリートロジックコンポーネント)であってもよい。
種々の実施形態によれば、プロセッサは、1以上のプロセッサ、コントローラ、マイクロプロセッサ、マイクロコントローラ、特定用途向け集積回路(ASIC)、デジタル信号処理装置、プログラマブルロジックデバイス、フィールドプログラマブルゲートアレイ、またはこれらのデバイス若しくは構成の任意の組み合わせ、または他の既知のデバイス及び構成の組み合わせを含み、以下に説明される機能を実行してもよい。
本例では、制御部100は、CPU(Central Processing Unit)101、DSP(Digital Signal Processor)102及び記憶部103を備える。記憶部103は、ROM(Read Only Memory)及びRAM(Random Access Memory)などの、CPU101及びDSP102が読み取り可能な非一時的な記録媒体を含む。記憶部103が有するROMは、例えば、不揮発性メモリであるフラッシュROM(フラッシュメモリ)である。記憶部103には、地図情報103b及び電子機器10を制御するための複数の制御プログラム103a等が記憶されている。地図情報103bには、道路情報、電車の線路情報及び施設情報等が含まれる。制御部100の各種機能は、CPU101及びDSP102が記憶部103内の各種制御プログラム103aを実行することによって実現される。
記憶部103内の複数の制御プログラム103aには、様々なアプリケーション(つまり、アプリケーションプログラム)が含まれている。記憶部103には、例えば、電話アプリケーション、ブラウザ、スケジュール管理アプリケーション、カメラアプリケーション、静止画表示アプリケーション、動画再生アプリケーション、音楽再生アプリケーション及びメッセージ通信アプリケーション等が記憶されている。
電話アプリケーションは、電子機器10が、無線通信部110、レシーバ150及びマイク170等を利用して電話通信を行うためのアプリケーションである。電話アプリケーションは、ユーザが電子機器10を利用して、他の電子機器10のユーザと通話を行うためのアプリケーションであると言える。電話通信には、従来型の電話回線を利用した通信形態と、IP(Internet Protocol)電話通信と呼ばれる、インターネットを利用した通信形態とが含まれる。従来型の電話回線を利用した通信を行うための電話アプリケーションを「従来型電話アプリケーション」と呼ぶことがある。また、IP電話通信を行うための電話プリケーションを「IP電話アプリケーション」と呼ぶことがある。
記憶部103には、複数種類の電話アプリケーションが記憶されてもよい。記憶部103内の複数種類の電話アプリケーションには、少なくとも1種類の従来型電話アプリケーションが含まれてもよいし、少なくとも1種類のIP電話アプリケーションが含まれてもよい。
ブラウザは、電子機器10がウェブサイトを表示するためのアプリケーションである。スケジュール管理アプリケーションは、電子機器10にスケジュール情報を登録するためのアプリケーションである。カメラプリケーションは、電子機器10が第1カメラ180及び第2カメラ190を利用して被写体を撮影するためのアプリケーションである。静止画表示アプリケーションは、電子機器10が記憶部103内の静止画を表示するためのアプリケーションである。動画再生アプリケーションは、電子機器10が記憶部103内の動画を再生して表示するためのアプリケーションである。音楽再生アプリケーションは、電子機器10が記憶部103内の音楽を再生して出力するためのアプリケーションである。
メッセージ通信アプリケーションは、電子機器10が無線通信部110等を利用してメッセージ通信を行うためのアプリケーションである。メッセージ通信には、送信側から送信されたメッセージがサーバ装置に一旦保存され、受信側がサーバ装置からメッセージを読み出すような通信形態が含まれる。この通信形態は「電子メール通信」と呼ばれることがある。またメッセージ通信には、電子メール通信とは異なり、受信側が、送信側から送信されたメッセージをサーバ装置から読み出すことなくすぐに受信することができるような通信形態も含まれる。この通信形態は、「インスタントメッセージ通信」と呼ばれることがある。メッセージには、文字及び記号等が含まれる。以後、電子メール通信を実現するためのメッセージ通信アプリケーションを「電子メールアプリケーション」と呼ぶことがある。また、インスタントメッセージ通信を実現するためのメッセージ通信アプリケーションを「IMアプリケーション」と呼ぶことがある。IMアプリケーションは「インスタントメッセンジャー」と呼ばれることがある。
記憶部103には、複数種類のメッセージ通信アプリケーションが記憶されてもよい。記憶部103内の複数種類のメッセージ通信アプリケーションには、少なくとも1種類の電子メールアプリケーションが含まれてもよいし、少なくとも1種類のIMアプリケーションが含まれてもよい。
記憶部103内の少なくとも一つのアプリケーションは、記憶部103内にあらかじめ記憶されているものであってよい。また、記憶部103内の少なくとも一つのアプリケーションは、電子機器10が他の装置からダウンロードして記憶部103内に記憶したものであってよい。
なお、制御部100の構成は上記の例には限られない。制御部100は、例えば、複数のCPU101を備えてもよい。また制御部100は、DSP102を備えなくてもよいし、複数のDSP102を備えてもよい。また、制御部100の全ての機能あるいは制御部100の一部の機能は、その機能の実現にソフトウェアが不要なハードウェア回路によって実現されてもよい。また記憶部103は、ROM及びRAM以外の、コンピュータが読み取り可能な非一時的な記録媒体を備えていてもよい。記憶部103は、例えば、小型のハードディスクドライブ及びSSD(Solid State Drive)などを備えていてもよい。
無線通信部110は、アンテナ111を有している。無線通信部110は、アンテナ111を用いて、例えば複数種類の無線通信方式で無線通信することが可能である。無線通信部110の無線通信は、制御部100によって制御される。無線通信部110は、無線通信回路とも言える。
無線通信部110は、ネットワーク2に含まれる携帯電話システムの基地局と無線通信することが可能である。無線通信部110は、当該基地局を通じて、別の携帯電話機及びウェブサーバ等と通信することが可能である。
また、無線通信部110は、ネットワーク2に含まれるWiFi等の無線LANを用いて無線通信を行うことが可能である。また無線通信部110は、ネットワーク2を介さずに直接他の装置と近距離無線通信を行うことが可能である。例えば、無線通信部110は、Bluetooth(登録商標)に準拠して無線通信することが可能である。無線通信部110は、ZigBee(登録商標)及びNFC(Near Field Communication)の少なくとも一方に準拠して無線通信することが可能であってもよい。
無線通信部110は、アンテナ111で受信した信号に対して増幅処理等の各種処理を行い、処理後の受信信号を制御部100に出力する。制御部100は、入力される受信信号に対して各種処理を行って、当該受信信号に含まれる情報を取得する。また、制御部100は、情報を含む送信信号を無線通信部110に出力する。無線通信部110は、入力される送信信号に対して増幅処理等の各種処理を行って、処理後の送信信号をアンテナ111から無線送信する。制御部100は、後述するように、無線通信部110に、電子機器10の機器情報をサーバ装置50へ送信させる。
表示部120は、電子機器10の前面に位置する表示面12と、表示パネル121とを備えている。表示部120は、表示面12に各種情報を表示することが可能である。表示パネル121は、例えば、液晶表示パネルあるいは有機ELパネルである。表示パネル121は、制御部100によって制御されることによって、文字、記号、図形などの各種情報を表示することが可能である。表示パネル121は、機器ケース11内において、表示面12と対向している。表示パネル121に表示される情報は表示面12に表示される。表示部120は、表示を行うことによって、ユーザに対して通知を行う通知部であると言える。
タッチパネル130は、表示面12に対する指等の操作子による操作を検出することが可能である。タッチパネル130は、例えば、投影型静電容量方式のタッチパネルである。タッチパネル130は、例えば、表示面12の裏側に位置する。ユーザが指等の操作子によって表示面12に対して操作を行ったとき、その操作に応じた電気信号をタッチパネル130は制御部100に入力することが可能である。制御部100は、タッチパネル130からの電気信号(出力信号)に基づいて、表示面12に対して行われた操作の内容を特定することが可能である。そして制御部100は、特定した操作内容に応じた処理を行うことが可能である。
操作ボタン群210の各操作ボタン21は、ユーザによって操作されると、操作されたことを示す操作信号を制御部100に出力することが可能である。これにより、制御部100は、各操作ボタン21について、当該操作ボタン21が操作されたか否かを判断することができる。操作信号が入力された制御部100が他の構成要素を制御することによって、電子機器10では、操作された操作ボタン21に割り当てられている機能が実行される。
位置取得部140は、電子機器10の位置を示す位置情報を取得することが可能である。位置取得部140は、例えば、測位衛星が送信する衛星信号を受信し、受信した衛星信号に基づいて、電子機器10の位置情報を取得することが可能である。位置取得部140が取得する位置情報には、例えば、電子機器10の位置を示す緯度経度が含まれる。位置取得部140は位置取得回路であると言える。
位置取得部140は、例えばGPS受信機であって、GPS(Global Positioning System)の測位衛星からの無線信号を受信することが可能である。位置取得部140は、受信した無線信号に基づいて電子機器10の現在位置を例えば緯度経度で算出し、算出した緯度経度を含む位置情報を制御部100に出力する。電子機器10の位置情報は、当該電子機器10を持つユーザの位置情報であるともいえる。
なお位置取得部140は、GPS以外のGNSS(Global Navigation Satellite System)の測位衛星からの信号に基づいて電子機器10の位置情報を求めてもよい。例えば、位置取得部140は、GLONASS(Global Navigation Satellite System)、IRNSS(Indian Regional Navigational Satellite System)、COMPASS、Galileoあるいは準天頂衛星システム(QZSS:Quasi-Zenith Satellites System)の測位衛星からの信号に基づいて電子機器10の位置情報を求めてもよい。
電子機器10は、位置取得部140を備えなくてもよい。この場合、電子機器10は、それとは別体の位置取得部140と無線あるいは有線で接続されてもよい。
マイク170は、電子機器10の外部から入力される音を電気的な音信号に変換して制御部100に出力することが可能である。マイク170は、入力される音を音信号に変換して出力することが可能な音入力部として機能する。電子機器10の外部からの音は、マイク穴15から電子機器10の内部に取り込まれてマイク170に入力される。
なお、マイク170は、機器ケース11の外側に位置し、無線通信部110と、例えばBluetoothに準拠して近距離無線通信を行ってもよい。この場合、マイク170から出力される音信号が無線通信部110を通じて制御部100に入力される。
スピーカ160は、例えばダイナミックスピーカである。スピーカ160は、制御部100からの電気的な音信号を音に変換して出力することが可能である。スピーカ160は、入力される音信号を音に変換して出力することが可能な音出力部として機能する。スピーカ160から出力される音は、スピーカ穴14から外部に出力される。ユーザは、スピーカ穴14から出力される音を、電子機器10から離れた場所でも聞こえることが可能である。スピーカ160は、音を出力することによって、ユーザに対して通知を行う通知部であると言える。
なお、スピーカ160は、機器ケース11の外側に位置し、無線通信部110と、例えばBluetoothに準拠して近距離無線通信を行ってもよい。この場合、制御部100から出力される音信号が無線通信部110を通じてスピーカ160に入力される。
レシーバ150は受話音を出力することが可能である。レシーバ150はスピーカ150とも言える。レシーバ150は例えばダイナミックスピーカである。レシーバ150は、制御部100からの電気的な音信号を音に変換して出力することが可能である。レシーバ150は、入力される音信号を音に変換して出力することが可能な音出力部として機能する。レシーバ150から出力される音はレシーバ穴13から外部に出力される。レシーバ穴13から出力される音の音量は、スピーカ穴14から出力される音の音量よりも小さくなっている。ユーザは、レシーバ穴13から出力される音を、当該レシーバ穴13に耳を近づけることによって聞くことができる。レシーバ150は、音を出力することによって、ユーザに対して通知を行う通知部であると言える。なお、レシーバ150の代わりに、機器ケース11の前面部分を振動させる、圧電振動素子等の振動素子を設けてもよい。この場合には、音は、当該前面部分の振動によりユーザに伝達される。
第1カメラ180は、レンズ181及びイメージセンサなどを備えている。第2カメラ190は、レンズ191及びイメージセンサなどを備えている。第1カメラ180及び第2カメラ190のそれぞれは、制御部100による制御に基づいて被写体を撮影し、撮影した被写体を示す静止画あるいは動画を生成して制御部100に出力することが可能である。
第1カメラ180のレンズ181は、機器ケース11の前面11aから視認可能となっている。したがって、第1カメラ180は、電子機器10の前面側(表示面12側)に存在する被写体を撮影することが可能である。第1カメラ180はインカメラと呼ばれる。一方で、第2カメラ190のレンズ191は、機器ケース11の背面11bから視認可能となっている。したがって、第2カメラ190は、電子機器10の背面側に存在する被写体を撮影することが可能である。第2カメラ190はアウトカメラと呼ばれる。
センサ装置200は、少なくとも一つのセンサを備える。本例では、センサ装置200は、例えば、加速度センサ、気圧センサ、地磁気センサ及びジャイロセンサを備える。加速度センサは、例えば、電子機器10の加速度を検出することが可能な3軸加速度センサである。加速度センサは、電子機器10に設定されたx軸方向、y軸方向及びz軸方向の加速度を検出することができる。x軸方向、y軸方向及びz軸方向は、例えば、電子機器10の長手方向、短手方向及び厚み方向にそれぞれ設定される。気圧センサは、電子機器10の周囲の気圧を検出することが可能である。地磁気センサは、例えば、電子機器10の周囲の磁場(磁界とも呼ばれる)を検出することが可能な3軸地磁気センサである。地磁気センサは、電子機器10に設定されたx軸方向、y軸方向及びz軸方向の磁場を検出することが可能である。ジャイロセンサは、例えば、電子機器10の角速度を検出することが可能な3軸ジャイロセンサである。ジャイロセンサは、電子機器10に設定されたx軸、y軸及びz軸のそれぞれの軸周りの角速度を検出することが可能である。
なおセンサ装置200は、加速度センサ、気圧センサ、地磁気センサ及びジャイロセンサの少なくとも一つのセンサを備えなくてもよい。この場合、電子機器10は、それとは別体の当該少なくとも一つのセンサと、無線あるいは有線で接続されてもよい。また、センサ装置200は、加速度センサ、気圧センサ、地磁気センサ及びジャイロセンサ以外のセンサを備えてもよい。例えば、センサ装置200は、近接センサ、照度センサ及び温度センサの少なくとも一つを備えてもよい。また、電子機器10は、それとは別体の、加速度センサ、気圧センサ、地磁気センサ及びジャイロセンサ以外のセンサと、無線あるいは有線で接続されてもよい。
リアルタイムクロック220は、現在時刻を計測して制御部100に通知する。振動部230は、電子機器10を振動させることができる。具体的には、振動部230は、制御部100による制御によって、機器ケース11を振動させることが可能である。振動部230は、機器ケース11を振動させることによって、電子機器10を持つユーザに対して通知を行うことが可能である。振動部230は例えば偏心モータを備えている。振動部230は、機器ケース11を振動させることによってユーザに通知を行う通知部であると言える。
電池240は例えば充電式の電池である。電池240から出力される電源は、電子機器10が備える制御部100及び無線通信部110などの各種構成に対して供給される。
<サーバ装置の構成例>
図5はサーバ装置50の構成の一例を示す図である。図5に示されるように、サーバ装置50は、例えば、制御部51と、ネットワーク2に接続される通信部54と、表示部55とを備える。
表示部55は、例えば、液晶表示パネルあるいは有機ELパネルである。表示部55は、制御部51によって制御されることによって、文字、記号、図形などの各種情報を表示することが可能である。
制御部51は、サーバ装置50の他の構成要素を制御することによって、サーバ装置50の動作を統括的に管理することが可能である。制御部51は制御装置あるいは制御回路であるとも言える。制御部51は、以下にさらに詳細に述べられるように、種々の機能を実行するための制御及び処理能力を提供するために、少なくとも1つのプロセッサを含む。電子機器10の制御部100が備えるプロセッサについての上記の説明は、制御部51が備えるプロセッサについても言える。
本例では、制御部51は、CPU52及び記憶部53を備える。記憶部53は、ROM及びRAMなどの、CPU52が読み取り可能な非一時的な記録媒体を含む。記憶部53が有するROMは、例えば、不揮発性メモリであるフラッシュROMである。記憶部53には、サーバ装置50を制御するための複数の制御プログラム53aが記憶されている。また記憶部53には、電子機器10が送信する機器情報300が記憶される。記憶部103内では、電子機器10ごとに機器情報300が管理されている。制御部51の各種機能は、CPU52が記憶部53内の各種制御プログラム53aを実行することによって実現される。
通信部54は、有線あるいは無線でネットワーク2に接続されている。通信部54は、ネットワーク2を通じて、当該ネットワーク2に接続された、電子機器10等の装置と通信することが可能である。通信部54は、ネットワーク2から受け取った情報を制御部51に入力することが可能である。また通信部54は、制御部51から受け取った情報をネットワーク2に出力することが可能である。
サーバ装置50の構成は図5の例には限られない。例えば、制御部51は、複数のCPU52を備えてもよい。また制御部51は、少なくとも一つのDSPを備えてもよい。また、制御部51の全ての機能あるいは制御部51の一部の機能は、その機能の実現にソフトウェアが不要なハードウェア回路によって実現されてもよい。
また記憶部53は、ROM及びRAM以外の、コンピュータが読み取り可能な非一時的な記録媒体を備えてもよい。記憶部53は、例えば、小型のハードディスクドライブ及びSSDなどを備えてもよい。記憶部53内の少なくとも一つの制御プログラム53aは、記憶部53内にあらかじめ記憶されているものであってよい。また、記憶部53内の少なくとも一つの制御プログラム53aは、サーバ装置50が他の装置からダウンロードして記憶部53内に記憶したものであってよい。
サーバ装置50は、制御部51、通信部54及び表示部55以外の構成を備えてもよい。サーバ装置50は、例えば、タッチパネル等の、ユーザがサーバ装置50に情報を入力するための入力装置を備えてもよい。
<電子機器の表示例>
図6は電子機器10の表示例を示す図である。図6には、ホーム画面400の一例が模式的に示されている。図6に示されるように、表示面12に表示されるホーム画面400には、記憶部103内のアプリケーションに対応し、対応するアプリケーションの実行を電子機器10に指示するためのアイコン401が示される。
図6の例では、ホーム画面400には、ブラウザに対応するアイコン401aと、音楽再生アプリケーションに対応するアイコン401bと、カメラアプリケーションに対応するアイコン401cと、電子メールアプリケーションに対応するアイコン401dとが含まれる。またホーム画面400には、従来型電話アプリケーションに対応するアイコン401eと、IP電話アプリケーションに対応するアイコン401fとが含まれる。またホーム画面400には、例えば異なる会社から提供される2種類のIMアプリケーションにそれぞれ対応する2つのアイコン401g及び401hが含まれる。
ユーザは、ホーム画面400に含まれるアイコン401に対して所定の操作(例えばタップ操作)を行うことによって、当該アイコン401を選択することができる。制御部100は、選択されたアイコン401に対応するアプリケーションを記憶部103から読み出して実行する。つまり、制御部100は、タッチパネル130がアイコン401に対する所定の操作を検出すると、当該アイコン401に対応するアプリケーションを記憶部103から読み出して実行する。これにより、ユーザは、アイコン401を操作することによって当該アイコン401を選択し、選択したアイコン401に対応するアプリケーションを電子機器10に実行させることができる。例えば、ユーザが、電子メールアプリケーションに対応するアイコン401dをタップ操作すると、電子機器10では電子メールアプリケーションが実行される。またユーザが、従来型電話アプリケーションに対応するアイコン401eをタップ操作すると、電子機器10では従来型電話アプリケーションが実行される。
ホーム画面400だけではなく、表示面12に表示される各画面には、電子機器10の状態を通知する通知領域450が含まれる。通知領域450は、ステータスバーとも呼ばれる。図6に示されるように、通知領域450には、例えば、無線通信部110の通信状態を示すアイコン451と、電池240についての電池残量を示すアイコン452と、リアルタイムクロック220で取得される現在時刻を示すアイコン453とが含まれる。
また、電子機器10において特定のイベントが発生すると、通知領域450には、発生したイベントに関する情報が示される。当該情報には、例えば、新しいメッセージの受信を通知するアイコン及び不在着信を通知するアイコンなどが含まれる。
以後、電子機器10の表示例を説明する場合に、通知領域450が特に関係しない場合には、通知領域450の図示を省略することがある。
<電子機器の動作例について>
<電子機器の着信通知の一例>
電子機器10は、相手機器10からの電話通信の発信を着信すると、自装置ユーザに対して電話通信の着信通知を行う。また、電子機器10は、相手機器10がメッセージ通信で送信するメッセージを受信(言い換えれば着信)すると、自装置ユーザに対してメッセージ通信の着信通知を行う。以後、電話通信の発信を「電話発信」と呼ぶことがある。また、電話通信の着信通知を「電話着信通知」と呼び、メッセージ通信の着信通知を「メッセージ着信通知」と呼ぶことがある。また、電話通信の着信を「電話着信」と呼ぶことがある。
電子機器10は、例えば、表示部120、スピーカ160及び振動部230を用いて、電話着信通知とメッセージ着信通知を行うことが可能である。例えば、電話通信の着信中(以後、「電話着信中」と呼ぶことがある)に、制御部100が、電話着信を通知する着信通知画面を表示部120に表示させることによって、電子機器10は電話着信通知を自装置ユーザに行うことができる。着信通知画面は、電話着信を通知する着信通知情報であるとも言える。また、電話着信中に、制御部100が、電話通信の着信音(以後、「電話着信音」と呼ぶことがある)をスピーカ160に出力させることによって、電子機器10は電話着信通知を自装置ユーザに行うことができる。この電話着信通知を「音による電話着信通知」と呼ぶことがある。そして、電話着信中に、制御部100が、振動部230に機器ケース11を振動させることによって、電子機器10は電話着信通知を自装置ユーザに行うことができる。この電話着信通知を「振動による電話着信通知」と呼ぶことがある。
同様に、電子機器10でのメッセージの受信に応じて、制御部100が、表示部120に、メッセージの受信を通知する情報を例えば通知領域450に表示させることによって、電子機器10はメッセージ着信通知を自装置ユーザに行うことができる。また、電子機器10でのメッセージの受信に応じて、制御部100が、メッセージ通信の着信音をスピーカ160に出力させることによって、電子機器10はメッセージ着信通知を自装置ユーザに行うことができる。このメッセージ着信通知を「音によるメッセージ着信通知」と呼ぶことがある。そして、電子機器10でのメッセージの受信に応じて、制御部100が、振動部230に機器ケース11を振動させることによって、電子機器10はメッセージ着信通知を自装置ユーザに行うことができる。このメッセージ着信通知を「振動によるメッセージ着信通知」と呼ぶことがある。
ユーザは、例えば表示面12を操作することによって、着信通知に関する設定を電子機器10に対して行うことができる。例えば、ユーザは、電話着信通知に関して、音による電話着信通知を実行するか否かと、振動による電話着信通知を実行するか否かを電子機器10に対して設定することができる。またユーザは、メッセージ着信通知に関して、音によるメッセージ着信通知を実行するか否かと、振動によるメッセージ着信通知を実行するか否かを電子機器10に対して設定することができる。電子機器10は、基本的には、自装置での着信通知に関する設定に応じて着信通知を行う。ただし、後述するように、電子機器10の着信通知が、他の電子機器10によって制御されることがある。
<機器情報の送信について>
本例では、電子機器10の制御部100は、自装置の機器情報を生成し、生成した機器情報を、無線通信部110にサーバ装置50へ送信させることが可能である。
電子機器10では、例えば、制御部100は、一定時間ごとに、無線通信部110に、最新の機器情報をサーバ装置50へ送信させる。また制御部100は、機器情報に含まれる情報に変更が生じるたびに、無線通信部110に、機器情報をサーバ装置50へ送信させてもよい。また制御部100は、サーバ装置50から機器情報の送信要求があるたびに、無線通信部110に、最新の機器情報をサーバ装置50へ送信させてもよい。電子機器10は、自装置の識別情報とともに、自装置の機器情報を送信する。識別情報としては、例えば、電子機器10に割り当てられた電話番号が採用される。
サーバ装置50では、通信部54が、電子機器10の機器情報及び識別情報を取得すると、制御部51は、取得された機器情報及び識別情報を互いに対応付けて記憶部53に記憶する。このとき、記憶部53内に、受信された識別情報に対応する古い機器情報が記憶されている場合には、制御部51は、古い機器情報の代わり受信された機器情報を記憶部53に記憶する。これにより、記憶部53内には、各電子機器10についての最新の機器情報が記憶される。
本例では、電子機器10のユーザが移動している場合には、当該電子機器10の機器情報に、当該ユーザの移動状態を示す移動情報が含まれる。移動情報は、電子機器10の移動状態を示す情報であるとも言える。制御部100は、例えば、センサ装置200の検出結果に基づいて、ユーザの移動状態を特定する。そして、制御部100は、特定した移動状態を示す移動情報を含む機器情報を生成する。機器情報には、移動情報以外の情報が含まれてもよいし、含まれなくてもよい。なお、電子機器10のユーザが移動せずに停止している場合には、当該電子機器10の機器情報には移動情報が含まれない。
<移動状態の特定方法の一例>
制御部100は、ユーザについての様々な移動状態を特定することが可能である。例えば、制御部100は、センサ装置200に含まれる加速度センサの検出結果等に基づいて、ユーザが乗り物に乗らずに自力で移動している状態と、ユーザが乗り物に乗って移動している状態とを特定することができる。
ここで、ユーザが自力で移動するとは、ユーザが乗り物に乗らずに自らの足で移動することを意味する。ユーザが自力で移動している状態を「自力移動状態」と呼ぶと、制御部100は、センサ装置200の加速度センサの検出結果に基づいて、ユーザの自力移動状態を特定することが可能であると言える。以後、センサ装置200に含まれる加速度センサの検出結果を「加速度検出結果」と呼ぶことがある。
制御部100は、ユーザの自力移動状態としては、ユーザが歩いて移動している状態と、ユーザが走って移動している状態とを特定することができる。前者を「歩行状態」と呼び、後者を「走行状態」と呼ぶと、制御部100は、加速度検出結果に基づいて、ユーザの歩行状態及び走行状態を特定することが可能である。
また、制御部100は、ユーザが乗り物に乗って移動している状態として、ユーザが自転車に乗って移動している状態と、ユーザが、自動車、電車及びバスなどの、自転車よりも速く移動することが可能な乗り物に乗って移動している状態とを特定することができる。以後、自転車と、それよりも速く移動することが可能な乗り物とを区別するために、単に「乗り物」と言えば、自転車よりも速く移動することが可能な乗り物を意味する。
ユーザが自転車に乗って移動している状態を「自転車移動状態」と呼び、ユーザが乗り物に乗って移動している状態を「乗り物移動状態」と呼ぶと、制御部100は、加速度検出結果に基づいて、ユーザの自転車移動状態及び乗り物移動状態を特定することができる。
ここで、電子機器10の加速度が、当該電子機器10を持つユーザの移動状態に応じた固有の時間変化のパターンを示すことが知られている。制御部100は、センサ装置200の加速度センサで検出される加速度の時間変化のパターンが、歩行状態に応じたパターンを示す場合には、ユーザの移動状態が歩行状態であると判定する。また、制御部100は、加速度センサで検出される加速度の時間変化のパターンが、「走行状態」に応じたパターンを示す場合には、ユーザの移動状態が走行状態であると判定する。また、制御部100は、加速度センサで検出される加速度の時間変化のパターンが、自転車移動状態に応じたパターンを示す場合には、ユーザの移動状態が自転車移動状態であると判定する。そして、制御部100は、加速度センサで検出される加速度の時間変化のパターンが、乗り物移動状態に応じたパターンを示す場合には、ユーザの移動状態が乗り物移動状態であると判定する。
また、制御部100は、ユーザの移動状態が乗り物移動状態である場合に、ユーザが電車に乗って移動している状態を特定することが可能である。以後、ユーザが電車に乗って移動している状態を「電車移動状態」と呼ぶことがある。
制御部100は、例えば、ユーザの移動状態が乗り物移動状態であると判定し、かつ、自装置の位置が電車の線路上に位置している場合には、ユーザの移動状態が電車移動状態であると判定する。このとき、制御部100は、例えば、位置取得部140で取得される位置情報が示す位置を自装置の位置として使用する。また制御部100は、記憶部103内の地図情報103bから、電車の線路の位置を特定することができる。
制御部100は、ユーザの移動状態が、乗り物移動状態であって、電車移動状態ではない場合、ユーザの移動状態が、他の乗り物移動状態であると判定する。
このように、制御部100は、ユーザの移動状態として、歩行状態、走行状態、自転車移動状態、電車移動状態及び他の乗り物移動状態を特定することができる。制御部100は、ユーザの移動状態が歩行状態であることを特定すると、ユーザの移動状態が自力移動状態であることを示す移動情報を生成する。制御部100は、ユーザの移動状態が走行状態であることを特定すると、ユーザの移動状態が自力移動状態であることを示す移動情報を生成する。制御部100は、ユーザの移動状態が電車移動状態であることを特定すると、その旨を示す移動情報を生成する。制御部100は、ユーザの移動状態が他の乗り物移動状態であることを特定すると、その旨を示す移動情報を生成する。なお、ユーザの移動状態の特定方法は、上記の例に限られない。
<電話アプリケーション起動後の電子機器の動作例>
本例では、電子機器10は、電話アプリケーションの起動後、相手機器10との電話通信についての自装置ユーザからの発信指示に応じて、相手機器10の機器情報に基づく処理を行うことが可能である。ユーザは、このような電子機器10を利用することができることから、電子機器10の利便性が向上する。
図7は、電話アプリケーション起動後の電子機器10の動作の一例を示すフローチャートである。電子機器10の制御部100は、上述のアイコン401eあるいはアイコン401fに対するタップ操作をタッチパネル130が検出すると、タップ操作されたアイコン401に対応する電話アプリケーションを記憶部103内から読み出して実行する。これにより、電話アプリケーションが起動する。
電話アプリケーションの起動後、ステップs1において、制御部100は、タッチパネル130からの出力信号に基づいて、相手機器10との電話通信についての自装置ユーザからの発信指示が自装置に入力されたことを特定すると、ステップs2を実行する。
以後、単に「発信指示」と言えば、電話通信についての発信指示を意味する。また、相手機器10との電話通信についての発信指示が電子機器10に入力された場合のその相手機器10を「対象相手機器10」と呼ぶことがある。また、対象相手機器10のユーザを「対象相手ユーザ」と呼ぶことがある。また、発信指示が入力された電子機器10を「発信指示受付機器10」あるいは「指示受付機器10」と呼ぶことがある。
図8は、電話アプリケーションの実行中の表示例を示す図である。図8には、従来型電話アプリケーションの実行中の表示例が示されている。図8には、電話通信の相手機器10に割り当てられた電話番号を入力するための入力画面500の一例が示されている。入力画面500は、ダイヤルパッドあるいはキーパッドと呼ばれることがある。
図8に示されるように、入力画面500には、番号等の記号を入力するための12個の入力ボタン501が含まれる。各入力ボタン501には記号が割り当てられている。入力ボタン501に対して例えばタップ操作が行われると、タップ操作が行われた入力ボタン501に割り当てられた記号が電子機器10に入力される。ユーザは、複数の入力ボタン501を操作することによって、電子機器10に対して、相手機器10の電話番号を入力することができる。
また入力画面500には、発信指示を電子機器10に入力するための発信指示ボタン502が含まれる。発信指示ボタン502に対して例えばタップ操作が行われると、電子機器10に対して発信指示が入力される。ユーザは、電子機器10に対して相手機器10の電話番号を入力した後、発信指示ボタン502を操作することによって、電子機器10に対して、相手機器10との電話通信の発信指示を入力することができる。
ユーザが発信指示を電子機器10に入力する方法は上記の例に限られない。ユーザは、例えば、記憶部103内のアドレス帳(電話帳とも呼ばれる)を利用して発信指示を電子機器10に入力することができる。この場合、例えば、ユーザは、表示面12に対して所定の操作を行って、電子機器10に、記憶部103内のアドレス帳に含まれる相手機器10の電話番号を表示面12に表示させる。そして、ユーザは、表示面12に表示される相手機器10の電話番号に対して例えばタップ操作を行うことによって、相手機器10との電話通信の発信指示を電子機器10に入力することができる。また、ユーザは、表示面12に表示される電話着信履歴あるいは電話発信履歴を利用して、発信指示を電子機器10に入力してもよい。また、ユーザは、マイク170に所定の音声を入力することによって、発信指示を電子機器10に入力してもよい。
なお上記の例では、電子機器10が、相手機器10と電話通信を行う場合に用いる相手機器10の識別情報として、電話番号が使用されているが、IP電話アプリケーションにおいては、電話番号以外の識別情報が使用されることがある。
ステップs2においては、制御部100は、対象相手機器10の機器情報をサーバ装置50に要求するための第1要求信号を生成する。この第1要求信号には、対象相手機器10の識別情報が含まれている。そして、制御部100は、無線通信部110に第1要求信号をサーバ装置50へ送信させる。
第1要求信号を受信したサーバ装置50では、制御部51が、第1要求信号に含まれる識別情報に対応する機器情報を記憶部53から読み出す。そして、サーバ装置50は、読み出した機器情報を、発信指示受付機器10へ送信する。これにより、発信指示受付機器10は、対象相手機器10の機器情報を取得することができる。
ステップs2の後、ステップs3において、無線通信部110がサーバ装置50から対象相手機器10の機器情報を取得すると、ステップs4において、制御部100は、取得された機器情報に基づく処理を実行する。ステップs4の具体例については後で詳細に説明する。
なお制御部100は、取得した機器情報を、記憶部103内のアドレス帳に登録してもよい。この場合、制御部100は、相手機器10の機器情報を、アドレス帳において、相手機器10の電話番号に対応付けて登録してもよい。これにより、電子機器10がアドレス帳を表示することによって、ユーザは、機器情報を確認することができる。
また上記の例では、電子機器10は、発信指示をトリガとして、第1要求信号をサーバ装置50に送信しているが、他の条件をトリガとして、第1要求信号をサーバ装置50に送信してもよい。例えば、電子機器10は、一定時間ごとに、第1要求信号をサーバ装置50に送信してもよい。この場合、図9に示されるように、ステップs2,s3が不要となり、ステップs4では、指示受付機器10が直近に取得した機器情報に基づく処理が実行される。
また、電子機器10は、サーバ装置50を介さずに、発信指示に係る相手機器10から機器情報を取得してもよい。この場合、例えば、指示受付機器10の制御部100は、ステップs2において、無線通信部110に、対象相手機器10に機器情報を要求するための第2要求信号を対象相手機器10へ送信させる。対象相手機器10では、無線通信部110が第2要求信号を受信すると、制御部100は、無線通信部110に、自装置の最新の機器情報を指示受付機器10へ送信させる。指示受付機器10では、ステップs3において無線通信部110が対象相手機器10の機器情報を取得すると、ステップs4において、制御部100は、取得された機器情報に基づく処理を実行する。
また、電子機器10は、発信指示とは別の条件をトリガとして、第2要求信号を相手機器10へ送信してもよい。例えば、電子機器10は、一定時間ごとに、第2要求信号を相手機器10へ送信してもよい。この場合、上述の図9に示されるように、ステップs2,s3が不要となり、ステップs4では、指示受付機器10が直近に取得した機器情報に基づく処理が実行される。
また、電子機器10は、他の電子機器10からの要求に応じて機器情報を送信するのではなく、自ら機器情報を他の電子機器10に送信してもよい。例えば、電子機器10は、一定時間ごとに、自装置の機器情報を他の電子機器10に送信してもよい。この場合、図9のように、ステップs2,s3が不要となり、ステップs4において、指示受付機器10は、対象相手機器10から直近に取得した機器情報に基づく処理を行う。
なお、電子機器10がサーバ装置50あるいは他の電子機器10から機器情報を取得する場合には、5G(第5世代移動通信システム)に準拠した無線通信方式のように、通信速度が大きく、かつレイテンシが小さい無線通信方式が使用されてもよい。例えば、上述のステップs2及びs3では、5Gに準拠した無線通信方式が使用されてもよい。
このように、本例に係る電子機器10は、電話アプリケーションの起動後、相手機器10との電話通信についての自装置ユーザからの発信指示に応じて、相手機器10の機器情報に基づく処理を行うことが可能である。ユーザは、このような電子機器10を利用することができることから、電子機器10の利便性が向上する。以下に、ステップs4についての複数の具体例について説明する。
<第1の例>
本例では、電話アプリケーションを実行している対象電子機器10の制御部100は、自装置の無線通信部110が送信する、自装置のマイク170に入力される音声を、相手機器10がそのレシーバ150あるいはスピーカ160から出力する場合に、相手機器10が、そのマイク170に入力される音声を対象電子機器10に送信せずに、メッセージ通信アプリケーションを実行するように相手機器10を制御する制御処理を実行することが可能である。
本例に係るステップs4では、指示受付機器10の制御部100は、対象相手機器10の機器情報に基づいて制御処理の実行を決定する。これにより、電子機器10の利便性が向上する。図10は、本例に係るステップs4を示すフローチャートである。
図10に示されるように、ステップs11において、指示受付機器10の制御部100は、対象相手機器10の機器情報に基づいて、対象相手ユーザが発話しにくい状況であるか否かを判定する。ステップs11では、例えば、制御部100は、機器情報に含まれる移動情報に基づいて、対象相手ユーザの移動状態を特定する。制御部100は、対象相手ユーザの移動状態が電車移動状態であることを特定すると、対象相手ユーザは発話しにくい状況にあると判定する。一方で、制御部100は、対象相手ユーザの移動状態が、電話移動状態以外の状態であることを特定すると、対象相手ユーザは発話しにくい状況にはないと判定する。
ステップs11においてNOと判定されると、ステップs14が実行される。ステップs14では、指示受付機器10は、対象相手機器10に対して電話通信の発信を行う。ステップs14での発信を着信した対象相手機器10では、制御部100が記憶部103内の電話プリケーションを起動する。そして、対象相手機器10は、自装置での着信通知に関する設定に従った電話着信通知を行う。
対象相手機器10が、対象相手ユーザからの指示に応じて、指示受付機器10との電話通信の着信に応答すると、指示受付機器10と対象相手機器10との間で電話通信が行われる。
電話通信中の指示受付機器10は、音声入力部としてのマイク170に入力される音声を対象相手機器10に送信する。具体的には、指示受付機器10の制御部100が、無線通信部110に、マイク170からの音声信号を対象相手機器10に送信させる。電話通信中の対象相手機器10は、指示受付機器10から受信する音声を、レシーバ150あるいはスピーカ160から出力する。具体的には、対象相手機器10の制御部100は、無線通信部110が指示受付機器10から受信する音声信号をレシーバ150あるいはスピーカ160に入力する。これにより、対象相手機器10のレシーバ150あるいはスピーカ160から、指示受付機器10のユーザの音声が出力される。言い換えれば、対象相手機器10の音声出力部から、指示受付機器10のユーザの音声が出力される。また、電話通信中の対象相手機器10は、電話通信中の指示受付機器10と同様に、マイク170に入力される音声を指示受付機器10に送信する。電話通信中の指示受付機器10は、電話通信中の対象相手機器10と同様に、対象相手機器10からの音声をレシーバ150あるいはスピーカ160から出力する。
一方で、ステップs11においてYESと判定されると、ステップs12において、制御部100は、制御処理の実行を決定する。その後、ステップs13が実行される。ステップs13では、指示受付機器10の制御部100は、対象相手機器10が、対象相手機器10のマイク170に入力される音声を指示受付機器10に送信せずに、メッセージ通信アプリケーションを実行するように命令する第1制御信号を生成する。そして、ステップs13において、指示受付機器10は、対象相手機器10に対して、電話発信を行うとともに、生成した第1制御信号を送信する。
指示受付機器10からの電話発信を着信し、指示受付機器10からの第1制御信号を受信した対象相手機器10では、制御部100が、記憶部103内の電話アプリケーションを起動する。そして、対象相手機器10は、自装置での着信通知に関する設定に従って電話着信通知を行う。その後、対象相手機器10は、対象相手ユーザからの指示に応じて、指示受付機器10との電話通信の着信に応答すると、対象相手機器10と指示受付機器10との間では、指示受付機器10からは音声が送信され、対象相手機器10からはメッセージが送信される、電話通信とは異なる形態の通信が行われる。この通信を「変形電話通信」と呼ぶことがある。
変形電話通信を行う指示受付機器10は、電話通信と同様に、自装置のマイク170に入力される音声を対象相手機器10に送信する。また、変形電話通信を行う対象相手機器10は、電話通信と同様に、指示受付機器10から受信する音声を、レシーバ150あるいはスピーカ160から出力する。これにより、電話通信と同様に、指示受付機器10のユーザの音声が指示受付機器10から対象相手機器10に送信され、対象相手機器10のレシーバ150あるいはスピーカ160から、指示受付機器10のユーザの音声が出力される。
また、変形電話通信を行う対象相手機器10は、指示受付機器10から受信した第1制御信号に従った処理を行う。具体的には、対象相手機器10は、電話通信とは異なり、マイク170に入力される音声を指示受付機器10へ送信しない。このとき、対象相手機器10の制御部100が、マイク170の動作を停止することによって、マイク170に入力される音声が指示受付機器10に送信されなくてもよいし、制御部100がマイク170から出力される音声信号を無線通信部110に入力しないことによって、マイク170に入力される音声が指示受付機器10に送信されなくてもよい。変形電話通信を行う指示受付機器10では、電話通信とは異なり、レシーバ150あるいはスピーカ160から、対象相手ユーザの音声が出力されない。
また、変形電話通信を行う対象相手機器10では、制御部100が、対象相手機器10が指示受付機器10から受信した第1制御信号に従って、記憶部103内のメッセージ通信アプリケーションを実行する。これにより、対象相手機器10では、電話アプリケーションとメッセージ通信アプリケーションが同時に実行される。指示受付機器10からの第1制御信号を受信した対象相手機器10の制御部100は、例えばIMアプリケーションを起動する。
メッセージ通信アプリケーションを起動した対象相手機器10では、タッチパネル130は、表示面12に対する、メッセージの送信先を選択する送信先選択操作、メッセージの入力操作、及びメッセージの送信指示操作(言い換えればメッセージの発信指示操作)を検出する。対象相手ユーザは、メッセージの送信先として指示受付機器10を選択する。その後、制御部100は、選択された相手機器10、つまり指示受付機器10に対して、対象相手ユーザが入力したメッセージを送信する。言い換えれば、制御部100は、指示受付機器10に対して、対象相手ユーザの入力操作に応じて生成したメッセージを送信する。なお、対象相手機器10の制御部100は、メッセージ通信アプリケーションを実行したとき、メッセージの送信先が、自動的に、指示受付機器10となるようにしてもよい。これにより、対象相手ユーザは、表示面12に対する送信先選択操作が不要となる。
対象相手機器10からメッセージを受信した指示受付機器10では、制御部100が、記憶部103内のメッセージ通信アプリケーション(例えば、IMアプリケーション)を起動する。これにより、指示受付機器10では、電話アプリケーションとメッセージ通信アプリケーションが同時に実行される。その後、指示受付機器10の制御部100は、対象相手機器10からのメッセージを表示部120に表示させる。
以後、変形電話通信を行う指示受付機器10及び対象相手機器10は、同様に動作して、指示受付機器10から送信される、指示受付機器10のユーザの音声が、対象相手機器10のレシーバ150あるいはスピーカ160から出力され、対象相手機器10から送信されるメッセージが指示受付機器10で表示される。
図11は、変形電話通信を行う指示受付機器10が表示する表示画面600の一例を示す図である。図12は、変形電話通信を行う対象相手機器10が表示する表示画面650の一例を示す図である。
図11に示されるように、表示画面600には、情報610と、受信メッセージ表示画面620と、終了ボタン630とが含まれる。情報610は、指示受付機器10が、マイク170に入力される音声を対象相手機器10に送信していることを示す情報である。受信メッセージ表示画面620には、指示受付機器10が対象相手機器10から受信するメッセージ621が示される。終了ボタン630は、指示受付機器10のユーザが変形電話通信の終了を指示受付機器10に指示するためのボタンである。ユーザが終了ボタン630を例えばタップ操作すると、指示受付機器10は、電話アプリケーション及びIMアプリケーションの実行を終了して、対象相手機器10との変形電話通信の実行を終了する。
一方で、変形電話通信を行う対象相手機器10が表示する表示画面650には、図12に示されるように、情報660と、メッセージ関連画面670と、終了ボタン680とが含まれる。情報660は、対象相手機器10が、指示受付機器10からの音声を受信し、受信した音声をレシーバ150あるいはスピーカ160から出力していることを示す情報である。メッセージ関連画面670には、送信メッセージ表示画面671と、メッセージ欄673と、送信ボタン674とが含まれる。送信メッセージ表示画面671には、対象相手機器10が指示受付機器10に送信したメッセージ672が示される。メッセージ欄673には、ユーザによって入力されたメッセージ、つまり送信対象のメッセージが示される。対象相手ユーザは、例えば、対象相手機器10の表示面12を操作することによって、対象相手機器10に対して送信対象のメッセージを入力することができる。対象相手ユーザが、送信ボタン674に対して例えばタップ操作を行うと、対象相手機器10は、入力されたメッセージ、言い換えればメッセージ欄673に示されるメッセージを指示受付機器10へ送信する。終了ボタン680は、対象相手ユーザが変形電話通信の終了を対象相手機器10に指示するためのボタンである。対象相手ユーザが終了ボタン680を例えばタップ操作すると、対象相手機器10は、電話アプリケーション及びIMアプリケーションの実行を終了して、指示受付機器10との変形電話通信の実行を終了する。
以上のように、本例では、指示受付機器10は、対象相手機器10の機器情報に基づいて、対象相手ユーザが発話しにくい状況であると判定すると、制御処理の実行を決定する。これにより、対象相手ユーザは、発話しにくい状況である場合、指示受付機器10のユーザの音声を聞きながら、対象相手機器10にメッセージを指示受付機器10へ送信させることができる。よって、電子機器10の利便性が向上する。
なお、電子機器10が相手機器10の機器情報に基づいて相手ユーザが発話しにくい状況であるか否かを判定する方法は、上記の限りではない。
例えば、電子機器10は、相手機器10の機器情報に基づいて、相手ユーザが美術館、博物館あるいは病院に存在することを特定すると、相手ユーザが発話しにくい状況であると判定してもよい。この場合、電子機器10の機器情報には、例えば、当該電子機器10の位置を示す位置情報が含まれる。この位置情報としては、例えば、位置取得部140で取得される位置情報が使用される。指示受付機器10の制御部100は、相手機器10の機器情報に含まれる位置情報と、記憶部103内の地図情報103bに含まれる施設情報とに基づいて、相手ユーザが美術館、博物館あるいは病院に存在することを特定する。なお、電子機器10が美術館等に相手ユーザが存在することを特定する方法は、この限りではない。
また、電子機器10の機器情報には、当該電子機器10のユーザが発話しにくい状況であることを示す情報が含まれてもよい。この場合であっても、電子機器10は、相手機器10の機器情報に基づいて、相手ユーザが発話しにくい状況であるか否かを判定することができる。ユーザは、例えば、電子機器10の表示面12を操作することによって、当該ユーザが発話しにくい状態であることを当該電子機器10に対して通知することができる。
また、電子機器10のユーザが発話しにくい状況である場合には、当該ユーザにとっては、当該電子機器10から電話着信音が出力されない方が望ましい場合がある。例えば、電車内に存在し、発話しにくい状況にあるユーザにとって、電子機器10から電話着信音が出力されることは望ましくない可能性がある。
そこで、上述のステップs13では、指示受付機器10は、第1制御信号とともに、音による電話着信通知を実行しないことを対象相手機器10に命令する第2制御信号を対象相手機器10に送信してもよい。この場合、第2制御信号を受信した対象相手機器10は、指示受付機器10からの電話発信を着信したとき、自装置での着信通知に関する設定の内容にかかわらず、音による電話着信通知を行わない。つまり、対象相手機器10は、スピーカ160から電話着信音を出力しない。これにより、電子機器10の利便性がさらに向上する。
また電子機器10は、相手機器10との電話通信を行っているときに、相手機器10の機器情報に基づいて制御処理の実行を決定してもよい。図13は、この場合の電子機器10の動作の一例を示すフローチャートである。電子機器10は、相手機器10との電話通信を行っているときに、図13に示される第1の電話通信中処理を実行する。
対象電子機器10は、相手機器10と電話通信を開始すると、図13に示されるようにステップs21を実行する。ステップs21では、対象電子機器10の制御部100は、相手機器10の機器情報をサーバ装置50に要求するための上述の第1要求信号を生成する。そして、制御部100は、生成した第1要求信号を無線通信部110にサーバ装置50へ送信させる。
ステップs21の後、ステップs22において、対象電子機器10が相手機器10の最新の機器情報を受信すると、上述のステップs11が実行される。このステップs11では、ステップs22で取得された機器情報に基づいて、相手ユーザが発話しにくい状況であるか否かが判定される。
ステップs11においてYESと判定されると、上述のステップs12が実行される。その後、ステップs23において、制御部100は、上述の第1制御信号を生成する。そして、制御部100は、無線通信部110に、生成した第1制御信号を相手機器10へ送信させる。相手機器10が、対象電子機器10から受信した第1制御信号に従った動作を行うと、相手機器10と対象電子機器10との間で変形電話通信が行われる。ステップs23の後、第1の電話通信中処理が終了する。
一方で、ステップs11においてNOと判定されると、ステップs21が再度実行され、以後、対象電子機器10は同様に動作する。対象電子機器10は、第1の電話通信処理の実行中に、相手機器10との電話通信が終了すると、ステップs11でYESと判定されていない場合であっても、第1の電話通信中処理を終了する。
<第2の例>
上記の第1の例では、対象電子機器10は、相手機器10の機器情報に基づいて制御処理の実行を決定している。これに対して、本例では、対象電子機器10は、自装置ユーザが制御処理の実行を選択した場合に、制御処理を実行する。
図14は本例に係るステップs4を示すフローチャートである。本例に係るステップs4では、指示受付機器10は、制御処理を指示受付機器10が行うか否かをユーザが選択することを通知部に通知させる選択通知処理の実行を、対象相手機器10の機器情報に基づいて決定する。これにより、電子機器10の利便性が向上する。
図14に示されるように、上述のステップs11が実行される。ステップs11においてNOと判定されると、上述のステップs14が実行される。一方で、ステップs11においてYESと判定されると、ステップs31において、指示受付機器10の制御部100は、選択通知処理の実行を決定する。その後、ステップs32において、制御部100は、制御処理を指示受付機器10が行うか否かをユーザが選択することを通知部に通知させる選択通知処理を実行する。選択通知処理で使用される通知部としては、例えば、表示部120が採用される。この場合、制御部100は、制御処理を指示受付機器10が行うか否かをユーザが選択するための選択画面700を表示部120に表示させる。
図15は選択画面700の一例を示す図である。図15に示されるように、選択画面700には、情報701及び702と、選択ボタン703及び704とが含まれる。情報701は、対象相手ユーザが発話しにくい状況であることを示す情報である。情報702は、指示受付機器10が制御処理を行うか否かを選択することをユーザに指示する情報である。選択ボタン703は、ユーザが、指示受付機器10が制御処理を実行することを選択した場合に操作するボタンである。言い換えれば、選択ボタン703は、ユーザが、制御処理の実行を選択した場合に操作するボタンである。選択ボタン704は、ユーザが、指示受付機器10が制御処理を行わないことを選択した場合に操作するボタンである。言い換えれば、選択ボタン704は、ユーザが、制御処理の不実行を選択した場合に操作するボタンである。ユーザは、選択ボタン703を例えばタップ操作することによって、制御処理の実行を選択したことを電子機器10に通知することができる。またユーザは、選択ボタン704を例えばタップ操作することによって、制御処理の不実行を選択したことを電子機器10に通知することができる。なお、選択画面700には、情報701が示されなくてもよい。
ステップs32において選択画面700が表示された後、ステップs33において、制御部100は、タッチパネル130での検出結果に基づいて、自装置ユーザが、制御処理の実行を選択したか、制御処理の不実行を選択したかを判断する。制御部100は、タッチパネル130が、選択ボタン703に対する操作を検出したとき、制御処理の実行を自装置ユーザが選択したと判断する。一方で、制御部100は、タッチパネル130が、選択ボタン704に対する操作を検出したとき、制御処理の不実行を自装置ユーザが選択したと判断する。
ステップs33において、制御処理の実行が選択されたと判断されると、上述のステップs13が実行される。一方で、ステップs33において、制御処理の不実行が選択されたと判断されると、上述のステップs14が実行される。
なお、選択通知処理で使用される通知部は、表示部120以外であってもよい。例えば、指示受付機器10が制御処理を行うか否かをユーザが選択することを意味する音声をスピーカ160が出力してもよい。また、振動部230が特定の振動パターンで機器ケース11を振動させることによって、指示受付機器10が制御処理を行うか否かを選択することがユーザに通知されてもよい。また、表示部120、スピーカ160及び振動部230の少なくとも2つが、指示受付機器10が制御処理を行うか否かを選択することをユーザに通知してもよい。スピーカ160及び振動部230の少なくとも1つが、指示受付機器10が制御処理を行うか否かを選択することをユーザに通知する場合には、ユーザは、表示面12に対して所定の操作を行うことによって、制御処理の実行を選択したり、制御処理の不実行を選択したりすることができる。
以上の説明から理解できるように、本例においても、対象相手ユーザは、発話しにくい状況である場合、指示受付機器10のユーザの音声を聞きながら、対象相手機器10にメッセージを指示受付機器10へ送信させることができる。よって、電子機器10の利便性が向上する。
なお、第1の例と同様に、図14のステップs13では、指示受付機器10は、第1制御信号とともに、音による電話着信通知を実行しないことを対象相手機器10に命令する第2制御信号を対象相手機器10に送信してもよい。これより、第2制御信号を受信した対象相手機器10は、指示受付機器10からの電話発信を着信したとき、自装置での着信通知に関する設定の内容にかかわらず、音による電話着信通知を行わない。これにより、電子機器10の利便性がさらに向上する。
また、対象電子機器10は、相手機器10との電話通信を行っているときに、相手機器10の機器情報に基づいて選択通知処理の実行を決定してもよい。図16はこの場合の対象電子機器10の動作の一例を示すフローチャートである。対象電子機器10は、相手機器10との電話通信を行っているときに、図16に示される第2の電話通信中処理を実行する。
対象電子機器10は、相手機器10と電話通信を開始すると、図16に示されるように、上述のステップs21を実行する。ステップs21の後、上述のステップs22が実行されると、上述のステップs11が実行される。
ステップs11においてYESと判定されると、上述のステップs31〜s33が実行される。ステップs33においてYESと判定されると、上述のステップs23が実行される。これにより、相手機器10と対象電子機器10との間で変形電話通信が開始する。ステップs23が実行されると、第2の電話通信中処理が終了する。またステップs33においてNOと判定されると、第2の電話通信中処理が終了する。
ステップs11においてNOと判定されると、ステップs21が再度実行され、以後、対象電子機器10は同様に動作する。対象電子機器10は、第2の電話通信処理の実行中に、相手機器10との電話通信が終了すると、ステップs11でYESと判定されていない場合であっても、第2の電話通信中処理を終了する。
<第3の例>
本例では、対象電子機器10と相手機器10との間では、対象電子機器10のマイク170に入力される音声がメッセージに変換され、当該メッセージが相手機器10で表示される音声・メッセージ変換通信が可能である。言い換えれば、対象電子機器10と相手機器10との間では、対象電子機器10のマイク170から出力される音声信号がメッセージに変換され、当該メッセージが相手機器10で表示される音声・メッセージ変換通信が可能である。また本例では、電子機器10の機器情報には、当該電子機器10の位置を示す位置情報が含まれる。この位置情報としては、例えば、位置取得部140で取得される位置情報が採用される。以後、電子機器10の位置情報を「機器位置情報」と呼ぶことがある。
図17は本例に係るステップs4を示すフローチャートである。本例に係るステップs4では、指示受付機器10は、対象相手機器10の機器情報に基づいて音声・メッセージ変換通信の実行を決定する。これにより、電子機器10の利便性が向上する。
図17に示されるように、ステップs51において、指示受付機器10の制御部100は、対象相手機器10の機器情報に基づいて、対象相手ユーザが、対象相手機器10から出力される音声を聞き取りにくい状況であるか否かを判定する。つまり、制御部100は、対象相手機器10の機器情報に基づいて、対象相手ユーザが、対象相手機器10のレシーバ150あるいはスピーカ160から出力される音声を聞き取りにくい状況であるか否かを判定する。以後、ユーザが電子機器10から出力される音声を聞き取りにくい状況を、ユーザが音声を聞き取りにくい状況と言うことがある。
ここで、本例では、記憶部103には、騒音が大きい可能性が高い場所である騒音場所を示す騒音場所情報が記憶されている。騒音場所情報には、騒音場所の位置情報が含まれる。騒音場所情報が示す騒音場所には、例えば、工場及び幹線道路沿いの場所等が含まれる。また、騒音場所情報が示す騒音場所には、ユーザが指定する騒音場所が含まれてもよい。この場合、ユーザは、例えば表示面12を操作することによって、騒音場所の位置情報を電子機器10に入力する。ユーザは、例えば、当該ユーザが勤務する会社が工事を行っている工事現場の位置情報を電子機器10に入力してもよい。電子機器10は、ユーザによって入力された位置情報を記憶部103内の騒音場所情報に含める。これにより、騒音場所情報が示す騒音場所に、ユーザが指定する騒音場所が含まれる。
ステップs51では、制御部100は、対象相手機器10の機器情報に含まれる機器位置情報と、記憶部103内の騒音場所情報とに基づいて、対象相手ユーザが音声を聞き取りにくい状況であるか否かを判定する。具体的には、制御部100は、機器位置情報及び騒音場所情報に基づいて、対象相手ユーザが存在する場所が騒音場所であるか否かを判定する。制御部100は、機器位置情報が示す位置が、騒音場所情報が示す騒音場所に含まれる場合には、対象相手ユーザが存在する場所が騒音場所であると判定する。一方で、制御部100は、機器位置情報が示す位置が、騒音場所情報が示す騒音場所に含まれない場合には、対象相手ユーザが存在する場所が、騒音場所ではないと判定する。
制御部100は、対象相手ユーザが存在する場所が騒音場所であると判定すると、対象相手ユーザが音声を聞き取りにくい状況であると判定する。一方で、制御部100は、対象相手ユーザが存在する場所が騒音場所ではないと判定すると、対象相手ユーザは音声を聞き取りにくい状況にはないと判定する。
ステップs51においてNOと判定されると、ステップs55において、制御部100は電話通信の実行を決定する。その後、上述のステップs14が実行される。
一方で、ステップs51においてYESと判定されると、ステップs52が実行される。ステップs52では、制御部100は、対象相手ユーザが音声を聞き取りにくい状況にあることを通知部に通知させる。この通知部としては、例えば表示部120が採用される。この場合、制御部100は、対象相手ユーザが音声を聞き取りにくい状況にあることを示す情報710を表示部120に表示させる。図18は情報710の表示例を示す図である。なお、制御部100は、対象相手ユーザが音声を聞き取りにくい状況にあることを、表示部120以外の通知部に通知させてもよい。
ステップs52において、情報710が一定時間表示されると、ステップs53が実行される。ステップs53では、制御部100は、音声・メッセージ変換通信の実行を決定する。そしてステップs54において、指示受付機器10は、対象相手機器10との間で、音声・メッセージ変換通信を開始する。
本例では、対象電子機器10と相手機器10との間の音声・メッセージ変換通信では、相手機器10が送信するメッセージが音声に変換され、当該音声が対象電子機器10で受信されて対象電子機器10のレシーバ150あるいはスピーカ160から出力される。言い換えれば、対象電子機器10と相手機器10との間の音声・メッセージ変換通信では、相手機器10が生成するメッセージが音声信号に変換され、当該音声信号が対象電子機器10で受信されて対象電子機器10のレシーバ150あるいはスピーカ160に入力される。
図19及び図20は、指示受付機器10と対象相手機器10との間での音声・メッセージ変換通信を説明するための図である。指示受付機器10及び対象相手機器10は、例えばサーバ装置50を介して、音声・メッセージ変換通信を行う。
ステップs53において、音声・メッセージ変換通信の実行が決定されると、電話アプリケーションを実行している指示受付機器10は、図19に示されるように、ステップs61において、自装置のマイク170に入力される音声を、サーバ装置50に送信する。具体的には、指示受付機器10の制御部100は、無線通信部110に、マイク170から出力される音声信号をサーバ装置50へ送信させる。このとき、制御部100は、無線通信部110に、第1変換指示信号もサーバ装置50へ送信させる。第1変換指示信号は、指示受付機器10から送信される、対象相手機器10宛ての音声を、メッセージ通信アプリケーションのメッセージに変換することをサーバ装置50に指示する信号である。指示受付機器10から送信される音声は、例えば、IMアプリケーションのメッセージに変換される。
指示受付機器10から音声信号及び第1変換指示信号を受信したサーバ装置50では、ステップs62において、制御部51が、第1変換指示信号に応じて、受信された音声信号が示す音声をIMアプリケーションのメッセージに変換する。つまり、制御部51は、指示受付機器10からの音声信号が示す音声を文字に起こして、起こした文字をメッセージとする。その後、ステップs63において、制御部51は、通信部54に、生成したメッセージを対象相手機器10へ送信させる。
対象相手機器10は、ステップs64において、サーバ装置50からのメッセージを受信すると、ステップs65において、受信したメッセージを表示部120に表示させる。ステップs65では、対象相手機器10の制御部100は、記憶部103内のIMアプリケーションを起動する。そして、制御部100は、サーバ装置50からのメッセージを表示部120に表示させる。例えば、指示受付機器10が送信する音声が、「こんにちは」という文字列を読み上げたときに人が発する音声である場合、「こんにちは」という文字列がメッセージとして表示部120に表示される。
以後、指示受付機器10に音声が入力されると、ステップs61〜s65が実行されて、指示受付機器10のマイク170に入力された音声がメッセージに変換される。そして、その変換によって得られたメッセージが対象相手機器10で表示される。
一方で、音声・メッセージ変換通信を行う対象相手機器10では、IMアプリケーションを実行する制御部100は、図20に示されるように、ステップs71において、無線通信部110に、対象相手ユーザが入力する指示受付機器10宛てのメッセージ(言い換えれば、制御部100が、対象相手ユーザの入力操作に応じて生成する指示受付機器10宛てのメッセージ)を、サーバ装置50へ送信させる。このとき、制御部100は、無線通信部110に、第2変換指示信号もサーバ装置50へ送信させる。第2変換指示信号は、対象相手機器10から送信される、指示受付機器10宛てのメッセージを音声に変換することをサーバ装置50に指示する信号である。
対象相手機器10からメッセージ及び第2変換指示信号を受信したサーバ装置50では、ステップs72において、制御部51が、第2変換指示信号に応じて、受信されたメッセージを音声に変換する。つまり、制御部51は、対象相手機器10からのメッセージを、仮にそれを人が読み上げたときに当該人が発する音声を示す音声信号に変換する。このような音声は合成音声とも呼ばれる。
ステップs72の後、ステップs73において、制御部51は、通信部54に、生成した音声(言い換えれば、合成音声)を示す音声信号を指示受付機器10へ送信させる。例えば、対象相手機器10が送信するメッセージが「ありがとう」という文字列である場合、ステップs72では、「ありがとう」という文字列を人が読み上げたときに当該人が発する音声を示す音声信号が生成される。
指示受付機器10は、ステップs74において、サーバ装置50から音声信号を受信すると、ステップs75において、受信した音声信号が示す音声を外部に出力する。ステップs75では、制御部100は、サーバ装置50からの音声信号を例えばレシーバ150に入力する。レシーバ150は、入力された音声信号を音声に変換し、当該音声を出力する。
以後、対象相手機器10からメッセージが送信される場合には、ステップs71〜s75が実行されて、対象相手機器10から送信されたメッセージが音声に変換される。そして、その変換によって得られた音声が、指示受付機器10から出力される。
図21は、音声・メッセージ変換通信を行っている指示受付機器10が表示する表示画面750の一例を示す図である。図21に示されるように、表示画面750には、情報751、画像752及び終了ボタン753が含まれる。情報751は、指示受付機器10が音声・メッセージ変換通信を行っていることを示す情報である。画像752は、記憶部103内のアドレス帳に含まれる、対象相手機器10に関する情報に含まれる画像である。終了ボタン753は、指示受付機器10のユーザが音声・メッセージ変換通信の終了を指示受付機器10に指示するためのボタンである。指示受付機器10のユーザが終了ボタン753を例えばタップ操作すると、指示受付機器10は、電話アプリケーションの実行を終了して、対象相手機器10との音声・メッセージ変換通信の実行を終了する。
図22は、音声・メッセージ変換通信を行っている対象相手機器10が表示する表示画面760の一例を示す図である。表示画面760は、対象相手機器10が過去に送信したメッセージと過去に受信したメッセージとを示す送受信メッセージ表示画面であるとともに、対象相手ユーザがメッセージを作成するためのメッセージ作成画面でもある。
図22に示されるように、表示画面760には、メッセージ欄761と、送信ボタン762と、履歴画面763とが含まれる。また、表示画面760には、情報766及び終了ボタン767が含まれる。
履歴画面763には、対象相手機器10が過去に送信した送信メッセージ764と、過去に受信した受信メッセージ765とが示される。受信メッセージ765は、指示受付機器10から送信された音声の内容を示すメッセージ、つまり当該音声がサーバ装置50でメッセージに変換されることによって得られたメッセージである。メッセージ欄761には、送信対象のメッセージ、言い換えれば、ユーザによって入力されたメッセージが示される。対象相手ユーザは、表示画面760を表示する表示面12を操作することによって、送信対象のメッセージを電子機器10に入力することができる。そして、送信ボタン762に対して例えばタップ操作が行われると、対象電子機器10は、入力されたメッセージ、言い換えれば、メッセージ欄761に示されるメッセージを送信する。
情報766は、対象相手機器10が音声・メッセージ変換通信を行っていることを示す情報である。終了ボタン767は、対象相手ユーザが音声・メッセージ変換通信の終了を対象相手機器10に指示するためのボタンである。対象相手ユーザが終了ボタン767を例えばタップ操作すると、対象相手機器10は、IMアプリケーションの実行を終了して、指示受付機器10との音声・メッセージ変換通信の実行を終了する。
以上の説明から理解できるように、指示受付機器10のユーザは、指示受付機器10が対象相手機器10と電話通信を行う場合であっても、音声・メッセージ変換通信を行う場合であっても、指示受付機器10を同じように使用することができる。また、対象相手機器10のユーザも、対象相手機器10が指示受付機器10とメッセージ通信を行う場合であっても、音声・メッセージ変換通信を行う場合であっても、対象相手機器10を同じように使用することができる。
このように、本例では、指示受付機器10は、対象相手機器10の機器情報に基づいて、対象相手ユーザが音声を聞き取りにくい状況であると判定すると、音声・メッセージ変換通信の実行を決定する。これにより、対象相手ユーザは、レシーバ150あるいはスピーカ160から出力される音声が聞き取りにくい場合に、指示受付機器10に表示されるメッセージを見ることによって、指示受付機器10からの音声の内容を確認することができる。よって、対象相手ユーザは、指示受付機器10のユーザと適切にコミュニケーションをとることができる。その結果、電子機器10の利便性が向上する。
なお、上述のステップs72において、サーバ装置50は、対象電子機器10から受信したメッセージを合成音声に変換する場合には、対象相手機器10が記憶するアドレス帳に登録された音声に基づいて合成音声を生成してもよい。この場合、ステップs71において、対象電子機器10は、メッセージ及び第2変換指示信号とともに、記憶部103内のアドレス帳に含まれる、対象相手機器10自身に関する情報を、サーバ装置50に送信する。以後、対象相手機器10の記憶部103内のアドレス情報に含まれる、対象相手機器10自身に関する情報を、「対象相手機器10に関するアドレス登録情報」と呼ぶことがある。
対象相手機器10に関するアドレス登録情報には、例えば、対象相手機器10のユーザの音声を示す音声信号が含まれている。対象相手機器10に関するアドレス登録情報を受信したサーバ装置50では、制御部51は、対象相手機器10からのメッセージを合成音声に変換する場合に、当該アドレス登録情報に含まれる音声信号を使用する。つまり、制御部51は、対象相手機器10に関するアドレス登録情報に含まれる音声信号が示す対象相手ユーザの音声を用いて、対象相手機器10からのメッセージに対応する合成音声を生成する。これにより、指示受付機器10のユーザは、対象相手ユーザと会話しているように、指示受付機器10のレシーバ150等から出力される音声を聞くことができる。よって、電子機器10の利便性が向上する。
また、対象電子機器10は、相手機器10と電話通信を行っているときに、相手機器10の機器情報に基づいて、相手ユーザが音声を聞きづらい状況であるか否かを判定してもよい。図23は、この場合の電子機器10の動作の一例を示すフローチャートである。電子機器10は、相手機器10との電話通信を行っているときに、図23に示される第3の電話通信中処理を実行する。
対象電子機器10は、相手機器10と電話通信を開始すると、図23に示されるように上述のステップs21を実行する。ステップs21の後、上述のステップs22が実行されると、上述のステップs51が実行される。
ステップs51においてYESと判定されると、上述のステップs52〜s54が実行される。これにより、対象相手機器10と相手機器10との間で音声・メッセージ変換通信が開始する。この音声・メッセージ変換通信では、その実行を決定した対象電子機器10のマイク170に入力される音声がメッセージに変換され、当該メッセージが相手機器10で表示される。また、相手機器10が送信するメッセージが音声に変換され、当該音声が対象電子機器10で受信されて対象電子機器10のレシーバ150あるいはスピーカ160から出力される。ステップs54の後、第3の電話通信中処理が終了する。
ステップs51においてNOと判定されると、ステップs21が再度実行され、以後、対象電子機器10は同様に動作する。対象電子機器10は、第3の電話通信処理の実行中に、相手機器10との電話通信が終了すると、ステップs51でYESと判定されていない場合であっても、第3の電話通信中処理を終了する。
図24は、相手機器10と電話通信中の対象相手機器10が表示する表示画面770の一例を示す図である。図24に示されるように、表示画面770には、情報771と画像772と終了ボタン773とが含まれる。情報771は、対象相手機器10が電話通信を行っていることを示す情報である。画像772は、記憶部103内のアドレス帳に含まれる、相手機器10に関する情報に含まれる画像である。終了ボタン773は、対象電子機器10のユーザが電話通信の終了を対象電子機器10に指示するためのボタンである。対象電子機器10のユーザが終了ボタン773を例えばタップ操作すると、対象電子機器10は、電話アプリケーションの実行を終了して、相手機器10との電話通信の実行を終了する。なお、電話通信中の相手機器10にも、表示画面770と同様の表示画面が表示される。
ステップs54が実行されて、対象電子機器10と相手機器10との間で音声・メッセージ変換通信が開始すると、対象電子機器10は、表示画面770の替わりに、上述の図21に示される表示画面750を表示する。一方で、相手機器10は、表示画面770と同様の表示画面の替わりに、上述の図22に示される表示画面760を表示する。
なお、図23の例のように、対象電子機器10と相手機器10との間において、電話通信の後に続いて音声・メッセージ変換通信が実行される場合には、サーバ装置50は、上述のステップs72において、電話通信において相手機器10が対象電子機器10に送信する音声(言い換えれば、相手機器10のマイク170に入力される音声)に基づいて、相手機器10からのメッセージに応じた合成信号を生成してもよい。この場合、対象電子機器10と電話通信を行う相手機器10は、マイク170に入力される音声を、対象電子機器10だけではなく、サーバ装置50にも送信する。サーバ装置50は、相手機器10からの音声(詳細には音声信号)を一時的に記憶部53に記憶する。対象電子機器10と相手機器10との間での通信が、電話通信から音声・メッセージ変換通信に切り替わると、ステップs72において、サーバ装置50の制御部51は、記憶部53内の相手機器10の音声を使用して、相手機器10からのメッセージを音声に変換する。つまり、制御部51は、記憶部53内の相手機器10の音声に基づいて、相手機器10からのメッセージに対応する合成音声を生成する。
また、相手機器10の機器情報に基づいて音声・メッセージ変換通信の実行を決定した対象電子機器10と相手機器10との間の音声・メッセージ変換通信では、上述の図20に示される処理とは異なり、相手機器10が送信するメッセージが音声に変換されずに対象電子機器10で受信されて対象電子機器10が受信したメッセージを表示してもよい。この場合、相手機器10は、上記の変形電話通信と同様にして、マイク170に入力される音声を対象電子機器10へ送信しなくてもよい。また、相手機器10が送信するメッセージは、サーバ装置50を経由せずに、対象電子機器10に入力されてもよい。対象電子機器10は、上述の図11に示される表示画面600と同様に、相手機器10からのメッセージを示す受信メッセージ表示画面を含む表示画面750を表示する。
また、電子機器10の機器情報には、当該電子機器10のユーザが音声を聞き取りにくい状況であることを示す情報が含まれてもよい。この場合であっても、対象電子機器10は、上述のステップs51において、相手機器10の機器情報に基づいて、相手ユーザが音声を聞き取りにくい状況であるか否かを判定することができる。ユーザは、例えば、電子機器10の表示面12を操作することによって、当該ユーザが音声を聞き取りにくい状況であることを当該電子機器10に対して通知することができる。
なお、対象電子機器10が、相手機器10と電話通信を行っている場合に、相手機器10の機器情報に基づいて音声・メッセージ変換通信の実行を決定する際の対象電子機器10の動作を示す実行決定処理は、上述の図23に示される処理(つまり、第3の電話通信中処理)に限られない。以下に、実行決定処理の他の例について説明する。
以後、図23に示される第3の電話通信中処理を「実行決定処理の第1の例」と呼ぶことがある。また、電話通信中の電子機器10において、相手機器10からの音声を出力しているスピーカを「使用スピーカ」と呼ぶことがある。例えば、電話通信中の電子機器10が、相手機器10からの音声をレシーバ150から出力している場合には、当該レシーバ150が使用スピーカとなる。
<実行決定処理の第2の例>
図25は本例に係る実行決定処理を示すフローチャートである。本例では、電話通信中の電子機器10は、使用スピーカの音量を上げたとき、それを示す音量増加情報を含む機器情報を生成する。電子機器10の制御部100は、自装置ユーザが、操作ボタン群210に含まれるボリュームボタンを操作するなどして、使用スピーカの音量の増加を指示する操作を自装置に対して行ったとき、音量増加情報を含む機器情報を生成する。
図25に示されるように、本例に係る実行決定処理では、上述のステップs21及びs22が実行される。その後、ステップs61において、相手機器10と電話通信を行う対象電子機器10の制御部100は、ステップs22で取得された機器情報に基づいて、相手機器10が使用スピーカの音量を上げたか否かを判定する。制御部100は、機器情報に音量増加情報が含まれている場合、相手機器10が使用スピーカの音量を上げたと判定する。一方で、制御部100は、機器情報に音量増加情報が含まれていない場合、相手機器10が使用スピーカの音量を上げてはいないと判定する。
なお、相手機器10が使用スピーカの音量を上げたということは、相手ユーザは音声を聞き取りにくい状況にあると言える。したがって、ステップs61の処理は、実行決定処理の第1の例に含まれるステップs51と同様に、相手ユーザが音声を聞き取りにくい状況にあるのか否かを判定する処理として見ることもできる。
ステップs61において、相手機器10が使用スピーカの音量を上げたと判定されると、上述のステップs52〜s54が実行されて、対象電子機器10と相手機器10との間で音声・メッセージ変換通信が開始する。これにより、実行決定処理が終了する。一方で、ステップs61において、相手機器10が使用スピーカの音量を上げてはいないと判定されると、ステップs21が再度実行される。以後、対象電子機器10は同様に動作する。対象電子機器10は、実行決定処理の実行中に、相手機器10との電話通信が終了すると、実行決定処理を終了する。
このように、本例では、対象電子機器10の制御部100は、相手機器10の機器情報に基づいて、相手機器10が使用スピーカの音量を上げたことを特定したとき、音声・メッセージ変換通信の実行を決定する。これにより、対象電子機器10と通信する相手機器10のユーザは、使用スピーカから出力される音声が聞き取りにくい場合であっても、対象電子機器10が送信する音声の内容を確認することができる。
<実行決定処理の第3の例>
図26は本例に係る実行決定処理を示すフローチャートである。本例では、対象電子機器10は、相手機器10が送信する音声に基づいて、音声・メッセージ変換通信の実行を決定する。具体的には、対象電子機器10は、相手機器10が送信する音声、言い換えれば、相手機器10のマイク170が拾う音声に、特定の言葉が含まれている場合、音声・メッセージ変換通信の実行を決定する。相手機器10が送信する音声、言い換えれば、相手機器10のマイク170が拾う音声は、相手機器10の機器情報の一種であると言える。
図26に示されるように、本例に係る実行決定処理では、図23に示される第1の例とは異なり、ステップs21及びs22が実行されずにステップs71が実行される。ステップs71では、対象電子機器10の制御部100は、相手機器10から送信される音声に特定の言葉が含まれているか否かを判定する。具体的には、制御部100は、無線通信部110が受信する、相手機器10からの音声信号が示す音声に、特定の言葉が含まれているか否かを判定する。特定の言葉とは、例えば、相手機器10が出力する音声を相手ユーザが聞き取りにくいことを示す言葉である。特定の言葉としては、例えば、相手ユーザが相手機器10から出力される音声を聞き取れなかったことを意味する言葉が考えられる。当該言葉には、例えば、「えっ?」という言葉及び「もう一度」という言葉が含まれる。
ステップs71において、制御部100は、相手機器10からの音声信号が示す音声に、例えば「えっ?」という言葉が含まれる場合、YESと判定する。また、ステップs71において、制御部100は、相手機器10からの音声信号が示す音声に、例えば「もう一度」という言葉が含まれる場合、YESと判定する。ステップs71においてYESと判定されると、ステップs52〜s54が実行されて、対象電子機器10と相手機器10との間で音声・メッセージ変換通信が開始する。これにより、実行決定処理が終了する。一方で、ステップs71においてNOと判定されると、ステップs71が再度実行される。以後、対象電子機器10は同様に動作する。対象電子機器10は、実行決定処理の実行中に、相手機器10との電話通信が終了すると、実行決定処理を終了する。
なお、上記の例に係るステップs71では、相手機器10からの音声に、相手ユーザが相手機器10から出力される音声を聞き取れなかったことを意味する言葉が含まれる場合にYESと判定されている。したがって、ステップs71の処理は、上述のステップs61と同様に、相手ユーザが音声を聞き取りにくい状況にあるのか否かを判定する処理として見ることもできる。
このように、本例では、対象電子機器10の制御部100は、相手機器10からの音声に特定の言葉が含まれているとき、音声・メッセージ変換通信の実行を決定する。これにより、特定の言葉を適切に設定することによって、対象電子機器10は、相手ユーザが使用スピーカから出力される音声が聞き取りにくい場合に、音声・メッセージ変換通信の実行を決定することが可能となる。よって、相手ユーザは、使用スピーカから出力される音声が聞き取りにくい場合であっても、対象電子機器10からの音声の内容を確認することが可能になる。
<実行決定処理の第4の例>
図27は本例に係る実行決定処理を示すフローチャートである。本例では、上記の実行決定処理の第3の例と同様に、対象電子機器10は、相手機器10が送信する音声に基づいて、音声・メッセージ変換通信の実行を決定する。具体的には、対象電子機器10は、相手機器10が送信する音声に基づいて、相手機器10の周囲の騒音が大きいと判定すると、音声・メッセージ変換通信の実行を決定する。
図27に示されるように、本例に係る実行決定処理では、ステップs21及びs22が実行されずにステップs81が実行される。ステップs81では、対象電子機器10の制御部100は、相手機器10から送信される音声に基づいて、相手機器10の周囲の騒音が大きいか否かを判定する。具体的には、制御部100は、無線通信部110が受信する、相手機器10からの音声信号が示す音声に基づいて、相手機器10の周囲の騒音が大きいか否かを判定する。制御部100は、相手機器10からの音声信号に対してフィルリング処理等を実行することによって、当該音声信号に含まれるノイズ成分を抽出する。そして、制御部100は、抽出したノイズ成分のレベルがしきい値以上であるとき、相手機器10の周囲の騒音が大きいと判定する。一方で、制御部100は、抽出したノイズ成分のレベルがしきい値未満であるとき、相手機器10の周囲の騒音は大きくないと判定する。
ステップs81において、制御部100が、相手機器10の周囲の騒音が大きいと判定すると、ステップs52〜s54が実行されて、対象電子機器10と相手機器10との間で音声・メッセージ変換通信が開始する。これにより、実行決定処理が終了する。一方で、ステップs81において、制御部100は、相手機器10の周囲の騒音が大きくはないと判定すると、再度ステップs81を実行する。以後、対象電子機器10は同様に動作する。対象電子機器10は、実行決定処理の実行中に、相手機器10との電話通信が終了すると、実行決定処理を終了する。
なお、相手機器10の周囲の騒音が大きい場合には、相手ユーザが音声を聞き取りにくい状況にある可能性が高い。したがって、ステップs81の処理は、上述のステップs61及びs71と同様に、相手ユーザが音声を聞き取りにくい状況にあるのか否かを判定する処理として見ることもできる。
このように、本例では、対象電子機器10の制御部100は、相手機器10からの音声に基づいて、相手機器10の周囲の騒音が大きいと判定したとき、音声・メッセージ変換通信の実行を決定する。これにより、相手ユーザは、使用スピーカから出力される音声が聞き取りにくい場合であっても、対象電子機器10からの音声の内容を確認することができる。
<実行決定処理の第5の例>
図28は本例に係る実行決定処理を示すフローチャートである。本例では、対象電子機器10は、相手機器10の機器情報に基づいて、相手ユーザが相手機器10から耳を離したと判定したとき、音声・メッセージ変換通信の実行を決定する。
本例では、電子機器10が備えるセンサ装置200には近接センサ201が含まれる。近接センサ201は、図29に示されるように、例えば、電子機器10の機器ケース11の前面11aの上端部に位置する。近接センサ201は、それに近接する物体を検出することが可能である。電話通信中の電子機器10では、制御部100が、近接センサ201での検出結果を含む機器情報を生成する。以後、近接センサ201での検出結果を「近接検出結果」と呼ぶことがある。
図28に示されるように、本例に係る実行決定処理では、上述のステップs21及びs21が実行される。その後、ステップs91において、対象電子機器10の制御部100は、ステップs22で取得された機器情報に含まれる近接検出結果(以後、「最新の近接検出結果」と呼ぶことがある)と、過去に取得した機器情報(例えば、前回のステップs22で取得した機器情報)に含まれる近接検出結果(以後、「過去の近接検出結果」と呼ぶことがある)とに基づいて、相手ユーザが相手機器10から耳を離したか否かを判定する。
ステップs91では、制御部100は、過去の近接検出結果と、最新の近接検出結果とに基づいて、相手機器10の近接センサ201が物体を検出している検出状態から物体を検出していない非検出状態に変化したことを特定すると、相手ユーザが相手機器10から耳を離したと判定する。一方で、制御部100は、過去の近接検出結果と、最新の近接検出結果とに基づいて、相手機器10の近接センサ201が検出状態から非検出状態に変化したことを特定できない場合には、相手ユーザが相手機器10から耳を離してはいないと判定する。
ステップs91においてYESと判定されると、ステップs92において、制御部100は、相手ユーザが相手機器10から耳を離したことを通知部に通知させる。この通知部としては、例えば表示部120が採用される。この場合、制御部100は、相手ユーザが相手機器10から耳を離したこと示す情報780を表示部120に表示させる。図30は情報780の表示例を示す図である。なお、制御部100は、相手ユーザが相手機器10から耳を離したことを、表示部120以外の通知部に通知させてもよい。
ステップs92において、情報780が一定時間表示されると、上述のステップs53及びs54が実行されて、対象電子機器10と相手機器10との間で音声・メッセージ変換通信が開始する。これにより、実行決定処理が終了する。一方で、ステップs91においてNOと判定されると、ステップs21が再度実行される。以後、対象電子機器10は同様に動作する。対象電子機器10は、実行決定処理の実行中に、相手機器10との電話通信が終了すると、実行決定処理を終了する。
このように、本例では、対象電子機器10の制御部100は、相手機器10の機器情報に基づいて、相手ユーザが相手機器10から耳を離したと判定したとき、音声・メッセージ変換通信の実行を決定する。これにより、相手ユーザは、相手機器10から耳を離した場合であっても、表示部120に表示されるメッセージを見ることによって、対象電子機器10が送信する音声の内容を確認することができる。よって、電子機器10の利便性が向上する。
本例では、対象電子機器10が、相手機器10の機器情報に基づいて、相手ユーザが相手機器10から耳を離したと判定したとき、音声・メッセージ変換通信の実行を決定することから、相手機器10から実際に耳を離した第1タイミングよりも、音声・メッセージ変換通信の実行が決定される第2タイミングが遅れることがある。そのため、第1タイミングから第2タイミングまでの間に、対象電子機器10のマイク170に入力される音声がメッセージに変換されない可能性がある。一方で、相手ユーザは、相手機器10から耳を離すと、レシーバ150から出力される音声を聞くことが難しくなる。したがって、第1タイミングから第2タイミングまでの間に、対象電子機器10のマイク170に入力される音声がメッセージに変換されない場合には、相手ユーザは、当該音声の内容を確認できない可能性がある。
そこで、音声・メッセージ変換通信においては、対象電子機器10が音声・メッセージ変換通信の実行を決定したときよりも前から対象電子機器10のマイク170に入力される音声がメッセージに変換されてもよい。この場合、電話通信中の対象電子機器10の制御部100は、マイク170から出力される音声信号を記憶部103に一時的に記憶する。そして、制御部100は、音声・メッセージ変換通信の実行を決定したとき、記憶部103内の音声信号に基づいて、音声・メッセージ変換通信の実行を決定したときよりも所定時間前の時点からマイク170に入力される音声を示す音声信号を、無線通信部110にサーバ装置50へ送信させる。所定時間は、例えば数秒程度に設定される。これにより、音声・メッセージ変換通信では、対象電子機器10が音声・メッセージ変換通信の実行を決定したときよりも数秒前の時点から対象電子機器10のマイク170に入力される音声がメッセージに変換される。したがって、相手ユーザは、相手機器10から実際に耳を離したタイミングから、対象電子機器10が音声・メッセージ変換通信の実行を決定したタイミングまでの間に、対象電子機器10のマイク170に入力される音声の内容を確認することが可能となる。よって、電子機器10の利便性がさらに向上する。
なお、対象電子機器10が、相手ユーザが相手機器10から耳を離したか否かを判定する方法は、上記の限りではない。例えば、対象電子機器10は、相手機器10が備えるタッチパネル130の検出結果に基づいて、相手ユーザが相手機器10から耳を離したか否かを判定してもよい。この場合には、電話通信中の電子機器10は、タッチパネル130の検出結果を含む機器情報を生成する。ユーザの耳が機器ケース11の前面11aに接触している場合のタッチパネル130の検出結果と、ユーザの耳が前面11aに接触していない場合のタッチパネル130の検出結果とは互いに異なる。したがって、対象電子機器10の制御部100は、ステップs91において、ステップs22で取得された機器情報に含まれる、タッチパネル130の検出結果と、過去に取得した機器情報に含まれる、タッチパネル130の検出結果とに基づいて、相手ユーザが相手機器10から耳を離したか否かを判定することができる。
<実行決定処理の第6の例>
図31は本例に係る実行決定処理を示すフローチャートである。本例では、対象電子機器10は、相手機器10と電話通信を行っている場合に相手機器10に対して所定の操作が行われると、相手機器10との音声・メッセージ変換通信を開始し、当該所定の操作が行われている間、相手機器10と音声・メッセージ変換通信を行う。そして、対象電子機器10は、相手機器10に対して所定の操作が行われなくなると、相手機器10と電話通信を行う。
本例での所定の操作は、例えば、相手機器10が備える操作ボタン群210に含まれる特定の操作ボタン21が押される操作である。特定の操作ボタン21は、図2に示される操作ボタン21a〜21cのいずれかであってもよいし、操作ボタン21a〜21c以外の操作ボタン21であってもよい。また、特定の操作ボタン21は、機器ケース11の前面11aに位置してもよいし、機器ケース11の側面に位置してもよいし、機器ケース11の背面11bに位置してもよい。なお、所定の操作は、表示面12に表示されるソフトウェアボタンが押される操作であってもよい。また、所定の操作は、相手機器10のボタンが押される操作以外であってもよい。
本例では、電子機器10は、特定の操作ボタン21が押されている間、特定の操作ボタン21が押されていることを示すボタン操作中情報を含む機器情報を生成する。
図31に示されるように、本例に係る実行決定処理では、上述のステップs21及びs22が実行される。その後、ステップs101において、対象電子機器10の制御部100は、ステップs22で取得された機器情報に基づいて、相手機器10に対して所定の操作が行われているか否かを判定する。具体的には、制御部100は、相手機器10の機器情報に基づいて、相手機器10の操作ボタン群210に含まれる特定の操作ボタン21が押されているか否かを判定する。ステップs101では、制御部100は、機器情報にボタン操作中情報が含まれる場合、相手機器10の特定の操作ボタン21が押されていると判定する。一方で、制御部100は、機器情報にボタン操作中情報が含まれない場合、相手機器10の特定の操作ボタン21が押されていないと判定する。
ステップs101においてYESと判定されると、ステップs102において、制御部100は、相手機器10との音声・メッセージ変換通信を実行することを決定する。その後、ステップs103において、対象電子機器10は、相手機器10との音声・メッセージ変換通信を実行する。ステップs103の後、ステップs21が再度実行され、以後、対象電子機器10は同様に動作する。
一方で、ステップs101においてNOと判定されると、ステップs104において、制御部100は、相手機器10との電話通信を実行することを決定する。その後、ステップs105において、対象電子機器10は、相手機器10と電話通信を行う。その後、ステップs21が再度実行され、以後、電子機器10は同様に動作する。
ステップs101においてYESと判定されたとき、対象電子機器10が相手機器10と電話通信を行っている場合、ステップs103では、対象電子機器10は、相手機器10との電話通信の替わりに、相手機器10との音声・メッセージ変換通信を行う。一方で、ステップs101においてYESと判定されたとき、対象電子機器10が相手機器10と音声・メッセージ変換通信を行っている場合には、ステップs103では、対象電子機器10は、相手機器10との音声・メッセージ変換通信を維持する。
また、ステップs101においてNOと判定されたとき、対象電子機器10が相手機器10と音声・メッセージ変換通信を行っている場合には、ステップs105では、対象電子機器10は、相手機器10との音声・メッセージ変換通信の替わりに、相手機器10との電話通信を行う。この場合、ステップs105において、対象電子機器10は、相手機器10に対して電話通信の実行を通知する。この通知を受けた相手機器10は、メッセージ通信アプリケーションの実行の替わりに電話アプリケーションを実行する。対象電子機器10では、図21に示される表示画面750の替わりに、図24に示される表示画面770が表示される。相手機器10では、図22に示される表示画面760の替わりに、図24に示される表示画面770と同様の表示画面が表示される。一方で、ステップs101においてNOと判定されたとき、対象電子機器10が相手機器10と電話通信を行っている場合には、ステップs105では、対象電子機器10は、相手機器10との電話通信を維持する。
このように、本例では、対象電子機器10は、相手機器10の機器情報に基づいて、相手機器10に対して所定の操作が行われていると判定したとき、音声・メッセージ変換通信の実行を決定する。これにより、相手機器10のユーザは、相手機器10に対して所定の操作を行うことによって、相手機器10と対象電子機器10との間で音声・メッセージ変換通信を実行させることができる。よって、相手機器10のユーザは、必要なときに、対象電子機器10が送信する音声の内容を示すメッセージを相手機器10に表示させることができる。その結果、電子機器10の利便性が向上する。
なお、対象電子機器10は、相手機器10と電話通信を行っている場合、上記の実行決定処理の第1〜第6の例の少なくとも2つの例を実行してもよい。例えば、実行決定処理の第1及び第2の例が実行される場合を考える。この場合、対象電子機器10は、相手ユーザが音声を聞き取りにくい状況であると判定した場合に音声・メッセージ変換通信の実行を決定し、相手機器10が使用スピーカの音量を上げたことを特定した場合に音声・メッセージ変換通信の実行を決定する。他の例として、実行決定処理の第3〜第6の例が実行される場合を考える。この場合、対象電子機器10は、相手機器10からの音声に特定の言葉が含まれている場合に音声・メッセージ変換通信の実行を決定し、相手機器10の周囲の騒音が大きいと判定した場合に音声・メッセージ変換通信の実行を決定し、相手ユーザが相手機器10から耳を離したと判定した場合に音声・メッセージ変換通信の実行を決定し、相手機器10に対して所定の操作が行われていると判定した場合に音声・メッセージ変換通信の実行を決定する。
上記の各例では、対象電子機器10と相手機器10との間の音声・メッセージ変換通信は、サーバ装置50を介して行われていたが、サーバ装置50を介さずに行われてもよい。この場合、対象電子機器10の制御部100が、マイク170に入力される音声をメッセージに変換し、そのメッセージを対象電子機器10が相手機器10に送信してもよい。あるいは、相手機器10の制御部100が、対象電子機器10から送信される音声(言い換えれば音声信号)をメッセージに変換し、そのメッセージを相手機器10が表示してもよい。また、相手機器10の制御部100は、対象電子機器10宛てのメッセージを音声に変換し、その音声を示す音声信号を相手機器10が対象電子機器10に送信してもよい。あるいは、対象電子機器10の制御部100は、相手機器10からのメッセージを音声に変換し、その音声を対象電子機器10がレシーバ150等から出力してもよい。
以上のように、処理システム1は詳細に説明されたが、上記した説明は、全ての局面において例示であって、この開示がそれに限定されるものではない。また、上述した各種変形例は、相互に矛盾しない限り組み合わせて適用可能である。そして、例示されていない無数の変形例が、この開示の範囲から外れることなく想定され得るものと解される。
1 処理システム
10 電子機器
100 制御部
110 無線通信部
120 表示部
150 レシーバ
160 スピーカ
170 マイク
230 振動部

Claims (18)

  1. 電子機器であって、
    相手装置に関する情報を取得する通信部と、
    第1音声入力部が出力する音声信号が入力される制御部と
    を備え、
    前記電子機器と前記相手装置との間では、前記第1音声入力部に入力される第1音声が第1メッセージに変換され、当該第1メッセージが前記相手装置で表示される音声・メッセージ変換通信が可能であり、
    前記制御部は、前記情報に基づいて前記音声・メッセージ変換通信の実行を決定する、電子機器。
  2. 請求項1に記載の電子機器であって、
    前記制御部は、音声を第1音出力部に出力させ、
    前記相手装置は、
    第2音声入力部が出力する音声信号を用いた処理を行い、
    音声を第2音出力部から出力させる、電子機器。
  3. 請求項2に記載の電子機器であって、
    前記電子機器と前記相手装置との間では、前記第1音声入力部に入力される第2音声が前記相手装置で受信されて前記第2音出力部から出力され、前記第2音声入力部に入力される第3音声が前記通信部で受信されて前記第1音出力部から出力される電話通信が可能であって、
    前記制御部は、前記電子機器と前記相手装置との間で前記電話通信が行われている場合、前記情報に基づいて前記音声・メッセージ変換通信の実行を決定する、電子機器。
  4. 請求項3に記載の電子機器であって、
    前記制御部は、前記電子機器と前記相手装置との間で前記電話通信が行われている場合、前記相手装置が前記第2音出力部の音量を上げたことを前記情報に基づいて特定したとき、前記音声・メッセージ変換通信の実行を決定する、電子機器。
  5. 請求項3及び請求項4のいずれか一つに記載の電子機器であって、
    前記情報には前記第3音声が含まれ、
    前記制御部は、前記電子機器と前記相手装置との間で前記電話通信が行われている場合、前記第3音声に基づいて前記音声・メッセージ変換通信の実行を決定する、電子機器。
  6. 請求項5に記載の電子機器であって、
    前記制御部は、前記電子機器と前記相手装置との間で前記電話通信が行われている場合、前記第3音声に特定の言葉が含まれているとき、前記音声・メッセージ変換通信の実行を決定する、電子機器。
  7. 請求項5及び請求項6のいずれか一つに記載の電子機器であって、
    前記制御部は、前記電子機器と前記相手装置との間で前記電話通信が行われている場合、前記第3音声に基づいて前記相手装置の周囲の騒音が大きいと判定したとき、前記音声・メッセージ変換通信の実行を決定する、電子機器。
  8. 請求項3乃至請求項7のいずれか一つに記載の電子機器であって、
    前記制御部は、前記電子機器と前記相手装置との間で前記電話通信が行われている場合、前記情報に基づいて、前記相手装置のユーザが当該相手装置から耳を離したと判定したとき、前記音声・メッセージ変換通信の実行を決定する、電子機器。
  9. 請求項8に記載の電子機器であって、
    前記音声・メッセージ変換通信では、前記制御部が前記音声・メッセージ変換通信の実行を決定したときよりも前から前記第1音入力部に入力される前記第1音声が、前記第1メッセージに変換される、電子機器。
  10. 請求項3乃至請求項9のいずれか一つに記載の電子機器であって、
    前記制御部は、前記電子機器と前記相手装置との間で前記電話通信が行われている場合、前記情報に基づいて、前記相手装置に対して所定の操作が行われていると判定したとき、前記音声・メッセージ変換通信の実行を決定する、電子機器。
  11. 請求項2乃至請求項10のいずれか一つに記載の電子機器であって、
    前記音声・メッセージ変換通信では、前記相手装置が生成する第2メッセージが第4音声に変換され、当該第4音声が前記第1音出力部から出力される、電子機器。
  12. 請求項11に記載の電子機器であって、
    前記第4音声は、前記相手機器が記憶するアドレス帳に登録された第5音声に基づいて生成される、電子機器。
  13. 請求項2乃至請求項10のいずれか一つに記載の電子機器であって、
    前記音声・メッセージ変換通信では、前記相手装置が生成する第2メッセージが第4音声に変換され、当該第4音声が前記第1音出力部から出力され、
    前記第4音声は、前記電話通信において前記第2音入力部に入力された前記第3音声に基づいて生成される、電子機器。
  14. 電子機器であって、
    相手装置に関する情報を取得する通信部と、
    第1音声入力部が出力する音声信号が入力される制御部と
    を備え、
    前記相手装置は、
    第2音声入力部が出力する音声信号を用いた処理を行い、
    音声を音出力部から出力させ、
    前記制御部は、前記相手装置が、前記通信部が送信する、前記第1音声入力部に入力される第1音声を前記音出力部に出力させる場合に、前記相手装置が、前記第2音入力部に入力される第2音声を前記電子機器に送信せずに、メッセージ通信のためのアプリケーションを実行するように前記相手装置を制御する制御処理を実行することが可能であり、
    前記制御部は、前記情報に基づいて前記制御処理の実行を決定する、電子機器。
  15. 電子機器であって、
    相手装置に関する情報を取得する通信部と、
    ユーザに通知を行う通知部と、
    第1音声入力部が出力する音声信号が入力される制御部と
    を備え、
    前記相手装置は、
    第2音声入力部が出力する音声信号を用いた処理を行い、
    音声を音出力部に出力させ、
    前記制御部は、前記相手装置が、前記通信部が送信する、前記第1音入力部に入力される第1音声を前記音出力部に出力させる場合に、前記相手装置が、前記第2音入力部に入力される第2音声を前記電子機器に送信せずに、メッセージ通信のためのアプリケーションを実行するように前記相手装置を制御する制御処理を実行することが可能であり、
    前記制御部は、前記制御処理を前記電子機器が行うか否かを前記ユーザが選択することを前記通知部に通知させる処理の実行を、前記情報に基づいて決定する、電子機器。
  16. 請求項1乃至請求項15のいずれか一つに記載の電子機器であって、
    前記第1音声入力部を備える、電子機器。
  17. 請求項1乃至請求項16のいずれか一つに記載の電子機器が通信可能な前記相手装置である電子機器。
  18. 請求項1乃至請求項16のいずれか一つに記載の電子機器と、
    前記電子機器が通信可能な前記相手装置と
    を備える、処理システム。
JP2018084492A 2018-04-25 2018-04-25 電子機器及び処理システム Active JP7037426B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018084492A JP7037426B2 (ja) 2018-04-25 2018-04-25 電子機器及び処理システム
PCT/JP2019/002201 WO2019207867A1 (ja) 2018-04-25 2019-01-24 電子機器及び処理システム
US17/072,415 US12008989B2 (en) 2018-04-25 2020-10-16 Electronic apparatus and processing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018084492A JP7037426B2 (ja) 2018-04-25 2018-04-25 電子機器及び処理システム

Publications (2)

Publication Number Publication Date
JP2019193121A true JP2019193121A (ja) 2019-10-31
JP7037426B2 JP7037426B2 (ja) 2022-03-16

Family

ID=68293807

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018084492A Active JP7037426B2 (ja) 2018-04-25 2018-04-25 電子機器及び処理システム

Country Status (3)

Country Link
US (1) US12008989B2 (ja)
JP (1) JP7037426B2 (ja)
WO (1) WO2019207867A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7192348B2 (ja) * 2018-09-25 2022-12-20 富士フイルムビジネスイノベーション株式会社 制御装置、制御システム及びプログラム

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006352803A (ja) * 2005-06-20 2006-12-28 Sharp Corp 送信端末装置、受信端末装置、サーバ装置、通信システム、通信制御方法、情報送信方法、情報受信方法、通信制御プログラム、情報送信プログラム、情報受信プログラムおよび記録媒体
JP2007214909A (ja) * 2006-02-09 2007-08-23 Matsushita Electric Ind Co Ltd 電話装置及び電話方法
JP3997278B2 (ja) * 2001-04-27 2007-10-24 株式会社ケンウッド 電話装置、音声合成システム、音素情報登録装置、音素情報登録・音声合成装置
JP2008109595A (ja) * 2006-10-27 2008-05-08 Nec Corp 通話方法自動切替システム、サーバ、方法およびプログラム
JP2010512073A (ja) * 2006-12-05 2010-04-15 ノーテル・ネットワークス・リミテッド 装置同士の間で通信を行う方法及び装置
KR20100133128A (ko) * 2009-06-11 2010-12-21 엘지전자 주식회사 이동 단말기 및 그 통화 내용 표시 방법
JP2011015090A (ja) * 2009-06-30 2011-01-20 Fujitsu Ltd 電話機、通話制御方法及び通話制御プログラム
JP2013517739A (ja) * 2010-01-20 2013-05-16 マイクロソフト コーポレーション ミックスされた能力を備えたデバイス及びインターフェース間における通信セッション
JP2015100073A (ja) * 2013-11-20 2015-05-28 エヌ・ティ・ティ・コミュニケーションズ株式会社 通信装置、端末、通信システム、通信方法、および通信プログラム
JP2017517228A (ja) * 2014-05-23 2017-06-22 サムスン エレクトロニクス カンパニー リミテッド 音声/文字通話サービスを提供するシステム及びその方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5724410A (en) * 1995-12-18 1998-03-03 Sony Corporation Two-way voice messaging terminal having a speech to text converter
US7076255B2 (en) * 2000-04-05 2006-07-11 Microsoft Corporation Context-aware and location-aware cellular phones and methods
US20030135569A1 (en) * 2002-01-15 2003-07-17 Khakoo Shabbir A. Method and apparatus for delivering messages based on user presence, preference or location
US7369649B2 (en) * 2003-08-15 2008-05-06 Avaya Technology Corp. System and method for caller initiated voicemail annotation and its transmission over IP/SIP for flexible and efficient voice mail retrieval
JP2006245919A (ja) * 2005-03-02 2006-09-14 Nec Access Technica Ltd 携帯電話端末、音声データ受信の報知方法、通話音声の出力方法、及び、プログラム
US7917178B2 (en) * 2005-03-22 2011-03-29 Sony Ericsson Mobile Communications Ab Wireless communications device with voice-to-text conversion
US20070190944A1 (en) * 2006-02-13 2007-08-16 Doan Christopher H Method and system for automatic presence and ambient noise detection for a wireless communication device
US8204748B2 (en) * 2006-05-02 2012-06-19 Xerox Corporation System and method for providing a textual representation of an audio message to a mobile device
US8130917B2 (en) * 2006-12-21 2012-03-06 Verizon Data Services Llc Method and apparatus for group messaging
JP5109440B2 (ja) 2007-03-29 2012-12-26 サクサ株式会社 端末状態通知装置および方法、プログラム、呼制御サーバ
US8645140B2 (en) * 2009-02-25 2014-02-04 Blackberry Limited Electronic device and method of associating a voice font with a contact for text-to-speech conversion at the electronic device
JP5332798B2 (ja) * 2009-03-26 2013-11-06 ブラザー工業株式会社 通信制御装置、通信制御方法、及び通信制御プログラム
US8401848B2 (en) * 2009-12-15 2013-03-19 At&T Intellectual Property I, L.P. System and method for audible text center subsystem
US8355703B2 (en) * 2010-06-08 2013-01-15 At&T Intellectual Property I, L.P. Intelligent text message-to-speech system and method for visual voice mail
US9467403B2 (en) * 2013-11-28 2016-10-11 Tencent Technology (Shenzhen) Company Limited Method and mobile terminal for speech communication
US20180034961A1 (en) * 2014-02-28 2018-02-01 Ultratec, Inc. Semiautomated Relay Method and Apparatus
WO2015178715A1 (en) 2014-05-23 2015-11-26 Samsung Electronics Co., Ltd. System and method of providing voice-message call service
US10033864B2 (en) * 2015-05-18 2018-07-24 Interactive Intelligence Group, Inc. Dynamically switching communications to text interactions
CN105869654B (zh) * 2016-03-29 2020-12-04 阿里巴巴集团控股有限公司 音频消息的处理方法及装置
US10187512B2 (en) * 2016-09-27 2019-01-22 Apple Inc. Voice-to text mode based on ambient noise measurement
US10470005B1 (en) * 2019-07-09 2019-11-05 Republic Wireless, Inc. Techniques for managing outbound voice messages in a communication system

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3997278B2 (ja) * 2001-04-27 2007-10-24 株式会社ケンウッド 電話装置、音声合成システム、音素情報登録装置、音素情報登録・音声合成装置
JP2006352803A (ja) * 2005-06-20 2006-12-28 Sharp Corp 送信端末装置、受信端末装置、サーバ装置、通信システム、通信制御方法、情報送信方法、情報受信方法、通信制御プログラム、情報送信プログラム、情報受信プログラムおよび記録媒体
JP2007214909A (ja) * 2006-02-09 2007-08-23 Matsushita Electric Ind Co Ltd 電話装置及び電話方法
JP2008109595A (ja) * 2006-10-27 2008-05-08 Nec Corp 通話方法自動切替システム、サーバ、方法およびプログラム
JP2010512073A (ja) * 2006-12-05 2010-04-15 ノーテル・ネットワークス・リミテッド 装置同士の間で通信を行う方法及び装置
KR20100133128A (ko) * 2009-06-11 2010-12-21 엘지전자 주식회사 이동 단말기 및 그 통화 내용 표시 방법
JP2011015090A (ja) * 2009-06-30 2011-01-20 Fujitsu Ltd 電話機、通話制御方法及び通話制御プログラム
JP2013517739A (ja) * 2010-01-20 2013-05-16 マイクロソフト コーポレーション ミックスされた能力を備えたデバイス及びインターフェース間における通信セッション
JP2015100073A (ja) * 2013-11-20 2015-05-28 エヌ・ティ・ティ・コミュニケーションズ株式会社 通信装置、端末、通信システム、通信方法、および通信プログラム
JP2017517228A (ja) * 2014-05-23 2017-06-22 サムスン エレクトロニクス カンパニー リミテッド 音声/文字通話サービスを提供するシステム及びその方法

Also Published As

Publication number Publication date
JP7037426B2 (ja) 2022-03-16
US12008989B2 (en) 2024-06-11
US20210035581A1 (en) 2021-02-04
WO2019207867A1 (ja) 2019-10-31

Similar Documents

Publication Publication Date Title
US10015836B2 (en) Master device for using connection attribute of electronic accessories connections to facilitate locating an accessory
JP5187764B2 (ja) 通信端末装置及びプログラム
US11283914B2 (en) Electronic apparatus for communicating with target apparatus based on information acquired from the target apparatus
JP5414008B2 (ja) 通信端末装置及びプログラム
CN105049628A (zh) 控制终端驾驶模式的方法和装置
EP3962119A1 (en) Positioning method and apparatus
JP6587918B2 (ja) 電子機器、電子機器の制御方法、電子機器の制御装置、制御プログラム及び電子機器システム
WO2017013937A1 (ja) 情報処理装置、情報処理方法、及びプログラム
WO2019207867A1 (ja) 電子機器及び処理システム
JP2019118134A (ja) 情報処理装置、通信制御方法およびコンピュータプログラム
US11595519B2 (en) Electronic apparatus and processing system
US11310625B2 (en) Electronic apparatus
US11074034B2 (en) Information processing apparatus, information processing method, and program
JP6000587B2 (ja) 端末装置およびプログラム
KR20110119125A (ko) 휴대 단말기 및 그 동작 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200817

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210831

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211020

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220208

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220304

R150 Certificate of patent or registration of utility model

Ref document number: 7037426

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150