JP2023179884A - ネットワークシステム、情報処理方法、およびサーバ - Google Patents

Abstract

【課題】ユーザ音声に基づくメモを効率的に利用するための技術を提供する。【解決手段】ユーザの音声を取得するための第１の端末２００と、所定のページを閲覧可能な第２の端末３００と、サーバ１００と、を備えるネットワークシステム１が提供される。サーバは、第１の端末からのユーザの音声からキーワードを抽出し、所定のページにキーワードを投稿する。【選択図】図２

Description

本発明は、音声メモの技術に関する。

従来から、ユーザ音声をテキスト変換して記憶するための技術が知られている。たとえば、特開２０２２－５２６９５号公報（特許文献１）には、音声ファイルに対するテキスト変換記録とメモをともに管理する方法、システム、およびコンピュータ読み取り可能な記録媒体が記載されている。特許文献１によると、音声記録管理方法は、音声をテキストに変換して音声記録を生成する段階と、前記音声の録音中または再生中に作成されたメモを前記音声記録とマッチングして管理する段階と、前記音声記録と前記メモを連係させて提供する段階と、を含む。

特開２０２２－５２６９５号公報

本発明の目的は、ユーザ音声に基づくメモを効率的に利用するための技術を提供することにある。

この発明のある態様に従うと、ユーザの音声を取得するための第１の端末と、所定のページを閲覧可能な第２の端末と、サーバと、を備えるネットワークシステムが提供される。サーバは、第１の端末からのユーザの音声からキーワードを抽出し、所定のページにキーワードを投稿する。

以上のように、この発明によれば、ユーザ音声に基づくメモを効率的に利用するための技術が提供される。

第１の実施の形態にかかるネットワークシステム１の全体構成を示すイメージ図である。 第１の実施の形態にかかるネットワークシステム１の全体的な機能や動作概要を示すイメージ図である。 第１の実施の形態にかかるサーバ１００の構成を表わすブロック図である。 第１の実施の形態にかかるユーザ情報データ１２１を示すイメージ図である。 第１の実施の形態にかかる機器情報データ１２２を示すイメージ図である。 第１の実施の形態にかかるサーバ１００の情報処理を示すフローチャートである。 第１の実施の形態にかかる電気機器２００の構成を表わすブロック図である。 第１の実施の形態にかかる通信端末３００の構成を表わすブロック図である。 第２の実施の形態にかかるネットワークシステム１の全体的な機能や動作概要を示すイメージ図である。 第２の実施の形態にかかるチャンネル情報データ１２６を示すイメージ図である。 第２の実施の形態にかかるカテゴリー情報データ１２７を示すイメージ図である。 第２の実施の形態にかかるサーバ１００の情報処理を示すフローチャートである。 第３の実施の形態にかかるネットワークシステム１の全体的な機能や動作概要を示すイメージ図である。 第５の実施の形態にかかるネットワークシステム１の全体的な機能や動作概要を示すイメージ図である。

以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
＜第１の実施の形態＞
＜ネットワークシステム１の概要＞

まず、図１を参照して本実施の形態にかかるネットワークシステム１の全体構成について説明する。本実施の形態にかかるネットワークシステム１は、主に、サーバ１００と、冷蔵庫２００Ａや電子レンジ２００Ｂやエアコン２００Ｃやテレビ２００Ｄなどの電気機器２００と、スマートフォンやタブレットなどの通信端末３００と、電気機器２００などをインターネットなどの外部のネットワークに接続するための無線ルータ４００、などを含む。

なお、サーバ１００としては、本実施の形態においては、図２に示すように、主に電気機器２００とデータをやり取りする家電サーバ１００Ａや、ＳＮＳ（Social Networking Service）を提供するＳＮＳサーバ１００Ｂなどが準備される。以下では、これらのサーバを総称して、サーバ１００ともいう。

電気機器２００は、冷蔵庫２００Ａや電子レンジ２００Ｂやエアコン２００Ｃやテレビ２００Ｄなどに限らず、洗濯機、空気清浄器、加湿器、除湿器、掃除機、自動調理鍋、炊飯器、照明などの家電、パーソナルコンピュータ、ハードディスクレコーダ、プロジェクタ、音楽プレーヤー、ゲーム機、スピーカなどのＡＶ（オーディオ・ビジュアル）機器、太陽光発電システム、蓄電池システム、給湯システムなどのＨＥＭＳ設備、組み込み照明、インターホン、電気錠、給湯器、温水洗浄便座コントローラなどの住宅設備、などであってもよい。以下では、これらを総称して電気機器２００という。

また、通信端末３００も、スマートフォンに限らず、パーソナルコンピュータやタブレットやゲーム機やスピーカやウェアラブル端末などであってもよい。以下では、これらを総称して通信端末３００という。
＜ネットワークシステム１の機能構成＞

次に、図２を参照して本実施の形態にかかるネットワークシステム１の動作概要について説明する。

まず、ユーザが電気機器２００としての冷蔵庫２００Ａに対して所定の動作を実行すると、冷蔵庫２００Ａがユーザの音声を受け付けてユーザが発話した音声データをサーバ１００にアップロードする。

サーバ１００は、ユーザ発話音声データから所定のキーワードを抽出して、当該キーワードをＳＮＳの所定のチャンネルに投稿する。たとえば、冷蔵庫２００Ａに関しては、予め、メニューや食材などのキーワードが登録されている。これによって、当該ユーザの通信端末３００や、ユーザの家族の通信端末３００で、ＳＮＳのチャンネルの投稿を閲覧することができる。

また、本実施の形態においては、ユーザが、当該投稿に対応する通信端末３００の「もっと見る」ボタンを押すと、通信端末３００は、ユーザの音声をそのままテキストに変換した文章を表示する。

また、本実施の形態においては、ユーザが、当該投稿に対応する通信端末３００の「音声データＬＩＮＫ」ボタンを押すと、通信端末３００は、スピーカから、ユーザ発話音声内容をそのまま音声出力する。

このように、本実施の形態にかかるネットワークシステム１においては、ユーザが、購入すべき食材やメニューなどを冷蔵庫２００Ａの前でつぶやくと、当該ユーザの家族のチャンネルの必要な食材やメニューなどがリスト表示される。これによって、ユーザの家族に、購入すべき食材を、一目瞭然に、効率的に伝達することができる。

以下、このような機能を実現するためのネットワークシステム１の具体的な構成について詳述する。
＜サーバの構成＞

まず、本実施の形態にかかるネットワークシステム１を構成するサーバの構成の一態様について説明する。なお、本実施の形態にかかるネットワークシステム１で利用される機能は、家電サーバ１００ＡとＳＮＳサーバ１００Ｂのような、２つのサーバ１００で実現することに限られるものではなく、クラウド上のさらに多くの装置によって実現されてもよいし、さらに少ない装置によって実現されてもよい。以下では、説明のために、これらのサーバ群を１つのサーバ１００として説明する。

図３を参照して、サーバ１００は、主たる構成要素として、ＣＰＵ（Central Processing Unit）１１０と、メモリ１２０と、操作部１４０と、通信インターフェイス１６０とを含む。

ＣＰＵ１１０は、メモリ１２０に記憶されているプログラムを実行することによって、サーバ１００の各部を制御する。たとえば、ＣＰＵ１１０は、メモリ１２０に格納されているプログラムを実行し、各種のデータを参照することによって、後述する各種の処理を実行する。

メモリ１２０は、各種のＲＡＭ（Random Access Memory）、各種のＲＯＭ（Read‐Only Memory）などによって実現され、サーバ１００に内包されているものであってもよいし、サーバ１００の各種インターフェイスに着脱可能なものであってもよいし、サーバ１００からアクセス可能な他の装置の記録媒体であってもよい。メモリ１２０は、ＣＰＵ１１０によって実行されるプログラムや、ＣＰＵ１１０によるプログラムの実行により生成されたデータ、入力されたデータ、その他の本実施の形態にかかるサービスに利用されるデータベースなどを記憶する。

たとえば、メモリ１２０は、図４に示すような、ユーザ情報データ１２１を記憶する。ユーザ情報データ１２１は、本サービスに登録されるユーザ毎に、ユーザＩＤと、ユーザ名と、家族ＩＤと、メールアドレスと、住所と、ユーザが加入している各種のサービスの識別情報やサービス内容などを格納する。

また、メモリ１２０は、図５に示すような、機器情報データ１２２を記憶する。機器情報データ１２２は、本サービスに登録される電気機器毎に、機器ＩＤと、電気機器のユーザＩＤと、ペアリングのための接続ＩＤなどを格納する。

さらに、メモリ１２０は、ＳＮＳのチャンネルに登録されている家族などのユーザのＩＤや、チャンネル毎の投稿履歴や、電気機器２００の種類毎のキーワードや、電気機器２００から受信した音声データや、音声から変換されたテキストデータや、その他の本実施の形態にかかるサービスに利用される各種のデータが格納される。本実施の形態においては、家族毎にチャンネルが準備されており、食材やメニューに関するキーワードが準備されているものとする。

図３に戻って、操作部１４０は、サービスの管理者などの命令を受け付けて、当該命令をＣＰＵ１１０に入力する。

通信インターフェイス１６０は、ＣＰＵ１１０からのデータを、インターネット、キャリア網、ルータなどを介して、電気機器２００や通信端末３００などの他の装置に送信する。逆に、通信インターフェイス１６０は、インターネット、キャリア網、ルータなどを介して電気機器２００や通信端末３００などの他の装置からのデータを受信して、ＣＰＵ１１０に受け渡す。
＜ネットワークシステムの情報処理＞

次に、図６を参照して、本実施の形態にかかるサーバ１００における情報処理について説明する。なお、サーバ１００のＣＰＵ１１０は、メモリ１２０のプログラムに従って、以下の処理を実行する。

ＣＰＵ１１０は、通信インターフェイス１６０を介して、電気機器２００から音声データを受信する（ステップＳ１０２）。

ＣＰＵ１１０は、音声データを履歴データとしてメモリ１２０に蓄積する（ステップＳ１０４）。

ＣＰＵ１１０は、音声データを解析して、テキストデータに変換する（ステップＳ１０６）。

ＣＰＵ１１０は、テキストデータからキーワードを抽出する（ステップＳ１０８）。

キーワードが抽出できた場合（ステップＳ１１０にてＹＥＳである場合）、ＣＰＵ１１０は、通信インターフェイス１６０を介して、当該キーワードを電気機器２００のユーザが属するＳＮＳのチャンネルに投稿する（ステップＳ１１２）。

これによって、当該チャンネルに属する家族などのユーザが、通信端末３００を介して当該チャンネルのページにアクセスしてくると、サーバ１００のＣＰＵ１１０は、通信インターフェイス１６０を介して、当該キーワードのリストを通信端末３００にリストアップ表示させることができる（ステップＳ１１４）。

なお、ＣＰＵ１１０は、通信インターフェイス１６０を介して通信端末３００から「もっと見る」命令を受け付けると（ステップＳ１１６にてＹＥＳである場合）、通信インターフェイス１６０を介して元のテキストデータを通信端末３００に送信する（ステップＳ１１８）。これによって、通信端末３００は、キーワードだけでは意味が解らない場合などに、キーワードだけでなくユーザ発話した音声全体を変換したテキストデータ全体を表示することができる。

また、ＣＰＵ１１０は、通信インターフェイス１６０を介して通信端末３００から音声データの要求を受け付けると（ステップＳ１２０にてＹＥＳである場合）、通信インターフェイス１６０を介して元の音声データ自体を通信端末３００に送信する（ステップＳ１２２）。これによって、通信端末３００は、テキストデータを読んでも意味が解らない場合や誤ったテキスト変換がされた場合などに、元のユーザの音声そのままを出力することができる。

なお、ＣＰＵ１１０は、テキストデータから、キーワードを抽出できなかった場合（ステップＳ１１０にてＮＯである場合）、今回の処理を終了する。

ここで、テキストデータからキーワードを検出できなかった時に投稿するチャネルを別途登録しておき、ＣＰＵ１１０は、キーワードを抽出できなかった場合にはそのチャネルに投稿する様に構成してもよい。この場合の投稿のキーワードとしては、例えば、音声データの先頭の最初のフレーズなどとしておき、「もっと見る」命令でテキスト全体表示、音声データ要求で元の音声データをそのまま出力することもできる。
＜電気機器２００の構成＞

次に、図７を参照して、ネットワークシステム１を構成する電気機器２００の構成の一態様について説明する。本実施の形態にかかる電気機器２００は、主たる構成要素として、ＣＰＵ２１０と、メモリ２２０と、ディスプレイ２３０、操作部２４０と、通信インターフェイス２６０と、スピーカ２７０と、マイク２８０と、機器駆動部２９０と、ライト２９５と、各種センサ２９７などを含む。

ＣＰＵ２１０は、メモリ２２０あるいは外部の記憶媒体に記憶されているプログラムを実行することによって、電気機器２００の各部を制御する。

メモリ２２０は、各種のＲＡＭ、各種のＲＯＭなどによって実現され、ＣＰＵ２１０によって実行されるプログラムや、ＣＰＵ２１０によるプログラムの実行により生成されたデータ、操作部２４０を介して入力されたデータ、マイク２８０から入力された音声データ、リモコンから受信したデータ、ルータ４００やインターネットを介してサーバ１００から受信したデータ、電気機器２００に対応する管理サーバのアドレス、など各種サービスを利用するために必要な情報などを記憶する。

ディスプレイ２３０は、ＣＰＵ２１０からの信号に基づいて、文字や画像などを出力する。

操作部２４０は、ボタン、タッチパネルなどによって実現され、ユーザからの命令を受け付けて、当該命令をＣＰＵ２１０に入力する。なお、ディスプレイ２３０と操作部２４０とは、タッチパネル２５０を構成してもよい。

通信インターフェイス２６０は、無線通信を行うためのアンテナや、有線通信を行うためのコネクタなどによって実現される。ＣＰＵ２１０は、通信インターフェイス２６０を利用することによって、ルータ４００やインターネットなどを介して、サーバ１００や他の電気機器２００や通信端末３００と各種のデータをやり取りする。たとえば、ＣＰＵ２１０は、通信インターフェイス２６０を介して、動作内容や環境情報やユーザ音声データなどをサーバ１００に送信したり、操作命令や音声データなどをサーバ１００から受信したりする。

スピーカ２７０は、ＣＰＵ２１０からの音声データに基づいて音声メッセージなどを出力する。マイク２８０は、ユーザの声などを取得して音声データをＣＰＵ２１０に入力する。特に本実施の形態においては、ＣＰＵ２１０は、マイク２８０から受け付けた音声データを、通信インターフェイス２６０を介してサーバ１００に送信したり、サーバ１００から受信した音声メッセージをスピーカ２７０から出力したりする。

機器駆動部２９０は、ＣＰＵ２１０からの信号に基づいて、電気機器２００の各部（モータやヒータやセンサやアンテナなど）を制御する。機器駆動部２９０は、たとえば、冷蔵庫やエアコンに関しては圧縮機やファンであったり、電子レンジに関しては加熱調理のためのアンテナや回転テーブルであったり、テレビに関しては受信アンテナやチューナであったりする。

ライト２９５は、ＣＰＵ２１０からの指示に従って、音声対話中やユーザ音声録音（取得）中であることを示す光を発するためのライトである。

各種センサ２９７は、たとえば扉開閉センサであって、扉の開閉を検知して、検知結果をＣＰＵ２１０に入力する。あるいは、各種センサ２９７は、加速度センサであって、振動を検知して、検知結果をＣＰＵ２１０に入力する。各種センサ２９７は、人感センサなどであってもよい。

そして、本実施の形態においては、ＣＰＵ２１０は、操作部２４０の録音メモボタン２４１が押されると、マイク２８０を起動して、音声の入力を受け付ける。ＣＰＵ２１０は、取得した音声データを通信インターフェイスを介してサーバ１００にアップロードする。
＜通信端末３００の構成＞

次に、図８を参照して、ネットワークシステム１を構成する通信端末３００の構成の一態様について説明する。本実施の形態にかかる通信端末３００は、主たる構成要素として、ＣＰＵ３１０と、メモリ３２０と、ディスプレイ３３０と、操作部３４０と、通信インターフェイス３６０と、スピーカ３７０と、マイク３８０、カメラ３９０などを含む。

ＣＰＵ３１０は、メモリ３２０に記憶されているプログラムを実行することによって、通信端末３００の各部を制御する。

メモリ３２０は、各種のＲＡＭや、各種のＲＯＭなどによって実現される。メモリ３２０は、各種サービスのためのアプリケーションプログラムや通知エージェント用のプログラムや、ＣＰＵ３１０によるプログラムの実行により生成されたデータ、サーバ１００から受信したデータ、操作部３４０を介して入力されたデータ、通信端末３００のユーザを特定するための情報などを記憶する。

ディスプレイ３３０は、ＣＰＵ３１０からのデータに基づいて、画像やテキストを表示する。操作部３４０は、ポインティングデバイスやスイッチなどから構成され、ユーザからの各種の命令をＣＰＵ３１０に入力する。なお、ユーザ端末は、ディスプレイ３３０と操作部３４０とを含むタッチパネル３５０を有してもよい。

通信インターフェイス３６０は、インターネットやキャリア網やルータ４００などを介して、サーバ１００や電気機器２００などの他の装置との間でデータを送受信する。たとえば、ＣＰＵ３１０は、プログラムに従って、通信インターフェイス３６０を介してサーバ１００と、ユーザに関する各種の情報をやりとりする。ＣＰＵ３１０は、当該各種の情報を、他のアプリケーションプログラムに提供することによって各種のサービスを受けることができる。

スピーカ３７０は、ＣＰＵ３１０からの音声データに基づいて音声メッセージなどを出力する。マイク３８０は、ユーザの声などを取得して音声データをＣＰＵ３１０に入力する。カメラ３９０は、撮影した静止画像や動画像をＣＰＵ３１０に入力したり、メモリ３２０に格納したりする。

このように構成されているため、ＣＰＵ３１０は、ユーザの指示に基づいて、通信インターフェイス３６０を介してＳＮＳのチャンネルの投稿データをサーバ１００に要求したしたり、サーバ１００からの情報に基づいて、ＳＮＳのチャンネルのページをディスプレイ３３０に表示したり、操作部３４０やマイク３８０を介してユーザのメッセージを受け付けて当該チャンネルに新たな投稿を行ったりする。
＜第２の実施の形態＞

上記の実施の形態においては、家族毎にＳＮＳのチャンネルやチャンネルが準備されるものであった。すなわち、ユーザは、本サービスに関してＳＮＳの１つの家族用のチャンネルに属するものであった。しかしながら、ユーザは、本サービスに関してＳＮＳの複数のチャンネルに属してもよい。

たとえば、電気機器２００毎にＳＮＳのチャンネルが準備されてもよい。この場合は、電気機器２００毎に、ＳＮＳのチャンネルに登録されるユーザが異なってもよい。

あるいは、図９に示すように、電気機器２００の種類に関わらずに、１つの家族に、食材購入メモチャンネルや、買い物メモチャンネルや、家族メモチャンネルや、予定表チャンネルなどの複数のチャンネルが作成されてもよい。この場合は、たとえば、食材購入メモチャンネルにはお母さんと長女が登録され、買い物メモチャンネルにはお父さんと長男が登録され、家族メモチャンネルにはお母さんと長女と長男と次男が登録され、予定表チャンネルにはお父さんとお母さんと長女と長男と次男とおじいさんが登録される。

より詳細には、本実施の形態においては、ＳＮＳサーバ１００Ｂのメモリ１２０は、チャンネル情報データ１２６を格納する。図１０を参照して、チャンネル情報データ１２６は、作成されるチャンネル毎に、チャンネルＩＤ、チャンネル名、所属ユーザのＩＤ、カテゴリーのＩＤなどの対応関係が含まれる。なお、チャンネルには、１または複数のユーザのＩＤが紐づけられる。また、チャンネルには、１または複数のカテゴリーのＩＤが紐づけられる。ユーザは、自身の通信端末３００を介して、ＳＮＳサーバ１００Ｂに対して、新たなチャンネルを立ち上げて、チャンネル名の入力や、ユーザの招待や、カテゴリーの指定などを行う。

本実施の形態においては、家電サーバ１００Ａのメモリ１２０は、カテゴリー情報データ１２７を格納する。図１１を参照して、カテゴリー情報データ１２７は、予め準備されるカテゴリー毎に、カテゴリーＩＤ、カテゴリー名、カテゴリーに関係する複数のキーワードなどの対応関係が含まれる。なお、カテゴリー情報は、電気機器２００の種類に応じて準備されてもよいし、電気機器２００の種類に関わらずに一般的なものが複数種類準備されてもよいし、ユーザが新たなカテゴリーを立ち上げたり編集できたりすることが好ましい。

次に、図１２を参照して、本実施の形態にかかるサーバ１００における情報処理について説明する。なお、サーバ１００のＣＰＵ１１０は、メモリ１２０のプログラムに従って、以下の処理を実行する。

ＣＰＵ１１０は、通信インターフェイス１６０を介して、電気機器２００から音声データを受信する（ステップＳ１０２）。

ＣＰＵ１１０は、音声データを履歴データとしてメモリ１２０に蓄積する（ステップＳ１０４）。

ＣＰＵ１１０は、音声データを解析して、テキストデータに変換する（ステップＳ１０６）。

ＣＰＵ１１０は、変換後のテキストデータからチャンネル名を抽出する（ステップＳ２０２）。

ＣＰＵ１１０は、チャンネル名が抽出できると（ステップＳ２０４にてＹＥＳである場合）、ＣＰＵ１１０は、通信インターフェイス１６０を介して、当該チャネル名をキーワードとして、電気機器２００のユーザが属する、指定されたＳＮＳのチャンネルに投稿する（ステップＳ１１２）。チャンネル名が抽出できなかった場合（ステップＳ２０４にてＮＯである場合）、ＣＰＵ１１０は、テキストデータから、キーワードを抽出する（ステップＳ１０８）。

キーワードが抽出できた場合（ステップＳ１１０にてＹＥＳである場合）、ＣＰＵ１１０は、通信インターフェイス１６０を介して、当該キーワードを、電気機器２００のユーザが属する、予め指定されたＳＮＳのチャンネルに投稿する（ステップＳ１１２）。なお、ＣＰＵ１１０は、抽出できるキーワードに対応するチャンネルを決定してもよい。

これによって、当該チャンネルに属するユーザが、通信端末３００を介して当該チャンネルのページにアクセスしてくると、サーバ１００のＣＰＵ１１０は、通信インターフェイス１６０を介して、当該キーワードのリストを通信端末３００にリストアップ表示させることができる（ステップＳ１１４）。

なお、ＣＰＵ１１０は、通信インターフェイス１６０を介して通信端末３００から「もっと見る」命令を受け付けると（ステップＳ１１６にてＹＥＳである場合）、通信インターフェイス１６０を介して元のテキストデータを通信端末３００に送信する（ステップＳ１１８）。これによって、通信端末３００は、テキストデータを表示することができる。

また、ＣＰＵ１１０は、通信インターフェイス１６０を介して通信端末３００から音声データの要求を受け付けると（ステップＳ１２０にてＹＥＳである場合）、通信インターフェイス１６０を介して元の音声データを通信端末３００に送信する（ステップＳ１２２）。これによって、通信端末３００は、音声データを出力することができる。

なお、ＣＰＵ１１０は、テキストデータから、チャンネル名を抽出できなかった場合（ステップＳ２０４にてＮＯである場合）や、キーワードを抽出できなかった場合（ステップＳ１１０にてＮＯである場合）には、今回の処理を終了する。
＜第３の実施の形態＞

上記の実施の形態に加えて、ステップＳ１１４において、通信端末３００のＣＰＵ３１０は、図１３に示すように、ディスプレイ３３０に、キーワード毎にチェックボックス３３０Ｘを設けてもよい。そして、チャンネルに属するいずれかのユーザが食材を購入した際などに、自身の通信端末３００のチェックボックス３３０Ｘにチェックを入れると、その旨がサーバ１００に送信されてもよい。サーバ１００は、チェックされたことを当該チャンネルに投稿することが好ましい。たとえば、サーバ１００のＣＰＵ１１０は、通信インターフェイス１６０を介して更新後のデータを送信することによって、チャンネルのメンバー全ての通信端末３００の画面の当該チェックボックスにチェックを入れたり、当該キーワードに取り消し線を入れたり、当該キーワードの表示を消したりしてもよい。
＜第４の実施の形態＞

また、上記の実施の形態においては、ユーザが、電気機器２００の音声録音メモのボタン２４１を押すこと等によって、マイク２８０が音声を取得し始め、当該音声データがサーバ１００に送信され、その音声データをテキスト変換した内容の中にキーワードが含まれていた場合にそれに対応づけられたチャネルに投稿する様に構成されたものであった。しかしながら、投稿先のチャネルの選択方式については、このような形態には限られない。

たとえば、送信された音声データをテキスト変換した内容の中に投稿先のチャンネル名を直接指定する言葉を検知した場合や、キーワードを検知した場合に、対応づけられたチャネルに投稿する様に構成してもよい。

またたとえば、ユーザが電気機器２００を使用してから所定の期間以内に音声録音メモのボタン２４１が押された場合については、ＣＰＵ２１０が、マイク２８０を介して音声を取得し、通信インターフェイス２６０を介して当該音声データをサーバ１００に送信してテキスト変換を行った後のキーワード検索にヒットしなくても、予め設定しておいた特別なチャネルに投稿する様に構成してもよい。より詳細には、ユーザが、冷蔵庫２００Ａや電子レンジ２００Ｂの扉を開いてから所定の時間内に音声録音メモのボタン２４１が押された場合や、冷蔵庫２００Ａの扉を開いてから所定の時間内に音声録音メモのボタン２４１が押された場合や、エアコン２００Ｃやテレビ２００Ｄにリモコン命令を入力してから所定の時間内に音声録音メモのボタン２４１が押された場合などは、音声データをサーバ１００に送信する際に音声録音メモボタン２４１が押されたタイミングの情報を付加しておくことにより、サーバ１００において音声データのテキスト変換を行った後のキーワード検索にヒットしなくても、予め設定しておいた特別なチャネルに投稿する様に構成してもよい。

あるいは、音声録音メモのボタン２４１を押されてから所定の時間内に電気機器２００に対する操作を受け付けた場合においては、当該音声データをサーバ１００に送信する際に音声録音メモボタン２４１が押されたタイミングの情報を付加しておくことにより、サーバ１００において音声データのテキスト変換を行った後のキーワード検索にヒットしなくても、予め設定しておいた特別なチャネルに投稿する様に構成してもよい。

上記の実施例においては、ユーザが音声録音メモボタンを押下する事をトリガーにしてユーザからの音声の取得を開始するものであったが、この様な形態に限られない。たとえば、ユーザがボイスウェイクアップワードを発話したことをＣＰＵ２１０が検知する事をトリガーとして音声を取得開始するものであってもよい。あるいは、ユーザが一定以上の音量で機器に向かって発話（大音量を検知）したことをＣＰＵ２１０が検知する事をトリガーとして音声を取得開始するものであってもよい。
＜第５の実施の形態＞

上記の実施の形態においては、冷蔵庫２００Ａなどの電気機器２００がマイク２８０を利用してユーザの音声を取得するものであった。このような形態には限られない。たとえば、冷蔵庫２００Ａや電子レンジ２００Ｂなどの家電とは別の装置が、たとえば図１４に示すように、タブレットやスピーカが電気機器２００を実現するものであってもよい。そして、タブレット型の電気機器２００が磁石によって冷蔵庫２００Ａの扉に取り付けられたり、図示しないスピーカ型の電気機器２００がダイニングやリビングのテーブル上に置かれたりしてもよい。

この場合も、電気機器２００のＣＰＵ２１０は、自身の録音メモボタン２４１が押されたときや、センサ２９７から振動を検知してから所定の時間以内に録音メモボタン２４１が押されたときなどに、音声データをサーバ１００に送信する際に音声取得開始タイミングの情報を付加しておくことにより、サーバ１００において音声データのテキスト変換を行った後のキーワード検索にヒットしなくても、予め設定しておいた特別なチャネルに投稿する様に構成する。
＜第６の実施の形態＞

上記の実施の形態のネットワークシステム１の各装置の役割の一部または全部を他の装置が実行してもよい。たとえば、サーバ１００や電気機器２００や通信端末３００の各々の役割の一部または全部を別の装置が担ったり、それらの装置の１つ１つの役割の一部または全部を複数の装置で分担したりしてもよい。たとえば、具体的には、サーバ１００が、１つの装置で実現されてもよいし、クラウド上の複数の装置によって実現されてもよい。あるいは、電気機器２００や通信端末３００が、サーバ１００の処理の一部の役割を担ったりしてもよい。

たとえば、電気機器２００のＣＰＵ２１０が、マイク２８０で取得した音声データを解析してテキストデータに変換したり、キーワードを抽出したり、チャンネルを指定する命令を認識したり、それらのテキストデータやキーワードやチャンネルをサーバ１００に送信したりするものであってもよい。
＜まとめ＞

上記の実施の形態においては、ユーザの音声を取得するための第１の端末と、所定のページを閲覧可能な第２の端末と、サーバと、を備えるネットワークシステムが提供される。サーバは、第１の端末からのユーザの音声からキーワードを抽出し、所定のページにキーワードを投稿する。

好ましくは、第２の端末は、ユーザからの第１の指示に従って、サーバからのデータに基づいて、ユーザの音声を変換したテキストを表示する。

好ましくは、第２の端末は、ユーザからの第２の指示に従って、サーバからのデータに基づいて、ユーザの音声をスピーカから出力する。

好ましくは、第２の端末は、キーワード毎のチェックボックスを表示して、ユーザにチェックされたキーワードに関する情報をサーバに送信するとともに、チェックされたキーワードに所定のマークを付す、または、チェックされたキーワードを表示しないようにする。

好ましくは、所定のページとして、複数のチャンネルが準備される。複数のチャンネル毎にキーワードが対応付けられる。サーバは、ユーザの音声から、ユーザに指定されたチャンネルに登録されているキーワードを抽出する。

好ましくは、複数のチャンネル毎に１または複数のユーザが対応付けられる。

好ましくは、サーバは、ユーザの音声に基づいて、投稿先のチャンネルを決定する。

好ましくは、第１の端末がユーザによって利用されてから所定の期間内に所定の音声が検知された場合に、キーワードの抽出および投稿が実行される。

好ましくは、第１の端末は、冷蔵庫に搭載される。キーワードは、食材名を含む。

上記の実施の形態においては、第１の端末がユーザ音声を取得するステップと、サーバが、第１の端末からのユーザ音声からキーワードを抽出するステップと、サーバが、所定のページにキーワードを投稿するステップと、第２の端末が、所定のページを閲覧するステップと、を備える情報処理方法が提供される。

上記の実施の形態においては、第１の端末と第２の端末を通信するための通信インターフェイスと、通信インターフェイスを介して第１の端末からユーザ音声を受信して、当該ユーザ音声からキーワードを抽出し、所定のページにキーワードを投稿するためのプロセッサと、を備えるサーバが提供される。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１ ：ネットワークシステム
１００ ：サーバ
１００Ａ ：家電サーバ
１００Ｂ ：ＳＮＳサーバ
１１０ ：ＣＰＵ
１２０ ：メモリ
１２１ ：ユーザ情報データ
１２２ ：機器情報データ
１２６ ：チャンネル情報データ
１２７ ：カテゴリー情報データ
１４０ ：操作部
１６０ ：通信インターフェイス
２００ ：電気機器
２００Ａ ：冷蔵庫
２００Ｂ ：電子レンジ
２００Ｃ ：エアコン
２００Ｄ ：テレビ
２１０ ：ＣＰＵ
２２０ ：メモリ
２３０ ：ディスプレイ
２４０ ：操作部
２４１ ：録音メモボタン
２５０ ：タッチパネル
２６０ ：通信インターフェイス
２７０ ：スピーカ
２８０ ：マイク
２９０ ：機器駆動部
２９５ ：ライト
２９７ ：センサ
３００ ：通信端末
３１０ ：ＣＰＵ
３２０ ：メモリ
３３０ ：ディスプレイ
３３０Ｘ ：チェックボックス
３４０ ：操作部
３５０ ：タッチパネル
３６０ ：通信インターフェイス
３７０ ：スピーカ
３８０ ：マイク
３９０ ：カメラ
４００ ：ルータ

Claims (11)

1. ユーザの音声を取得するための第１の端末と、
   所定のページを閲覧可能な第２の端末と、
   サーバと、を備え、
   前記サーバは、前記第１の端末からのユーザの音声からキーワードを抽出し、前記所定のページに前記キーワードを投稿する、ネットワークシステム。
2. 前記第２の端末は、ユーザからの第１の指示に従って、前記サーバからのデータに基づいて、前記ユーザの音声を変換したテキストを表示する、請求項１に記載のネットワークシステム。
3. 前記第２の端末は、ユーザからの第２の指示に従って、前記サーバからのデータに基づいて、前記ユーザの音声をスピーカから出力する、請求項１または２に記載のネットワークシステム。
4. 前記第２の端末は、前記キーワード毎のチェックボックスを表示して、ユーザにチェックされたキーワードに関する情報を前記サーバに送信するとともに、前記チェックされたキーワードに所定のマークを付す、または、前記チェックされたキーワードを表示しないようにする、請求項１または２に記載のネットワークシステム。
5. 前記所定のページとして、複数のチャンネルが準備され、
   前記複数のチャンネル毎にキーワードが対応付けられており、
   前記サーバは、前記ユーザの音声から、前記ユーザに指定されたチャンネルに登録されている前記キーワードを抽出する、請求項１または２に記載のネットワークシステム。
6. 前記複数のチャンネル毎に１または複数のユーザが対応付けられる、請求項５に記載のネットワークシステム。
7. 前記サーバは、前記ユーザの音声に基づいて、投稿先のチャンネルを決定する、請求項５に記載のネットワークシステム。
8. 前記第１の端末がユーザによって利用されてから所定の期間内に所定の音声が検知された場合に、前記キーワードの抽出および投稿が実行される、請求項１または２に記載のネットワークシステム。
9. 前記第１の端末は、冷蔵庫に搭載され、
   前記キーワードは、食材名を含む、請求項１または２に記載のネットワークシステム。
10. 第１の端末がユーザ音声を取得するステップと、
    サーバが、前記第１の端末からのユーザ音声からキーワードを抽出するステップと、
    前記サーバが、所定のページに前記キーワードを投稿するステップと、
    第２の端末が、前記所定のページを閲覧するステップと、を備える情報処理方法。
11. 第１の端末と第２の端末を通信するための通信インターフェイスと、
    前記通信インターフェイスを介して前記第１の端末からユーザ音声を受信して、当該ユーザ音声からキーワードを抽出し、所定のページに前記キーワードを投稿するためのプロセッサと、を備えるサーバ。

Images