JP2023179884A

JP2023179884A - Network system, information processing method, and server

Info

Publication number: JP2023179884A
Application number: JP2022092782A
Authority: JP
Inventors: 永井出; Hisashi Ide
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2022-06-08
Filing date: 2022-06-08
Publication date: 2023-12-20
Also published as: CN117198294A

Abstract

To provide a technique for efficiently using notes based on user voice.SOLUTION: A network system 1, which includes a first terminal 200 for acquiring user voice, a second terminal 300 where a predetermined page can be viewed, and a server 100, is provided. The server extracts a keyword from the user voice via the first terminal and posts the keyword on the predetermined page.SELECTED DRAWING: Figure 2

Description

本発明は、音声メモの技術に関する。 The present invention relates to voice memo technology.

従来から、ユーザ音声をテキスト変換して記憶するための技術が知られている。たとえば、特開２０２２－５２６９５号公報（特許文献１）には、音声ファイルに対するテキスト変換記録とメモをともに管理する方法、システム、およびコンピュータ読み取り可能な記録媒体が記載されている。特許文献１によると、音声記録管理方法は、音声をテキストに変換して音声記録を生成する段階と、前記音声の録音中または再生中に作成されたメモを前記音声記録とマッチングして管理する段階と、前記音声記録と前記メモを連係させて提供する段階と、を含む。 2. Description of the Related Art Conventionally, techniques for converting user speech into text and storing the converted text have been known. For example, Japanese Unexamined Patent Publication No. 2022-52695 (Patent Document 1) describes a method, a system, and a computer-readable recording medium for managing both text conversion records for audio files and memos. According to Patent Document 1, a voice record management method includes the steps of converting voice into text to generate a voice record, and matching and managing notes created during recording or playback of the voice with the voice record. and providing the audio recording and the memo in conjunction with each other.

特開２０２２－５２６９５号公報Japanese Patent Application Publication No. 2022-52695

本発明の目的は、ユーザ音声に基づくメモを効率的に利用するための技術を提供することにある。 An object of the present invention is to provide a technique for efficiently using memos based on user voices.

この発明のある態様に従うと、ユーザの音声を取得するための第１の端末と、所定のページを閲覧可能な第２の端末と、サーバと、を備えるネットワークシステムが提供される。サーバは、第１の端末からのユーザの音声からキーワードを抽出し、所定のページにキーワードを投稿する。 According to an aspect of the present invention, a network system is provided that includes a first terminal for acquiring user's voice, a second terminal capable of viewing a predetermined page, and a server. The server extracts keywords from the user's voice from the first terminal and posts the keywords on a predetermined page.

以上のように、この発明によれば、ユーザ音声に基づくメモを効率的に利用するための技術が提供される。 As described above, according to the present invention, a technique for efficiently using memos based on user voices is provided.

第１の実施の形態にかかるネットワークシステム１の全体構成を示すイメージ図である。FIG. 1 is an image diagram showing the overall configuration of a network system 1 according to a first embodiment. 第１の実施の形態にかかるネットワークシステム１の全体的な機能や動作概要を示すイメージ図である。FIG. 1 is an image diagram showing an overview of the overall functions and operations of the network system 1 according to the first embodiment. 第１の実施の形態にかかるサーバ１００の構成を表わすブロック図である。1 is a block diagram showing the configuration of a server 100 according to a first embodiment. FIG. 第１の実施の形態にかかるユーザ情報データ１２１を示すイメージ図である。FIG. 2 is an image diagram showing user information data 121 according to the first embodiment. 第１の実施の形態にかかる機器情報データ１２２を示すイメージ図である。FIG. 3 is an image diagram showing device information data 122 according to the first embodiment. 第１の実施の形態にかかるサーバ１００の情報処理を示すフローチャートである。3 is a flowchart showing information processing of the server 100 according to the first embodiment. 第１の実施の形態にかかる電気機器２００の構成を表わすブロック図である。1 is a block diagram showing the configuration of an electrical device 200 according to a first embodiment. FIG. 第１の実施の形態にかかる通信端末３００の構成を表わすブロック図である。FIG. 3 is a block diagram showing the configuration of a communication terminal 300 according to the first embodiment. 第２の実施の形態にかかるネットワークシステム１の全体的な機能や動作概要を示すイメージ図である。FIG. 2 is an image diagram showing an overview of the overall functions and operations of a network system 1 according to a second embodiment. 第２の実施の形態にかかるチャンネル情報データ１２６を示すイメージ図である。FIG. 7 is an image diagram showing channel information data 126 according to the second embodiment. 第２の実施の形態にかかるカテゴリー情報データ１２７を示すイメージ図である。FIG. 7 is an image diagram showing category information data 127 according to the second embodiment. 第２の実施の形態にかかるサーバ１００の情報処理を示すフローチャートである。7 is a flowchart showing information processing of the server 100 according to the second embodiment. 第３の実施の形態にかかるネットワークシステム１の全体的な機能や動作概要を示すイメージ図である。FIG. 7 is an image diagram showing an overview of the overall functions and operations of a network system 1 according to a third embodiment. 第５の実施の形態にかかるネットワークシステム１の全体的な機能や動作概要を示すイメージ図である。FIG. 12 is an image diagram showing the overall functions and operational outline of a network system 1 according to a fifth embodiment.

以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
＜第１の実施の形態＞
＜ネットワークシステム１の概要＞ Embodiments of the present invention will be described below with reference to the drawings. In the following description, the same parts are given the same reference numerals. Their names and functions are also the same. Therefore, detailed descriptions thereof will not be repeated.
<First embodiment>
<Overview of network system 1>

まず、図１を参照して本実施の形態にかかるネットワークシステム１の全体構成について説明する。本実施の形態にかかるネットワークシステム１は、主に、サーバ１００と、冷蔵庫２００Ａや電子レンジ２００Ｂやエアコン２００Ｃやテレビ２００Ｄなどの電気機器２００と、スマートフォンやタブレットなどの通信端末３００と、電気機器２００などをインターネットなどの外部のネットワークに接続するための無線ルータ４００、などを含む。 First, the overall configuration of a network system 1 according to the present embodiment will be described with reference to FIG. 1. The network system 1 according to the present embodiment mainly includes a server 100, electrical devices 200 such as a refrigerator 200A, a microwave oven 200B, an air conditioner 200C, and a television 200D, a communication terminal 300 such as a smartphone or a tablet, and an electrical device 200. and a wireless router 400 for connecting the computer to an external network such as the Internet.

なお、サーバ１００としては、本実施の形態においては、図２に示すように、主に電気機器２００とデータをやり取りする家電サーバ１００Ａや、ＳＮＳ（Social Networking Service）を提供するＳＮＳサーバ１００Ｂなどが準備される。以下では、これらのサーバを総称して、サーバ１００ともいう。 In this embodiment, as shown in FIG. 2, the server 100 mainly includes a home appliance server 100A that exchanges data with the electrical equipment 200, an SNS server 100B that provides SNS (Social Networking Service), etc. be prepared. Hereinafter, these servers will also be collectively referred to as servers 100.

電気機器２００は、冷蔵庫２００Ａや電子レンジ２００Ｂやエアコン２００Ｃやテレビ２００Ｄなどに限らず、洗濯機、空気清浄器、加湿器、除湿器、掃除機、自動調理鍋、炊飯器、照明などの家電、パーソナルコンピュータ、ハードディスクレコーダ、プロジェクタ、音楽プレーヤー、ゲーム機、スピーカなどのＡＶ（オーディオ・ビジュアル）機器、太陽光発電システム、蓄電池システム、給湯システムなどのＨＥＭＳ設備、組み込み照明、インターホン、電気錠、給湯器、温水洗浄便座コントローラなどの住宅設備、などであってもよい。以下では、これらを総称して電気機器２００という。 The electrical equipment 200 is not limited to a refrigerator 200A, a microwave oven 200B, an air conditioner 200C, a television 200D, etc., but also home appliances such as a washing machine, an air purifier, a humidifier, a dehumidifier, a vacuum cleaner, an automatic cooking pot, a rice cooker, and a light. Personal computers, hard disk recorders, projectors, music players, game consoles, AV (audio/visual) equipment such as speakers, HEMS equipment such as solar power generation systems, storage battery systems, hot water systems, built-in lighting, intercoms, electric locks, water heaters , household equipment such as a toilet seat controller with a warm water bidet, and the like. Hereinafter, these will be collectively referred to as electrical equipment 200.

また、通信端末３００も、スマートフォンに限らず、パーソナルコンピュータやタブレットやゲーム機やスピーカやウェアラブル端末などであってもよい。以下では、これらを総称して通信端末３００という。
＜ネットワークシステム１の機能構成＞ Furthermore, the communication terminal 300 is not limited to a smartphone, but may also be a personal computer, a tablet, a game machine, a speaker, a wearable terminal, or the like. Hereinafter, these will be collectively referred to as communication terminals 300.
<Functional configuration of network system 1>

次に、図２を参照して本実施の形態にかかるネットワークシステム１の動作概要について説明する。 Next, an overview of the operation of the network system 1 according to this embodiment will be explained with reference to FIG. 2.

まず、ユーザが電気機器２００としての冷蔵庫２００Ａに対して所定の動作を実行すると、冷蔵庫２００Ａがユーザの音声を受け付けてユーザが発話した音声データをサーバ１００にアップロードする。 First, when a user performs a predetermined operation on refrigerator 200A as electrical equipment 200, refrigerator 200A accepts the user's voice and uploads the voice data uttered by the user to server 100.

サーバ１００は、ユーザ発話音声データから所定のキーワードを抽出して、当該キーワードをＳＮＳの所定のチャンネルに投稿する。たとえば、冷蔵庫２００Ａに関しては、予め、メニューや食材などのキーワードが登録されている。これによって、当該ユーザの通信端末３００や、ユーザの家族の通信端末３００で、ＳＮＳのチャンネルの投稿を閲覧することができる。 The server 100 extracts a predetermined keyword from the user's uttered audio data and posts the keyword to a predetermined channel of the SNS. For example, regarding the refrigerator 200A, keywords such as menu and ingredients are registered in advance. Thereby, posts on the SNS channel can be viewed on the communication terminal 300 of the user or the communication terminal 300 of the user's family.

また、本実施の形態においては、ユーザが、当該投稿に対応する通信端末３００の「もっと見る」ボタンを押すと、通信端末３００は、ユーザの音声をそのままテキストに変換した文章を表示する。 Further, in the present embodiment, when the user presses the "See more" button on the communication terminal 300 corresponding to the post, the communication terminal 300 displays a text that is the user's voice converted into text.

また、本実施の形態においては、ユーザが、当該投稿に対応する通信端末３００の「音声データＬＩＮＫ」ボタンを押すと、通信端末３００は、スピーカから、ユーザ発話音声内容をそのまま音声出力する。 Furthermore, in the present embodiment, when the user presses the "audio data LINK" button on the communication terminal 300 corresponding to the post, the communication terminal 300 outputs the content of the user's uttered audio as it is from the speaker.

このように、本実施の形態にかかるネットワークシステム１においては、ユーザが、購入すべき食材やメニューなどを冷蔵庫２００Ａの前でつぶやくと、当該ユーザの家族のチャンネルの必要な食材やメニューなどがリスト表示される。これによって、ユーザの家族に、購入すべき食材を、一目瞭然に、効率的に伝達することができる。 In this way, in the network system 1 according to the present embodiment, when a user tweets in front of the refrigerator 200A about ingredients to be purchased, menus, etc., a list of necessary ingredients, menus, etc. of the channel of the user's family is displayed. Is displayed. Thereby, the ingredients to be purchased can be clearly and efficiently communicated to the user's family.

以下、このような機能を実現するためのネットワークシステム１の具体的な構成について詳述する。
＜サーバの構成＞ The specific configuration of the network system 1 for realizing such functions will be described in detail below.
<Server configuration>

まず、本実施の形態にかかるネットワークシステム１を構成するサーバの構成の一態様について説明する。なお、本実施の形態にかかるネットワークシステム１で利用される機能は、家電サーバ１００ＡとＳＮＳサーバ１００Ｂのような、２つのサーバ１００で実現することに限られるものではなく、クラウド上のさらに多くの装置によって実現されてもよいし、さらに少ない装置によって実現されてもよい。以下では、説明のために、これらのサーバ群を１つのサーバ１００として説明する。 First, one aspect of the configuration of a server that constitutes the network system 1 according to the present embodiment will be described. Note that the functions used in the network system 1 according to the present embodiment are not limited to being implemented by two servers 100, such as the home appliance server 100A and the SNS server 100B, but are implemented by many more servers on the cloud. It may be realized by a device, or it may be realized by an even smaller number of devices. Below, for the sake of explanation, these server groups will be described as one server 100.

図３を参照して、サーバ１００は、主たる構成要素として、ＣＰＵ（Central Processing Unit）１１０と、メモリ１２０と、操作部１４０と、通信インターフェイス１６０とを含む。 Referring to FIG. 3, server 100 includes a CPU (Central Processing Unit) 110, memory 120, operation unit 140, and communication interface 160 as main components.

ＣＰＵ１１０は、メモリ１２０に記憶されているプログラムを実行することによって、サーバ１００の各部を制御する。たとえば、ＣＰＵ１１０は、メモリ１２０に格納されているプログラムを実行し、各種のデータを参照することによって、後述する各種の処理を実行する。 CPU 110 controls each part of server 100 by executing programs stored in memory 120. For example, the CPU 110 executes a program stored in the memory 120 and refers to various data to execute various processes described below.

メモリ１２０は、各種のＲＡＭ（Random Access Memory）、各種のＲＯＭ（Read‐Only Memory）などによって実現され、サーバ１００に内包されているものであってもよいし、サーバ１００の各種インターフェイスに着脱可能なものであってもよいし、サーバ１００からアクセス可能な他の装置の記録媒体であってもよい。メモリ１２０は、ＣＰＵ１１０によって実行されるプログラムや、ＣＰＵ１１０によるプログラムの実行により生成されたデータ、入力されたデータ、その他の本実施の形態にかかるサービスに利用されるデータベースなどを記憶する。 The memory 120 is realized by various types of RAM (Random Access Memory), various types of ROM (Read-Only Memory), etc., and may be included in the server 100 or can be attached to and detached from various interfaces of the server 100. or a recording medium of another device that can be accessed from the server 100. The memory 120 stores programs executed by the CPU 110, data generated by the execution of the programs by the CPU 110, input data, and databases used for other services according to this embodiment.

たとえば、メモリ１２０は、図４に示すような、ユーザ情報データ１２１を記憶する。ユーザ情報データ１２１は、本サービスに登録されるユーザ毎に、ユーザＩＤと、ユーザ名と、家族ＩＤと、メールアドレスと、住所と、ユーザが加入している各種のサービスの識別情報やサービス内容などを格納する。 For example, the memory 120 stores user information data 121 as shown in FIG. The user information data 121 includes, for each user registered in this service, a user ID, user name, family ID, email address, address, and identification information and service contents of various services subscribed to by the user. etc. are stored.

また、メモリ１２０は、図５に示すような、機器情報データ１２２を記憶する。機器情報データ１２２は、本サービスに登録される電気機器毎に、機器ＩＤと、電気機器のユーザＩＤと、ペアリングのための接続ＩＤなどを格納する。 The memory 120 also stores device information data 122 as shown in FIG. The device information data 122 stores, for each electrical device registered in this service, a device ID, a user ID of the electrical device, a connection ID for pairing, and the like.

さらに、メモリ１２０は、ＳＮＳのチャンネルに登録されている家族などのユーザのＩＤや、チャンネル毎の投稿履歴や、電気機器２００の種類毎のキーワードや、電気機器２００から受信した音声データや、音声から変換されたテキストデータや、その他の本実施の形態にかかるサービスに利用される各種のデータが格納される。本実施の形態においては、家族毎にチャンネルが準備されており、食材やメニューに関するキーワードが準備されているものとする。 Furthermore, the memory 120 stores IDs of users such as family members registered in SNS channels, posting history for each channel, keywords for each type of electrical equipment 200, audio data received from the electrical equipment 200, and audio data. Text data converted from , and various other data used for services according to this embodiment are stored. In this embodiment, it is assumed that a channel is prepared for each family, and keywords related to ingredients and menus are prepared.

図３に戻って、操作部１４０は、サービスの管理者などの命令を受け付けて、当該命令をＣＰＵ１１０に入力する。 Returning to FIG. 3, the operation unit 140 receives an instruction from a service administrator or the like, and inputs the instruction to the CPU 110.

通信インターフェイス１６０は、ＣＰＵ１１０からのデータを、インターネット、キャリア網、ルータなどを介して、電気機器２００や通信端末３００などの他の装置に送信する。逆に、通信インターフェイス１６０は、インターネット、キャリア網、ルータなどを介して電気機器２００や通信端末３００などの他の装置からのデータを受信して、ＣＰＵ１１０に受け渡す。
＜ネットワークシステムの情報処理＞ Communication interface 160 transmits data from CPU 110 to other devices such as electrical equipment 200 and communication terminal 300 via the Internet, a carrier network, a router, and the like. Conversely, the communication interface 160 receives data from other devices such as the electrical equipment 200 and the communication terminal 300 via the Internet, a carrier network, a router, etc., and delivers the data to the CPU 110.
<Network system information processing>

次に、図６を参照して、本実施の形態にかかるサーバ１００における情報処理について説明する。なお、サーバ１００のＣＰＵ１１０は、メモリ１２０のプログラムに従って、以下の処理を実行する。 Next, information processing in server 100 according to this embodiment will be described with reference to FIG. Note that the CPU 110 of the server 100 executes the following processing according to the program in the memory 120.

ＣＰＵ１１０は、通信インターフェイス１６０を介して、電気機器２００から音声データを受信する（ステップＳ１０２）。 CPU 110 receives audio data from electrical device 200 via communication interface 160 (step S102).

ＣＰＵ１１０は、音声データを履歴データとしてメモリ１２０に蓄積する（ステップＳ１０４）。 CPU 110 stores the audio data in memory 120 as history data (step S104).

ＣＰＵ１１０は、音声データを解析して、テキストデータに変換する（ステップＳ１０６）。 The CPU 110 analyzes the audio data and converts it into text data (step S106).

ＣＰＵ１１０は、テキストデータからキーワードを抽出する（ステップＳ１０８）。 CPU 110 extracts keywords from the text data (step S108).

キーワードが抽出できた場合（ステップＳ１１０にてＹＥＳである場合）、ＣＰＵ１１０は、通信インターフェイス１６０を介して、当該キーワードを電気機器２００のユーザが属するＳＮＳのチャンネルに投稿する（ステップＳ１１２）。 If the keyword can be extracted (YES in step S110), CPU 110 posts the keyword to the SNS channel to which the user of electrical device 200 belongs via communication interface 160 (step S112).

これによって、当該チャンネルに属する家族などのユーザが、通信端末３００を介して当該チャンネルのページにアクセスしてくると、サーバ１００のＣＰＵ１１０は、通信インターフェイス１６０を介して、当該キーワードのリストを通信端末３００にリストアップ表示させることができる（ステップＳ１１４）。 As a result, when a user such as a family member belonging to the channel accesses the page of the channel via the communication terminal 300, the CPU 110 of the server 100 transmits the list of keywords to the communication terminal via the communication interface 160. 300 can be displayed as a list (step S114).

なお、ＣＰＵ１１０は、通信インターフェイス１６０を介して通信端末３００から「もっと見る」命令を受け付けると（ステップＳ１１６にてＹＥＳである場合）、通信インターフェイス１６０を介して元のテキストデータを通信端末３００に送信する（ステップＳ１１８）。これによって、通信端末３００は、キーワードだけでは意味が解らない場合などに、キーワードだけでなくユーザ発話した音声全体を変換したテキストデータ全体を表示することができる。 Note that, when the CPU 110 receives a "see more" command from the communication terminal 300 via the communication interface 160 (YES in step S116), the CPU 110 transmits the original text data to the communication terminal 300 via the communication interface 160. (Step S118). Thereby, the communication terminal 300 can display not only the keyword but also the entire text data obtained by converting the entire voice uttered by the user, in cases where the meaning cannot be understood from the keyword alone.

また、ＣＰＵ１１０は、通信インターフェイス１６０を介して通信端末３００から音声データの要求を受け付けると（ステップＳ１２０にてＹＥＳである場合）、通信インターフェイス１６０を介して元の音声データ自体を通信端末３００に送信する（ステップＳ１２２）。これによって、通信端末３００は、テキストデータを読んでも意味が解らない場合や誤ったテキスト変換がされた場合などに、元のユーザの音声そのままを出力することができる。 Further, upon receiving a request for audio data from the communication terminal 300 via the communication interface 160 (YES in step S120), the CPU 110 transmits the original audio data itself to the communication terminal 300 via the communication interface 160. (Step S122). As a result, the communication terminal 300 can output the original user's voice as is, even if the meaning is not understood even after reading the text data, or if the text has been converted incorrectly.

なお、ＣＰＵ１１０は、テキストデータから、キーワードを抽出できなかった場合（ステップＳ１１０にてＮＯである場合）、今回の処理を終了する。 Note that if the CPU 110 is unable to extract the keyword from the text data (NO in step S110), the CPU 110 ends the current process.

ここで、テキストデータからキーワードを検出できなかった時に投稿するチャネルを別途登録しておき、ＣＰＵ１１０は、キーワードを抽出できなかった場合にはそのチャネルに投稿する様に構成してもよい。この場合の投稿のキーワードとしては、例えば、音声データの先頭の最初のフレーズなどとしておき、「もっと見る」命令でテキスト全体表示、音声データ要求で元の音声データをそのまま出力することもできる。
＜電気機器２００の構成＞ Here, a channel for posting when a keyword cannot be detected from the text data may be separately registered, and the CPU 110 may be configured to post to that channel when the keyword cannot be extracted. In this case, the keyword for the post may be, for example, the first phrase at the beginning of the audio data, and the entire text can be displayed with a ``see more'' command, and the original audio data can be output as is with an audio data request.
<Configuration of electrical equipment 200>

次に、図７を参照して、ネットワークシステム１を構成する電気機器２００の構成の一態様について説明する。本実施の形態にかかる電気機器２００は、主たる構成要素として、ＣＰＵ２１０と、メモリ２２０と、ディスプレイ２３０、操作部２４０と、通信インターフェイス２６０と、スピーカ２７０と、マイク２８０と、機器駆動部２９０と、ライト２９５と、各種センサ２９７などを含む。 Next, with reference to FIG. 7, one aspect of the configuration of electrical equipment 200 that constitutes network system 1 will be described. The electrical device 200 according to the present embodiment includes a CPU 210, a memory 220, a display 230, an operation section 240, a communication interface 260, a speaker 270, a microphone 280, and a device drive section 290 as main components. It includes a light 295, various sensors 297, and the like.

ＣＰＵ２１０は、メモリ２２０あるいは外部の記憶媒体に記憶されているプログラムを実行することによって、電気機器２００の各部を制御する。 CPU 210 controls each part of electrical equipment 200 by executing programs stored in memory 220 or an external storage medium.

メモリ２２０は、各種のＲＡＭ、各種のＲＯＭなどによって実現され、ＣＰＵ２１０によって実行されるプログラムや、ＣＰＵ２１０によるプログラムの実行により生成されたデータ、操作部２４０を介して入力されたデータ、マイク２８０から入力された音声データ、リモコンから受信したデータ、ルータ４００やインターネットを介してサーバ１００から受信したデータ、電気機器２００に対応する管理サーバのアドレス、など各種サービスを利用するために必要な情報などを記憶する。 The memory 220 is realized by various RAMs, various ROMs, etc., and stores programs executed by the CPU 210, data generated by executing programs by the CPU 210, data input via the operation unit 240, and input from the microphone 280. information necessary for using various services, such as voice data received from the remote controller, data received from the server 100 via the router 400 or the Internet, and the address of the management server corresponding to the electrical equipment 200. do.

ディスプレイ２３０は、ＣＰＵ２１０からの信号に基づいて、文字や画像などを出力する。 Display 230 outputs characters, images, etc. based on signals from CPU 210.

操作部２４０は、ボタン、タッチパネルなどによって実現され、ユーザからの命令を受け付けて、当該命令をＣＰＵ２１０に入力する。なお、ディスプレイ２３０と操作部２４０とは、タッチパネル２５０を構成してもよい。 The operation unit 240 is realized by a button, a touch panel, etc., and receives commands from a user and inputs the commands to the CPU 210. Note that the display 230 and the operation unit 240 may constitute a touch panel 250.

通信インターフェイス２６０は、無線通信を行うためのアンテナや、有線通信を行うためのコネクタなどによって実現される。ＣＰＵ２１０は、通信インターフェイス２６０を利用することによって、ルータ４００やインターネットなどを介して、サーバ１００や他の電気機器２００や通信端末３００と各種のデータをやり取りする。たとえば、ＣＰＵ２１０は、通信インターフェイス２６０を介して、動作内容や環境情報やユーザ音声データなどをサーバ１００に送信したり、操作命令や音声データなどをサーバ１００から受信したりする。 The communication interface 260 is realized by an antenna for wireless communication, a connector for wired communication, and the like. By using the communication interface 260, the CPU 210 exchanges various data with the server 100, other electrical equipment 200, and the communication terminal 300 via the router 400, the Internet, and the like. For example, the CPU 210 transmits operation details, environmental information, user voice data, etc. to the server 100 via the communication interface 260, and receives operation instructions, voice data, etc. from the server 100.

スピーカ２７０は、ＣＰＵ２１０からの音声データに基づいて音声メッセージなどを出力する。マイク２８０は、ユーザの声などを取得して音声データをＣＰＵ２１０に入力する。特に本実施の形態においては、ＣＰＵ２１０は、マイク２８０から受け付けた音声データを、通信インターフェイス２６０を介してサーバ１００に送信したり、サーバ１００から受信した音声メッセージをスピーカ２７０から出力したりする。 Speaker 270 outputs voice messages and the like based on voice data from CPU 210. The microphone 280 acquires the user's voice and inputs the audio data to the CPU 210. In particular, in this embodiment, CPU 210 transmits audio data received from microphone 280 to server 100 via communication interface 260, and outputs an audio message received from server 100 from speaker 270.

機器駆動部２９０は、ＣＰＵ２１０からの信号に基づいて、電気機器２００の各部（モータやヒータやセンサやアンテナなど）を制御する。機器駆動部２９０は、たとえば、冷蔵庫やエアコンに関しては圧縮機やファンであったり、電子レンジに関しては加熱調理のためのアンテナや回転テーブルであったり、テレビに関しては受信アンテナやチューナであったりする。 The device drive unit 290 controls each part of the electrical device 200 (motor, heater, sensor, antenna, etc.) based on a signal from the CPU 210. The device drive unit 290 is, for example, a compressor or fan for a refrigerator or air conditioner, an antenna or rotary table for heating or cooking for a microwave oven, or a receiving antenna or tuner for a television.

ライト２９５は、ＣＰＵ２１０からの指示に従って、音声対話中やユーザ音声録音（取得）中であることを示す光を発するためのライトである。 The light 295 is a light for emitting light indicating that a voice dialogue or a user's voice is being recorded (obtained) in accordance with an instruction from the CPU 210 .

各種センサ２９７は、たとえば扉開閉センサであって、扉の開閉を検知して、検知結果をＣＰＵ２１０に入力する。あるいは、各種センサ２９７は、加速度センサであって、振動を検知して、検知結果をＣＰＵ２１０に入力する。各種センサ２９７は、人感センサなどであってもよい。 The various sensors 297 are, for example, door opening/closing sensors, which detect opening/closing of the door and input the detection results to the CPU 210 . Alternatively, the various sensors 297 are acceleration sensors that detect vibrations and input the detection results to the CPU 210. The various sensors 297 may be a human sensor or the like.

そして、本実施の形態においては、ＣＰＵ２１０は、操作部２４０の録音メモボタン２４１が押されると、マイク２８０を起動して、音声の入力を受け付ける。ＣＰＵ２１０は、取得した音声データを通信インターフェイスを介してサーバ１００にアップロードする。
＜通信端末３００の構成＞ In this embodiment, when the recording memo button 241 of the operation unit 240 is pressed, the CPU 210 activates the microphone 280 and accepts voice input. CPU 210 uploads the acquired audio data to server 100 via the communication interface.
<Configuration of communication terminal 300>

次に、図８を参照して、ネットワークシステム１を構成する通信端末３００の構成の一態様について説明する。本実施の形態にかかる通信端末３００は、主たる構成要素として、ＣＰＵ３１０と、メモリ３２０と、ディスプレイ３３０と、操作部３４０と、通信インターフェイス３６０と、スピーカ３７０と、マイク３８０、カメラ３９０などを含む。 Next, with reference to FIG. 8, one aspect of the configuration of the communication terminal 300 that constitutes the network system 1 will be described. Communication terminal 300 according to the present embodiment includes a CPU 310, memory 320, display 330, operation section 340, communication interface 360, speaker 370, microphone 380, camera 390, etc. as main components.

ＣＰＵ３１０は、メモリ３２０に記憶されているプログラムを実行することによって、通信端末３００の各部を制御する。 CPU 310 controls each part of communication terminal 300 by executing programs stored in memory 320.

メモリ３２０は、各種のＲＡＭや、各種のＲＯＭなどによって実現される。メモリ３２０は、各種サービスのためのアプリケーションプログラムや通知エージェント用のプログラムや、ＣＰＵ３１０によるプログラムの実行により生成されたデータ、サーバ１００から受信したデータ、操作部３４０を介して入力されたデータ、通信端末３００のユーザを特定するための情報などを記憶する。 The memory 320 is realized by various RAMs, various ROMs, and the like. The memory 320 stores application programs for various services, programs for notification agents, data generated by executing programs by the CPU 310, data received from the server 100, data input via the operation unit 340, and communication terminals. It stores information for identifying 300 users.

ディスプレイ３３０は、ＣＰＵ３１０からのデータに基づいて、画像やテキストを表示する。操作部３４０は、ポインティングデバイスやスイッチなどから構成され、ユーザからの各種の命令をＣＰＵ３１０に入力する。なお、ユーザ端末は、ディスプレイ３３０と操作部３４０とを含むタッチパネル３５０を有してもよい。 Display 330 displays images and text based on data from CPU 310. The operation unit 340 includes a pointing device, a switch, and the like, and inputs various commands from the user to the CPU 310. Note that the user terminal may include a touch panel 350 that includes a display 330 and an operation unit 340.

通信インターフェイス３６０は、インターネットやキャリア網やルータ４００などを介して、サーバ１００や電気機器２００などの他の装置との間でデータを送受信する。たとえば、ＣＰＵ３１０は、プログラムに従って、通信インターフェイス３６０を介してサーバ１００と、ユーザに関する各種の情報をやりとりする。ＣＰＵ３１０は、当該各種の情報を、他のアプリケーションプログラムに提供することによって各種のサービスを受けることができる。 The communication interface 360 transmits and receives data to and from other devices such as the server 100 and the electrical equipment 200 via the Internet, a carrier network, the router 400, and the like. For example, the CPU 310 exchanges various types of information regarding the user with the server 100 via the communication interface 360 according to a program. The CPU 310 can receive various services by providing the various types of information to other application programs.

スピーカ３７０は、ＣＰＵ３１０からの音声データに基づいて音声メッセージなどを出力する。マイク３８０は、ユーザの声などを取得して音声データをＣＰＵ３１０に入力する。カメラ３９０は、撮影した静止画像や動画像をＣＰＵ３１０に入力したり、メモリ３２０に格納したりする。 Speaker 370 outputs voice messages and the like based on voice data from CPU 310. The microphone 380 acquires the user's voice and inputs the audio data to the CPU 310. The camera 390 inputs captured still images and moving images to the CPU 310 and stores them in the memory 320.

このように構成されているため、ＣＰＵ３１０は、ユーザの指示に基づいて、通信インターフェイス３６０を介してＳＮＳのチャンネルの投稿データをサーバ１００に要求したしたり、サーバ１００からの情報に基づいて、ＳＮＳのチャンネルのページをディスプレイ３３０に表示したり、操作部３４０やマイク３８０を介してユーザのメッセージを受け付けて当該チャンネルに新たな投稿を行ったりする。
＜第２の実施の形態＞ With this configuration, the CPU 310 requests the server 100 for posting data of an SNS channel via the communication interface 360 based on a user's instruction, or requests posting data of an SNS channel based on information from the server 100. The page of the channel is displayed on the display 330, and a new post is made to the channel by receiving a message from the user via the operation unit 340 or the microphone 380.
<Second embodiment>

上記の実施の形態においては、家族毎にＳＮＳのチャンネルやチャンネルが準備されるものであった。すなわち、ユーザは、本サービスに関してＳＮＳの１つの家族用のチャンネルに属するものであった。しかしながら、ユーザは、本サービスに関してＳＮＳの複数のチャンネルに属してもよい。 In the embodiments described above, SNS channels are prepared for each family. In other words, the user belonged to one family channel of the SNS regarding this service. However, a user may belong to multiple channels of the SNS regarding this service.

たとえば、電気機器２００毎にＳＮＳのチャンネルが準備されてもよい。この場合は、電気機器２００毎に、ＳＮＳのチャンネルに登録されるユーザが異なってもよい。 For example, an SNS channel may be prepared for each electrical device 200. In this case, different users may be registered in the SNS channel for each electrical device 200.

あるいは、図９に示すように、電気機器２００の種類に関わらずに、１つの家族に、食材購入メモチャンネルや、買い物メモチャンネルや、家族メモチャンネルや、予定表チャンネルなどの複数のチャンネルが作成されてもよい。この場合は、たとえば、食材購入メモチャンネルにはお母さんと長女が登録され、買い物メモチャンネルにはお父さんと長男が登録され、家族メモチャンネルにはお母さんと長女と長男と次男が登録され、予定表チャンネルにはお父さんとお母さんと長女と長男と次男とおじいさんが登録される。 Alternatively, as shown in FIG. 9, multiple channels such as a food purchase memo channel, a shopping memo channel, a family memo channel, and a calendar channel are created for one family regardless of the type of electrical equipment 200. may be done. In this case, for example, the mother and eldest daughter are registered in the ingredient purchase memo channel, the father and eldest son are registered in the shopping memo channel, the mother, eldest daughter, eldest son, and second son are registered in the family memo channel, and the calendar channel is registered with the mother and eldest daughter. The father, mother, eldest daughter, eldest son, second son, and grandfather are registered.

より詳細には、本実施の形態においては、ＳＮＳサーバ１００Ｂのメモリ１２０は、チャンネル情報データ１２６を格納する。図１０を参照して、チャンネル情報データ１２６は、作成されるチャンネル毎に、チャンネルＩＤ、チャンネル名、所属ユーザのＩＤ、カテゴリーのＩＤなどの対応関係が含まれる。なお、チャンネルには、１または複数のユーザのＩＤが紐づけられる。また、チャンネルには、１または複数のカテゴリーのＩＤが紐づけられる。ユーザは、自身の通信端末３００を介して、ＳＮＳサーバ１００Ｂに対して、新たなチャンネルを立ち上げて、チャンネル名の入力や、ユーザの招待や、カテゴリーの指定などを行う。 More specifically, in this embodiment, memory 120 of SNS server 100B stores channel information data 126. Referring to FIG. 10, channel information data 126 includes correspondence relationships such as channel ID, channel name, affiliated user ID, category ID, etc. for each channel created. Note that one or more user IDs are associated with a channel. Furthermore, one or more category IDs are associated with a channel. The user launches a new channel on the SNS server 100B via his/her own communication terminal 300, inputs the channel name, invites users, specifies a category, etc.

本実施の形態においては、家電サーバ１００Ａのメモリ１２０は、カテゴリー情報データ１２７を格納する。図１１を参照して、カテゴリー情報データ１２７は、予め準備されるカテゴリー毎に、カテゴリーＩＤ、カテゴリー名、カテゴリーに関係する複数のキーワードなどの対応関係が含まれる。なお、カテゴリー情報は、電気機器２００の種類に応じて準備されてもよいし、電気機器２００の種類に関わらずに一般的なものが複数種類準備されてもよいし、ユーザが新たなカテゴリーを立ち上げたり編集できたりすることが好ましい。 In this embodiment, the memory 120 of the home appliance server 100A stores category information data 127. Referring to FIG. 11, category information data 127 includes, for each category prepared in advance, correspondence relationships such as a category ID, a category name, and a plurality of keywords related to the category. Note that the category information may be prepared according to the type of electrical equipment 200, multiple types of general information may be prepared regardless of the type of electrical equipment 200, or when the user creates a new category. It is preferable to be able to launch and edit it.

次に、図１２を参照して、本実施の形態にかかるサーバ１００における情報処理について説明する。なお、サーバ１００のＣＰＵ１１０は、メモリ１２０のプログラムに従って、以下の処理を実行する。 Next, information processing in server 100 according to this embodiment will be described with reference to FIG. 12. Note that the CPU 110 of the server 100 executes the following processing according to the program in the memory 120.

ＣＰＵ１１０は、変換後のテキストデータからチャンネル名を抽出する（ステップＳ２０２）。 The CPU 110 extracts the channel name from the converted text data (step S202).

ＣＰＵ１１０は、チャンネル名が抽出できると（ステップＳ２０４にてＹＥＳである場合）、ＣＰＵ１１０は、通信インターフェイス１６０を介して、当該チャネル名をキーワードとして、電気機器２００のユーザが属する、指定されたＳＮＳのチャンネルに投稿する（ステップＳ１１２）。チャンネル名が抽出できなかった場合（ステップＳ２０４にてＮＯである場合）、ＣＰＵ１１０は、テキストデータから、キーワードを抽出する（ステップＳ１０８）。 When the CPU 110 is able to extract the channel name (YES in step S204), the CPU 110 uses the channel name as a keyword via the communication interface 160 to extract information about the specified SNS to which the user of the electrical device 200 belongs. Post it to the channel (step S112). If the channel name cannot be extracted (NO in step S204), the CPU 110 extracts the keyword from the text data (step S108).

キーワードが抽出できた場合（ステップＳ１１０にてＹＥＳである場合）、ＣＰＵ１１０は、通信インターフェイス１６０を介して、当該キーワードを、電気機器２００のユーザが属する、予め指定されたＳＮＳのチャンネルに投稿する（ステップＳ１１２）。なお、ＣＰＵ１１０は、抽出できるキーワードに対応するチャンネルを決定してもよい。 If the keyword can be extracted (YES in step S110), the CPU 110 posts the keyword to a pre-specified SNS channel to which the user of the electrical device 200 belongs via the communication interface 160 ( Step S112). Note that the CPU 110 may determine a channel corresponding to the keyword that can be extracted.

これによって、当該チャンネルに属するユーザが、通信端末３００を介して当該チャンネルのページにアクセスしてくると、サーバ１００のＣＰＵ１１０は、通信インターフェイス１６０を介して、当該キーワードのリストを通信端末３００にリストアップ表示させることができる（ステップＳ１１４）。 As a result, when a user belonging to the channel accesses the page of the channel via the communication terminal 300, the CPU 110 of the server 100 sends a list of the keywords to the communication terminal 300 via the communication interface 160. It can be displayed in close-up (step S114).

なお、ＣＰＵ１１０は、通信インターフェイス１６０を介して通信端末３００から「もっと見る」命令を受け付けると（ステップＳ１１６にてＹＥＳである場合）、通信インターフェイス１６０を介して元のテキストデータを通信端末３００に送信する（ステップＳ１１８）。これによって、通信端末３００は、テキストデータを表示することができる。 Note that, when the CPU 110 receives a "see more" command from the communication terminal 300 via the communication interface 160 (YES in step S116), the CPU 110 transmits the original text data to the communication terminal 300 via the communication interface 160. (Step S118). This allows communication terminal 300 to display text data.

また、ＣＰＵ１１０は、通信インターフェイス１６０を介して通信端末３００から音声データの要求を受け付けると（ステップＳ１２０にてＹＥＳである場合）、通信インターフェイス１６０を介して元の音声データを通信端末３００に送信する（ステップＳ１２２）。これによって、通信端末３００は、音声データを出力することができる。 Further, when receiving a request for audio data from the communication terminal 300 via the communication interface 160 (YES in step S120), the CPU 110 transmits the original audio data to the communication terminal 300 via the communication interface 160. (Step S122). This allows communication terminal 300 to output audio data.

なお、ＣＰＵ１１０は、テキストデータから、チャンネル名を抽出できなかった場合（ステップＳ２０４にてＮＯである場合）や、キーワードを抽出できなかった場合（ステップＳ１１０にてＮＯである場合）には、今回の処理を終了する。
＜第３の実施の形態＞ Note that if the CPU 110 cannot extract the channel name from the text data (NO in step S204) or cannot extract the keyword (NO in step S110), the CPU 110 Terminates the process.
<Third embodiment>

上記の実施の形態に加えて、ステップＳ１１４において、通信端末３００のＣＰＵ３１０は、図１３に示すように、ディスプレイ３３０に、キーワード毎にチェックボックス３３０Ｘを設けてもよい。そして、チャンネルに属するいずれかのユーザが食材を購入した際などに、自身の通信端末３００のチェックボックス３３０Ｘにチェックを入れると、その旨がサーバ１００に送信されてもよい。サーバ１００は、チェックされたことを当該チャンネルに投稿することが好ましい。たとえば、サーバ１００のＣＰＵ１１０は、通信インターフェイス１６０を介して更新後のデータを送信することによって、チャンネルのメンバー全ての通信端末３００の画面の当該チェックボックスにチェックを入れたり、当該キーワードに取り消し線を入れたり、当該キーワードの表示を消したりしてもよい。
＜第４の実施の形態＞ In addition to the above embodiment, in step S114, the CPU 310 of the communication terminal 300 may provide a check box 330X for each keyword on the display 330, as shown in FIG. Then, when any user belonging to the channel purchases food ingredients and checks the checkbox 330X on his or her own communication terminal 300, a notification to that effect may be transmitted to the server 100. Preferably, the server 100 posts the checked information to the channel. For example, by transmitting updated data via the communication interface 160, the CPU 110 of the server 100 can check the corresponding checkboxes on the screens of the communication terminals 300 of all channel members or cross out the keywords. You may also enter the keyword or delete the display of the keyword.
<Fourth embodiment>

また、上記の実施の形態においては、ユーザが、電気機器２００の音声録音メモのボタン２４１を押すこと等によって、マイク２８０が音声を取得し始め、当該音声データがサーバ１００に送信され、その音声データをテキスト変換した内容の中にキーワードが含まれていた場合にそれに対応づけられたチャネルに投稿する様に構成されたものであった。しかしながら、投稿先のチャネルの選択方式については、このような形態には限られない。 Further, in the above embodiment, when the user presses the voice recording memo button 241 of the electrical device 200, the microphone 280 starts to acquire voice, the voice data is transmitted to the server 100, and the voice It was configured so that if a keyword was included in the data converted into text, it would be posted to the channel associated with it. However, the method for selecting the posting destination channel is not limited to this format.

たとえば、送信された音声データをテキスト変換した内容の中に投稿先のチャンネル名を直接指定する言葉を検知した場合や、キーワードを検知した場合に、対応づけられたチャネルに投稿する様に構成してもよい。 For example, if a word that directly specifies the channel name of the posting destination is detected in the text converted from the transmitted audio data, or if a keyword is detected, the configuration is configured to post to the associated channel. It's okay.

またたとえば、ユーザが電気機器２００を使用してから所定の期間以内に音声録音メモのボタン２４１が押された場合については、ＣＰＵ２１０が、マイク２８０を介して音声を取得し、通信インターフェイス２６０を介して当該音声データをサーバ１００に送信してテキスト変換を行った後のキーワード検索にヒットしなくても、予め設定しておいた特別なチャネルに投稿する様に構成してもよい。より詳細には、ユーザが、冷蔵庫２００Ａや電子レンジ２００Ｂの扉を開いてから所定の時間内に音声録音メモのボタン２４１が押された場合や、冷蔵庫２００Ａの扉を開いてから所定の時間内に音声録音メモのボタン２４１が押された場合や、エアコン２００Ｃやテレビ２００Ｄにリモコン命令を入力してから所定の時間内に音声録音メモのボタン２４１が押された場合などは、音声データをサーバ１００に送信する際に音声録音メモボタン２４１が押されたタイミングの情報を付加しておくことにより、サーバ１００において音声データのテキスト変換を行った後のキーワード検索にヒットしなくても、予め設定しておいた特別なチャネルに投稿する様に構成してもよい。 For example, if the voice recording memo button 241 is pressed within a predetermined period after the user uses the electrical device 200, the CPU 210 acquires the voice via the microphone 280 and sends the voice via the communication interface 260. Even if the voice data is sent to the server 100 and converted into text and there is no hit in the keyword search, the voice data may be posted to a special channel set in advance. More specifically, if the user presses the voice recording memo button 241 within a predetermined time after opening the door of the refrigerator 200A or microwave oven 200B, or within a predetermined time after opening the door of the refrigerator 200A. If the voice recording memo button 241 is pressed within a predetermined time after inputting a remote control command to the air conditioner 200C or television 200D, etc., the voice data is transferred to the server. By adding information on the timing when the voice recording memo button 241 was pressed when sending to the server 100, even if the keyword search after converting the voice data to text does not find a hit on the server 100, the preset information can be added. It may also be configured to post to a special channel that has been set up.

あるいは、音声録音メモのボタン２４１を押されてから所定の時間内に電気機器２００に対する操作を受け付けた場合においては、当該音声データをサーバ１００に送信する際に音声録音メモボタン２４１が押されたタイミングの情報を付加しておくことにより、サーバ１００において音声データのテキスト変換を行った後のキーワード検索にヒットしなくても、予め設定しておいた特別なチャネルに投稿する様に構成してもよい。 Alternatively, if an operation on the electrical device 200 is received within a predetermined time after the voice recording memo button 241 is pressed, the voice recording memo button 241 is pressed when transmitting the voice data to the server 100. By adding timing information, it is possible to configure the server 100 to post to a special channel set in advance even if the keyword search after converting the audio data to text does not yield a hit. Good too.

上記の実施例においては、ユーザが音声録音メモボタンを押下する事をトリガーにしてユーザからの音声の取得を開始するものであったが、この様な形態に限られない。たとえば、ユーザがボイスウェイクアップワードを発話したことをＣＰＵ２１０が検知する事をトリガーとして音声を取得開始するものであってもよい。あるいは、ユーザが一定以上の音量で機器に向かって発話（大音量を検知）したことをＣＰＵ２１０が検知する事をトリガーとして音声を取得開始するものであってもよい。
＜第５の実施の形態＞ In the above embodiment, the user's press of the voice recording memo button is used as a trigger to start acquiring voice from the user, but the present invention is not limited to such a form. For example, voice acquisition may be started using the CPU 210 detecting that the user has uttered a voice wake-up word as a trigger. Alternatively, the acquisition of audio may be started using the CPU 210 detecting that the user speaks to the device at a volume above a certain level (detecting a loud volume) as a trigger.
<Fifth embodiment>

上記の実施の形態においては、冷蔵庫２００Ａなどの電気機器２００がマイク２８０を利用してユーザの音声を取得するものであった。このような形態には限られない。たとえば、冷蔵庫２００Ａや電子レンジ２００Ｂなどの家電とは別の装置が、たとえば図１４に示すように、タブレットやスピーカが電気機器２００を実現するものであってもよい。そして、タブレット型の電気機器２００が磁石によって冷蔵庫２００Ａの扉に取り付けられたり、図示しないスピーカ型の電気機器２００がダイニングやリビングのテーブル上に置かれたりしてもよい。 In the above embodiment, the electric appliance 200 such as the refrigerator 200A uses the microphone 280 to acquire the user's voice. It is not limited to this type of form. For example, the electric device 200 may be implemented by a device other than a home appliance such as a refrigerator 200A or a microwave oven 200B, such as a tablet or a speaker, as shown in FIG. The tablet-type electric device 200 may be attached to the door of the refrigerator 200A using a magnet, or the speaker-type electric device 200 (not shown) may be placed on a table in a dining room or living room.

この場合も、電気機器２００のＣＰＵ２１０は、自身の録音メモボタン２４１が押されたときや、センサ２９７から振動を検知してから所定の時間以内に録音メモボタン２４１が押されたときなどに、音声データをサーバ１００に送信する際に音声取得開始タイミングの情報を付加しておくことにより、サーバ１００において音声データのテキスト変換を行った後のキーワード検索にヒットしなくても、予め設定しておいた特別なチャネルに投稿する様に構成する。
＜第６の実施の形態＞ In this case as well, the CPU 210 of the electrical device 200 performs the following actions when its own recording memo button 241 is pressed or when the recording memo button 241 is pressed within a predetermined time after detecting vibration from the sensor 297. By adding information on the audio acquisition start timing when transmitting audio data to the server 100, even if there are no hits in a keyword search after the audio data is converted to text on the server 100, it can be set in advance. Configure it to post to a special channel you set up.
<Sixth embodiment>

上記の実施の形態のネットワークシステム１の各装置の役割の一部または全部を他の装置が実行してもよい。たとえば、サーバ１００や電気機器２００や通信端末３００の各々の役割の一部または全部を別の装置が担ったり、それらの装置の１つ１つの役割の一部または全部を複数の装置で分担したりしてもよい。たとえば、具体的には、サーバ１００が、１つの装置で実現されてもよいし、クラウド上の複数の装置によって実現されてもよい。あるいは、電気機器２００や通信端末３００が、サーバ１００の処理の一部の役割を担ったりしてもよい。 Other devices may perform part or all of the roles of each device in the network system 1 of the above embodiment. For example, some or all of the roles of the server 100, electrical equipment 200, and communication terminal 300 may be played by another device, or some or all of the roles of each of these devices may be shared between multiple devices. You can also For example, specifically, the server 100 may be realized by one device, or may be realized by a plurality of devices on the cloud. Alternatively, the electrical device 200 or the communication terminal 300 may play a part of the processing of the server 100.

たとえば、電気機器２００のＣＰＵ２１０が、マイク２８０で取得した音声データを解析してテキストデータに変換したり、キーワードを抽出したり、チャンネルを指定する命令を認識したり、それらのテキストデータやキーワードやチャンネルをサーバ１００に送信したりするものであってもよい。
＜まとめ＞ For example, the CPU 210 of the electrical device 200 analyzes audio data acquired by the microphone 280 and converts it into text data, extracts keywords, recognizes a command specifying a channel, and processes the text data, keywords, etc. Alternatively, the channel may be transmitted to the server 100.
<Summary>

上記の実施の形態においては、ユーザの音声を取得するための第１の端末と、所定のページを閲覧可能な第２の端末と、サーバと、を備えるネットワークシステムが提供される。サーバは、第１の端末からのユーザの音声からキーワードを抽出し、所定のページにキーワードを投稿する。 In the embodiment described above, a network system is provided that includes a first terminal for acquiring user's voice, a second terminal capable of viewing a predetermined page, and a server. The server extracts keywords from the user's voice from the first terminal and posts the keywords on a predetermined page.

好ましくは、第２の端末は、ユーザからの第１の指示に従って、サーバからのデータに基づいて、ユーザの音声を変換したテキストを表示する。 Preferably, the second terminal displays text obtained by converting the user's voice based on data from the server in accordance with the first instruction from the user.

好ましくは、第２の端末は、ユーザからの第２の指示に従って、サーバからのデータに基づいて、ユーザの音声をスピーカから出力する。 Preferably, the second terminal outputs the user's voice from a speaker based on data from the server in accordance with a second instruction from the user.

好ましくは、第２の端末は、キーワード毎のチェックボックスを表示して、ユーザにチェックされたキーワードに関する情報をサーバに送信するとともに、チェックされたキーワードに所定のマークを付す、または、チェックされたキーワードを表示しないようにする。 Preferably, the second terminal displays a check box for each keyword, sends information regarding the keywords checked by the user to the server, and attaches a predetermined mark to the checked keywords, or Do not display keywords.

好ましくは、所定のページとして、複数のチャンネルが準備される。複数のチャンネル毎にキーワードが対応付けられる。サーバは、ユーザの音声から、ユーザに指定されたチャンネルに登録されているキーワードを抽出する。 Preferably, a plurality of channels are prepared as a predetermined page. Keywords are associated with each of multiple channels. The server extracts keywords registered in the channel designated by the user from the user's voice.

好ましくは、複数のチャンネル毎に１または複数のユーザが対応付けられる。 Preferably, one or more users are associated with each of the plurality of channels.

好ましくは、サーバは、ユーザの音声に基づいて、投稿先のチャンネルを決定する。 Preferably, the server determines the channel to which to post based on the user's voice.

好ましくは、第１の端末がユーザによって利用されてから所定の期間内に所定の音声が検知された場合に、キーワードの抽出および投稿が実行される。 Preferably, keyword extraction and posting are performed when a predetermined voice is detected within a predetermined period after the first terminal is used by the user.

好ましくは、第１の端末は、冷蔵庫に搭載される。キーワードは、食材名を含む。 Preferably, the first terminal is mounted on a refrigerator. The keyword includes the name of the food ingredient.

上記の実施の形態においては、第１の端末がユーザ音声を取得するステップと、サーバが、第１の端末からのユーザ音声からキーワードを抽出するステップと、サーバが、所定のページにキーワードを投稿するステップと、第２の端末が、所定のページを閲覧するステップと、を備える情報処理方法が提供される。 In the above embodiment, the first terminal acquires user voice, the server extracts a keyword from the user voice from the first terminal, and the server posts the keyword to a predetermined page. An information processing method is provided that includes the steps of: and a second terminal viewing a predetermined page.

上記の実施の形態においては、第１の端末と第２の端末を通信するための通信インターフェイスと、通信インターフェイスを介して第１の端末からユーザ音声を受信して、当該ユーザ音声からキーワードを抽出し、所定のページにキーワードを投稿するためのプロセッサと、を備えるサーバが提供される。 In the above embodiment, there is provided a communication interface for communicating between a first terminal and a second terminal, a user voice is received from the first terminal via the communication interface, and keywords are extracted from the user voice. and a processor for posting keywords to a predetermined page.

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。 The embodiments disclosed this time should be considered to be illustrative in all respects and not restrictive. The scope of the present invention is indicated by the claims rather than the above description, and it is intended that all changes within the meaning and range equivalent to the claims are included.

１：ネットワークシステム
１００：サーバ
１００Ａ：家電サーバ
１００Ｂ：ＳＮＳサーバ
１１０：ＣＰＵ
１２０：メモリ
１２１：ユーザ情報データ
１２２：機器情報データ
１２６：チャンネル情報データ
１２７：カテゴリー情報データ
１４０：操作部
１６０：通信インターフェイス
２００：電気機器
２００Ａ：冷蔵庫
２００Ｂ：電子レンジ
２００Ｃ：エアコン
２００Ｄ：テレビ
２１０：ＣＰＵ
２２０：メモリ
２３０：ディスプレイ
２４０：操作部
２４１：録音メモボタン
２５０：タッチパネル
２６０：通信インターフェイス
２７０：スピーカ
２８０：マイク
２９０：機器駆動部
２９５：ライト
２９７：センサ
３００：通信端末
３１０：ＣＰＵ
３２０：メモリ
３３０：ディスプレイ
３３０Ｘ：チェックボックス
３４０：操作部
３５０：タッチパネル
３６０：通信インターフェイス
３７０：スピーカ
３８０：マイク
３９０：カメラ
４００：ルータ 1: Network system 100: Server 100A: Home appliance server 100B: SNS server 110: CPU
120: Memory 121: User information data 122: Equipment information data 126: Channel information data 127: Category information data 140: Operation unit 160: Communication interface 200: Electrical equipment 200A: Refrigerator 200B: Microwave oven 200C: Air conditioner 200D: Television 210: CPU
220: Memory 230: Display 240: Operation unit 241: Record memo button 250: Touch panel 260: Communication interface 270: Speaker 280: Microphone 290: Device drive unit 295: Light 297: Sensor 300: Communication terminal 310: CPU
320: Memory 330: Display 330X: Check box 340: Operation unit 350: Touch panel 360: Communication interface 370: Speaker 380: Microphone 390: Camera 400: Router

Claims

ユーザの音声を取得するための第１の端末と、
所定のページを閲覧可能な第２の端末と、
サーバと、を備え、
前記サーバは、前記第１の端末からのユーザの音声からキーワードを抽出し、前記所定のページに前記キーワードを投稿する、ネットワークシステム。 a first terminal for acquiring user's voice;
a second terminal that can view a predetermined page;
comprising a server;
The network system wherein the server extracts keywords from the user's voice from the first terminal and posts the keywords on the predetermined page.

前記第２の端末は、ユーザからの第１の指示に従って、前記サーバからのデータに基づいて、前記ユーザの音声を変換したテキストを表示する、請求項１に記載のネットワークシステム。 The network system according to claim 1, wherein the second terminal displays text obtained by converting the user's voice based on data from the server in accordance with a first instruction from the user.

前記第２の端末は、ユーザからの第２の指示に従って、前記サーバからのデータに基づいて、前記ユーザの音声をスピーカから出力する、請求項１または２に記載のネットワークシステム。 3. The network system according to claim 1, wherein the second terminal outputs the user's voice from a speaker based on data from the server in accordance with a second instruction from the user.

前記第２の端末は、前記キーワード毎のチェックボックスを表示して、ユーザにチェックされたキーワードに関する情報を前記サーバに送信するとともに、前記チェックされたキーワードに所定のマークを付す、または、前記チェックされたキーワードを表示しないようにする、請求項１または２に記載のネットワークシステム。 The second terminal displays a check box for each keyword, transmits information regarding the keyword checked by the user to the server, and attaches a predetermined mark to the checked keyword, or 3. The network system according to claim 1, wherein said keywords are not displayed.

前記所定のページとして、複数のチャンネルが準備され、
前記複数のチャンネル毎にキーワードが対応付けられており、
前記サーバは、前記ユーザの音声から、前記ユーザに指定されたチャンネルに登録されている前記キーワードを抽出する、請求項１または２に記載のネットワークシステム。 A plurality of channels are prepared as the predetermined page,
Keywords are associated with each of the plurality of channels,
3. The network system according to claim 1, wherein the server extracts the keyword registered in a channel designated by the user from the user's voice.

前記複数のチャンネル毎に１または複数のユーザが対応付けられる、請求項５に記載のネットワークシステム。 The network system according to claim 5, wherein one or more users are associated with each of the plurality of channels.

前記サーバは、前記ユーザの音声に基づいて、投稿先のチャンネルを決定する、請求項５に記載のネットワークシステム。 6. The network system according to claim 5, wherein the server determines a posting destination channel based on the user's voice.

前記第１の端末がユーザによって利用されてから所定の期間内に所定の音声が検知された場合に、前記キーワードの抽出および投稿が実行される、請求項１または２に記載のネットワークシステム。 3. The network system according to claim 1, wherein the keyword is extracted and posted when a predetermined voice is detected within a predetermined period after the first terminal is used by a user.

前記第１の端末は、冷蔵庫に搭載され、
前記キーワードは、食材名を含む、請求項１または２に記載のネットワークシステム。 The first terminal is installed in a refrigerator,
The network system according to claim 1 or 2, wherein the keyword includes a food ingredient name.

第１の端末がユーザ音声を取得するステップと、
サーバが、前記第１の端末からのユーザ音声からキーワードを抽出するステップと、
前記サーバが、所定のページに前記キーワードを投稿するステップと、
第２の端末が、前記所定のページを閲覧するステップと、を備える情報処理方法。 the first terminal acquiring user audio;
a server extracting keywords from the user's voice from the first terminal;
the server posting the keyword on a predetermined page;
An information processing method comprising the step of a second terminal viewing the predetermined page.

第１の端末と第２の端末を通信するための通信インターフェイスと、
前記通信インターフェイスを介して前記第１の端末からユーザ音声を受信して、当該ユーザ音声からキーワードを抽出し、所定のページに前記キーワードを投稿するためのプロセッサと、を備えるサーバ。 a communication interface for communicating between the first terminal and the second terminal;
A server comprising: a processor for receiving user voice from the first terminal via the communication interface, extracting a keyword from the user voice, and posting the keyword on a predetermined page.