JP2020136920A - Voice control system and voice control method - Google Patents
Voice control system and voice control method Download PDFInfo
- Publication number
- JP2020136920A JP2020136920A JP2019028405A JP2019028405A JP2020136920A JP 2020136920 A JP2020136920 A JP 2020136920A JP 2019028405 A JP2019028405 A JP 2019028405A JP 2019028405 A JP2019028405 A JP 2019028405A JP 2020136920 A JP2020136920 A JP 2020136920A
- Authority
- JP
- Japan
- Prior art keywords
- control
- unit
- request
- voice
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 36
- 230000005540 biological transmission Effects 0.000 claims description 68
- 238000004891 communication Methods 0.000 abstract description 64
- 230000010365 information processing Effects 0.000 description 29
- 238000010586 diagram Methods 0.000 description 22
- 230000008569 process Effects 0.000 description 20
- 238000012545 processing Methods 0.000 description 10
- 230000004044 response Effects 0.000 description 7
- 239000004065 semiconductor Substances 0.000 description 5
- 238000004590 computer program Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Landscapes
- Selective Calling Equipment (AREA)
- Telephonic Communication Services (AREA)
Abstract
Description
本発明は、ユーザの音声に基づいて、制御機器を制御する音声制御システム、及び、音声制御方法に関する。 The present invention relates to a voice control system that controls a control device based on a user's voice, and a voice control method.
特許文献１には、指令送信機器（例えば、サーバ装置）及び少なくとも１つのスマート機器（制御機器）のそれぞれと接続される制御装置が開示されている。当該指令送信機器は、少なくとも１種別のスマート機器の作業モード情報を含む１グループの作業モード情報を記憶している。これにより、１回の制御指示で当該１グループに含まれるスマート機器を制御することができる。 Patent Document 1 discloses a control device connected to each of a command transmitting device (for example, a server device) and at least one smart device (control device). The command transmitting device stores one group of work mode information including the work mode information of at least one type of smart device. Thereby, the smart devices included in the one group can be controlled by one control instruction.
しかしながら、サーバ装置が制御装置に対して制御機器ごとに制御指示を分割送信した場合、制御機器の台数分の制御指示を送信することとなり、サーバ装置と制御機器との間の通信負荷が増加するという課題がある。 However, when the server device separately transmits the control instruction to the control device for each control device, the control instruction for the number of control devices is transmitted, and the communication load between the server device and the control device increases. There is a problem.
そこで、本発明は、通信負荷を低減することができる音声制御システム、及び、音声制御方法を提供する。 Therefore, the present invention provides a voice control system and a voice control method capable of reducing the communication load.
本発明の一態様に係る音声制御システムは、ユーザの音声に基づいて、制御機器を制御する音声制御システムであって、前記音声に基づく機器制御要求を取得する機器情報取得部と、対象期間に前記機器情報取得部が取得した前記機器制御要求を蓄積し、前記対象期間に蓄積された前記機器制御要求を一括で送信する第一機器制御部と、を備える。 The voice control system according to one aspect of the present invention is a voice control system that controls a control device based on a user's voice, and includes a device information acquisition unit that acquires a device control request based on the voice and a target period. It includes a first device control unit that accumulates the device control requests acquired by the device information acquisition unit and collectively transmits the device control requests accumulated during the target period.
本発明の一態様に係る情報制御方法は、ユーザの音声に基づいて、制御機器を制御する音声制御方法であって、前記音声に基づく機器制御要求を取得するステップと、対象期間に取得した前記機器制御要求を蓄積し、前記対象期間に蓄積した前記機器制御要求を一括で送信するステップと、を含む。 The information control method according to one aspect of the present invention is a voice control method for controlling a control device based on a user's voice, the step of acquiring the device control request based on the voice, and the acquisition during the target period. It includes a step of accumulating device control requests and collectively transmitting the device control requests accumulated in the target period.
本発明によれば、通信負荷を低減することができる音声制御システム、及び、音声制御方法が実現される。 According to the present invention, a voice control system and a voice control method capable of reducing a communication load are realized.
以下、実施の形態について、図面を参照しながら具体的に説明する。なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意の構成要素として説明される。 Hereinafter, embodiments will be specifically described with reference to the drawings. It should be noted that all of the embodiments described below show comprehensive or specific examples. Numerical values, shapes, materials, components, arrangement positions and connection forms of components, steps, order of steps, etc. shown in the following embodiments are examples, and are not intended to limit the present invention. Further, among the components in the following embodiments, the components not described in the independent claims will be described as arbitrary components.
なお、各図は模式図であり、必ずしも厳密に図示されたものではない。また、各図において、実質的に同一の構成に対しては同一の符号を付し、重複する説明は省略または簡略化される場合がある。 It should be noted that each figure is a schematic view and is not necessarily exactly illustrated. Further, in each figure, substantially the same configuration may be designated by the same reference numerals, and duplicate description may be omitted or simplified.
また、本明細書において、数値、及び、数値範囲は、厳格な意味のみを表す表現ではなく、実質的に同等な範囲、例えば数％程度の差異をも含むことを意味する表現である。 Further, in the present specification, the numerical value and the numerical range are not expressions expressing only strict meanings, but also expressions meaning that substantially the same range, for example, a difference of about several percent is included.
（実施の形態）
［１．構成］
まず、本実施の形態に係る音声制御システム１００の構成について説明する。図１は、本実施の形態に係る音声制御システム１００の機能構成を示すブロック図である。図２は、本実施の形態に係る音声取得端末１０及び第一サーバ装置２０の機能構成を示す図である。
(Embodiment)
[1. Constitution]
First, the configuration of the
図１及び図２に示すように、音声制御システム１００は、ユーザＵが発する音声に基づいて複数の制御機器５０を制御することができる機器制御システムである。以下では、複数の制御機器５０は、３台の照明機器５１〜５３である例について説明する。
As shown in FIGS. 1 and 2, the
また、音声制御システム１００は、ユーザＵに複数の制御機器５０への制御要求に対する応答を示す情報（以降において、応答情報とも記載する）を提供することもできる。例えば、ユーザＵが「リビングの照明をつけて」といった制御機器の制御に関する要求指示を音声で発すると、音声制御システム１００は、「受け付けました」などの音声を出力する。つまり、音声制御システム１００は、ユーザＵの音声を正常に取得したか否かの取得結果を示す音声を応答情報として出力してもよい。また、音声制御システム１００は、ユーザＵが「リビングの照明をつけて」といった制御機器の制御に関する要求指示を音声で発すると、「リビングの照明をつけました」などの制御が正常に完了したか否かの制御結果を示す音声を応答情報として出力してもよい。音声制御システム１００は、取得結果及び制御結果の少なくとも一方を示す音声を応答情報として出力する。
Further, the
音声制御システム１００は、具体的には、音声取得端末１０と、第一サーバ装置２０と、第二サーバ装置３０と、制御装置４０とを備える。また、図１では、音声制御システム１００の制御対象となる複数の制御機器５０も図示されている。なお、複数の制御機器５０は、音声制御システム１００に含まれてもよい。
Specifically, the
まず、音声取得端末１０について、主に図２を参照しながら説明する。音声取得端末１０は、ユーザＵの音声を取得し、取得した音声を第一サーバ装置２０に送信する処理などを行う。音声取得端末１０は、例えば、ユーザＵの住宅に設置されるスマートスピーカであるが、スマートフォン又はタブレット端末などの携帯端末であってもよい。音声取得端末１０は、ＨＥＭＳ（Ｈｏｍｅ Ｅｎｅｒｇｙ Ｍａｎａｇｅｍｅｎｔ Ｓｙｓｔｅｍ）コントローラであってもよい。音声取得端末１０は、ユーザＵの音声を取得し、取得した音声を第一サーバ装置２０に送信できる機器であればよい。音声取得端末１０は、音声取得部１１と、情報処理部１２と、記憶部１３と、通信部１４と、出力部１５とを備える。
First, the
音声取得部１１は、ユーザＵの音声を取得する。音声取得部１１は、例えば、マイクロフォンによって実現される。
The
情報処理部１２は、音声取得部１１によって取得された音声に基づく情報処理を行う。情報処理部１２は、例えば、マイクロコンピュータによって実現されるが、プロセッサによって実現されてもよい。
The
記憶部１３は、情報処理部１２が情報処理を行うために実行するプログラム、及び、情報処理を行うために必要な情報などが記憶される記憶装置である。記憶部１３は、例えば、半導体メモリによって実現される。
The
ここで、記憶部１３に格納されている情報について、図３を参照しながら説明する。図３は、本実施の形態に係る記憶部１３が格納するテーブルＴ１を示す図である。
Here, the information stored in the
図３に示すように、記憶部１３は、ユーザ（例えば、ユーザＡ、Ｂなど）と当該ユーザのユーザＩＤ（例えば、Ｐ０１、Ｐ０２など）とが対応付けられたテーブルＴ１を格納する。ユーザＩＤは、音声取得端末１０を特定するための識別情報であり、例えば、音声取得端末１０の身元を保証するための識別情報であってもよい。記憶部１３がテーブルＴ１を格納することで、情報処理部１２は、例えば、音声取得部１１が取得した音声及びテーブルＴ１に基づいて、音声を発したユーザに対応するユーザＩＤを取得することができる。なお、ユーザＩＤは、第一識別情報の一例である。
As shown in FIG. 3, the
通信部１４は、音声取得端末１０が第一サーバ装置２０と通信を行うための通信回路（言い換えれば、通信モジュール）である。通信部１４は、例えば、音声取得部１１が取得した音声を含む音声情報、及び、当該音声に対応するユーザＵのユーザＩＤを第一サーバ装置２０に送信する。通信部１４は、例えば、無線通信を行うための無線通信回路であるが、有線通信を行うための有線通信回路であってもよい。通信部１４が行う通信の通信規格については、特に限定されない。
The
出力部１５は、情報処理部１２の制御に基づいて音声を出力する。出力部１５は、例えば、スピーカである。
The
次に、第一サーバ装置２０について、主に図２を参照しながら説明する。第一サーバ装置２０は、取得した音声に対する音声認識処理を行うクラウドサーバである。また、第一サーバ装置２０は、複数の制御機器５０に関する情報を管理する。第一サーバ装置２０は、例えば、音声取得端末１０の製造メーカによって提供される。第一サーバ装置２０は、通信部２１と、情報処理部２２と、記憶部２３とを備える。
Next, the
通信部２１は、第一サーバ装置２０が音声取得端末１０及び第二サーバ装置３０と通信を行うための通信回路（言い換えれば、通信モジュール）である。通信部２１は、例えば、音声取得端末１０から要求指示を含む音声を受信する。通信部２１は、例えば、無線通信を行うための無線通信回路であるが、有線通信を行うための有線通信回路であってもよい。通信部２１が行う通信の通信規格については特に限定されない。
The
情報処理部２２は、通信部２１が受信した音声に基づいて複数の制御機器５０を制御するための情報処理を行う。情報処理部２２は、例えば、複数の制御機器５０を音声及びユーザＩＤに基づいて制御するための制御信号を通信部２１に第二サーバ装置３０へ送信させる。制御信号には、第一機器ＩＤ（図１及び図２に示す機器ＩＤ）、ユーザＩＤ、及び、機器制御要求（図１及び図２に示す制御要求）が含まれる。情報処理部２２は、例えば、マイクロコンピュータによって実現されるが、プロセッサによって実現されてもよい。なお、機器制御要求は、制御機器５０を制御するための情報であり、例えば、制御コマンドなどである。
The information processing unit 22 performs information processing for controlling a plurality of
情報処理部２２は、具体的には、分析部２４、機器制御部２５、及び、出力制御部２６を有する。
Specifically, the information processing unit 22 includes an
分析部２４は、音声取得部１１によって取得された音声に対して音声認識処理を行う。音声認識処理は、例えば、制御対象となる制御機器５０を特定するための処理を含む。音声認識処理は、例えば、制御対象となる制御機器５０を特定する「キーワード」を抽出する処理を含む。キーワードは、例えば、「リビング」などの制御対象となる制御機器５０の設置場所を示す言葉であってよいし、「照明機器」などの制御機器５０の種類を示す言葉であってもよい。分析部２４は、例えば、当該キーワードと、記憶部２３に格納されているテーブルＴ２（図４参照）とに基づいて、制御対象となる制御機器５０を特定する。なお、キーワードは、制御対象となる制御機器５０（例えば、複数の制御機器５０）を特定できる言葉であれば、上記に限定されない。
The
機器制御部２５は、通信部２１に第二サーバ装置３０へ制御信号を送信させる。制御信号には、分析部２４により特定された制御対象となる制御機器５０を示す情報、及び、音声に基づく制御コマンドなどが含まれる。出力制御部２６は、応答情報を示す音声を出力するための情報処理を行う。
The
記憶部２３は、情報処理部２２が情報処理を行うために実行するプログラム、及び、情報処理部２２が情報処理を行うために必要な情報などが記憶される記憶装置である。記憶部１３は、例えば、半導体メモリによって実現される。
The
ここで、記憶部２３に格納されている情報について、図４を参照しながら説明する。図４は、本実施の形態に係る記憶部２３が格納するテーブルＴ２を示す図である。
Here, the information stored in the
図４に示すように、記憶部２３は、「ユーザＩＤ」と、当該ユーザＩＤに対応する「キーワード」及び「第一機器ＩＤ」とを対応づけて示すテーブルＴ２を格納する。図４では、「リビング」に対応する第一機器ＩＤとして、「Ｍ１〜Ｍ３」が対応づけられている。これは、「リビング」に対応する制御機器５０として、第一機器ＩＤがＭ１〜Ｍ３の３台の制御機器５０がグループ登録されていることを示す。これにより、ユーザＵが要求指示を含む音声を１回発することで複数の制御機器５０を制御することができるので、音声制御システム１００の利便性が向上する。なお、グループ登録は、例えば、音声取得端末１０専用のアプリケーションを用いて設定される。また、第一機器ＩＤは、第一サーバ装置２０内において制御対象となる制御機器５０を特定するための識別情報であり、第二識別情報の一例である。
As shown in FIG. 4, the
このように、記憶部２３がテーブルＴ２を格納していることで、分析部２４は、音声及びテーブルＴ２に基づいて第一機器ＩＤを取得することができるので、制御対象となる制御機器５０を特定することができる。
Since the
情報処理部２２は、例えば、通信部２１を介して、照明機器５１〜５３のそれぞれに対応する機器制御要求（例えば、制御コマンド）を第二サーバ装置３０に送信する。すなわち、情報処理部２２は、３つの機器制御要求のそれぞれを個別に第二サーバ装置３０に送信する。さらに、情報処理部２２は、通信部２１を介して、制御対象となる制御機器５０に紐づく第一機器ＩＤを含む第一機器情報を第二サーバ装置３０に送信する。
The information processing unit 22 transmits, for example, a device control request (for example, a control command) corresponding to each of the
なお、図２に示すように、音声取得端末１０と第一サーバ装置２０とで、要求受付部１０ａが構成される。
As shown in FIG. 2, the
次に、第二サーバ装置３０について、主に図１を参照しながら説明する。第二サーバ装置３０は、複数の制御機器５０を制御するクラウドサーバである。また、第二サーバ装置３０は、複数の制御機器５０に関する情報を管理する。第二サーバ装置３０は、例えば、複数の制御機器５０の製造メーカによって提供される。第二サーバ装置３０は、取得部３１と、第一記憶部３２と、機器制御部３３とを備える。また、機器制御部３３は、更新部３４と、第二記憶部３５と、送信部３６とを有する。
Next, the
取得部３１は、ユーザＵの音声に基づく機器制御要求を取得する。本実施の形態では、取得部３１は、機器制御要求及び第一機器ＩＤを取得する。取得部３１は、例えば、ユーザＵの「リビングの照明つけて」の音声に対して、３つの機器制御要求及び第一機器ＩＤを取得する。すなわち、取得部３１は、照明機器５１〜５３のそれぞれに対する機器制御要求及び第一機器ＩＤを異なるタイミングで取得する。なお、ここでの機器制御要求は、照明機器をオンすることである。
The
そして、取得部３１は、取得した第一機器ＩＤを第二機器ＩＤに変換する処理を行う。第二機器ＩＤは、第二サーバ装置３０内において制御対象となる制御機器５０を特定するための識別情報である。第一サーバ装置２０及び第二サーバ装置３０とで、同一の制御機器５０に対して互いに異なる機器ＩＤが設定されることがある。そこで、取得部３１は、上記の機器ＩＤの変換を行う。取得部３１は、例えば、第一記憶部３２に格納されているユーザＩＤ、第一機器ＩＤ及び第二機器ＩＤが対応づけられたテーブル（例えば、後述するテーブルＴ３）を用いて、機器ＩＤの変換を行う。さらに、取得部３１は、第一サーバ装置２０から取得した機器制御要求（例えば、第一制御コマンド）においても同様に、第二サーバ装置３０内で処理可能な機器制御要求（例えば、第二制御コマンド）に変換する処理を行ってもよい。なお、取得部３１は、機器情報取得部の一例である。
Then, the
第一記憶部３２は、取得部３１が情報処理を行うために実行するプログラム、及び、取得部３１が情報処理を行うために必要な情報などが記憶される記憶装置である。第一記憶部３２は、例えば、半導体メモリによって実現される。
The
ここで、第一記憶部３２に格納されている情報について、図５を参照しながら説明する。図５は、本実施の形態に係る第一記憶部３２が格納するテーブルＴ３を示す図である。
Here, the information stored in the
図５に示すように、第一記憶部３２は、「第一機器ＩＤ」と当該第一機器ＩＤに対応する「第二機器ＩＤ」及び「制御装置ＩＤ」とを対応づけて示すテーブルＴ３を格納する。つまり、テーブルＴ３において、「第二機器ＩＤ」と当該第二機器ＩＤを有する制御機器５０が接続されている制御装置４０を特定する情報とが対応づけられている。第一記憶部３２がテーブルＴ３を格納することで、取得部３１は、例えば、第一機器ＩＤ及びテーブルＴ３に基づいて、制御対象となる制御機器５０の第二機器ＩＤ及び制御装置ＩＤを取得することができる。これにより、制御対象である制御機器５０が接続された制御装置４０を特定することができる。また、第一サーバ装置２０と第二サーバ装置３０とにおいて、制御機器５０に対して設定された機器ＩＤが異なる場合に、テーブルＴ３を用いて第一機器ＩＤを第二サーバ装置３０で処理可能な第二機器ＩＤに変換することができる。
As shown in FIG. 5, the
なお、取得部３１が機器制御要求を変換する処理を行う場合、テーブルＴ３には、第一サーバ装置２０及び第二サーバ装置３０における機器制御要求を対応づけた情報（例えば、制御コマンドを対応づけた情報）が含まれていてもよい。また、テーブルＴ３には、制御装置４０を特定するための情報は含まれていない。
When the
なお、第一サーバ装置２０及び第二サーバ装置３０で制御機器５０に対して共通の機器ＩＤ及び機器制御要求が設定されている場合、テーブルＴ３は、第一機器ＩＤと制御装置ＩＤとを対応づけた情報のみを有するテーブルであってもよい。
When a common device ID and device control request are set for the
取得部３１は、取得した第二機器ＩＤ及び制御装置ＩＤを含む第二機器情報（図１に示す第二情報）、及び、機器制御要求を、機器制御部３３に出力する。具体的には、取得部３１は、第二機器情報、及び、機器制御要求を更新部３４に出力する。取得部３１は、３つの制御機器５０（第二機器ＩＤがＭ１１〜Ｍ１３に対応する制御機器５０）に対応する第二機器情報、及び、機器制御要求を個別に更新部３４に出力する。なお、第二機器情報は、機器情報の一例である。
The
機器制御部３３は、対象期間に取得部３１が取得した第二機器情報、及び、機器制御要求を蓄積し、対象期間に蓄積した第二機器情報、及び、機器制御要求を一括して送信する制御装置である。機器制御部３３は、具体的には、更新部３４、第二記憶部３５、及び、送信部３６を有する。なお、機器制御部３３は、第一機器制御部の一例である。また、対象期間は、一括送信するための第二機器情報、及び、機器制御要求を蓄積するための期間である。
The
更新部３４は、対象期間に受け付けた第二機器情報、及び、機器制御要求を第二記憶部３５に蓄積する。また、更新部３４は、対象期間が経過すると、送信部３６に送信指示を出力する。送信要求とは、第二記憶部３５に記憶された第二機器情報、及び、機器制御要求を制御装置４０に送信するための制御信号である。また、更新部３４は、さらに、第二記憶部３５に格納されている第二機器情報及び機器制御要求が送信部３６から送信された後、当該第二機器情報及び機器制御要求を第二記憶部３５から削除する処理を行ってもよい。更新部３４は、機器要求更新部の一例である。
The
第二記憶部３５は、更新部３４及び送信部３６が情報処理を行うために実行するプログラム、及び、更新部３４及び送信部３６が情報処理を行うために必要な情報などが記憶される記憶装置である。第二記憶部３５は、例えば、半導体メモリによって実現される。また、第二記憶部３５は、取得部３１が取得した第二機器情報及び機器制御要求を蓄積する。第二記憶部３５は、機器要求蓄積部の一例である。
The
送信部３６は、更新部３４から送信指示を取得すると、対象期間に第二記憶部３５に蓄積された第二制御情報及び機器制御要求を一括で送信する。つまり、送信部３６は、対象期間に第二記憶部３５に格納された第二制御情報及び機器制御要求をまとめて制御装置４０に送信する。また、送信部３６は、制御対象の制御機器５０のそれぞれに対する第二制御情報及び機器制御要求を、１回の送信処理で送信するともいえる。なお、図１に示す制御リストは、対象期間に第二記憶部３５に蓄積された第二制御情報及び機器制御要求を意味する。制御リストには、少なくとも２以上の機器制御要求が含まれる。
When the
なお、更新部３４が送信部３６から送信された第二機器情報及び機器制御要求を第二記憶部３５から削除する処理を行う場合、送信部３６は、送信指示を取得した時点で第二記憶部３５に格納されている第二機器情報及び機器制御要求を一括で送信する。
When the
また、送信部３６は、一括で送信した第二制御情報及び機器制御要求に対する制御機器５０の制御結果を、制御装置４０を介して一括で取得する。つまり、送信部３６は、制御対象の制御機器５０のそれぞれから制御装置４０に送信された制御結果をまとめて取得する。送信部３６は、制御装置４０における１回の送信処理で送信された、制御対象の制御機器５０のそれぞれの制御結果を取得する。これにより、制御対象の制御機器５０のそれぞれの制御結果を、個別に機器制御部３３に送信している場合に比べ、第二サーバ装置３０と制御装置４０との間の通信量を低減することができる。つまり、第二サーバ装置３０と制御機器５０との間の通信負荷を低減することができる。なお、送信部３６は、機器要求送信部の一例である。
In addition, the
次に、制御装置４０について説明する。制御装置４０は、第二サーバ装置３０及び複数の制御機器５０のそれぞれと通信可能に接続され、第二サーバ装置３０及び複数の制御機器５０の間での通信を中継する中継装置である。制御装置４０は、２以上の機器制御要求を送信部３６から一括で受信し、受信した２以上の機器制御要求のそれぞれに対して、対応する制御機器５０に機器制御要求を送信する。本実施の形態では、制御装置４０は、２以上の制御機器５０のそれぞれに対する機器制御要求を送信部３６から一括で受信し、２以上の制御機器５０のそれぞれに対して、当該制御機器５０に対応する機器制御要求を送信する。つまり、制御装置４０は、一括で受信した２以上の制御機器５０に対する機器制御要求を、２以上の制御機器５０のそれぞれごとに分割して送信する。制御装置４０は、音声取得端末１０と同様に、例えば、ユーザＵの住宅に設置される機器であり、例えば、ゲートウェイ装置である。なお、制御装置４０は、第二機器制御部の一例である。
Next, the
次に、複数の制御機器５０について説明する。複数の制御機器５０は、音声取得端末１０及び制御装置４０と同様に、例えば、ユーザＵの住宅に設置される機器である。複数の制御機器５０は、第二サーバ装置３０の送信部３６から送信される機器制御要求によって制御される被制御機器である。つまり、複数の制御機器５０は、音声制御システム１００の制御対象機器である。本実施の形態では、複数の制御機器５０が照明機器５１〜５３である例を示しているが、第二サーバ装置３０と通信可能な機器であればこれに限定されない。複数の制御機器５０は、例えば、洗濯機、電動シャッター、空調機器、給湯システム、及び、炊飯器、テレビ、コンセント（例えば、スマートコンセント）、及び、配線スイッチ（例えば、壁スイッチ）などが含まれてもよい。
Next, a plurality of
本実施の形態では、複数の制御機器５０は、制御装置４０を介して制御される。また、複数の制御機器５０がコンセント又はスイッチである場合、機器制御要求に基づいてコンセント又はスイッチのオン及びオフなどを制御することで、当該コンセント又はスイッチに接続された機器（例えば、照明機器など）の状態を制御することができる。
In the present embodiment, the plurality of
なお、音声制御システム１００が制御する制御機器５０の数は特に限定されない。制御対象となる制御機器５０は、例えば、照明機器５１の１つのみであってもよいし、４つ以上の照明機器であってもよい。
The number of
［２．動作］
上述のように、音声制御システム１００は、ユーザＵの音声に基づいて、複数の制御機器５０に対する第二制御情報及び機器制御要求を一括で送信することができる。以下、このような音声制御システム１００の動作例について説明する。図６は、本実施の形態に係る音声制御システム１００の動作例を示すシーケンス図である。
[2. motion]
As described above, the
まず、要求受付部１０ａは、第一機器情報及び機器制御要求を取得する（Ｓ１１）。本実施の形態では、要求受付部１０ａは、照明機器５１〜５３のそれぞれに対する第一機器情報及び機器制御要求を取得する。要求受付部１０ａは、例えば、以下の処理により第一機器情報及び機器制御要求を取得する。
First, the
音声取得端末１０の音声取得部１１は、ユーザＵが発する音声を取得する。分析部２４は、音声取得部１１によって取得された音声の内容を分析する。分析部２４は、具体的には、音声取得部１１によって取得された音声の内容から、予め定められたキーワードが含まれているか否かを判定する。より具体的には、分析部２４は、音声に「リビング」のように記憶部２３が格納するテーブルＴ２に含まれるキーワードがあるか否かを判定する。分析部２４によって行われる分析には、例えば、既存の音声認識アルゴリズムなどが用いられる。分析部２４は、キーワード及びテーブルＴ２から第一機器ＩＤを取得する。また、分析部２４は、音声の内容の分析から、ユーザＵの要求指示に基づく機器制御要求を取得する。なお、このとき、分析部２４は、例えば、取得した機器制御要求が第一機器ＩＤで特定される制御機器５０を制御するための制御要求であるか否かを判定してもよい。
The
そして、要求受付部１０ａは、取得した第一機器情報、ユーザＩＤ及び機器制御要求を第二サーバ装置３０に送信する（Ｓ１２）。本実施の形態では、要求受付部１０ａは、照明機器５１〜５３のそれぞれに対する第一機器情報及び機器制御要求を第二サーバ装置３０に送信する。具体的には、機器制御部２５は、分析部２４が音声取得部１１によって取得された音声の内容にキーワードが含まれていると判定すると、当該キーワードと対応する制御機器５０を特定する第一機器ＩＤを含む第一機器情報、並びに、ユーザＩＤ及び機器制御要求を第二サーバ装置３０へ送信させる。機器制御部２５は、例えば、通信部２１を介して、３つの第一機器情報及び機器制御要求を第二サーバ装置３０へ順次送信させる。
Then, the
第二サーバ装置３０は、要求受付部１０ａから送信された第一機器情報、ユーザＩＤ及び機器制御要求を受信する（Ｓ１３）。そして、第二サーバ装置３０は、第一期間（対象期間の一例）内に取得した機器制御要求を一括して制御装置４０に送信する（Ｓ１４）。つまり、第二サーバ装置３０は、要求受付部１０ａから機器制御要求を取得するたびに、当該機器制御要求を制御装置４０に送信しない。なお、ステップＳ１３の処理の詳細は、後述する。
The
制御装置４０は、第二サーバ装置３０から送信された機器制御要求、つまり一括して送信された機器制御要求（図１に示す制御リスト）を受信する（Ｓ１５）。そして、制御装置４０は、取得した機器制御要求に応じて、対応する機器ごとに制御指示を送信する（Ｓ１６）。
The
例えば、第二サーバ装置が要求受付部１０ａから機器制御要求を取得するたびに制御装置４０に当該機器制御要求に基づく制御指示を送信する場合、照明機器５１〜５３を制御するときに、３回の通信が行われる。つまり、１回の送信処理で、照明機器５１〜５３のうちの１つの制御機器に対する機器制御要求が送信される。
For example, when the second server device transmits a control instruction based on the device control request to the
一方、上記のような動作を行う第二サーバ装置３０であれば、３つの機器制御要求を１回の通信で送信することができる。つまり、１回の送信処理で、照明機器５１〜５３の３つの制御機器に対する機器制御要求が送信される。これにより、第二サーバ装置３０における通信量を削減することができる。
On the other hand, if the
なお、制御装置４０は、複数の制御機器５０のそれぞれと時分割で通信する通信方式により通信してもよい。制御装置４０は、例えば、機器制御要求を取得しているか否かに関わらず、複数の制御機器５０のそれぞれと時分割で通信する。制御装置４０は、第二サーバ装置３０から照明機器５３に対する機器制御要求のみを取得している場合であっても、例えば、照明機器５１、５２、５３の順に順次通信する。そして、制御装置４０は、照明機器５３と通信するときに、当該照明機器５３に対応する機器制御要求を送信する。
The
制御装置４０が照明機器５１、５２、５３の順に複数の制御機器５０の全てと通信することをスキャンと定義する場合、制御装置４０は、１回のスキャンで複数の制御機器５０の全てと１回ずつ通信する。制御装置４０が照明機器５１、５２及び５３のそれぞれに対する機器制御要求を順次取得する場合、機器制御要求を取得するタイミングによっては、照明機器５１、５２及び５３のそれぞれに機器制御要求を送信するために３回のスキャンが必要になることがある。つまり、照明機器５１、５２及び５３が機器制御要求を取得するタイミングが、１回のスキャンに要する時間ずつ異なってしまう。これにより、照明機器５１、５２及び５３が順次制御される。例えば、機器制御要求が照明機器をオンすることである場合、照明機器５１、５２及び５３は同時に点灯せずに順次点灯するので、ユーザＵは違和感を感じることがある。
When the
一方、本実施の形態に係る制御装置４０は、第二サーバ装置３０から一括で機器制御要求を取得する。そのため、制御装置４０は、当該機器制御要求を複数の制御機器５０のそれぞれに対する制御指示に分割し、１回のスキャンの中で複数の制御機器５０の全てに制御指示を送信することができる。これにより、機器制御要求を順次取得する場合に比べ、制御指示を送信するのに要する時間が短縮される。つまり、照明機器５１、５２及び５３が制御指示を取得するタイミングを等しくすることができる。なお、ここでの等しいとは、例えば、１回のスキャンに要する時間内に照明機器５１、５２及び５３のそれぞれが制御指示を取得することを意味する。また、制御指示とは、制御機器５０に対応する機器制御要求を意味する。
On the other hand, the
次に、第二サーバ装置３０における処理の詳細を、図７〜図９Ｄを参照しながら説明する。図７は、本実施の形態に係る第二サーバ装置３０の動作例を示すシーケンス図である。
Next, the details of the processing in the
図７に示すように、取得部３１は、要求受付部１０ａから第一機器情報、ユーザＩＤ及び機器制御要求を受信する（Ｓ２１）。ステップＳ２１は、図６に示すステップＳ１３に相当する。取得部３１は、要求受付部１０ａから取得した第一機器情報に含まれる第一機器ＩＤに基づいて、第二機器ＩＤ及び制御装置ＩＤを含む第二機器情報を取得する（Ｓ２２）。具体的には、取得部３１は、第一記憶部３２に格納されているテーブルＴ３を用いて、ユーザＩＤ及び第一機器ＩＤから、制御機器５０に紐づく第二機器ＩＤ及び制御装置ＩＤを含む第二機器情報を取得する。
As shown in FIG. 7, the
取得部３１は、要求受付部１０ａから第一機器情報及び機器制御要求を取得するたびに、上記の処理を行い対応する第二機器情報を取得する。そして、取得部３１は、取得した第二機器情報と、機器制御要求とを更新部３４に出力する（Ｓ２３）。取得部３１は、例えば、第二機器ＩＤごとに更新部３４に第二機器情報と機器制御要求とを送信する。つまり、本実施の形態では、取得部３１は、第二機器情報及び機器制御要求を３回出力する。
Each time the
上記のように、取得部３１は、ユーザからの音声を受け付ける音声取得端末１０を特定するためのユーザＩＤ（第一識別情報の一例）及び制御対象となる制御機器５０を特定するための第一機器ＩＤ（第二識別情報の一例）を用いて、制御対象となる制御機器５０の第二機器情報（機器情報の一例）を取得し、取得した第二機器情報を機器制御部３３（具体的には、更新部３４）に出力する。
As described above, the
更新部３４は、取得部３１から出力された第二機器情報及び機器制御要求を取得し（Ｓ２４）、第二記憶部３５に蓄積する（Ｓ２５）。更新部３４は、例えば、複数の制御機器５０のうち２以上の制御機器５０のそれぞれに対する機器制御要求、及び、２以上の制御機器５０のそれぞれに紐づく第二機器情報を第二記憶部３５に蓄積してもよい。また、更新部３４は、制御対象となる制御機器５０が１つである場合、当該制御機器５０に対する２以上の機器制御要求を第二記憶部３５に蓄積してもよい。
The
そして、更新部３４は、機器制御要求の取得結果を取得部３１に出力する（Ｓ２６）。取得結果には、機器制御要求を取得できたか否かを示す情報が含まれる。
Then, the
取得部３１は、取得結果を取得する（Ｓ２７）と、当該取得結果を要求受付部１０ａに送信する（Ｓ２８）。要求受付部１０ａの第一サーバ装置２０が当該取得結果を取得すると、出力制御部２６は、当該取得結果に応じた音声を示す音声情報を通信部２１を介して音声取得端末１０に送信する。音声取得端末１０の情報処理部１２は、通信部１４を介して音声情報を取得すると、出力部１５に当該音声情報に基づく音声（例えば、図１に示す「受け付けました」を出音させる。なお、ステップＳ２６〜ステップＳ２８の処理は、行われてなくてもよい。
When the
更新部３４は、第一期間が経過したと判定すると、送信部３６に制御リストの送信指示を出力する（Ｓ２９）。送信指示とは、送信部３６が第二記憶部３５に格納されている機器制御要求等を読み出し、制御装置４０に一括で送信させるための制御情報である。
When the
送信部３６は、更新部３４から制御リストの送信指示を取得する（Ｓ３０）と、第二記憶部３５にリスト取得要求（図１を参照）を出力して第二記憶部３５に格納されている機器制御要求を読み出すことで制御リストを取得し（Ｓ３１）、取得した制御リストを制御装置４０に送信する（Ｓ３２）。つまり、送信部３６は、制御リストを送信することで機器制御要求を一括して送信する。送信部３６は、例えば、２以上の制御機器５０のそれぞれに対する機器制御要求及び第二機器情報を一括で送信する。
When the
ステップＳ２２〜Ｓ２５及びステップＳ３０〜Ｓ３２の処理は、図６に示すステップＳ１４に相当する。 The processing of steps S22 to S25 and steps S30 to S32 corresponds to step S14 shown in FIG.
次に、更新部３４における蓄積処理について、図８〜図１０を参照しながら説明する。図８は、本実施の形態に係る更新部３４の動作例１を示すフローチャートである。図９Ａは、本実施の形態に係る第二記憶部３５の初期状態を示す図である。初期状態とは、第二記憶部３５に第二機器情報及び機器制御要求が格納されていない状態である。図８に示すフローチャートは、ステップＳ４１の時点で第二記憶部３５が初期状態の場合の更新部３４の動作を示す。
Next, the accumulation process in the
図８に示すように、更新部３４は、第二機器情報及び機器制御要求を取得する（Ｓ４１）。更新部３４は、例えば、ステップＳ４１で第二機器ＩＤがＭ１１である制御機器５０（例えば、照明機器５１）に対する機器制御要求（第一制御要求とも記載する）を取得したとする。更新部３４は、例えば、取得した第二機器情報及び機器制御要求を第二記憶部３５に蓄積する（Ｓ４２）。図９Ｂに示すように、第二機器情報に含まれる制御装置ＩＤ及び第二機器ＩＤ、並びに、機器制御要求が第二記憶部３５に蓄積される。図９Ｂは、本実施の形態に係る第二記憶部３５に第一制御要求が蓄積された状態を示す図である。なお、ここでは、機器制御要求が制御機器５０をオンすることである例を示している。また、ステップＳ４１は図７に示すステップＳ２４に相当し、ステップＳ４２は図７に示すステップＳ２５に相当する。
As shown in FIG. 8, the
そして、更新部３４は、第二機器ＩＤがＭ１１である制御機器５０に対する機器制御要求を取得したことを示す取得結果を出力する（Ｓ４３）。ステップＳ４３は、図７に示すステップＳ２６に相当する。なお、ステップＳ４３は、行われなくてもよい。
Then, the
次に、更新部３４は、第一期間（対象期間の一例）が経過したか否かを判定する（Ｓ４４）。ここで、第一期間は、第二記憶部３５が機器制御要求を蓄積していない状態（例えば、図９Ａに示す初期状態）で、最初に機器制御要求を取得した時点を開始点とする期間である。第一期間は、例えば、ユーザＵが音声を発してから制御機器５０が動作するまでの間において当該ユーザＵがタイムラグを感じない期間であるとよい。第一期間は、例えば、１ｓ以下であるとよく、より好ましくは３００ｍｓ以下であるとよい。第一期間は、一例として３００ｍｓである。
Next, the
更新部３４は、第一期間が経過していないと判定する（Ｓ４４でＮｏ）と、他の機器制御要求を取得したか否かを判定する（Ｓ４５）。他の機器制御要求を取得した場合（Ｓ４５でＹｅｓ）、ステップＳ４２〜Ｓ４４の処理が行われる。例えば、ここで他の機器制御要求として第二機器ＩＤがＭ１２である制御機器５０（例えば、照明機器５２）に対する機器制御要求（第二制御要求とも記載する）を取得したとする。更新部３４は、例えば、取得した第二機器情報及び機器制御要求を第二記憶部３５に蓄積する（Ｓ４２）。図９Ｃに示すように、第二機器情報に含まれる制御装置ＩＤ及び第二機器ＩＤ、並びに、機器制御要求が第二記憶部３５に格納される。つまり、第二機器ＩＤがＭ１２である制御機器５０に対する機器制御情報が第二記憶部３５に蓄積される。図９Ｃは、本実施の形態に係る第二記憶部３５にさらに第二制御要求が蓄積された状態を示す図である。
The
更新部３４は、第一期間内にさらに他の機器制御要求として第二機器ＩＤがＭ１３である制御機器５０（例えば、照明機器５３）に対する機器制御要求（第三制御要求とも記載する）を取得したとする。更新部３４は、例えば、取得した第二機器情報及び機器制御要求を第二記憶部３５に蓄積する（Ｓ４２）。図９Ｄに示すように、第二機器情報に含まれる制御装置ＩＤ及び第二機器ＩＤ、並びに、機器制御要求が第二記憶部３５に格納される。つまり、第二機器ＩＤがＭ１３である制御機器５０に対する機器制御情報が第二記憶部３５に蓄積される。図９Ｄは、本実施の形態に係る第二記憶部３５にさらに第三制御要求が蓄積された状態を示す図である。
Within the first period, the
なお、他の機器制御要求を取得していない場合（Ｓ４５でＹｅｓ）、ステップＳ４４に進む。 If no other device control request has been acquired (Yes in S45), the process proceeds to step S44.
上記のように、更新部３４は、第一期間に取得した機器制御要求を第二記憶部３５に蓄積する。そして、更新部３４は、第一期間が経過したと判定する（Ｓ４４でＹｅｓ）と、送信部３６に制御リストの送信指示を出力する（Ｓ４６）。送信部３６は、送信指示を取得すると第二記憶部３５にリスト取得要求を行い、第一期間に蓄積された機器制御要求を含む制御リスト（例えば、図９Ｄに示す制御リストＬ）を取得し、取得した制御リストを制御装置４０に送信する。
As described above, the
そして、更新部３４は、送信部３６が送信した機器制御要求を第二記憶部３５から削除する（Ｓ４７）。つまり、更新部３４は、第二記憶部３５を初期状態（例えば、図９Ａを参照）にする。
Then, the
なお、音声制御システム１００が２以上の制御装置４０を備える場合、更新部３４は、例えば、２以上の制御装置４０のそれぞれにおいて、第一期間が経過したか否かを判定してもよい。更新部３４は、２以上の制御装置４０のそれぞれにおいて、当該制御装置４０に接続された制御機器５０に対する機器制御要求を最初に取得した時点を第一期間の開始点として、当該制御装置４０に対して第一期間が経過したか否かを判定してもよい。この場合、更新部３４が送信する送信指示には、機器制御要求を送信する対象である制御装置４０の制御装置ＩＤが含まれる。そして、送信部３６は、送信指示に含まれる制御装置ＩＤにより特定される制御装置４０に送信する制御リストを第二記憶部３５から読み出し、読み出した制御リストを当該制御機器ＩＤが示す制御装置４０に送信する。
When the
なお、更新部３４の動作は、図８に示すフローチャートに限定されない。更新部３４の動作の他の例について、図１０を参照しながら説明する。図１０は、本実施の形態に係る更新部３４の動作例２を示すフローチャートである。なお、図１０に示すステップＳ４１〜Ｓ４４、Ｓ４６及びＳ４７は、図８と同様であり、説明を省略する。
The operation of the
図１０に示すように、更新部３４は、第一期間が経過したと判定する（Ｓ４４でＹｅｓ）と、期間内に他の機器制御要求を取得したか否かを判定する（Ｓ５１）。ここでは、更新部３４は、第一期間内に他の機器制御要求を取得したか否かを判定する。更新部３４は、第一期間内に他の機器制御要求を取得したと判定した場合（Ｓ５１でＹｅｓ）、当該他の機器制御要求を第二記憶部３５に蓄積し（Ｓ５２）、当該他の機器制御要求に対する取得結果を出力する（Ｓ５３）。そして、更新部３４は、第一期間の後、さらに第二期間が経過したか否かを判定する（Ｓ５４）。第一期間及び第二期間は、連続した期間である。つまり、第一期間の終了時刻と、第二期間の開始時刻は同時刻である。第二期間は、例えば、第一期間と同じであってもよく、一例として３００ｍｓであるが、これに限定されない。なお、更新部３４は、第一期間が経過していないと判定する（Ｓ４４でＮｏ）と、ステップＳ４４に戻り、第一期間が経過するまで待機する。
As shown in FIG. 10, the
そして、更新部３４は、第二期間が経過した場合（ステップＳ５４でＹｅｓ）、ステップＳ５１に進む。更新部３４は、他の機器制御要求を取得していないと判定する（Ｓ５１でＮｏ）と、送信部３６に制御リストの送信指示を出力する（Ｓ４６）。制御リストには、第一期間及び第二期間に蓄積された機器制御要求が含まれる。なお、ここでの他の機器制御要求を取得していないとは、第二期間に他の機器制御要求を取得していないことを意味する。なお、更新部３４は、第二期間が経過していないと判定する（Ｓ５４でＮｏ）と、ステップＳ５４に戻り、第二期間が経過するまで待機する。また、更新部３４は、第二期間内に他の機器制御要求を取得した場合（ステップＳ５１でＹｅｓ）、再度ステップＳ５２〜Ｓ５４の処理を行う。
Then, when the second period has elapsed (Yes in step S54), the
上記のように、更新部３４は、第一期間に他の機器制御要求を受け付けた場合、第一期間経過後の第二期間に受け付けた機器制御要求を第二記憶部３５に蓄積してもよい。言い換えると、更新部３４は、対象期間に他の機器制御要求を取得した場合、当該対象期間を延長してもよい。そして、送信部３６は、第一期間及び第二期間に第二記憶部３５に蓄積された機器制御要求を一括で制御装置４０に送信する。なお、第一期間及び第二期間を合わせた期間は、延長された対象期間の一例である。
As described above, when the
なお、更新部３４は、期間内に他の機器制御要求を取得していなくても、ステップＳ４６の処理を行ってもよい。例えば、更新部３４は、予め設定された対象期間の上限値（例えば、１ｓなど）を経過すると、対象期間内に他の機器制御要求を取得していてもステップＳ４６に進んでもよい。
Note that the
［３．効果など］
以上のように、本実施の形態に係る音声制御システム１００は、ユーザＵの音声に基づいて、制御機器５０を制御する音声制御システムであって、音声に基づく機器制御要求を取得する取得部３１（機器情報取得部の一例）と、対象期間に取得部３１が取得した機器制御要求を蓄積し、対象期間に蓄積された機器制御要求を一括で送信する機器制御部３３（第一機器制御部の一例）と、を備える。
[3. Effect etc.]
As described above, the
これにより、機器制御部３３は、対象期間に機器制御要求を連続して取得した場合、当該機器制御要求を蓄積し、一括で送信することができる。つまり、対象期間に連続して取得した機器制御要求を、１回の送信処理で送信することができる。例えば、機器制御部３３が連続して取得した機器制御要求を個別に送信する場合に比べ、ヘッダ情報などの情報量を減らすことができる。つまり、機器制御部３３から送信される通信量を削減することができる。よって、本実施の形態に係る音声制御システム１００によれば、機器制御部３３から制御機器５０への通信負荷を低減することができる。例えば、機器制御部３３を備えるサーバ装置（例えば、第二サーバ装置３０）から制御機器５０への通信負荷を低減することができる。
As a result, when the device control request is continuously acquired during the target period, the
また、機器制御部３３は、第二記憶部３５（機器要求蓄積部の一例）と、対象期間に取得した機器制御要求を第二記憶部３５に蓄積する更新部３４（機器要求更新部の一例）と、対象期間に第二記憶部３５に蓄積された機器制御要求を一括で送信する送信部３６（機器要求送信部の一例）と、を有する。
Further, the
これにより、機器制御部３３が更新部３４を有することで、第二記憶部３５に機器制御要求を蓄積することが可能となる。更新部３４が対象期間に取得した機器取得要求を第二記憶部３５に蓄積し、かつ送信部３６が第二記憶部３５に蓄積された機器制御要求を一括で送信することで、通信量を削減することができる音声制御システム１００を実現することができる。
As a result, since the
また、更新部３４は、第二記憶部３５が機器制御要求を蓄積していない状態で、最初に機器制御要求を取得した時点を開始点とする対象期間に取得した機器制御要求を第二記憶部３５に蓄積する。
Further, the
これにより、最初に機器制御要求を取得した時点を開始点とする対象期間に蓄積された機器制御情報を一括で送信することができる。対象期間をユーザＵがタイムラグを感じない程度に設定する（例えば、３００ｍｓ）ことで、通信負荷の低減と、音声制御システム１００の機能の維持とを両立することができる。
As a result, the device control information accumulated in the target period starting from the time when the device control request is first acquired can be collectively transmitted. By setting the target period so that the user U does not feel a time lag (for example, 300 ms), it is possible to achieve both reduction of the communication load and maintenance of the function of the
また、更新部３４は、対象期間に機器制御要求を取得した場合、対象期間を延長する。
Further, when the
これにより、延長された対象期間内に取得した機器制御要求を一括で送信することができるので、さらに通信負荷を低減することができる。 As a result, the device control requests acquired within the extended target period can be collectively transmitted, so that the communication load can be further reduced.
また、更新部３４は、送信部３６が送信した機器制御要求を第二記憶部３５から削除する。
Further, the
これにより、送信部３６は、第二記憶部３５に蓄積されている機器制御要求の全てを一括して送信することができる。つまり、送信部３６は、第二記憶部３５に蓄積されている機器制御要求の中から、送信する機器制御要求を選定する処理を行わなくてよい。よって、送信する機器制御要求を選定する場合に比べ、送信部３６における処理量を削減することができる。
As a result, the
また、音声制御システム１００は、複数の制御機器５０を制御する音声制御システムであって、取得部３１は、さらに制御機器５０に紐づく第二機器情報（機器情報の一例）を取得し、更新部３４は、複数の制御機器５０のうち２以上の制御機器５０のそれぞれに対する機器制御要求、及び、２以上の制御機器５０のそれぞれに紐づく第二機器情報を第二記憶部３５に蓄積する。そして、送信部３６は、２以上の制御機器５０のそれぞれに対する制御機器要求及び第二機器情報を一括で送信する。
Further, the
これにより、音声制御システム１００が制御する制御機器５０が複数ある場合であっても、通信負荷を削減することができる。
As a result, the communication load can be reduced even when there are a plurality of
また、取得部３１は、ユーザＵの音声を受け付ける音声取得端末１０を特定するためのユーザＩＤ（第一識別情報の一例）及び制御対象となる制御機器５０を特定するための第一機器ＩＤ（第二識別情報の一例）を取得し、取得したユーザＩＤ及び第一機器ＩＤを用いて、制御対象となる制御機器５０の第二機器情報を取得し、取得した第二機器情報を機器制御部３３に出力する。
Further, the
これにより、機器制御部３３は、当該機器制御部３３で認識可能な第二機器情報を取得することができる。よって、機器制御部３３における処理を円滑に行うことができる。
As a result, the
また、さらに、２以上の制御機器５０のそれぞれに対する機器制御要求及び第二機器情報を送信部３６から一括で受信し、２以上の制御機器５０のそれぞれに対して、当該制御機器５０に対応する機器制御要求を送信する制御装置４０（第二機器制御部の一例）を備える。
Further, the device control request and the second device information for each of the two or
これにより、制御装置４０は、一括して取得した機器制御要求を複数の制御機器５０のそれぞれごとに分割し、分割した機器制御要求（制御指示）を対応する制御機器５０に送信することができる。つまり、制御装置４０は、複数の制御機器５０のそれぞれに、当該制御機器５０に対応した機器制御要求を送信することができる。また、制御装置４０は、連続して機器制御要求を取得すると、当該制御装置４０の処理能力を超えてしまい当該機器制御要求を受信できなくなるなどの問題が発生することがある。一方、本実施の形態に係る機器制御部３３は、一括して機器制御要求を送信するので、制御装置４０が機器制御要求を受信できなくなるなどの問題が発生することを抑制することができる。つまり、機器制御部３３と制御装置４０との間の通信を安定して行うことができる。
As a result, the
また、制御装置４０は、複数の制御機器５０と時分割で通信する場合、１回のスキャンで複数の制御機器５０のそれぞれに機器制御要求を送信することができるので、通信時間を短縮することができる。
Further, when the
また、以上のように、本実施の形態に係る音声制御システム１００の音声制御方法は、ユーザＵの音声に基づいて、制御機器５０を制御する音声制御方法であって、音声に基づく機器制御要求を取得するステップ（Ｓ２４）と、対象期間に取得した機器制御要求を蓄積し、対象期間に蓄積した機器制御要求を一括で送信するステップ（Ｓ３２）と、を含む。
Further, as described above, the voice control method of the
これにより、上記音声制御システム１００と同様の効果を奏する。
As a result, the same effect as that of the
（他の実施の形態）
以上、本発明の１つ又は複数の態様に係る音声制御システム及び音声制御方法について、実施の形態に基づいて説明したが、本発明は、上記実施の形態に限定されるものではない。
(Other embodiments)
Although the voice control system and the voice control method according to one or more aspects of the present invention have been described above based on the embodiments, the present invention is not limited to the above embodiments.
例えば、上記実施の形態では、音声制御システムは、複数の制御機器を制御する音声制御システムである例について説明したが、これに限定されない。音声制御システムは、例えば１台の制御機器を制御する音声制御システムであってもよい。この場合、機器制御部は、対象期間に取得した当該１台の制御機器に対する複数の機器制御要求を一括して送信する。１台の制御機器がエアコンである場合、複数の機器制御要求は、例えば、運転モード（例えば、暖房運転）、設定温度（例えば、２８℃）、及び、風量（例えば、最大）などの要求指示を含む。また、この場合、第二サーバ装置は、当該１台の制御機器に対する第一機器情報を取得しなくてもよい。例えば、第一記憶部が当該１台の制御機器が接続された制御装置の制御装置ＩＤを格納していればよい。 For example, in the above embodiment, the voice control system is a voice control system that controls a plurality of control devices, but the present invention is not limited thereto. The voice control system may be, for example, a voice control system that controls one control device. In this case, the device control unit collectively transmits a plurality of device control requests for the one control device acquired during the target period. When one control device is an air conditioner, a plurality of device control requests are, for example, request instructions such as an operation mode (for example, heating operation), a set temperature (for example, 28 ° C.), and an air volume (for example, maximum). including. Further, in this case, the second server device does not have to acquire the first device information for the one control device. For example, the first storage unit may store the control device ID of the control device to which the one control device is connected.
また、上記実施の形態では、要求受付部が第二サーバ装置に第一機器ＩＤを送信する例について説明したが、これに限定されない。要求受付部は、例えば、制御対象となる制御機器が１台（例えば、１台の照明機器）である場合、第一機器ＩＤを送信しなくてもよい。 Further, in the above embodiment, an example in which the request receiving unit transmits the first device ID to the second server device has been described, but the present invention is not limited to this. For example, when the control device to be controlled is one (for example, one lighting device), the request receiving unit does not have to transmit the first device ID.
また、上記実施の形態では、制御装置と複数の制御機器とが直接通信する例を示したが、これに限定されない。音声制御システムは、制御装置と複数の制御機器との間に、さらに別の制御装置を備えていてもよい。当該別の制御装置は、例えば、制御機器がスイッチである場合、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）の通信と配線スイッチの通信とを中継する機能を有していてもよい。 Further, in the above embodiment, an example in which the control device and the plurality of control devices directly communicate with each other is shown, but the present invention is not limited to this. The voice control system may include yet another control device between the control device and the plurality of control devices. The other control device may have, for example, a function of relaying LAN (Local Area Network) communication and wiring switch communication when the control device is a switch.
また、上記実施の形態では、更新部は、第一期間を経過した場合に送信指示を出力部に送信する例について説明したが、これに限定されない。更新部は、例えば、制御装置に送信する機器制御要求の数が所定数以上であるか否かを判定し、所定数以上であると判定した場合に送信指示を送信部に出力してもよい。また、更新部は、例えば、第一期間が経過したか否か及び所定数以上であるか否かの両方を判定し、どちらか一方をＹｅｓと判定した場合に送信指示を送信部に出力してもよい。なお、所定数は、音声制御システムが２以上の制御装置と接続されている場合、２以上の制御装置のそれぞれで設定されてもよい。所定数は、例えば、当該制御装置に接続された複数の制御機器の数以下の値に設定されてもよい。所定数は、例えば、当該制御装置に接続された複数の制御機器の数に設定されてもよい。 Further, in the above embodiment, the update unit has described an example in which a transmission instruction is transmitted to the output unit when the first period has elapsed, but the present invention is not limited to this. For example, the update unit may determine whether or not the number of device control requests to be transmitted to the control device is a predetermined number or more, and output a transmission instruction to the transmission unit when it is determined that the number is a predetermined number or more. .. Further, the update unit determines, for example, whether or not the first period has elapsed and whether or not the number is equal to or greater than a predetermined number, and when one of them is determined to be Yes, the update unit outputs a transmission instruction to the transmission unit. You may. When the voice control system is connected to two or more control devices, the predetermined number may be set by each of the two or more control devices. The predetermined number may be set to a value equal to or less than the number of a plurality of control devices connected to the control device, for example. The predetermined number may be set to, for example, the number of a plurality of control devices connected to the control device.
また、上記実施の形態では、第二サーバ装置の取得部は、３つの照明機器のそれぞれに対する機器制御要求及び第一機器情報を異なるタイミングで取得する例について説明したが、これに限定されない。取得部は、３つの照明機器のそれぞれに対する機器制御要求及び第一機器情報を１つの制御信号として取得してもよい。この場合であっても、例えば、取得部が１つの制御信号として取得した３つの機器制御要求及び第一機器情報を、分割して更新部に送信する場合、本願発明を適用することで、第二サーバ装置と制御機器との間の通信における通信量を削減することができる。 Further, in the above embodiment, the acquisition unit of the second server device has described an example in which the device control request for each of the three lighting devices and the first device information are acquired at different timings, but the present invention is not limited to this. The acquisition unit may acquire the device control request and the first device information for each of the three lighting devices as one control signal. Even in this case, for example, when the three device control requests and the first device information acquired by the acquisition unit as one control signal are divided and transmitted to the update unit, the present invention can be applied to the first device. (Ii) The amount of communication in communication between the server device and the control device can be reduced.
また、上記実施の形態では、要求受付部は、ユーザから音声により要求指示を取得する例について説明したが、これに限定されない。要求受付部は、ユーザからの操作を受け付ける受付部（例えば、ボタン又はタッチパネルなど）を有しており、当該受付部がユーザからの操作を受け付けることにより要求指示を取得してもよい。 Further, in the above embodiment, the request receiving unit has described an example of acquiring a request instruction by voice from the user, but the present invention is not limited to this. The request reception unit has a reception unit (for example, a button or a touch panel) that receives an operation from the user, and the reception unit may acquire the request instruction by receiving the operation from the user.
また、上記実施の形態における第一サーバ装置と第二サーバ装置とは、例えば、アカウントリンクにより接続されていてもよい。 Further, the first server device and the second server device in the above embodiment may be connected by, for example, an account link.
また、上記実施の形態のフローチャートで説明された処理の順序は、一例である。複数の処理の順序は変更されてもよいし、複数の処理は並行して実行されてもよい。 Further, the order of processing described in the flowchart of the above embodiment is an example. The order of the plurality of processes may be changed, and the plurality of processes may be executed in parallel.
また、上記実施の形態における装置間の通信方法については特に限定されるものではない。装置間では、無線通信が行われてもよいし、有線通信が行われてもよい。また、装置間では、無線通信及び有線通信が組み合わされてもよい。また、上記実施の形態において２つの装置が通信を行う場合、２つの装置間には図示されない中継装置が介在してもよい。 Further, the communication method between the devices in the above embodiment is not particularly limited. Wireless communication may be performed or wired communication may be performed between the devices. Further, wireless communication and wired communication may be combined between the devices. Further, when two devices communicate with each other in the above embodiment, a relay device (not shown) may be interposed between the two devices.
また、上記実施の形態において、各構成要素は、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵ又はプロセッサなどのプログラム実行部が、ハードディスク又は半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。 Further, in the above embodiment, each component may be realized by executing a software program suitable for each component. Each component may be realized by a program execution unit such as a CPU or a processor reading and executing a software program recorded on a recording medium such as a hard disk or a semiconductor memory.
また、各構成要素は、ハードウェアによって実現されてもよい。例えば、各構成要素は、回路（または集積回路）でもよい。これらの回路は、全体として１つの回路を構成してもよいし、それぞれ別々の回路でもよい。また、これらの回路は、それぞれ、汎用的な回路でもよいし、専用の回路でもよい。 In addition, each component may be realized by hardware. For example, each component may be a circuit (or integrated circuit). These circuits may form one circuit as a whole, or may be separate circuits from each other. Further, each of these circuits may be a general-purpose circuit or a dedicated circuit.
また、音声制御システムは、単一の装置として実現されてもよいし、複数の装置によって実現されてもよい。例えば、第一サーバ装置と第二サーバ装置とは、１つのサーバ装置で実現されてもよいし、３以上のサーバ装置で実現されてもよい。音声制御システムが複数の装置によって実現される場合、音声制御システムが備える構成要素は、複数の装置にどのように振り分けられてもよい。 Further, the voice control system may be realized as a single device or may be realized by a plurality of devices. For example, the first server device and the second server device may be realized by one server device, or may be realized by three or more server devices. When the voice control system is realized by a plurality of devices, the components included in the voice control system may be distributed to the plurality of devices in any way.
また、本発明の全般的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよい。また、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。 In addition, general or specific embodiments of the present invention may be realized in recording media such as systems, devices, methods, integrated circuits, computer programs or computer-readable CD-ROMs. Further, it may be realized by any combination of a system, an apparatus, a method, an integrated circuit, a computer program and a recording medium.
例えば、本発明は、音声制御システムなどのコンピュータによって実行される音声制御方法をコンピュータに実行させるためのプログラムとして実現されてもよい。また、音声制御システムが汎用の携帯端末として実現される場合、本発明は、汎用の携帯端末を音声制御システムとして動作させるために当該携帯端末にインストールされるアプリケーションプログラムとして実現されてもよい。また、本発明は、このようなプログラムが記録されたコンピュータ読み取り可能な非一時的な記録媒体として実現されてもよい。 For example, the present invention may be realized as a program for causing a computer to execute a voice control method executed by a computer such as a voice control system. Further, when the voice control system is realized as a general-purpose mobile terminal, the present invention may be realized as an application program installed on the mobile terminal in order to operate the general-purpose mobile terminal as a voice control system. Further, the present invention may be realized as a computer-readable non-temporary recording medium in which such a program is recorded.
その他、実施の形態に対して当業者が思いつく各種変形を施して得られる形態、または、本発明の趣旨を逸脱しない範囲で実施の形態における構成要素及び機能を任意に組み合わせることで実現される形態も本発明に含まれる。 In addition, a form obtained by applying various modifications to the embodiment that a person skilled in the art can think of, or a form realized by arbitrarily combining the components and functions in the embodiment without departing from the spirit of the present invention. Is also included in the present invention.
１０ 音声取得端末
３１ 取得部（機器情報取得部）
３３ 機器制御部（第一機器制御部）
３４ 更新部（機器要求更新部）
３５ 第二記憶部（機器要求蓄積部）
３６ 送信部（機器要求送信部）
４０ 制御装置（第二機器制御部）
５０ 制御機器
１００ 音声制御システム
10
33 Equipment control unit (first equipment control unit)
34 Update section (equipment request update section)
35 Second storage unit (equipment requirement storage unit)
36 Transmitter (equipment request transmitter)
40 Control device (second device control unit)
50
Claims (9)
前記音声に基づく機器制御要求を取得する機器情報取得部と、
対象期間に前記機器情報取得部が取得した前記機器制御要求を蓄積し、前記対象期間に蓄積された前記機器制御要求を一括で送信する第一機器制御部と、を備える
音声制御システム。 A voice control system that controls a control device based on the user's voice.
The device information acquisition unit that acquires the device control request based on the voice, and
A voice control system including a first device control unit that accumulates the device control requests acquired by the device information acquisition unit during the target period and collectively transmits the device control requests accumulated during the target period.
機器要求蓄積部と、
前記対象期間に取得した前記機器制御要求を前記機器要求蓄積部に蓄積する機器要求更新部と、
前記対象期間に前記機器要求蓄積部に蓄積された前記機器制御要求を一括で送信する機器要求送信部と、を有する
請求項１に記載の音声制御システム。 The first device control unit
Equipment requirement storage unit and
A device request update unit that stores the device control request acquired during the target period in the device request storage unit,
The voice control system according to claim 1, further comprising a device request transmission unit that collectively transmits the device control requests accumulated in the device request storage unit during the target period.
請求項２に記載の音声制御システム。 The device request update unit acquires the device control request during the target period starting from the time when the device control request is first acquired in a state where the device request storage unit does not store the device control request. The voice control system according to claim 2, wherein the device is stored in the device request storage unit.
請求項２又は３に記載の音声制御システム。 The voice control system according to claim 2 or 3, wherein the device request update unit extends the target period when the device control request is acquired during the target period.
請求項２〜４のいずれか１項に記載の音声制御システム。 The voice control system according to any one of claims 2 to 4, wherein the device request update unit deletes the device control request transmitted by the device request transmission unit from the device request storage unit.
前記機器情報取得部は、さらに前記制御機器に紐づく機器情報を取得し、
前記機器要求更新部は、複数の前記制御機器のうち２以上の前記制御機器のそれぞれに対する前記機器制御要求、及び、２以上の前記制御機器のそれぞれに紐づく前記機器情報を前記機器要求蓄積部に蓄積し、
前記機器要求送信部は、２以上の前記制御機器のそれぞれに対する前記制御機器要求及び前記機器情報を一括で送信する
請求項２〜５のいずれか１項に記載の音声制御システム。 The voice control system is a voice control system that controls a plurality of the control devices.
The device information acquisition unit further acquires device information associated with the control device, and obtains device information.
The device request updating unit stores the device control request for each of two or more of the control devices among the plurality of control devices, and the device information associated with each of the two or more control devices. Accumulate in
The voice control system according to any one of claims 2 to 5, wherein the device request transmission unit collectively transmits the control device request and the device information to each of two or more control devices.
請求項６に記載の音声制御システム。 The device information acquisition unit acquires and acquires the first identification information for identifying the voice acquisition terminal that receives the voice of the user and the second identification information for identifying the control device to be controlled. The voice according to claim 6, wherein the device information of the control device to be controlled is acquired by using the identification information and the second identification information, and the acquired device information is output to the first device control unit. Control system.
請求項６又は７に記載の音声制御システム。 Further, the device control request and the device information for each of the two or more control devices are collectively received from the device request transmission unit, and the control device corresponding to the control device is received for each of the two or more control devices. The voice control system according to claim 6 or 7, further comprising a second device control unit that transmits a device control request.
前記音声に基づく機器制御要求を取得するステップと、
対象期間に取得した前記機器制御要求を蓄積し、前記対象期間に蓄積した前記機器制御要求を一括で送信するステップと、を含む
音声制御方法。 A voice control method that controls a control device based on the user's voice.
The step of acquiring the device control request based on the voice and
A voice control method including a step of accumulating the device control requests acquired in the target period and collectively transmitting the device control requests accumulated in the target period.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019028405A JP2020136920A (en) | 2019-02-20 | 2019-02-20 | Voice control system and voice control method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019028405A JP2020136920A (en) | 2019-02-20 | 2019-02-20 | Voice control system and voice control method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2020136920A true JP2020136920A (en) | 2020-08-31 |
Family
ID=72263672
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019028405A Pending JP2020136920A (en) | 2019-02-20 | 2019-02-20 | Voice control system and voice control method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2020136920A (en) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07162479A (en) * | 1993-12-02 | 1995-06-23 | Nippon Steel Corp | Device and method for communication control |
| JP2009077194A (en) * | 2007-09-21 | 2009-04-09 | Mitsubishi Electric Corp | Gateway device, and gateway method of gateway device |
| JP2012037783A (en) * | 2010-08-10 | 2012-02-23 | Yahoo Japan Corp | Information appliance system, information acquisition method and program |
| JP2012217167A (en) * | 2011-03-30 | 2012-11-08 | Panasonic Corp | Communication control system and lighting control system |
| WO2018123067A1 (en) * | 2016-12-29 | 2018-07-05 | ヤマハ株式会社 | Command data transmission apparatus, local area apparatus, device control system, command data transmission apparatus control method, local area apparatus control method, device control method, and program |
| WO2019013309A1 (en) * | 2017-07-14 | 2019-01-17 | ダイキン工業株式会社 | Operation system, signal processing device, control system, and infrared output device |
-
2019
- 2019-02-20 JP JP2019028405A patent/JP2020136920A/en active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07162479A (en) * | 1993-12-02 | 1995-06-23 | Nippon Steel Corp | Device and method for communication control |
| JP2009077194A (en) * | 2007-09-21 | 2009-04-09 | Mitsubishi Electric Corp | Gateway device, and gateway method of gateway device |
| JP2012037783A (en) * | 2010-08-10 | 2012-02-23 | Yahoo Japan Corp | Information appliance system, information acquisition method and program |
| JP2012217167A (en) * | 2011-03-30 | 2012-11-08 | Panasonic Corp | Communication control system and lighting control system |
| WO2018123067A1 (en) * | 2016-12-29 | 2018-07-05 | ヤマハ株式会社 | Command data transmission apparatus, local area apparatus, device control system, command data transmission apparatus control method, local area apparatus control method, device control method, and program |
| WO2019013309A1 (en) * | 2017-07-14 | 2019-01-17 | ダイキン工業株式会社 | Operation system, signal processing device, control system, and infrared output device |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10185534B2 (en) | Control method, controller, and recording medium | |
| JP6140214B2 (en) | CONTROL DEVICE, CONTROL DEVICE CONTROL METHOD, CONTROL SYSTEM, ENVIRONMENT CONTROL DEVICE, AND CONTROL PROGRAM | |
| JP2016502355A (en) | Voice-controlled configuration of an automation system | |
| CN107622652A (en) | The sound control method and appliance control system of appliance system | |
| JP2019086535A (en) | Transmission control device and program | |
| WO2019202666A1 (en) | Apparatus control system and apparatus control method | |
| EP3869112B1 (en) | Air-conditioning device control method and air-conditioning device | |
| CN105467846A (en) | Intelligent household appliance control method and system | |
| CN110687815B (en) | Equipment control method, device, terminal equipment and storage medium | |
| CN109599100B (en) | Interactive electronic equipment control system, interactive electronic equipment and control method thereof | |
| CN112255926A (en) | Method for managing contextual model of smart home system | |
| CN112838967B (en) | Main control equipment, intelligent home and control device, control system and control method thereof | |
| CN112486031A (en) | Control method of intelligent household equipment, storage medium and intelligent terminal | |
| KR102262078B1 (en) | System and method for controlling home network interworking with wall-pad | |
| CN111308904A (en) | Intelligent home control method, main control device, sub-control device and storage medium | |
| CN112712683B (en) | Control method and system of household appliance, remote controller and server | |
| JP2020136920A (en) | Voice control system and voice control method | |
| WO2017217014A1 (en) | Operator assessment system | |
| CN111240213A (en) | Control method for intelligent household system | |
| JP2016066930A (en) | Server, control method for server, control program for server, control system, control equipment, control program for control equipment, and equipment | |
| JP2021047012A (en) | Air-conditioning system | |
| JP6927237B2 (en) | Air conditioning system | |
| CN106019966A (en) | Live-action-interface-based intelligent household control system | |
| JP2020153635A (en) | Air conditioning system | |
| WO2020194367A1 (en) | Control device, apparatus control system, control method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210222 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211227 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220111 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220311 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220802 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20220930 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221129 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20230328 |