JP2019066731A - 制御システム - Google Patents

制御システム Download PDF

Info

Publication number
JP2019066731A
JP2019066731A JP2017193542A JP2017193542A JP2019066731A JP 2019066731 A JP2019066731 A JP 2019066731A JP 2017193542 A JP2017193542 A JP 2017193542A JP 2017193542 A JP2017193542 A JP 2017193542A JP 2019066731 A JP2019066731 A JP 2019066731A
Authority
JP
Japan
Prior art keywords
user
control unit
control
detection device
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017193542A
Other languages
English (en)
Inventor
翼 鷲崎
Tsubasa WASHIZAKI
翼 鷲崎
裕樹 丸谷
Hiroki Marutani
裕樹 丸谷
幸雄 町田
Yukio Machida
幸雄 町田
弘暁 川口
Hiroaki Kawaguchi
弘暁 川口
慶彦 氏田
Yoshihiko UJITA
慶彦 氏田
健吾 松永
Kengo Matsunaga
健吾 松永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Lifestyle Products and Services Corp
Original Assignee
Toshiba Lifestyle Products and Services Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Lifestyle Products and Services Corp filed Critical Toshiba Lifestyle Products and Services Corp
Priority to JP2017193542A priority Critical patent/JP2019066731A/ja
Priority to US16/651,014 priority patent/US20200279566A1/en
Priority to CN201880063031.8A priority patent/CN111164678A/zh
Priority to PCT/JP2018/031590 priority patent/WO2019069588A1/ja
Publication of JP2019066731A publication Critical patent/JP2019066731A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
    • H04L12/282—Controlling appliance services of a home automation network by calling their functionalities based on user interaction within the home
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/02—Preprocessing operations, e.g. segment selection; Pattern representation or modelling, e.g. based on linear discriminant analysis [LDA] or principal components; Feature selection or extraction
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2823—Reporting information sensed by appliance or service execution status of appliance services in a home automation network
    • H04L12/2827—Reporting to a device within the home network; wherein the reception of the information reported automatically triggers the execution of a home appliance functionality
    • H04L12/2829—Reporting to a device within the home network; wherein the reception of the information reported automatically triggers the execution of a home appliance functionality involving user profiles according to which the execution of a home appliance functionality is automatically triggered
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/283—Processing of data at an internetworking point of a home automation network
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1822—Parsing for meaning understanding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Selective Calling Equipment (AREA)
  • Telephonic Communication Services (AREA)

Abstract

【課題】様々な属性のユーザーが存在する場合であっても、各ユーザーの属性に適した要望を実現することができる技術を提供する。【解決手段】制御システムは、複数のユーザーの発話を検知する検知装置と、制御部を備えており、前記制御部が、前記検知装置によって検知されるユーザーの発話の内容および／または音声に基づいて発話したユーザーの属性を特定し、その属性に適した報知情報を出力するおよび／またはその属性に適した制御を実行する。【選択図】図１

Description

本明細書に開示する技術は、制御システムに関する。
特許文献１には、音声認識手段と運転制御手段を備えている空気調和機が開示されている。この空気調和機では、音声認識手段が認識した音声が制御指令である場合に、その音声認識結果に従って運転制御手段が空気調和機の運転制御を行っている。
特許第５０２０２２２号公報
空気調和機のような家電機器が家庭内に配置されることがある。また、一般的な家庭内には家電機器を利用する複数のユーザーが存在しており、それぞれのユーザーが家電機器に対して特有の要望を有していることがある。そこで本明細書は、様々な属性のユーザーが存在する場合であっても、各ユーザーの属性に適した要望を実現することができる技術を提供する。
本明細書に開示する制御システムは、複数のユーザーの発話を検知する検知装置と、制御部を備えている。前記制御部が、前記検知装置によって検知されるユーザーの発話の内容および／または音声に基づいて発話したユーザーの属性を特定し、その属性に適した報知情報を出力するおよび／またはその属性に適した制御を実行する。
第１実施例に係る制御システムの構成を模式的に示す図である。 第１実施例に係る検知装置の構成を模式的に示す図である。 第１実施例に係る検知装置の構成を示すブロック図である。 ユーザーの発話内容に含まれているキーワードと家電機器の対応関係の一例を示すテーブルである。 ユーザーとその属性と報知情報の対応関係の一例を示すテーブルである（１）。 第１実施例に係る制御システムで実行される処理を示すシーケンス図である。 ユーザーとその属性と報知情報の対応関係の一例を示すテーブルである（２）。 ユーザーとその属性と制御内容の対応関係の一例を示すテーブルである（１）。 ユーザーとその属性と制御内容の対応関係の一例を示すテーブルである（２）。 ユーザーとトリガーワードの対応関係の一例を示すテーブルである。 第３実施例に係る制御システムの構成を模式的に示す図である。 第４実施例に係る制御システムで実行される処理を示すシーケンス図である。
［第１実施例］
実施例に係る制御システム１について図面を参照して説明する。図１に示すように、第１実施例に係る制御システム１は、検知装置１０と、複数の家電機器５０（５０ａ、５０ｂ、５０ｃ、５０ｄ、５０ｅ、５０ｆ）を備えている。
検知装置１０は、例えば、家庭内のリビングに配置されている。検知装置１０が配置される位置は特に限定されず、例えば家庭内のキッチン、ダイニング、寝室、子供部屋等に検知装置１０が配置されてもよい。検知装置１０は、家庭内に配置されている複数の家電機器５０（５０ａ、５０ｂ、５０ｃ、５０ｄ、５０ｅ、５０ｆ）と無線通信可能である。検知装置１０と家電機器５０の通信方式は特に限定されない。また、検知装置１０は、無線ルータ９２とモデム９３とインターネット１００を介して外部の第１サーバ９０に接続されており、外部の第１サーバ９０と通信可能である。検知装置１０は、第１サーバ９０を介して複数の家電機器５０と通信可能であってもよい。第１サーバ９０は、インターネット１００を介して外部の第２サーバ９６に接続されている。第１サーバ９０は制御部９１を備えている。
図２に示すように、検知装置１０は、マイク１２とスピーカー１３を備えている。また、図３に示すように、検知装置１０は、無線通信モジュール１４と制御部２０を備えている。検知装置１０は、制御システム１のユーザーの発話を検知する装置である。
検知装置１０のマイク１２は、検知装置１０の周囲の音声を取得する装置である。検知装置１０の周囲で制御システム１のユーザーが発話すると、その音声をマイク１２が取得する。マイク１２は、例えば、検知装置１０から半径５ｍの範囲内の音声を取得することができる。マイク１２が取得した音声は検知装置１０の制御部２０に送信される。
検知装置１０のスピーカー１３は、検知装置１０の周囲に向けて音声を発する装置である。スピーカー１３は、音声によって制御システム１のユーザーに情報を報知する。例えば、スピーカー１３は、家電機器５０に関連する情報を検知装置１０の周囲にいるユーザーに向けて音声で報知する。検知装置１０の周囲にいるユーザーは、スピーカー１３が発した音声によって報知された情報を認識することができる。
検知装置１０の無線通信モジュール１４は、複数の家電機器５０および無線ルータ９２と無線通信するために設けられている。無線通信モジュール１４を通じて情報の送受信が行われる。
検知装置１０の制御部２０は、音声受信部２１と、音声出力部２２と、記憶部２３と、通信部２４を備えている。制御部２０における音声受信部２１は、マイク１２が取得した音声の信号をマイク１２から受信する。また、音声出力部２２は、検知装置１０の周囲に向けて発するための音声の信号をスピーカー１３に出力する。また、通信部２４は、無線通信モジュール１４を介して情報の送受信を行う。また、記憶部２３には、音声受信部２１がマイク１２から受信した音声を分析するための分析用音声データが記憶されている。検知装置１０の制御部２０が実行する制御の詳細については後述する。
図１に示すように、制御システム１における複数の家電機器５０は、無線ルータ９２とモデム９３とインターネット１００を介して外部の第１サーバ９０に接続されており、外部の第１サーバ９０と通信可能である。各家電機器５０は、図示しない通信部を備えている。制御システム１における複数の家電機器５０は、例えば冷蔵庫５０ａ、洗濯機５０ｂ、自走式掃除機５０ｃ、エアコン５０ｄ、給湯器５０ｅ、テレビ５０ｆである。各家電機器５０（５０ａ、５０ｂ、５０ｃ、５０ｄ、５０ｅ、５０ｆ）は、各制御部６０（６０ａ、６０ｂ、６０ｃ、６０ｄ、６０ｅ、６０ｆ）を備えている。家電機器５０の種類は特に限定されず、例えば電子レンジ、炊飯器、ブルーレイディスクプレーヤー、ＤＶＤプレーヤー等であってもよい。
次に、制御システム１のユーザーの発話について説明する。家庭内では、制御システム１のユーザーが様々な発話を行う。そのとき、ユーザーの発話の内容が、制御システム１における１または複数の家電機器５０に関連していることがある。具体的には、図４に示すように、ユーザーの発話に含まれているキーワードが１または複数の家電機器５０に関連していることがある。例えば、ユーザーが、「冷蔵庫に何入ってる？」、「乾燥までお願い。」、「部屋掃除して。」、「部屋が暑い。」、「ビール冷やして。」等の発話を行うことがある。例えばユーザーが「冷蔵庫に何入ってる？」、「ビール冷やして。」等と発話した場合は、その発話の内容は、冷蔵庫５０ａに関連している。また、ユーザーが「乾燥までお願い。」等と発話した場合は、その発話の内容は、洗濯機５０ｂに関連している。また、ユーザーが「テレビのチャンネル変えて。」等と発話した場合は、その発話の内容は、テレビ５０ｆに関連している。ユーザーの各発話内容に含まれているキーワードが、各家電機器５０に関連している。図４に示す発話内容とキーワードと家電機器５０の対応関係は一例であり、特に限定されるものではない。
また、家庭内には制御システム１を利用する複数のユーザーが存在する。例えば、図５に示すように、家庭内にはユーザー１〜４（例えば、父、母、兄、妹）が存在する。制御システム１の各ユーザー１〜４は、各属性を備えている。例えば、ユーザー１は、男性、５０代等の属性を備えている。また、ユーザー２は、女性、４０代等の属性を備えている。図５に示すユーザーと属性の対応関係は一例であり、特に限定されるものではない。家庭内では、制御システム１のユーザー１〜４が様々な発話を行う。例えば、複数のユーザー１〜４のうち、あるユーザー１が「冷蔵庫に何入ってる？」、「ビール冷やして。」と発話することがある。また、他のユーザー２が「テレビのチャンネル変えて。」と発話することがある。上記の制御システム１では、ユーザーの発話に基づいて各種の処理が実行される。これについて以下に説明する。
次に、制御システム１で実行される処理について説明する。図６に示すように、制御システム１では、検知装置１０の電源がオンになるとまずステップＳ１０１の処理が実行される。ステップＳ１０１では、検知装置１０の音声受信部２１が、制御システム１のユーザーの発話音声を受信する。制御システム１では、ユーザーが何かを発話すると、検知装置１０のマイク１２がその音声を取得して制御部２０に送信する。例えば、制御システム１のユーザー１が「冷蔵庫に何入ってる？」、「ビール冷やして。」と発話したとすると、検知装置１０のマイク１２がその音声を取得して制御部２０に送信する。そして、制御部２０の音声受信部２１がその音声（「冷蔵庫に何入ってる？」、「ビール冷やして。」）を受信する。
続いてステップＳ１０２では、制御部２０が、音声受信部２１が受信した音声を、記憶部２３に記憶されている分析用音声データを用いて分析する。制御部２０は、音声を分析してその音声に含まれているキーワードを抽出する。例えば、制御部２０は、音声受信部２１が受信した「冷蔵庫に何入ってる？」の音声を分析して、その音声に含まれている「冷蔵庫」というキーワードを抽出する（図４参照）。また、制御部２０は、音声受信部２１が受信した「ビール冷やして。」の音声を分析して、その音声に含まれている「ビール」と「冷やし」というキーワードを抽出する。なお、「冷蔵庫」というキーワードは、機器名称系のキーワードである。また、「ビール」というキーワードは、関連語系のキーワードであり、「冷やし」というキーワードは、制御内容系のキーワードである。
続いて、図６に示すように、ステップＳ１０３では、検知装置１０の制御部２０が、検知装置１０によって検知された音声を発話したユーザーおよびその属性を特定する。制御部２０は、分析用音声データを用いた音声分析に基づいてユーザーおよびその属性を特定する。制御部２０は、例えば、音声受信部２１が受信した音声（「冷蔵庫に何入ってる？」、「ビール冷やして。」）の周波数を解析して、声紋分析等によって、その音声を発したユーザーおよびその属性を特定する。複数のユーザー１〜４のうち、あるユーザー１が「冷蔵庫に何入ってる？」、「ビール冷やして。」と発話したとすると、制御部２０がそのユーザー１を特定する。また、制御部２０は、そのユーザー１の属性（例えば、男性、５０代等）を特定する。
続いてステップＳ１０４では、制御部２０が、音声分析によって抽出したキーワードに基づいて、そのキーワードに関連する家電機器５０を特定する。例えば、制御部２０は、制御システム１における複数の家電機器５０のうち、抽出したキーワード「冷蔵庫」に関連する家電機器５０すなわち「冷蔵庫５０ａ」を特定する（図４参照）。また、制御部２０は、抽出したキーワード「ビール」、「冷やし」に基づいて、そのキーワードに関連する「冷蔵庫５０ａ」を特定してもよい。
続いてステップＳ１０５では、制御部２０が、報知情報を決定する。制御部２０は、上記のステップＳ１０３で特定したユーザーおよびその属性に適した報知情報を決定する。また、制御部２０は、上記のステップＳ１０４で特定した家電機器５０に適した報知情報を決定する。例えば、上記のステップＳ１０３でユーザー１特定され、上記のステップＳ１０４で冷蔵庫５０ａが特定された場合は、制御部２０は、「ビールとチーズがあります。」という報知情報を決定する（図５参照）。「ビールとチーズがあります。」という報知情報は、複数のユーザー１〜４のうち、ユーザー１に最も適した情報である。また、この報知情報は、男性、５０代の属性に最も適した情報である。また、この報知情報は、複数の家電機器５０のうち、冷蔵庫５０ａに最も適した情報である。
ステップＳ１０５では、制御部２０は、記憶部２３に予め記憶されている所定のアルゴリズムや機械学習によってユーザーおよびその属性に適した報知情報を決定する。例えば、制御部２０は、ユーザーの過去の行動履歴に基づいて所定の情報処理を行ったうえで、そのユーザーに適した報知情報を決定してもよい。また、制御部２０は、予め設定されているプログラムに基づいてユーザーに適した報知情報を決定してもよい。また、制御部２０は、所定の学習データに基づいてユーザーに適した報知情報を決定してもよい。例えば、上記のステップＳ１０３でユーザー１が特定された場合、ユーザー１は、検知装置１０に対して過去にアルコールに関する問い合わせ頻度が多いので（図７参照）、制御部２０は、そのユーザー１に適した「ビールとチーズがあります。」という報知情報を決定する。また、例えば、上記のステップＳ１０３でユーザー２が特定された場合、ユーザー２は、検知装置１０に対して過去に料理の材料に関する問い合わせ頻度が多いので（図７参照）、制御部２０は、そのユーザー２に適した「にんじんとじゃがいもと牛肉があります。」という報知情報を決定する。
また、例えば、上記のステップＳ１０３でユーザー１特定され、上記のステップＳ１０４で家電機器５０としてテレビ５０ｆが特定された場合は、ステップＳ１０５では、制御部２０が、例えば「ニュース番組にチャンネルを切替えます。」という報知情報を決定する（図５参照）。「ニュース番組にチャンネルを切替えます。」という報知情報は、複数のユーザー１〜４のうち、ユーザー１に最も適した情報である。また、この報知情報は、男性、５０代の属性に最も適した情報である。また、この報知情報は、複数の家電機器５０のうち、テレビ５０ｆに最も適した情報である。制御部２０は、記憶部２３に予め記憶されている情報および機械学習に基づいて報知情報を決定する。例えば、ユーザー１が過去にニュース番組を好んで視聴していた場合は（図７参照）、制御部２０は、そのユーザー１の好みを学習して、ユーザー１に適した「ニュース番組にチャンネルを切替えます。」という報知情報を決定する。
続いて、図６に示すように、ステップＳ１０６では、制御部２０が、上記のステップＳ１０４で特定した家電機器５０に対する制御内容を決定する。このとき、制御部２０は、上記のステップＳ１０３で特定したユーザーおよびその属性に適した制御内容を決定する。例えば、上記のステップＳ１０３でユーザー１が特定され、上記のステップＳ１０４でテレビ５０ｆが特定された場合は、制御部２０は、例えば「ニュース番組を優先してチャンネルを変更。」という制御内容を決定する（図８参照）。「ニュース番組を優先してチャンネルを変更。」という制御内容は、複数のユーザー１〜４のうち、ユーザー１に最も適した制御である。また、この制御内容は、男性、５０代の属性に最も適した制御である。また、この制御内容は、複数の家電機器５０のうち、テレビ５０ｆに最も適した情報である。
ステップＳ１０６では、制御部２０は、記憶部２３に予め記憶されている所定のアルゴリズムや機械学習によってユーザーおよびその属性に適した制御内容を決定する。例えば、制御部２０は、ユーザーの過去の行動履歴に基づいて所定の情報処理を行ったうえで、そのユーザーに適した制御内容を決定してもよい。また、制御部２０は、予め設定されているプログラムに基づいてユーザーに適した制御内容を決定してもよい。また、制御部２０は、所定の学習データに基づいてユーザーに適した制御内容を決定してもよい。例えば、上記のステップＳ１０３でユーザー１が特定された場合であって、ユーザー１が過去にニュース番組を好んで視聴していた場合は、制御部２０は、そのユーザー１の好みを学習して、ユーザー１に適した「ニュース番組を優先してチャンネルを変更。」という制御内容を決定する（図９参照）。また、例えば、上記のステップＳ１０３でユーザー２が特定された場合であって、ユーザー２が過去にワイドショー番組を好んで視聴していた場合は、制御部２０は、そのユーザー２の好みを学習して、ユーザー２に適した「ワイドショー番組を優先してチャンネルを変更。」という制御内容を決定する（図９参照）。
続いて検知装置１０の制御部２０は、図６に示すように、家電機器関連情報を取得する場合は、ステップＳ１０７の処理を実行する。家電機器関連情報は、上記のステップＳ１０４で制御部２０が特定した家電機器５０（例えば冷蔵庫５０ａあるいはテレビ５０ｆ）に関連する情報である。家電機器５０が冷蔵庫５０ａである場合、家電機器関連情報には、例えば、冷蔵庫５０ａの庫内にある物の情報や庫内の温度の情報が含まれている。また、家電機器５０がテレビ５０ｆである場合、家電機器関連情報には、例えば、テレビ５０ｆの現在のチャンネルの情報が含まれている。
ステップＳ１０７では、検知装置１０の制御部２０が、情報取得要求を家電機器５０（例えば冷蔵庫５０ａあるいはテレビ５０ｆ）に送信する。その情報取得要求を家電機器５０の制御部６０が受信する。続いてステップＳ１０８では、家電機器５０の制御部６０が、受信した情報取得要求に応答して、家電機器関連情報を検知装置１０に送信する。その家電機器関連情報を検知装置１０の制御部２０が受信する。
続いて検知装置１０の制御部２０は、上記のステップＳ１０５で決定した報知情報（例えば「ビールとチーズがあります。」あるいは「ニュース番組にチャンネルを切替えます。」）を出力する場合は、ステップＳ１０９の処理を実行する。ステップＳ１０９では、制御部２０が、上記のステップＳ１０５で決定した報知情報を音声出力部２２からスピーカー１３に出力する。検知装置１０のスピーカー１３から検知装置１０の周囲に報知情報（例えば「ビールとチーズがあります。」あるいは「ニュース番組にチャンネルを切替えます。」）の音声が発せられる。これにより、制御システム１のユーザー１に報知情報が報知され、ユーザー１が報知情報を認識することができる。
続いて検知装置１０の制御部２０は、上記のステップＳ１０４で特定した家電機器５０（例えばテレビ５０ｆ）の動作を制御する場合は、ステップＳ１１０の処理を実行する。制御部２０は、上記のステップＳ１０６で決定した制御内容（例えば「ニュース番組を優先してチャンネルを変更。」）に基づいて、家電機器５０（例えばテレビ５０ｆ）の動作を制御する。
ステップＳ１１０では、検知装置１０の制御部２０が、制御情報を家電機器５０（例えばテレビ５０ｆ）に送信する。その制御情報を家電機器５０の制御部６０が受信する。制御情報は、家電機器５０（例えばテレビ５０ｆ）の制御内容に関連する情報である。制御情報には、例えば、テレビ５０ｆのチャンネルを切替えるための情報が含まれている。続いてステップＳ１１１では、家電機器５０の制御部６０が、受信した制御情報に応答して、制御応答情報を検知装置１０に送信する。その制御応答情報を検知装置１０の制御部２０が受信する。また、家電機器５０の制御部６０は、受信した制御情報に基づいて動作を制御する。例えば、テレビ５０ｆの制御部６０ｆが、テレビ５０ｆのチャンネルを切替える制御を実行する。
以上、第１実施例に係る制御システム１について説明した。上記の説明から明らかなように、制御システム１は、複数のユーザー１〜４の発話を検知する検知装置１０と、検知装置１０における制御部２０を備えている。制御部２０が、検知装置１０によって検知されるユーザーの発話の音声に基づいて発話したユーザーの属性（例えば、男性、５０代）を特定し、その属性に適した報知情報（例えば、「ビールとチーズがあります。」、「ニュース番組にチャンネルを切替えます。」）を出力する。また、制御部２０が、ユーザーの発話の音声に基づいて発話したユーザー（例えば、ユーザー１）を特定し、そのユーザーに適した報知情報を出力する。また、制御部２０が、特定したユーザーおよびその属性に適した制御（例えば、「ニュース番組を優先してチャンネルを変更。」）を実行する。
この構成によれば、例えば、男性で５０代のユーザー１が「冷蔵庫に何入っている？」と発話した場合に、そのユーザー１およびその属性に適した「ビールとチーズがあります。」という報知情報が出力される。また、例えば、男性で５０代のユーザー１が「テレビのチャンネル変えて。」と発話した場合に、そのユーザー１およびその属性に適した「ニュース番組にチャンネルを切替えます。」という報知情報が出力される。また、そのユーザー１およびその属性に適した「ニュース番組を優先してチャンネルを変更。」という制御が実行される。そのため、様々な属性のユーザー１〜４が存在する場合であっても、各ユーザー１〜４がその属性に適した情報を取得することができる。各ユーザー１〜４が自分に適した情報を取得できる。また、各ユーザー１〜４およびその属性に適した制御を実行することができる。よって、各ユーザーおよびその属性に適した要望を実現することができる。なお、制御部２０が、報知情報の出力と制御の実行のいずれか一方のみを行う構成であってもよい。
また、上記の制御システム１では、制御部２０が、家電機器５０についてユーザーに適した報知情報を出力する。また、制御部２０が、家電機器５０についてユーザーに適した制御を実行する。そのため、各ユーザー１〜４が家電機器５０について適切な情報を取得することができる。また、家電機器５０について適切な制御を実行することができる。
また、上記の制御システム１では、検知装置１０の制御部２０が、特定したユーザーの過去の行動履歴（例えば、検知装置１０に対して過去にアルコールに関する問い合わせ頻度が多いという行動履歴）に基づいてそのユーザー（例えば、ユーザー１）に適した報知情報を出力する。そのため、各ユーザー１〜４が過去の行動履歴に基づいた適切な情報を取得することができる。
以上、一実施例について説明したが、具体的な態様は上記実施例に限定されるものではない。以下の説明において、上述の説明における構成と同様の構成については、同一の符号を付して説明を省略する。
上記の実施例では、検知装置１０の制御部２０が、家電機器５０についての報知情報を出力していたが、この構成に限定されるものではない。他の実施例では、制御部２０が、家電機器５０ではなく、検知装置１０自身についての報知情報を出力してもよい。また、制御部２０が、家電機器５０ではなく、検知装置１０自身についての制御を実行してもよい。例えば、図５に示すように、制御システム１のユーザー２が「音楽流して。」と発話した場合、制御部２０が、そのユーザー２に適した「クラシック音楽を流す。」という報知情報を出力する。この報知情報は、家電機器５０ではなく、検知装置１０自身についての報知情報である。また、この場合は、図７に示すように、制御部２０が、「クラシック音楽を流す。」という制御を実行する。この制御は、家電機器５０ではなく、検知装置１０自身についての制御である。制御システム１は、複数の家電機器５０を備えていなくてもよい。
また、上記の実施例では、検知装置１０の制御部２０が、ユーザーの発話の音声に基づいてユーザーおよびその属性を特定していたが、この構成に限定されるものではない。他の実施例では、ユーザーの発話の音声ではなく、発話の内容に基づいてユーザーおよびその属性を特定してもよい。検知装置１０の制御部２０は、記憶部２３に予め記憶されている分析用音声データと所定のアルゴリズムや機械学習によってユーザーおよびその属性を特定する。また、制御部２０は、ユーザーの発話の内容およびその音声の組み合わせに基づいてユーザーおよびその属性を特定してもよい。
［第２実施例］
第２実施例では、検知装置１０の制御部２０が、ユーザーの発話に含まれているユーザー固有のトリガーワードに基づいてユーザーを特定してもよい。ユーザー固有のトリガーワードは、ユーザーを特定するワードである。例えば、図１０に示すように、ユーザーとトリガーワードの対応関係が予め設定されており、その対応関係が記憶部２３に記憶されている。この状態で、例えば制御システム１のユーザー１が、ユーザー１に固有のトリガーワード（「あいうえお」）を発話した場合、制御部２０が、そのトリガーワード（「あいうえお」）に基づいてユーザー１を特定する。また、ユーザー２が、ユーザー２に固有のトリガーワード（「かきくけこ」）を発話した場合、制御部２０が、そのトリガーワード（「かきくけこ」）に基づいてユーザー２を特定する。そして、検知装置１０の制御部２０は、トリガーワードに基づいて特定したユーザー（例えば、ユーザー１）に適した報知情報（例えば、「ビールとチーズがあります。」、「ニュース番組にチャンネルを切替えます。」）を出力する（図５、図６参照）。また、制御部２０は、特定したユーザーに適した制御（例えば、「ニュース番組を優先してチャンネルを変更。」）を実行する（図６、図８参照）。
［第３実施例］
第３実施例では、検知装置１０の制御部２０が、上記のステップＳ１０３で特定したユーザーに紐付けられている位置情報に基づいて家電機器５０の制御を実行してもよい。例えば、図１１に示すように、家庭内に複数の部屋（例えばユーザー１の部屋８０ａ、ユーザー２の部屋８０ｂ、ユーザー３の部屋８０ｃ、ユーザー４の部屋８０ｄ等）が存在しており、そのうちユーザー１に対して、ユーザー１の部屋８０ａの位置情報が紐付けられているとする。そして、制御部２０が、上記のステップＳ１０３でユーザー１を特定した場合、そのユーザー１に紐付けられているユーザー１の部屋８０ａの位置情報に基づいて家電機器５０の制御を実行する。例えば、制御部２０は、上記のステップＳ１０４で自走式掃除機５０ｃを特定した場合、ユーザー１の部屋８０ａを掃除するように自走式掃除機５０ｃの制御を実行する。制御部２０は、その他のユーザー２〜４の部屋８０ｂ〜８０ｄについても、各ユーザー２〜４に紐付けられている位置情報に基づいて自走式掃除機５０ｃの制御を同様に実行する。この構成によれば、各ユーザー１〜４の部屋８０ａ〜８０ｄについて適切なサービスを提供することができる。
［第４実施例］
上記の実施例では、検知装置１０における制御部２０が、ユーザーおよびその属性を特定していたが、この構成に限定されるものではなく、第１サーバ９０における制御部９１が、ユーザーおよびその属性を特定してもよい。第４実施例に係る制御システム１では、図１２に示すように、上記のステップＳ１０１の処理に続いてステップＳ１２１の処理が実行される。ステップＳ１２１では、検知装置１０の制御部２０が、ステップＳ１０１で音声受信部２１が受信した音声（例えば「冷蔵庫に何入ってる？」）の情報を第１サーバ９０に送信する。その音声情報を第１サーバ９０の制御部９１が受信する。
続いてステップＳ１２２では、第１サーバ９０の制御部９１が、ステップＳ１２１で受信した音声を分析するための分析用音声データが第１サーバ９０に存在するか否かを判断する。分析用音声データが第１サーバ９０に存在する場合は、ステップＳ１２２で制御部９１がＹＥＳと判断してステップＳ１２５に進む。一方、分析用音声データが第１サーバ９０に存在しない場合は、ステップＳ１２２で制御部９１がＮＯと判断してステップＳ１２３の処理を実行する。
ステップＳ１２３では、第１サーバ９０の制御部９１が、情報取得要求を外部の第２サーバ９６に送信する。その情報取得要求を第２サーバ９６の制御部（図示省略）が受信する。続いてステップＳ１２４では、第２サーバ９６の制御部が、受信した情報取得要求に応答して、分析用音声データを第１サーバ９０に送信する。第２サーバ９６には分析用音声データが存在する。その分析用音声データを第１サーバ９０の制御部９１が受信する。
続いてステップＳ１２５では、第１サーバ９０の制御部９１が、上記のステップＳ１２１で受信した音声を、上記のステップＳ１２４で受信した分析用音声データを用いて分析する。制御部９１は、音声を分析してその音声に含まれているキーワードを抽出する。例えば、制御部９１は、「冷蔵庫に何入ってる？」の音声を分析して、その音声に含まれている「冷蔵庫」というキーワードを抽出する。
続いてステップＳ１２６では、第１サーバ９０の制御部９１が、検知装置１０によって検知された音声を発話したユーザーおよびその属性を特定する。制御部９１は、分析用音声データを用いた音声分析に基づいてユーザーおよびその属性を特定する。制御部９１は、例えば、上記のステップＳ１２１で受信した音声（「冷蔵庫に何入ってる？」）の周波数を解析して、声紋分析等によって、その音声を発したユーザーおよびその属性を特定する。例えば、複数のユーザー１〜４のうち、あるユーザー１が「冷蔵庫に何入ってる？」と発話したとすると、制御部９１がそのユーザー１を特定する。また、制御部９１がそのユーザー１の属性（例えば、男性、５０代等）を特定する。
続いてステップＳ１２７では、第１サーバ９０の制御部９１が、音声分析によって抽出したキーワードに基づいて、そのキーワードに関連する家電機器５０を特定する。例えば、制御部９１は、制御システム１における複数の家電機器５０のうち、抽出したキーワード「冷蔵庫」に関連する家電機器５０すなわち「冷蔵庫５０ａ」を特定する。続いてステップＳ１２８では、制御部９１が、ステップＳ１２７で特定した家電機器５０（冷蔵庫５０ａ）の家電機器情報を検知装置１０に送信する。その家電機器情報を検知装置１０の制御部２０が受信する。
続いてステップＳ１２９では、制御部９１が、報知情報を決定する。制御部９１は、上記のステップＳ１２６で特定したユーザーおよびその属性に適した報知情報を決定する。また、制御部９１は、上記のステップＳ１２７で特定した家電機器５０に適した報知情報を決定する。例えば、上記のステップＳ１２６でユーザー１特定され、上記のステップＳ１２７で冷蔵庫５０ａが特定された場合は、制御部９１は、「ビールとチーズがあります。」という報知情報を決定する（図５参照）。また、例えば、上記のステップＳ１２６でユーザー１特定され、上記のステップＳ１２７でテレビ５０ｆが特定された場合は、制御部９１は、「ニュース番組にチャンネルを切替えます。」という報知情報を決定する（図５参照）。続いてステップＳ１３０では、制御部９１が、ステップＳ１２９で決定した報知情報を検知装置１０に送信する。その報知情報を検知装置１０の制御部２０が受信する。
続いてステップＳ１３１では、制御部９１が、上記のステップＳ１２７で特定した家電機器５０に対する制御内容を決定する。このとき、制御部９１は、上記のステップＳ１２６で特定したユーザーおよびその属性に適した制御内容を決定する。例えば、上記のステップＳ１２６でユーザー１が特定され、上記のステップＳ１２７でテレビ５０ｆが特定された場合は、制御部９１は、「ニュース番組を優先してチャンネルを変更。」という制御内容を決定する（図８参照）。続いてステップＳ１３２では、制御部９１が、ステップＳ１３１で決定した制御内容の情報を検知装置１０に送信する。その制御内容情報を検知装置１０の制御部２０が受信する。
その後、検知装置１０の制御部２０が上記のステップＳ１２８とステップＳ１３０とステップＳ１３２で受信した家電機器情報と報知情報と制御内容情報に基づいて、ステップＳ１０７からステップＳ１１１の処理が実行される。ステップＳ１０７からステップＳ１１１の処理については、第１実施例で説明したので詳細な説明を省略する。
上記の構成によれば、第１サーバ９０には検知装置１０よりも大きな情報量のデータが記憶されているので、大きな情報量に基づいてユーザーおよびその属性を特定することができる。この構成によれば音声分析の精度が高くなる。
以上、本発明の具体例を詳細に説明したが、これらは例示に過ぎず、特許請求の範囲を限定するものではない。特許請求の範囲に記載の技術には、以上に例示した具体例を様々に変形、変更したものが含まれる。本明細書または図面に説明した技術要素は、単独であるいは各種の組合せによって技術的有用性を発揮するものであり、出願時請求項記載の組合せに限定されるものではない。また、本明細書または図面に例示した技術は複数目的を同時に達成し得るものであり、そのうちの一つの目的を達成すること自体で技術的有用性を持つものである。
１ ：制御システム
１０ ：検知装置
１２ ：マイク
１３ ：スピーカー
１４ ：無線通信モジュール
２０ ：制御部
２１ ：音声受信部
２２ ：音声出力部
２３ ：記憶部
２４ ：通信部
５０ ：家電機器
５０ａ ：冷蔵庫
５０ｂ ：洗濯機
５０ｃ ：自走式掃除機
５０ｄ ：エアコン
５０ｅ ：給湯器
５０ｆ ：テレビ
６０ ：制御部
９０ ：第１サーバ
９１ ：制御部
９２ ：無線ルータ
９３ ：モデム
９６ ：第２サーバ
１００ ：インターネット

Claims (7)

  1. 複数のユーザーの発話を検知する検知装置と、
    制御部を備えており、
    前記制御部が、前記検知装置によって検知されるユーザーの発話の内容および／または音声に基づいて発話したユーザーの属性を特定し、その属性に適した報知情報を出力するおよび／またはその属性に適した制御を実行する、制御システム。
  2. 前記制御部が、ユーザーの発話の音声に基づいて発話したユーザーを特定し、そのユーザーに適した報知情報を出力するおよび／またはそのユーザーに適した制御を実行する、請求項１に記載の制御システム。
  3. 前記制御部が、ユーザーの発話に含まれているユーザー固有のトリガーワードに基づいてユーザーを特定し、そのユーザーに適した報知情報を出力するおよび／またはそのユーザーに適した制御を実行する、請求項１または２に記載の制御システム。
  4. 前記検知装置と通信可能な複数の家電機器を備えており、
    前記制御部が、前記家電機器についてユーザーに適した報知情報を出力する、請求項２または３のいずれか一項に記載の制御システム。
  5. 前記検知装置と通信可能な複数の家電機器を備えており、
    前記制御部が、前記家電機器についてユーザーに適した制御を実行する、請求項２から４のいずれか一項に記載の制御システム。
  6. 前記制御部が、特定したユーザーの過去の行動履歴に基づいてそのユーザーに適した報知情報を出力する、請求項２から５のいずれか一項に記載の制御システム。
  7. 前記検知装置と通信可能な複数の家電機器を備えており、
    前記制御部が、特定したユーザーに紐付けられている位置情報に基づいて前記家電機器の制御を実行する、請求項４または５に記載の制御システム。
JP2017193542A 2017-10-03 2017-10-03 制御システム Pending JP2019066731A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017193542A JP2019066731A (ja) 2017-10-03 2017-10-03 制御システム
US16/651,014 US20200279566A1 (en) 2017-10-03 2018-08-27 Control system
CN201880063031.8A CN111164678A (zh) 2017-10-03 2018-08-27 控制***
PCT/JP2018/031590 WO2019069588A1 (ja) 2017-10-03 2018-08-27 制御システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017193542A JP2019066731A (ja) 2017-10-03 2017-10-03 制御システム

Publications (1)

Publication Number Publication Date
JP2019066731A true JP2019066731A (ja) 2019-04-25

Family

ID=65994330

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017193542A Pending JP2019066731A (ja) 2017-10-03 2017-10-03 制御システム

Country Status (4)

Country Link
US (1) US20200279566A1 (ja)
JP (1) JP2019066731A (ja)
CN (1) CN111164678A (ja)
WO (1) WO2019069588A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7452528B2 (ja) 2019-03-26 2024-03-19 ソニーグループ株式会社 情報処理装置及び情報処理方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11657814B2 (en) * 2020-10-08 2023-05-23 Harman International Industries, Incorporated Techniques for dynamic auditory phrase completion
US11526669B1 (en) * 2021-06-21 2022-12-13 International Business Machines Corporation Keyword analysis in live group breakout sessions

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001083991A (ja) * 1999-09-16 2001-03-30 Denso Corp ユーザインタフェース装置、ナビゲーションシステム、情報処理装置及び記録媒体
JP2002169591A (ja) * 2000-12-01 2002-06-14 Namco Ltd 模擬会話システム、及び情報記憶媒体
JP2004109323A (ja) * 2002-09-17 2004-04-08 Denso Corp 音声対話装置及びプログラム
JP2004144993A (ja) * 2002-10-24 2004-05-20 P To Pa:Kk 家電制御装置、家電制御方法及びプログラム
JP2015018344A (ja) * 2013-07-09 2015-01-29 シャープ株式会社 再生装置、再生装置の制御方法、および、制御プログラム
WO2015029379A1 (ja) * 2013-08-29 2015-03-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 機器制御方法、表示制御方法及び購入決済方法
JP2015138147A (ja) * 2014-01-22 2015-07-30 シャープ株式会社 サーバ、対話装置、対話システム、対話方法および対話プログラム
JP2017010176A (ja) * 2015-06-18 2017-01-12 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 機器特定方法、機器特定装置及びプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9406297B2 (en) * 2013-10-30 2016-08-02 Haier Us Appliance Solutions, Inc. Appliances for providing user-specific response to voice commands
US10388280B2 (en) * 2016-01-27 2019-08-20 Motorola Mobility Llc Method and apparatus for managing multiple voice operation trigger phrases

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001083991A (ja) * 1999-09-16 2001-03-30 Denso Corp ユーザインタフェース装置、ナビゲーションシステム、情報処理装置及び記録媒体
JP2002169591A (ja) * 2000-12-01 2002-06-14 Namco Ltd 模擬会話システム、及び情報記憶媒体
JP2004109323A (ja) * 2002-09-17 2004-04-08 Denso Corp 音声対話装置及びプログラム
JP2004144993A (ja) * 2002-10-24 2004-05-20 P To Pa:Kk 家電制御装置、家電制御方法及びプログラム
JP2015018344A (ja) * 2013-07-09 2015-01-29 シャープ株式会社 再生装置、再生装置の制御方法、および、制御プログラム
WO2015029379A1 (ja) * 2013-08-29 2015-03-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 機器制御方法、表示制御方法及び購入決済方法
JP2015138147A (ja) * 2014-01-22 2015-07-30 シャープ株式会社 サーバ、対話装置、対話システム、対話方法および対話プログラム
JP2017010176A (ja) * 2015-06-18 2017-01-12 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 機器特定方法、機器特定装置及びプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7452528B2 (ja) 2019-03-26 2024-03-19 ソニーグループ株式会社 情報処理装置及び情報処理方法

Also Published As

Publication number Publication date
WO2019069588A1 (ja) 2019-04-11
US20200279566A1 (en) 2020-09-03
CN111164678A (zh) 2020-05-15

Similar Documents

Publication Publication Date Title
JP7346529B2 (ja) ボイスアシスタンスを備えたメディア再生システム
US11862161B2 (en) VAS toggle based on device orientation
US11797263B2 (en) Systems and methods for voice-assisted media content selection
US11676590B2 (en) Home graph
US10755706B2 (en) Voice-based user interface with dynamically switchable endpoints
US20200110571A1 (en) Systems and methods for media content selection
US11869503B2 (en) Offline voice control
WO2019069588A1 (ja) 制御システム
US11984123B2 (en) Network device interaction by range
US11556307B2 (en) Local voice data processing
US20240080621A1 (en) Device designation of playback and network microphone device arrangements
CN112640475B (zh) 用于将回放设备与语音助理服务相关联的***和方法
EP4406234A2 (en) Concurrency rules for network microphone devices having multiple voice assistant services
WO2019069587A1 (ja) 家電システム
WO2022077000A1 (en) Modifying audio system parameters based on environmental characteristics
WO2019069597A1 (ja) 家電システム
JP2022080014A (ja) 電気機器および電気機器システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200709

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210914

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211105

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220405

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20221011