JP2022181868A - 表示システム、表示装置、及び表示装置の制御方法 - Google Patents

表示システム、表示装置、及び表示装置の制御方法 Download PDF

Info

Publication number
JP2022181868A
JP2022181868A JP2021089063A JP2021089063A JP2022181868A JP 2022181868 A JP2022181868 A JP 2022181868A JP 2021089063 A JP2021089063 A JP 2021089063A JP 2021089063 A JP2021089063 A JP 2021089063A JP 2022181868 A JP2022181868 A JP 2022181868A
Authority
JP
Japan
Prior art keywords
language
display
voice
processing device
language identifier
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021089063A
Other languages
English (en)
Inventor
基樹 植田
Motoki Ueda
俊樹 藤森
Toshiki Fujimori
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2021089063A priority Critical patent/JP2022181868A/ja
Priority to US17/826,244 priority patent/US20220382513A1/en
Publication of JP2022181868A publication Critical patent/JP2022181868A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces
    • G06F9/454Multi-language systems; Localisation; Internationalisation
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/005Language recognition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】表示言語を逐一変更するといった煩雑な入力操作を行うことなく、表示装置の音声操作に使用される言語に合わせて表示装置のユーザーインタフェイス画面における表示言語を変更する。【解決手段】 表示装置10、マイクロフォン210、及び音声処理装置30を備える表示システム1を提供する。マイクロフォン210は、表示装置10へ与えるコマンドに対応する音声を収音し、収音した音声を表す音声データを生成する。音声処理装置30は、音声データの表す音声の言語の種類を示す言語識別子とコマンドを表すコマンドデータとを出力する。表示装置10は、音声処理装置30から出力される記言語識別子の示す種類と表示言語の種類とを比較し、両者が異なる場合に表示言語を、言語識別子の示す種類の言語に変更する。【選択図】図1

Description

本開示は、表示システム、表示装置、及び表示装置の制御方法、に関する。
各種電子機器を音声により操作する技術が一般に普及している。例えば、特許文献1には、複数種の言語或いは方言による音声入力のための多言語インターフェイスを有するスマートスピーカーが記載されている。
特開2019-82994号公報
音声による操作が可能なプロジェクターにおいて複数種の言語を認識可能な場合、例えばOSD(On-Screen Display)において情報の記載に用いられる言語は、OSDのメニュー画面において設定する必要がある。以下、OSD等のユーザーインタフェイス画面において情報の記載に用いられる言語は表示言語と呼ばれ得る。複数種の言語を認識可能なプロジェクターにおいて音声操作に使用する言語に合わせて表示言語が設定されていない状況下で音声操作によりユーザーインタフェイス画面の表示が指示されると、音声操作の言語とは異なる表示言語で各種情報を記載したユーザーインタフェイス画面が表示される、といった問題がある。
本開示の表示システムの一態様は、表示装置と、マイクロフォンと、音声処理装置と、を含む。表示装置は、複数種の言語のうちの何れか一の言語である表示言語を用いて情報が記載されたユーザーインタフェイス画面を表示するとともに、与えられたコマンドに応じた処理を実行する。マイクロフォンは、前記コマンドに対応する音声を収音し、収音した音声を表す音声データを生成する。音声処理装置は、前記音声データの表す音声の言語の種類を示す言語識別子と前記コマンドを表すコマンドデータとを前記音声データを解析することにより生成し、生成した前記言語識別子及び前記コマンドデータを出力する。前記表示装置は、処理装置と、前記音声処理装置と通信するための通信装置と、を含む。前記処理装置は、以下の受信処理と第1変更処理とを実行する。受信処理は、前記音声処理装置から出力される前記言語識別子及び前記コマンドデータを、前記通信装置を用いて受信する処理である。第1変更処理は、受信処理にて受信した前記言語識別子の示す種類と前記表示言語の種類とを比較し、前記言語識別子の示す種類と前記表示言語の種類とが異なる場合に前記表示言語を、前記言語識別子の示す種類の言語に変更する処理である。
また、本開示の表示装置の一態様は、複数種の言語のうちの何れか一の言語である表示言語を用いて情報が記載されたユーザーインタフェイス画面を表示するとともに、与えられたコマンドに応じた処理を実行する。この表示装置は、前述の通信装置と処理装置とを含む。
また、本開示の表示装置の制御方法の一態様は、複数種の言語のうちの何れか一の言語である表示言語を用いて情報が記載されたユーザーインタフェイス画面を表示するとともに、与えられたコマンドに応じた処理を実行する表示装置の制御方法であって、以下の生成処理と、前述の受信処理及び第1変更処理と、を含む。生成処理は、マイクロフォンを用いてコマンドに対応する音声を収音することにより、前記音声を表す音声データを生成する処理である。
本開示の一実施形態による表示システム1の構成例を示す図である。 表示システム1に含まれる表示装置10の構成例を示す図である。 表示装置10の制御方法の流れを示すフローチャートである。
以下に述べる実施形態には技術的に好ましい種々の限定が付されている。しかし、本開示の実施形態は、以下に述べる形態に限られるものではない。
1.実施形態
図1は、本開示の一実施形態による表示システム1の一例を示す図である。表示システム1は、表示装置10、音声入出力装置20、及び音声処理装置30を含む。図1に示されるように、表示装置10、音声入出力装置20、及び音声処理装置30は、通信網40に接続される。通信網40は、例えばインターネットである。通信網40に対する表示装置10、音声入出力装置20、及び音声処理装置30の各々の接続は有線接続であってもよいし、無線接続であってもよい。
表示装置10は、図示せぬ画像供給装置から供給される画像データの表す画像、又は表示装置10を使用する際の各種設定の参照及び更新をユーザーに行わせるためのユーザーインタフェイス画面の画像を表示する。例えば、表示装置10がLAN(Local Area Network)を介して通信網40に接続される場合、画像供給装置の具体例としては当該LANに接続されるパーソナルコンピューターが挙げられる。以下では、表示装置10により表示される画像は表示対象画像と称され得る。また、本実施形態の表示装置10は、予め定められた複数種の言語のうち、言語設定メニュー等にて設定された一の言語である表示言語を用いて情報を記載したユーザーインタフェイス画面を表示する。複数種の言語の具体例としては日本語及び英語が挙げられる。ユーザーインタフェイス画面の具体例としては、表示装置10の動作を規定する各種設定情報を変更するためにOSDにより表示されるメニュー画面が挙げられる。
本実施形態における表示装置10は、例えばプロジェクターである。表示装置10は、投射スクリーン等の投射面に表示対象画像を投射することにより、表示対象画像を表示する。図1では投射面の図示は省略されている。本実施形態における表示装置10は、テンキー等の操作子を備える入力装置140を有する。表示装置10のユーザーは、入力装置140に対する入力操作により各種コマンドを入力することができる。表示装置10は、入力装置140に対する入力操作により入力されたコマンドに応じた処理を実行する。
入力装置140に対する入力操作により入力可能なコマンドの具体例としては、表示言語の変更を指示するコマンド、ユーザーインタフェイス画面の表示を指示するコマンド、及び表示画像を表す画像データの供給元を指示するコマンド等が挙げられる。例えば、ユーザーインタフェイス画面の表示を指示するコマンドが入力装置140に対する入力操作により入力された場合には、表示装置10は、表示言語にて情報を記載したユーザーインタフェイス画面を表示する。
本実施形態では、音声入出力装置20は表示装置10の近傍に設置される。音声入出力装置20は、例えばスマートフォンである。音声入出力装置20は、マイクロフォン210と、スピーカー220とを含む。マイクロフォン210は、表示装置10を音声操作するための音声、即ち各種動作の実行を指示するコマンドに対応する音声を収音し、収音した音声を表す音声データを生成する。コマンドに対応する音声は、コマンドを読み上げた音声であってもよく、また、「〇〇〇、ユーザーインタフェイス画面を表示して」或いは「〇〇〇、画像の供給元をLANソースに切り替えて」等のコマンドにより実行を指示する処理の内容を表す音声であってもよい。なお、「〇〇〇」部分は、コマンドに対応する音声であることを示す予め定められた接頭辞である。接頭辞から始まる音声のみを音声入出力装置20の収音対象とすれば、「これから会議を始めます」等の音声操作とは無関係な音声が収音とされることに起因する表示装置10の誤動作を回避することができる。
本実施形態では、表示装置10のユーザーは、表示装置10を音声操作するための音声を音声入出力装置20に向かって発話する。音声入出力装置20に向かって発話されたユーザーの音声は、マイクロフォン210によって収音される。音声入出力装置20は、マイクロフォン210により生成された音声データを音声処理装置30に送信する。また、音声入出力装置20は、通信網40を介して音声処理装置30から音声データを受信すると、当該音声データの表す音声をスピーカー220に放音させる。
音声処理装置30は、通信網40を介して音声入出力装置20から受信した音声データを解析する。音声処理装置30は、受信した音声データを解析することにより、当該音声データの表す音声の言語の種類を示す言語識別子を生成する。また、音声処理装置30は、受信した音声データを解析することにより、当該音声データの表す音声に対応するコマンドを表す文字列データを生成する。以下、コマンドを表す文字列データはコマンドデータと称される。なお、音声データの解析については既存技術が適宜用いられればよい。音声処理装置30は、単一のコンピューターにより実現されてもよく、また、複数のコンピューターの協働により実現されてもよい。
音声処理装置30は、受信した音声データを解析することにより生成した言語識別子及びコマンドデータを、表示装置10へ送信する。このように、音声入出力装置20のマイクロフォン210により収音された音声を表す音声データが音声処理装置30に与えられ、当該音声に応じたコマンドを表すコマンドデータが音声処理装置30から表示装置10に与えられることにより、表示装置10の音声操作が実現される。また、音声処理装置30は、表示装置10からコマンドデータを受信した旨の確認応答を受信すると、所定の応答音声を表す音声データを音声入出力装置20に送信する。この応答音声の具体例としては、「了解しました」又は「入力を受け付けました」等の音声が挙げられる。応答音声が音声入出力装置20のスピーカーから放音されることによって、ユーザーは音声による指示が表示装置10によって受け付けられたことを把握することができる。
図2は、表示装置10の構成例を示す図である。図2に示されるように、表示装置10は、入力装置140の他に、処理装置110と、通信装置120と、投射装置130と、記憶装置150と、を備える。
通信装置120は、LANケーブル等の通信線を介して通信網40に接続される。通信装置120は、通信網40を介して他の装置とデータ通信を行う装置である。本実施形態では、表示装置10にとっての他の装置は、音声処理装置30及び画像供給装置である。通信装置120の具体例としては、NIC(Network Interface Card)が挙げられる。通信装置120は、通信網40を介して他の装置から送信されてくるデータを受信する。通信装置120は、受信したデータを処理装置110へ引き渡す。また、通信装置120は、処理装置110から与えられるデータを、通信網40を介して他の装置へ送信する。
投射装置130は、処理装置110から与えられる画像信号に従って、表示対象画像を投射面へ投射する。図2では詳細な図示が省略されているが、投射装置130は、投射レンズを含む投射光学系、液晶駆動部、液晶パネル、及び光源部、を含む。液晶駆動部は、処理装置110から与えられる画像信号に従って液晶パネルを駆動することにより、この画像信号の表す画像を液晶パネルに描画する。光源部は、例えば、ハロゲンランプ又はレーザーダイオードなどの光源を含む。光源部からの光は、液晶パネルで画素毎に変調され、投射光学系により投射面に投射される。
記憶装置150は、処理装置110が読み取り可能な記録媒体である。記憶装置150は、例えば、不揮発性メモリーと揮発性メモリーとを含む。不揮発性メモリーは、例えば、ROM(Read Only Memory)、EPROM(Erasable Programmable Read Only Memory)又はEEPROM(Electrically Erasable Programmable Read Only Memory)である。揮発性メモリーは、例えば、RAM(Radom Access Memory)である。記憶装置150の不揮発性メモリーには、本開示の特徴を顕著に示す処理を処理装置110に実行させるためのプログラム152が記憶されている。図2では詳細な図示が省略されているが、不揮発性メモリーには、表示装置10の動作を規定する各種設定情報が記憶されている。この設定情報には、表示対象画像に施す台形補正等を示す補正情報、及び表示言語を示す表示言語識別子が含まれる。記憶装置150の揮発性メモリーは、プログラム152を実行する際のワークエリアとして処理装置110によって利用される。
処理装置110は、例えばCPU(Central Processing Unit)等のプロセッサー、即ちコンピューターを含んで構成される。処理装置110は、単一のコンピューターで構成されてもよいし、複数のコンピューターで構成されてもよい。処理装置110は、表示装置10の電源投入を契機としてプログラム152を不揮発性メモリーから揮発性メモリーへ読み出し、読み出したプログラム152の実行を開始する。なお、図2では、表示装置10の電源の図示は省略されている。プログラム152に従って作動している処理装置110は、不揮発性メモリーに記憶されている設定情報を揮発性メモリーに複写し、複写した設定情報に従って各種動作を行う。例えば、プログラム152に従って作動している処理装置110は、通信装置120を介して画像供給装置から与えられる投射画像データの表す画像に補正情報の示す台形補正を施して投射装置130に表示させる。また、プログラム152に従って作動している処理装置110は、入力装置140に対する入力操作により入力されたコマンド、又は通信装置120により受信したコマンドデータの表すコマンド、に応じた処理を実行する。例えば、入力装置140に対する入力操作によりユーザーインタフェイス画面の表示を指示された場合には、処理装置110は、揮発性メモリーに記憶されている表示言語識別子の示す表示言語により情報を記載したユーザーインタフェイス画面を表示する。
また、プログラム152に従って作動している処理装置110は、図2に示される受信部110a、及び変更部110bとして機能する。つまり、図2における受信部110a及び変更部110bは、処理装置110をプログラム152に従って作動させることで実現されるソフトウェアモジュールである。図2では、受信部110a及び変更部110bの各々がソフトウェアモジュールであることが点線で示されている。受信部110a及び変更部110bの各々が担う機能は次の通りである。
受信部110aは、通信装置120を用いて音声処理装置30と通信することにより、音声処理装置30から送信される言語識別子及びコマンドデータを受信する。受信部110aは、言語識別子及びコマンドデータを受信すると、確認応答を音声処理装置30へ送信する。変更部110bは、言語識別子と揮発性メモリーに記憶されている表示言語識別子とを比較する。そして、変更部110bは、言語識別子と揮発性メモリーに記憶されている表示言語識別子とが異なる場合に、即ち言語識別子の示す言語の種類と揮発性メモリーに記憶されている表示言語識別子の示す言語の種類とが異なる場合に、揮発性メモリーに記憶されている表示言語識別子を言語識別子で上書きすることで、表示言語を変更する。なお、本実施形態では、不揮発性メモリーに記憶されている表示言語識別子は更新されない。このため、変更部110bによる表示言語識別子の更新後に表示装置10の電源が切られ、その後、表示装置10の電源が再度投入されると、揮発性メモリーに記憶されている表示言語識別子は変更部110bによる変更前のものに戻る。
図3は、表示装置10の制御方法の流れを示す図である。図3に示すように、本実施形態の制御方法は、生成処理SA100、解析処理SA110、受信処理SA120、及び第1変更処理SA130を含む。生成処理SA100は音声入出力装置20において実行される処理である。解析処理SA110は音声処理装置30において実行される処理である。受信処理SA120、及び第1変更処理SA130は、プログラム152に従って作動している処理装置110によって実行される処理である。生成処理SA100、解析処理SA110、受信処理SA120、及び第1変更処理SA130の各々の内容は次の通りである。なお、以下に説明する動作例では、表示言語として英語が設定されている。つまり、表示装置10の揮発性メモリーには、英語を示す表示言語識別子が記憶されている。
生成処理SA100では、音声入出力装置20は、マイクロフォン210を用いて、表示装置10に対するユーザーの音声操作の音声を収音することにより、音声操作の音声を表す音声データを生成する。例えば、表示装置10のユーザーが「〇〇〇、画像の供給元をLANソースに切り替えて」という日本語の音声INSを音声入出力装置20に向かって発話したとする。音声入出力装置20は音声INSを表す音声データD1を生成する。生成処理SA100では、音声入出力装置20は、生成した音声データD1を音声処理装置30に送信する。
解析処理SA110では、音声処理装置30は、音声入出力装置20から受信した音声データD1を解析することにより、言語識別子D2及びコマンドデータD3を生成する。音声データD1の表す音声INSは日本語の音声であるから、音声処理装置30は日本語を示す言語識別子D2を生成する。また、音声INSは、画像の供給元をLANソースに切り替えることを指示する音声であるから、音声処理装置30は、画像の供給元をLANソースに切り替えることを指示するコマンドを表すコマンドデータD3を生成する。解析処理SA110では、音声処理装置30は、生成した言語識別子D2及びコマンドデータD3を表示装置10に送信する。
受信処理SA120では処理装置110は、受信部110aとして機能する。受信処理SA120では、処理装置110は、通信装置120を用いて音声処理装置30と通信することにより、音声処理装置30から送信される言語識別子D2及びコマンドデータD3を受信する。言語識別子D2及びコマンドデータD3を受信すると、処理装置110は、確認応答ACKを音声処理装置30へ送信する。音声処理装置30は、表示装置10から確認応答ACKを受信すると、「了解しました」という応答音声OUTSを表す音声データD4を音声入出力装置20に送信する。音声入出力装置20は、音声処理装置30から音声データD4を受信すると、音声データD4の表す応答音声OUTSをスピーカー220に放音させる。
受信処理SA120に後続して実行される第1変更処理SA130では、処理装置110は変更部110bとして機能する。第1変更処理SA130では、処理装置110は、受信処理SA120にて受信した言語識別子D2と揮発性メモリーに記憶されている表示言語識別子とを比較する。そして、処理装置110は、言語識別子D2と揮発性メモリーに記憶されている表示言語識別子とが異なる場合に、揮発性メモリーに記憶されている表示言語識別子を言語識別子D2で上書きする。
本動作例では、言語識別子D2の示す言語の種類は日本語であり、揮発性メモリーに記憶されている表示言語識別子の示す言語の種類は英語である。このように、言語識別子D2の示す言語の種類と揮発性メモリーに記憶されている表示言語識別子の示す言語の種類とが異なるため、処理装置110は、揮発性メモリーに記憶されている表示言語識別子を言語識別子D2で上書きする。これにより表示言語が英語から日本語に切り替えられる。また、処理装置110は、受信処理SA120にて受信したコマンドデータの表すコマンドに応じた処理を実行する。コマンドデータD3の表すコマンドは、画像の供給元をLANソースに切り替えることを指示するコマンドであるから、表示装置10に対する画像の供給元がLANソース、即ちLANに接続された画像供給装置に切り替えられる。
以上に説明した動作が為された後、表示装置10のユーザーが、画像の供給元を確認するためにユーザーインタフェイス画面の表示を指示する音声操作を日本語で行ったとする。当該音声操作が行われる時点では、表示装置10の揮発性メモリーには日本語を示す表示言語識別子が記憶されているため、表示装置10の処理装置110は、日本語で情報を記載したユーザーインタフェイス画面を表示させる。以上説明したように本実施形態によれば、表示言語を逐一変更するといった煩雑な入力操作を入力装置140に対して行うことなく、表示装置10の音声操作に使用される言語に合わせて表示言語を変更することが可能になる。
2.変形
上記実施形態は、以下のように変形され得る。
(1)上記実施形態では表示装置10がプロジェクターであった。しかし、本開示の適用対象となる表示装置は、プロジェクターには限定されず、液晶ディスプレイであってもよい。要は、複数種の言語のうちの何れか一の言語である表示言語を用いて情報が記載されたユーザーインタフェイス画面を表示するとともに、与えられたコマンドに応じた処理を実行する表示装置であれば、本開示の適用は可能である。
(2)処理装置110は、以下の第2変更処理を実行してもよい。第2変更処理では、処理装置110は、音声処理装置30から出力される第1の言語識別子を受信した後、音声処理装置30から出力される第2の言語識別子を受信した場合には第2の言語識別子と揮発性メモリーに記憶されている表示言語識別子とを比較する。第2変更処理では、処理装置110は、第2の言語識別子と揮発性メモリーに記憶されている表示言語識別子とが異なる場合に、揮発性メモリーに記憶されている表示言語識別子を第2の言語識別子で上書きする。本態様によれば、例えば、日本語を話す第1ユーザーと英語を話す第2ユーザーの各々が表示装置10の音声操作を行う毎に表示言語が英語から日本語、又は日本語から英語に切り替えられる。
なお、音声処理装置30は、音声入出力装置20から音声データを受信する毎に言語識別子及びコマンドデータを出力する必要はない。例えば、音声入出力装置20から第1の音声データ及び第2の音声データを順次受信した場合、第1の音声データに基づいて生成される第1の言語識別子と第2の音声データに基づいて生成される第2の言語識別子とが同じである場合には、音声処理装置30は第2の言語識別子の出力を省略してもよい。第1の言語識別子と第2の言語識別子とが同じであれば、第1の言語識別子に応じて変更された表示言語を第2の言語識別子に応じて変更する必要はないからである。本態様によれば、音声処理装置30と表示装置10との間の無駄なデータ通信を削減することができる。
(3)表示装置10に対する音声操作を許可するユーザーの音声の特徴量を音声処理装置30に予め記憶させておき、音声処理装置30は、音声入出力装置20から受信した音声データに基づいて算出される特徴量と、予め記憶した特徴量とが一致する場合に、当該音声データに基づいて言語識別子とコマンドデータとを生成してもよい。なお、ユーザーの音声の特徴量としては、例えば可聴帯域における周波数分布を表すスペクトラムが挙げられる。本態様によれば、音声操作を許可されていないユーザーにより表示装置10が音声操作されることを回避できる。
(4)上記実施形態では、処理装置110は、音声処理装置30から受信した言語識別子と揮発性メモリーに記憶されている表示言語識別子とが異なる場合に、揮発性メモリーに記憶されている表示言語識別子を音声処理装置30から受信した言語識別子で上書きした。しかし、処理装置110は、揮発性メモリーに記憶されている表示言語識別子の上書きに代えて、又は揮発性メモリーに記憶されている表示言語識別子の上書きに加えて、不揮発性メモリーに記憶されている表示言語識別子の上書きを行ってもよい。なお、揮発性メモリーに記憶されている表示言語識別子のみを更新する態様では、表示装置10のユーザーは、何時でも、入力装置140に対する入力操作により、揮発性メモリーに記憶されている表示言語識別子を更新前の表示言語識別子に書き戻すことができる。また、表示装置10のユーザーは、入力装置140に対する入力操作により、揮発性メモリーに記憶されている表示言語識別子を任意に更新してもよい。
(5)上記実施形態の表示装置10が単体で製造又は販売されてもよい。また、上記実施形態における受信部110a、及び変更部110bはソフトウェアモジュールであったが、ASIC(Application Specific Integrated Circuit)等のハードウェアモジュールであってもよい。処理装置110に代えて、各々ハードウェアで構成された受信部110a及び変更部110bを用いて表示装置10を構成することによっても、上記実施形態と同じ効果が奏される。
(5)上記実施形態における音声入出力装置20はスマートフォンであった。しかし、音声入出力装置20は、マイクロフォン210とスピーカー220とを含み、且つ通信機能を有する装置であればよく、スマートスピーカーであってもよい。なお、確認応答に応じた応答音声の出力は省略されてもよく、応答音声の出力が省略される態様ではスピーカー220は省略されてもよい。また、上記実施形態では、表示装置10を音声操作するための音声を収音するマイクロフォン210が表示装置10とは別個の装置であったが、マイクロフォン210は表示装置10に含まれてもよい。同様に、音声処理装置30も表示装置10に含まれてもよい。
(6)上記実施形態では、プログラム152が記憶装置150に記憶済であった。しかし、プログラム152が単体で製造又は配布されてもよい。プログラム152の具体的な配布方法としては、フラッシュROM(Read Only Memory)等のコンピューター読み取り可能な記録媒体に上記プログラム152を書き込んで配布する態様、又はインターネット等の電気通信回線経由のダウンロードにより配布する態様が考えられる。表示装置に含まれる処理装置を、これらの態様により配布されるプログラム152に従って作動させることで、当該処理装置に本開示の制御方法を実行させることが可能になる。
3.実施形態及び各変形例の少なくとも1つから把握される態様
本開示は、上述した実施形態及び変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の態様で実現することができる。例えば、本開示は、以下の態様によっても実現可能である。以下に記載した各態様中の技術的特徴に対応する上記実施形態中の技術的特徴は、本開示の課題の一部又は全部を解決するために、或いは本開示の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。
本開示の表示システムの一態様である表示システム1は、表示装置10、マイクロフォン210、及び音声処理装置30を含む。表示装置10は、複数種の言語のうちの何れか一の言語である表示言語を用いて情報が記載されたユーザーインタフェイス画面を表示するとともに、与えられたコマンドに応じた処理を実行する。マイクロフォン210は、前記コマンドに対応する音声を収音し、収音した音声を表す音声データを生成する。音声処理装置30は、前記音声データの表す音声の言語の種類を示す言語識別子と前記コマンドを表すコマンドデータとを前記音声データを解析することにより生成し、生成した前記言語識別子及び前記コマンドデータを出力する。表示装置10は、処理装置110と、音声処理装置30と通信するための通信装置120と、を含む。処理装置110は、以下の受信処理SA120と第1変更処理SA130とを実行する。受信処理SA120では、処理装置110は、音声処理装置30から出力される前記言語識別子及び前記コマンドデータを、通信装置120を用いて受信する。第1変更処理SA130では、処理装置110は、受信した前記言語識別子の示す種類と前記表示言語の種類とを比較し、前記言語識別子の示す種類と前記表示言語の種類とが異なる場合に前記表示言語を、前記言語識別子の示す種類の言語に変更する。本態様の表示システムによれば、表示言語を逐一変更するといった煩雑な入力操作を行うことなく、表示装置10の音声操作に使用される言語に合わせて表示言語を変更することが可能になる。
より好ましい態様の表示システムにおいて、表示装置10の処理装置110は、以下の第2変更処理を実行してもよい。第2変更処理では、処理装置110は、音声処理装置30から出力される第1の言語識別子を受信した後、音声処理装置30から出力される第2の言語識別子を受信した場合には第2の言語識別子の示す種類と前記表示言語の種類とを比較する。第2変更処理では、処理装置110は、第2の言語識別子の示す種類と表示言語の種類とが異なる場合に表示言語を第2の言語識別子の示す種類の言語に変更する。本態様の表示システムによれば、第1の言語識別子に応じて変更された表示言語を、第2の言語識別子に応じて更に変更することが可能になる。
更に好ましい態様の表示システムにおいて、音声処理装置30は、第1の言語識別子と第2の言語識別子とが異なる場合に、第2の言語識別子を出力してもよい。第1の言語識別子と第2の言語識別子とが同じであれば、第1の言語識別子に応じて変更された表示言語を第2の言語識別子に応じて変更する処理は無駄な処理である。本態様によれば、音声処理装置30と表示装置10との間の無駄なデータ通信を削減することができる。
更に好ましい態様の表示システムにおいて、表示装置10は、ユーザーの入力操作を受け付ける入力装置140を含んでもよい。本態様において、表示装置10の処理装置110は、入力装置140に対する入力操作に応じて表示言語を変更する第3変更処理を更に実行してもよい。本態様によれば、音声処理装置30から受信した言語識別子に応じて変更された表示言語を、入力装置140に対する入力操作により更に変更することが可能になる。
また、本開示の表示装置の一態様である表示装置10は、複数種の言語のうちの何れか一の言語である表示言語を用いて情報が記載されたユーザーインタフェイス画面を表示するとともに、与えられたコマンドに応じた処理を実行する。この表示装置10は、以下の通信装置120と処理装置110とを有する。通信装置120は、コマンドに対応する音声を収音するマイクロフォン210から与えられる音声データを解析することにより前記音声の言語の種類を示す言語識別子と前記コマンドを表すコマンドデータとを生成し、生成した前記言語識別子及び前記コマンドデータを出力する音声処理装置30、と通信するための装置である。処理装置110は、前述の受信処理SA120及び第1変更処理SA130を実行する。本態様の表示装置10によれば、表示言語を逐一変更するといった煩雑な入力操作を行うことなく、表示装置10の音声操作に使用される言語に合わせて表示言語を変更することが可能になる。
また、本開示の表示装置の制御方法の一態様は、複数種の言語のうちの何れか一の言語である表示言語を用いて情報が記載されたユーザーインタフェイス画面を表示するとともに、与えられたコマンドに応じた処理を実行する表示装置10の制御方法において、以下の生成処理、受信処理SA120及び第1変更処理SA130を含む。受信処理SA120では、表示装置10は、音声処理装置30から出力される前記言語識別子及び前記コマンドデータを受信する。第1変更処理SA130では、表示装置10は、受信処理SA120にて受信した前記言語識別子の示す種類と前記表示言語の種類とを比較し、前記言語識別子の示す種類と前記表示言語の種類とが異なる場合に前記表示言語を、前記言語識別子の示す種類の言語に変更する。本態様の制御方法によれば、表示言語を逐一変更するといった煩雑な入力操作を行うことなく、表示装置10の音声操作に使用される言語に合わせて表示言語を変更することが可能になる。
1…表示システム、10…表示装置、20…音声入出力装置,210…マイクロフォン、220…スピーカー、30…音声処理装置、40…通信網、110…処理装置、110a…受信部、110b…変更部、120…通信装置、130…投射装置、140…入力装置、150…記憶装置、152…プログラム。

Claims (6)

  1. 複数種の言語のうちの何れか一の言語である表示言語を用いて情報が記載されたユーザーインタフェイス画面を表示するとともに、与えられたコマンドに応じた処理を実行する表示装置と、
    前記コマンドに対応する音声を収音し、収音した音声を表す音声データを生成するマイクロフォンと、
    前記音声データの表す音声の言語の種類を示す言語識別子と前記コマンドを表すコマンドデータとを前記音声データを解析することにより生成し、生成した前記言語識別子及び前記コマンドデータを出力する音声処理装置と、を含み、
    前記表示装置は、
    処理装置と、
    前記音声処理装置と通信するための通信装置と、を含み、
    前記処理装置は、
    前記音声処理装置から出力される前記言語識別子及び前記コマンドデータを、前記通信装置を用いて受信すること、及び、
    受信した前記言語識別子の示す種類と前記表示言語の種類とを比較し、前記言語識別子の示す種類と前記表示言語の種類とが異なる場合に前記表示言語を、前記言語識別子の示す種類の言語に変更すること、を実行する、
    表示システム。
  2. 前記処理装置は、
    第1の前記言語識別子を前記音声処理装置から受信した後、第2の前記言語識別子を前記音声処理装置から受信した場合には、第2の前記言語識別子の示す種類と前記表示言語の種類とを比較し、第2の前記言語識別子の示す種類と前記表示言語の種類とが異なる場合に、前記表示言語を第2の前記言語識別子の示す種類の言語に変更すること、を更に実行する、
    請求項1に記載の表示システム。
  3. 前記音声処理装置は、第1の前記言語識別子と第2の前記言語識別子とが異なる場合に、第2の前記言語識別子を出力する、
    請求項2に記載の表示システム。
  4. 前記表示装置は、入力操作を受け付ける入力装置を含み、
    前記処理装置は、
    前記入力装置に対する入力操作により前記表示言語の変更を指示するコマンドが入力されたことを契機として前記表示言語を変更すること、を更に実行する、
    請求項1乃至3のうちの何れか1項に記載の表示システム。
  5. 複数種の言語のうちの何れか一の言語である表示言語を用いて情報が記載されたユーザーインタフェイス画面を表示するとともに、与えられたコマンドに応じた処理を実行する表示装置において、
    前記コマンドに対応する音声を収音し、収音した音声を表す音声データを生成するマイクロフォンにより生成される前記音声データを解析することにより前記音声データの表す音声の言語の種類を示す言語識別子と前記コマンドを表すコマンドデータとを生成し、生成した前記言語識別子及び前記コマンドデータを出力する音声処理装置、と通信するための通信装置と、
    処理装置と、を含み、
    前記処理装置は、
    前記音声処理装置から出力される前記言語識別子及び前記コマンドデータを、前記通信装置を用いて受信すること、及び、
    前記言語識別子の示す種類と前記表示言語の種類とを比較し、前記言語識別子の示す種類と前記表示言語の種類とが異なる場合に前記表示言語を、前記言語識別子の示す種類の言語に変更すること、を実行する、
    表示装置。
  6. 複数種の言語のうちの何れか一の言語である表示言語を用いて情報が記載されたユーザーインタフェイス画面を表示するとともに、与えられたコマンドに応じた処理を実行する表示装置の制御方法において、
    マイクロフォンを用いて前記コマンドに対応する音声を収音することにより、前記音声を表す音声データを生成すること、
    前記音声の言語の種類を示す言語識別子と前記コマンドを表すコマンドデータとを前記音声データを解析することにより生成する音声処理装置と通信することにより、前記言語識別子及び前記コマンドデータを前記音声処理装置から受信すること、及び、
    受信した前記言語識別子の示す種類と前記表示言語の種類とを比較し、受信した前記言語識別子の示す種類と前記表示言語の種類とが異なる場合に、前記表示言語を、受信した前記言語識別子の示す種類の言語に変更すること、を含む、
    制御方法。
JP2021089063A 2021-05-27 2021-05-27 表示システム、表示装置、及び表示装置の制御方法 Pending JP2022181868A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021089063A JP2022181868A (ja) 2021-05-27 2021-05-27 表示システム、表示装置、及び表示装置の制御方法
US17/826,244 US20220382513A1 (en) 2021-05-27 2022-05-27 Display system, display device, and control method for display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021089063A JP2022181868A (ja) 2021-05-27 2021-05-27 表示システム、表示装置、及び表示装置の制御方法

Publications (1)

Publication Number Publication Date
JP2022181868A true JP2022181868A (ja) 2022-12-08

Family

ID=84195143

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021089063A Pending JP2022181868A (ja) 2021-05-27 2021-05-27 表示システム、表示装置、及び表示装置の制御方法

Country Status (2)

Country Link
US (1) US20220382513A1 (ja)
JP (1) JP2022181868A (ja)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170116184A1 (en) * 2015-10-22 2017-04-27 International Business Machines Corporation Dynamic user interface locale switching system
KR102640423B1 (ko) * 2017-01-31 2024-02-26 삼성전자주식회사 음성 입력 처리 방법, 이를 지원하는 전자 장치, 및 시스템
US20190279613A1 (en) * 2018-03-06 2019-09-12 Ford Global Technologies, Llc Dialect and language recognition for speech detection in vehicles
JP7406874B2 (ja) * 2018-09-13 2023-12-28 キヤノン株式会社 電子機器、その制御方法、およびそのプログラム
US10867604B2 (en) * 2019-02-08 2020-12-15 Sonos, Inc. Devices, systems, and methods for distributed voice processing
KR20190104263A (ko) * 2019-07-11 2019-09-09 엘지전자 주식회사 인공지능 기반의 음성 인식 서비스 제공 장치 및 방법

Also Published As

Publication number Publication date
US20220382513A1 (en) 2022-12-01

Similar Documents

Publication Publication Date Title
CN107369462B (zh) 电子书语音播放方法、装置及终端设备
EP3979658A1 (en) Processing method, processing device, electronic device, and storage medium
CN109859759B (zh) 显示屏颜色的校正方法、装置和显示设备
JP2008096541A (ja) 音声処理装置およびその制御方法
JP6893150B2 (ja) オーディオ装置およびコンピュータで読み取り可能なプログラム
US11140284B2 (en) Image forming system equipped with interactive agent function, method of controlling same, and storage medium
JPWO2018100743A1 (ja) 制御装置および機器制御システム
KR102527107B1 (ko) 음성에 기반하여 기능을 실행하기 위한 방법 및 이를 지원하는 사용자 전자 장치
KR102218640B1 (ko) 디스플레이 장치 및 디스플레이 장치의 제어 방법
KR100601684B1 (ko) 외부 저장장치, 화상획득장치, 및 드라이버를 구동하는방법 및 시스템
JP2022181868A (ja) 表示システム、表示装置、及び表示装置の制御方法
US11082570B2 (en) Information processor, control method, and computer-readable recording medium having stored program that control display visibility
JP2005241971A (ja) プロジェクタシステム、マイク装置、プロジェクタ制御装置およびプロジェクタ
KR20210061091A (ko) 인텔리전트 어시스턴스 서비스를 제공하기 위한 전자 장치 및 그의 동작 방법
US11862160B2 (en) Control method for display system, and display system
CN111754974B (zh) 信息处理方法、装置、设备和计算机存储介质
US11890882B2 (en) Printing device
CN111160318B (zh) 电子设备控制方法及装置
JP2001216131A (ja) 情報処理装置および方法、並びにプログラム格納媒体
JP2020038348A (ja) 音声対話装置及びその制御方法、並びにプログラム
JP2014016402A (ja) 音声入力装置
CN111768756B (zh) 信息处理方法、装置、车辆和计算机存储介质
JP2007256502A (ja) 演奏データ遠隔通信システムおよびその制御方法を実現するためのプログラム
EP4202916A1 (en) Information processing device, terminal, information processing method, and program
US20230061130A1 (en) Method for speech based instruction scheduling, and electronic device

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20210916

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20211108