JP2022036352A - 表示制御装置、及び表示制御方法 - Google Patents

表示制御装置、及び表示制御方法 Download PDF

Info

Publication number
JP2022036352A
JP2022036352A JP2018244221A JP2018244221A JP2022036352A JP 2022036352 A JP2022036352 A JP 2022036352A JP 2018244221 A JP2018244221 A JP 2018244221A JP 2018244221 A JP2018244221 A JP 2018244221A JP 2022036352 A JP2022036352 A JP 2022036352A
Authority
JP
Japan
Prior art keywords
item
voice
control device
layer
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018244221A
Other languages
English (en)
Inventor
卓雄 渡邉
Takuo Watanabe
伸広 小津
Nobuhiro Ozu
剛 山田
Takeshi Yamada
俊一 杉浦
Shunichi Sugiura
直毅 斎藤
Naoki Saito
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Priority to JP2018244221A priority Critical patent/JP2022036352A/ja
Priority to PCT/JP2019/048897 priority patent/WO2020137607A1/ja
Priority to US17/416,249 priority patent/US11941322B2/en
Publication of JP2022036352A publication Critical patent/JP2022036352A/ja
Priority to US18/443,483 priority patent/US20240184519A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/485End-user interface for client configuration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485Scrolling or panning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/34Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators for rolling or scrolling
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/28Constructional details of speech recognition systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/28Constructional details of speech recognition systems
    • G10L15/30Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233Processing of audio elementary streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/482End-user interface for program selection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/485End-user interface for client configuration
    • H04N21/4852End-user interface for client configuration for modifying audio parameters, e.g. switching between mono and stereo
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/485End-user interface for client configuration
    • H04N21/4854End-user interface for client configuration for modifying image parameters, e.g. image brightness, contrast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Computer Hardware Design (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】よりユーザビリティの高い音声操作を行うことができるようにする。【解決手段】ユーザからの音声発話を受信する音声受信部と、ネットワークを介して、サーバから、音声発話に対する情報を受信する通信部と、受信した情報に基づいて、音声発話に対応するアイテムを選択するとともに、選択したアイテムに応じた動作を制御する制御部とを備え、アイテムは、表示画面内の第1のアイテム、及びスクロールすることで表示可能な第2のアイテムを含み、制御部は、受信した情報に基づいて、第1のアイテム又は第2のアイテムを選択する表示制御装置が提供される。本技術は、例えば、テレビ受像機に適用することができる。【選択図】図2

Description

本技術は、表示制御装置、及び表示制御方法に関し、特に、よりユーザビリティの高い音声操作を行うことができるようにした表示制御装置、及び表示制御方法に関する。
近年、テレビ受像機等の表示制御装置として、ユーザの音声発話に応じた音声操作に対応可能なものが普及している(例えば、特許文献1参照)。
特開2014-153663号公報
ところで、テレビ受像機等の表示制御装置では、音声操作に対応するに際して、ユーザビリティの高い音声操作が行われるようにすることが求められる。
本技術はこのような状況に鑑みてなされたものであり、よりユーザビリティの高い音声操作を行うことができるようにするものである。
本技術の一側面の表示制御装置は、ユーザからの音声発話を受信する音声受信部と、ネットワークを介して、第1のサーバから、前記音声発話に対する情報を受信する通信部と、受信した前記情報に基づいて、前記音声発話に対応するアイテムを選択するとともに、選択した前記アイテムに応じた動作を制御する制御部とを備え、前記アイテムは、表示画面内の第1のアイテム、及びスクロールすることで表示可能な第2のアイテムを含み、前記制御部は、受信した前記情報に基づいて、前記第1のアイテム又は前記第2のアイテムを選択する表示制御装置である。
本技術の一側面の表示制御方法は、上述した本技術の一側面の表示制御装置に対応する表示制御方法である。
本技術の一側面の表示制御装置、及び表示制御方法においては、ユーザからの音声発話が受信され、ネットワークを介して、サーバから、前記音声発話に対する情報が受信され、受信された前記情報に基づいて、前記音声発話に対応するアイテムとして、表示画面内の第1のアイテム、又はスクロールすることで表示可能な第2のアイテムが選択されるとともに、選択された前記第1のアイテム又は前記第2のアイテムに応じた動作が制御される。
本技術の一側面の表示制御装置は、ユーザからの音声発話を受信する音声受信部と、ネットワークを介して、サーバから、前記音声発話に対する情報を受信する通信部と、受信した前記情報に基づいて、前記音声発話に対応するアイテムを選択するとともに、選択した前記アイテムに応じた動作を制御する制御部とを備え、前記アイテムは、表示画面内の第1のアイテム、及び前記アイテムの大きさを縮小することで表示可能な第2のアイテムを含み、前記制御部は、受信した前記情報に基づいて、前記第1のアイテム又は前記第2のアイテムを選択する表示制御装置である。
本技術の一側面の表示制御装置においては、ユーザからの音声発話が受信され、ネットワークを介して、サーバから、前記音声発話に対する情報が受信され、受信された前記情報に基づいて、前記音声発話に対応するアイテムとして、表示画面内の第1のアイテム、又は前記アイテムの大きさを縮小することで表示可能な第2のアイテムが選択されるとともに、選択された前記第1のアイテム又は前記第2のアイテムに応じた動作が制御される。
本技術の一側面の表示制御装置は、ユーザからの音声発話を受信する音声受信部と、ネットワークを介して、サーバから、前記音声発話に対する情報を受信する通信部と、受信した前記情報に基づいて、前記音声発話に対応するアイテムを選択するとともに、選択した前記アイテムに応じた動作を制御する制御部とを備え、前記アイテムは、表示画面内の第1のアイテム、及び前記アイテムを表示する領域を拡大することで表示可能な第2のアイテムを含み、前記制御部は、受信した前記情報に基づいて、前記第1のアイテム又は前記第2のアイテムを選択する表示制御装置である。
本技術の一側面の表示制御装置においては、ユーザからの音声発話が受信され、ネットワークを介して、サーバから、前記音声発話に対する情報が受信され、受信された前記情報に基づいて、前記音声発話に対応するアイテムとして、表示画面内の第1のアイテム、又は前記アイテムを表示する領域を拡大することで表示可能な第2のアイテムが選択されるとともに、選択された前記第1のアイテム又は前記第2のアイテムに応じた動作が制御される。
本技術の一側面の表示制御装置は、独立した装置であってもよいし、1つの装置を構成している内部ブロックであってもよい。
本技術を適用した表示制御装置を含む放送通信システムの構成の例を示す図である。 図1の表示制御装置の構成の例を示すブロック図である。 音声操作の処理の流れを示すブロック図である。 テレビ視聴画面の表示の例を示す図である。 現状の音声操作の例を示す図である。 クイック設定メニュー重畳画面の表示の例を示す図である。 入力切換メニュー重畳画面の表示の例を示す図である。 テレビメニュー重畳画面の表示の例を示す図である。 スマートボイスモードによるメニュー画面の共通化の例を示す図である。 スマートボイスモード遷移時における各メニュー画面の起動の例を示す図である。 リモコン操作モードとスマートボイスモードの遷移の例を示す図である。 各メニュー画面に表示される読み上げ用の音声操作ガイドの表示の例を示す図である。 各メニュー画面に表示される読み上げ用の音声操作ガイドの表示位置の他の例を示す図である。 クイック設定メニューにおけるアイテム表示領域の例を示す図である。 図14の各領域の説明を示す図である。 アイテム表示領域に含まれるアイテムの読み上げ時の課題と解決方法を示す図である。 音声発話の誤変換の吸収の例を示す図である。 表示画面外にアイテムが存在する場合の対応の例を示す図である。 表示画面内又は表示画面外にアイテムが存在する場合の対応の第1の例を示す図である。 表示画面内又は表示画面外にアイテムが存在する場合の対応の第2の例を示す図である。 アイテム選択処理の流れを説明するフローチャートである。 同一アイテム選択処理の流れを説明するフローチャートである。 アイテムの大きさを縮小する場合の例を示す図である。 アイテムの表示領域を拡大する場合の例を示す図である。 クイック設定メニュー重畳画面の表示の例を示す図である。 クイック設定メニューにおける階層メニューの表示の例を示す図である。 クイック設定メニュー操作対応処理の流れを説明するフローチャートである。 表示制御装置の動作に関する全体の俯瞰イメージの例を示す図である。 コンピュータの構成例を示す図である。
以下、図面を参照しながら本技術の実施の形態について説明する。なお、説明は以下の順序で行うものとする。
1.本技術の実施の形態
2.変形例
3.コンピュータの構成
<1.本技術の実施の形態>
(システムの構成)
図1は、本技術を適用した表示制御装置を含む放送通信システムの構成の例を示す図である。
図1の放送通信システムは、表示制御装置10-1乃至10-N(Nは1以上の整数)、放送配信システム20、エージェントサーバ30、テキスト変換サーバ40、及び誤変換修正・形態素解析サーバ50を含んで構成される。
また、放送通信システムにおいて、表示制御装置10-1乃至10-Nのそれぞれは、インターネットを含むネットワーク60を介して、エージェントサーバ30、テキスト変換サーバ40、及び誤変換修正・形態素解析サーバ50と接続される。
表示制御装置10-1は、例えば、液晶表示装置やOLED(Organic Light Emitting Diode)表示装置等として構成されるテレビ受像機である。表示制御装置10-1は、放送配信システム20から送信されてくる放送信号を受信して処理することで、テレビ番組等の放送コンテンツの映像を表示するとともに、その映像に同期した音声を出力する。
また、表示制御装置10-1は、ユーザによるリモートコントローラの操作(以下、リモコン操作ともいう)の他に、ユーザにより発せられた音声(音声発話)に応じた操作(以下、音声操作ともいう)にも対応している。表示制御装置10-1は、リモコン操作又は音声操作に応じた各種の動作を行う。なお、表示制御装置10-1は、ユーザによる音声操作を実施するために、ネットワーク60を介して、エージェントサーバ30、テキスト変換サーバ40、及び誤変換修正・形態素解析サーバ50と連携して各種の処理を実行する。
表示制御装置10-2乃至10-Nは、表示制御装置10-1と同様に構成され、ユーザに対して放送コンテンツを視聴可能にするとともに、リモコン操作と音声操作の両方に対応している。なお、以下の説明では、表示制御装置10-1乃至10-Nを特に区別する必要がない場合には、単に、表示制御装置10と称して説明する。また、表示制御装置10の詳細な構成は、図2を参照して後述する。
なお、表示制御装置10は、音声操作を実施するために、音声AI(Artificial Intelligence)アシスタントサービスを利用することができる。また、表示制御装置10は、ネットワーク60を介してエージェント対応機器70と連携することができる。例えば、表示制御装置10とエージェント対応機器70は、ユーザ宅等の同一の建物内に設置され、無線LAN(Local Area Network)等のホームネットワークを介して各種のデータをやり取りすることができる。
エージェント対応機器70は、例えば、スマートスピーカやスマートフォン等の機器であり、ネットワーク60を介して音声AIアシスタントサービスを利用することができる。なお、音声AIアシスタントサービスとは、ユーザの発話の意図を理解し、その内容に応じた適切な出力を提供するサービスである。また、スマートスピーカとは、対話型の音声操作に対応したAIアシスタント機能を有するスピーカである。
放送配信システム20は、1又は複数の放送サーバ等から構成される。放送配信システム20は、配信対象のテレビ番組等の放送コンテンツに対して必要な処理を施し、その結果得られる放送信号(放送波)を、送信所に設置された送信アンテナから送出する。
エージェントサーバ30は、ユーザからの音声発話に対して発話の内容と意図を理解して適切な情報やコマンドを収集又は取得するサーバであって、1又は複数のサーバから構成される。エージェントサーバ30は、例えばテキスト変換機能やコマンド変換機能等の機能を有する。
テキスト変換サーバ40は、ユーザからの音声発話に応じた音声信号をテキストデータに変換するサーバであって、1又は複数のサーバから構成される。テキスト変換サーバ40は、例えばテキスト変換機能等の機能を有する。
誤変換修正・形態素解析サーバ50は、ユーザからの音声発話に応じた音声信号をテキストデータに変換する際に、誤った変換を防いで正しい情報を提供するサーバであって、1又は複数のサーバから構成される。誤変換修正・形態素解析サーバ50は、例えば誤変換修正機能や形態素解析機能等の機能を有する。
なお、エージェントサーバ30、テキスト変換サーバ40、及び誤変換修正・形態素解析サーバ50は、ネットワーク60を介して表示制御装置10-1乃至10-Nのそれぞれと連携して各種の処理を実行するが、その詳細な構成は、図3を参照して後述する。
(表示制御装置の構成)
図2は、図1の表示制御装置10の構成の例を示すブロック図である。
図2において、表示制御装置10は、制御部101、信号入力部102、信号処理部103、表示部104、スピーカ105、通信部106、操作受付部107、及びマイクロフォン108から構成される。
制御部101は、例えば、CPU(Central Processing Unit)やマイクロコンピュータ等から構成される。制御部101は、各部の動作の制御や各種の演算処理を行う中心的なの制御装置(処理装置)であり、表示制御装置10の各部の動作を制御する。
信号入力部102は、例えばチューナ等から構成される。信号入力部102は、チューナとして構成される場合、アンテナを介して受信した放送信号に対して復調処理等の処理を行い、その結果得られる信号を、信号処理部103に供給する。
ここでの放送信号は、例えば放送配信システム20から送信されてくる信号(地上波放送に準拠した信号)とされ、放送コンテンツの信号が伝送される。ここでは、地上波放送に限らず、例えば、衛星放送やケーブルテレビ放送等の所定の放送方式に準拠した放送信号が入力されてもよい。
なお、信号入力部102としては、例えば、HDMI(登録商標)(High Definition Multimedia Interface)や、USB(Universal Serial Bus)等の所定の規格に準拠したインターフェースとして構成されるようにして、録画機やネットワークストレージにより録画された録画コンテンツや、半導体メモリや光ディスク等の記録媒体に記録された記録コンテンツの信号が、信号処理部103に入力されるようにしてもよい。なお、録画コンテンツは、テレビ受像機により録画され、ストレージに記録されていたものでもよい。
信号処理部103は、例えばシステムオンチップ等から構成される。信号処理部103は、信号入力部102から供給される信号に対してデコード等の処理を行い、その結果得られる映像信号を表示部104に供給するとともに、音声信号をスピーカ105に供給する。
表示部104は、例えば液晶表示部やOLED表示部等から構成される。表示部104は、制御部101からの制御に従い、信号処理部103から供給される映像信号を処理して、放送コンテンツ(例えばテレビ番組等)の映像や、各種の画面(例えばメニュー画面等)の映像を表示する。
例えば、表示制御装置10が液晶表示装置である場合、液晶表示部としての表示部104は、液晶素子及びTFT(Thin Film Transistor)素子を含む画素を2次元状に配置した表示パネルであり、制御部101からの駆動に従い、バックライト(不図示)から射出された光を変調することにより表示を行う。また、例えば、表示制御装置10がOLED表示装置である場合、OLED表示部としての表示部104は、自発光素子を含む画素を2次元状に配置した表示パネルであり、制御部101からの駆動に従って表示を行う。
スピーカ105は、制御部101からの制御に従い、信号処理部103から供給される音声信号を処理して、放送コンテンツ(例えばテレビ番組等)の音声を出力する。
通信部106は、例えば、無線LAN等の無線通信、又はセルラ方式の通信(例えばLTE-Advancedや5G(5th Generation)等)に対応した通信モジュール等から構成される。通信部106は、制御部101からの制御に従い、ネットワーク60を介して各種のサーバと、各種のデータをやり取りする。
なお、通信部106は、制御部101からの制御に従い、コンテンツ配信用のサーバから配信される通信コンテンツ(ネットコンテンツ)のストリーミングデータを受信し、信号処理部103に入力してもよい。これにより、表示部104には、動画等の通信コンテンツの映像が表示され、スピーカ105からは、その映像に同期した音声が出力される。
操作受付部107は、例えば近距離無線通信モジュールや赤外線受光モジュール等から構成される。操作受付部107は、リモートコントローラ11から送信される無線信号や赤外線信号等の信号を受信(受光)し、操作信号として制御部101に供給する。制御部101は、操作受付部107から供給される操作信号に応じたコマンドに基づいて、各部の動作を制御する。
なお、ここでの近距離無線通信としては、例えば、Bluetooth(登録商標)規格に準拠した通信を行うことができる。また、図示はしていないが、リモートコントローラ11には、例えば、電源ボタンや入力切換ボタン、十字ボタン、音量調整ボタン、チャンネル選局ボタン、マイク有効化ボタンなどのボタンが設けられる。また、リモートコントローラ11の本体にマイクロフォンが内蔵されてもよい。
マイクロフォン108は、外部からの音(音声)を電気信号に変換し、その結果得られる音声信号を制御部101に供給する。換言すれば、マイクロフォン108は、ユーザにより音声発話(発話)がなされた場合に、その音声発話を受信する音声受信部であるとも言える。
すなわち、マイクロフォン108は、ユーザにより音声発話(発話)がなされた場合、その音声発話を収音して音声信号を制御部101に供給する。制御部101は、マイクロフォン108から供給される音声信号に基づいて、音声発話に応じた音声操作が行われるように、各部の動作を制御する。
(音声操作の処理の例)
図3は、表示制御装置10により実行される、音声発話に応じた音声操作の処理の流れを示すブロック図である。
テレビ受像機等の表示制御装置10において、音声操作を実施するための方法の1つとして、外部の音声AIアシスタントサービスを利用する方法があるのは先に述べたとおりである。
なお、音声AIアシスタントサービスでは、当該サービスを有効化するために、あらかじめ定められたキーワードであるウェイクワード(アクティベーションキーワード)を用いるのが一般的であり、本開示においては、ウェイクワードとして、「Service XXX」であるキーワードが用いられる場合を例示する。また、音声AIアシスタントサービスは、リモートコントローラ11のマイク有効化ボタンの押下により有効化される場合がある。
図3において、エージェントサーバ30、及びテキスト変換サーバ40は、例えば、外部の音声AIアシスタントサービスのプラットフォームとして提供される。また、誤変換修正・形態素解析サーバ50は、例えば、表示制御装置10の設計や製造等を行うメーカ等により提供される。
表示制御装置10では、ユーザにより音声発話がなされた場合、その音声発話がマイクロフォン108により収音され、音声信号が音声入力部121に入力される。そして、通信部106によって、入力された音声信号が、ネットワーク60を介してエージェントサーバ30に送信される。
エージェントサーバ30では、表示制御装置10から送信されてくる音声信号が受信され、テキスト変換部301に入力される。テキスト変換部301は、例えば音声テキスト変換用のデータベース等を適宜参照して、受信された音声信号をテキストデータに変換し、コマンド変換部302に供給する。
コマンド変換部302は、例えばコマンド変換用のデータベース等を適宜参照して、テキスト変換部301から供給されるテキストデータを、コマンドに変換する。そして、エージェントサーバ30では、変換されたコマンドが、ネットワーク60を介して表示制御装置10に送信される。
表示制御装置10では、エージェントサーバ30から送信されてくるコマンドが受信され、コマンド処理部122に入力される。コマンド処理部122は、受信されたコマンドを処理し、ユーザの音声発話に応じた動作が実行されるようにする。
このようにして、表示制御装置10では、動作モードとしてエージェントモードで動作することで、外部の音声AIアシスタントサービスのプラットフォームを利用して、ユーザの音声発話に応じた音声操作を実施することができる。
ここで、表示制御装置10は、ユーザにより特定の音声発話がなされた場合、動作モードがスマートボイスモードに遷移する。すなわち、表示制御装置10では、スマートボイスモードで動作する場合に、ユーザにより音声発話がなされたとき、その音声発話に応じた音声信号が音声入力部121に入力され、入力された音声信号が、ネットワーク60を介してテキスト変換サーバ40に送信される。
なお、動作モードをスマートボイスモードに遷移させる方法としては、上述した特定の音声発話がなされた場合の他に、例えば、次のようなケースが想定される。すなわち、外部のエージェント対応機器70が、ユーザによる特定の音声発話を認識した場合に、その認識結果が、表示制御装置10により受信された場合や、表示制御装置10が動作モードとしてリモコン操作モードで動作中に、表示画面内のスマートボイス遷移ボタンがリモコン操作された場合などである。
また、表示制御装置10の動作モードとしては、例えば、エージェントモード、スマートボイスモード、及びリモコン操作モードを含む。エージェントモードは、外部の音声AIアシスタントサービスを利用して音声操作を実施するモードである。スマートボイスモードは、外部の音声AIアシスタントサービスに依存せずに音声操作を実施するモードである。リモコン操作モードは、リモートコントローラ11によるリモコン操作を実施するモードである。
テキスト変換サーバ40では、表示制御装置10から送信されてくる音声信号が受信され、テキスト変換部401に入力される。テキスト変換部401では、受信された音声信号がテキストデータに変換され、変換されたテキストデータが、ネットワーク60を介して表示制御装置10に送信される。
表示制御装置10では、テキスト変換サーバ40から送信されてくるテキストデータが受信され、コマンド変換部123に入力される。コマンド変換部123は、例えばコマンド変換用のデータベース等を適宜参照して、受信されたテキストデータをコマンドに変換し、コマンド処理部122に供給する。
なお、コマンド変換部123及びコマンド変換用のデータベース等の情報を、ネットワーク60上のサーバに設けることで、表示制御装置10では、当該サーバから、テキストデータに応じたコマンドを取得してもよい。換言すれば、表示制御装置10では、通信部106によって、ネットワーク60を介して、テキスト変換サーバ40等のサーバから、音声発話に対する情報(例えば、テキストデータやコマンド等)が受信されているとも言える。
このとき、コマンド変換部123は、誤変換対応部124に対して適宜問い合わせることで、テキストデータの誤変換を吸収する。誤変換対応部124は、誤変換吸収部131、及び形態素解析部132から構成される。
誤変換吸収部131は、あらかじめ用意された内部変換テーブルを参照して、コマンド変換部123からのテキストデータの誤変換を吸収する。この内部変換テーブルは、例えば、正しく変換できない文言を事前に抽出して正しい文言と対応付けたものとされる。形態素解析部132は、誤変換吸収部131による誤変換の吸収時に、必要に応じてテキストデータから形態素の列に分割してそれぞれの形態素の品詞等を判別する処理を行う。
なお、このような誤変換対応処理は、表示制御装置10側(ローカル側)の誤変換対応部124で実施するに限らず、誤変換修正・形態素解析サーバ50側(クラウド側)の誤変換対応部501で実施してもよい。すなわち、コマンド変換部123は、ネットワーク60を介して誤変換修正・形態素解析サーバ50に対して適宜問い合わせることで、テキストデータの誤変換を吸収することができる。
具体的には、誤変換対応部501は、誤変換修正部511、及び形態素解析部512から構成される。誤変換修正部511は、誤変換吸収部131と同様に構成され、あらかじめ用意された変換テーブルを参照して、テキストデータの誤変換を修正する。形態素解析部512は、形態素解析部132と同様に構成され、必要に応じてテキストデータに含まれる形態素の品詞等を判別する処理を行う。
コマンド処理部122は、コマンド変換部123から供給されるコマンドを処理し、ユーザの音声発話に応じた動作が実行されるようにする。
このようにして、表示制御装置10では、スマートボイスモードで動作することで、外部の音声AIアシスタントサービスのプラットフォームに依存せずに適切なコマンドに変換して、ユーザの音声発話に応じた音声操作を実施することができる。
なお、図3の表示制御装置10において、音声入力部121、コマンド処理部122、コマンド変換部123、及び誤変換対応部124は、例えば、制御部101による機能の一部として提供される。
表示制御装置10は、以上のように構成される。
(スマートボイスモードのメニュー画面の例)
ところで、近年、スマートスピーカ(AIスピーカ)等の機器に対する音声操作が普及しつつあり、テレビ受像機等の表示制御装置10においても、ユーザによるリモコン操作の他に、ユーザの音声発話に応じた音声操作に対応している。
しかしながら、表示制御装置10が音声操作に対応していても、ユーザからすれば、音声操作でどのような機能を操作できるか分からないし、音声操作で使用できる発話の単語や文法が分からないのが一般的である。また、音声操作に対応しているコマンドの数が増加すると、それらのコマンドの全てをユーザが覚えることができないのが一般的である。
ここで、図4に示すように、表示制御装置10において、表示部104に、テレビ視聴画面150が表示され、ユーザによりテレビ番組が視聴されている場面を想定する。このとき、現状の音声操作として、ユーザの音声操作によって、表示制御装置10の表示画面の明るさの調整を指示するときの様子を、図5に示している。図5においては、ユーザ1の音声操作に反応して、当該音声操作を認識中であることを表したテレビ視聴画面151が表示されている。
図5の例では、ユーザ1が、「Service XXX,明るさを20にして」である音声発話を行えば、表示画面の明るさを調整可能であるにしても、一般的なユーザからすれば、突発的にこのような発話を行うのは困難である。また、「Service XXX,明るさを20にして」である音声発話では、表示画面の明るさを調整できないことも想定される。
そこで、表示制御装置10では、動作モードとしてスマートボイスモードで動作することで、ユーザが、主要なメニュー画面における読み上げ対象としてのアイテムを音声発話したときに、当該音声発話に応じた音声操作が行われるようにする。
(クイック設定メニュー重畳画面の例)
例えば、図6は、メニュー画面の一例として、クイック設定メニュー重畳画面152を示している。ここで、クイック設定メニューとは、テレビ番組の視聴中に簡易的にテレビ受像機の設定を変更可能な設定メニューである。
このクイック設定メニュー重畳画面152では、テレビ番組映像161の下部にクイック設定メニュー171が表示(重畳表示)され、クイック設定メニュー171に表示された各種の設定項目172の中から、音声操作によって所望の設定項目を選択可能である。なお、クイック設定メニュー171の表示は、重畳表示の他にも、例えば、二画面表示や子画面表示、透過表示などの表示形態が想定される。
すなわち、クイック設定メニュー171には、設定項目172として、例えば、ピクチャオート("Picture Auto")、サウンドモード("Sound Mode")、輝度("Brightness")、ピクチャモード("Picture Mode")、ピクチャオフ("Picture off")などのアイテムが表示されているので、ユーザは、表示された設定項目172の中から、例えば、「サウンドモード」や「ピクチャモード」等のアイテムを読み上げることで、その音声発話に応じた音声操作がなされ、「サウンドモード」等の設定項目の設定が実施される。
このとき、設定項目172として表示される1又は複数の設定項目が音声操作可能なアイテム(読み上げ対象)となるため、ユーザは、読み上げ対象を容易に把握することができる。また、ユーザは、設定項目172として表示される1又は複数の設定項目の中から、所望の設定項目に含まれる文言(音声操作に関する情報)をそのまま読み上げているため、音声操作でどのような機能を操作できるかを直感的に理解し、音声操作で使用できる発話の文言(例えば単語や文法等)を直ちに理解することができる。
また、クイック設定メニュー171には、その下部の領域に、音声操作ガイド173として、マイクアイコンとともに、"Try saying the words in green for voice command"である文言が表示される。図6の例では、"words in green"である文言に相当する緑色の文字アイテムを、太字で表しており、各種の設定項目172に、アイコンとともに表示された"Picture Auto","Sound Mode","Brightness","Picture Mode","Picture off","Edit"等の文言が、文字アイテム(推奨読み上げ項目)であることを示している。
なお、緑色の文字アイテムとして説明したものは、他にも太字や下線を付けるなどして、音声操作に対応していない他のテキストと区別して表示されることが想定される。要は、音声操作に対応したテキストと、音声操作に未対応のテキストとが区別して表示されればよいのであって、それらのテキストの表示形態は任意である。
(入力切換メニュー重畳画面の例)
図7は、メニュー画面の一例として、入力切換メニュー重畳画面153を示している。ここで、入力切換メニューとは、テレビ番組の視聴中に簡易的にテレビ受像機の入力切替先を選択可能な設定メニューである。
この入力切換メニュー重畳画面153では、テレビ番組映像161の下部に入力切換メニュー181が表示(重畳表示)され、入力切換メニュー181に表示された各種の切換項目182の中から、音声操作によって所望の切換項目を選択可能である。なお、入力切換メニュー181の表示は、重畳表示の他に、例えば二画面表示や子画面表示、透過表示などであってもよい。
すなわち、入力切換メニュー181には、表示画面に映し出す映像を切り換えるための切換項目182として、チューナにより選局されたテレビ番組の映像を入力するテレビ("TV")、各種のコンテンツの映像をHDMI(登録商標)(High-Definition Multimedia Interface)等の所定のインターフェースに準拠して入力するHDMI("HDMI1","HDMI2")、ネットワーク60を介して配信される通信コンテンツを入力する項目などのアイテムが含まれる。
ユーザは、表示された切換項目182として表示される1又は複数の切換項目(アイテム)の中から、例えば、「TV」や「HDMI1」等のアイテムを読み上げることで、その音声発話に応じた音声操作がなされ、「TV」等の切換項目に入力が切り換えられる。
また、入力切換メニュー181には、その下部の領域に音声操作ガイド183が表示されている。図7の例では、音声操作ガイド183に表示された"words in green"である文言に相当する緑色の文字アイテムを、太字で表しており、各種の切換項目182に、アイコンとともに表示された"TV","HDMI1","HDMI2"等の文言が、文字アイテム(推奨読み上げ項目)であることを示している。なお、緑色の文字アイテム、すなわち、音声操作に対応したテキストは、音声操作に未対応のテキストと区別されていれば、他の表示形態で表示してもよい。
(テレビメニュー重畳画面の例)
図8は、メニュー画面の一例として、テレビメニュー重畳画面154を示している。ここで、テレビメニューとは、テレビ番組の視聴中に簡易的にテレビ受像機の選局先を設定可能な設定メニューである。
このテレビメニュー重畳画面154では、テレビ番組映像161の下部にテレビメニュー191が表示(重畳表示)され、テレビメニュー191に表示された番組表192の中から、音声操作によって所望の番組を選択可能である。なお、テレビメニュー191の表示は、重畳表示の他に、例えば二画面表示や子画面表示、透過表示などであってもよい。
すなわち、テレビメニュー191には、番組表192として、例えばテレビ番組映像161の視聴時における他のチャンネルの情報(例えば、裏番組の番組名や概要の情報)等のアイテムが含まれる。ユーザは、表示された番組表192の中から、例えば、所望の裏番組の番組名("Channel names")等のアイテムを読み上げることで、その音声発話に応じた音声操作がなされ、読み上げられた番組名のチャンネルに切り換えられる。
また、テレビメニュー191には、その下部の領域に音声操作ガイド193が表示されている。図8の例では、音声操作ガイド193に表示された"words in green"である文言に相当する緑色の文字アイテムを、太字で表しており、番組表192に、アイコンとともに表示された各番組の番組名("Channel names")等の文言が、文字アイテム(推奨読み上げ項目)であることを示している。なお、緑色の文字アイテム、すなわち、音声操作に対応したテキストは、音声操作に未対応のテキストと区別されていれば、他の表示形態で表示してもよい。
以上のように、表示制御装置10において、スマートボイスモード時には、クイック設定メニュー重畳画面152、入力切換メニュー重畳画面153、又はテレビメニュー重畳画面154等のメニュー画面が表示され得るが、各画面のメニューは仕様が共通化されている。
すなわち、各メニュー画面では、例えば、推奨読み上げ項目の表示方法、読み上げ用の操作ガイドの提示方法、スマートボイスモードへの遷移方法、各種の情報のフィードバック方法などが共通化されている。このように、各種メニューの仕様を共通化することで、ユーザはどのメニューにおいても、同様の操作を行うことができ、ユーザビリティの高い直感的な操作を行うことが可能となる。
具体的には、図9に示すように、クイック設定メニュー重畳画面152のクイック設定メニュー171、入力切換メニュー重畳画面153の入力切換メニュー181、及びテレビメニュー重畳画面154のテレビメニュー191においては、設定項目172、切換項目182、及び番組表192における推奨読み上げ項目の見せ方が共通化されている。
また、図9に示すように、クイック設定メニュー171、入力切換メニュー181、及びテレビメニュー191では、それぞれ下部の所定の領域に、音声操作ガイド173、音声操作ガイド183、及び音声操作ガイド193として、マイクアイコンとともに、"Try saying the words in green for voice command"である文言がそれぞれ表示され、読み上げ用の操作ガイドの提示方法が共通化されている。このように、各種メニューの仕様を共通化することで、ユーザはどのメニューにおいても、同様の操作を行うことができ、ユーザビリティの高い直感的な操作を行うことが可能となる。
ここで、図10は、スマートボイスモード遷移時における各メニュー画面の起動の例を示している。
例えば、表示制御装置10では、テレビ視聴画面150(図4)の表示時に、ユーザによって、「Service XXX」であるウェイクワードが発せられた場合(OP11)、動作モードがエージェントモードに遷移し、音声操作を受け付ける。なお、ここでは、リモートコントローラ11に設けられたマイク有効化ボタンが押された場合(OP11)に、音声操作を受け付けてもよい。
一方で、例えば、表示制御装置10では、テレビ視聴画面150(図4)の表示時に、「Service XXX,クイック設定」である音声発話がなされた場合(OP12)、動作モードがスマートボイスモードに遷移し、クイック設定メニュー重畳画面152が表示される。クイック設定メニュー重畳画面152では、クイック設定メニュー171に含まれる設定項目172の文言などが、音声操作時の読み上げ対象のアイテム(推奨読み上げ項目)とされる。
また、例えば、表示制御装置10では、テレビ視聴画面150(図4)の表示時に、「Service XXX,入力切換」である音声発話がなされた場合(OP13)、動作モードがスマートボイスモードに遷移し、入力切換メニュー重畳画面153が表示される。入力切換メニュー重畳画面153では、入力切換メニュー181に含まれる切換項目182の文言などが、音声操作時の読み上げ対象のアイテム(推奨読み上げ項目)とされる。
さらに、例えば、表示制御装置10では、テレビ視聴画面150(図4)の表示時に、「Service XXX,テレビメニュー」である音声発話がなされた場合(OP14)、動作モードがスマートボイスモードに遷移し、テレビメニュー重畳画面154が表示される。テレビメニュー重畳画面154では、テレビメニュー191に表示された番組表192の番組名等の文言が、音声操作時の読み上げ対象のアイテム(推奨読み上げ項目)とされる。
このように、テレビ視聴画面150から各メニュー画面を起動する際の起動方法、すなわち、リモコン操作モード(又はエージェントモード)からスマートボイスモードへの遷移方法が共通化されている。そして、各種メニューの仕様を共通化することで、ユーザはどのメニューにおいても、同様の操作を行うことができ、ユーザビリティの高い直感的な操作を行うことが可能となる。
なお、図10において、テレビ視聴画面151では、エージェントモードでの音声操作が可能であるが、「Service XXX」であるウェイクワードが発話された後や、マイク有効化ボタンが操作された後は、その動作(振る舞い)を、音声AIアシスタントサービスのプラットフォームを提供するサービス提供者が管理するため、テレビ受像機等の表示制御装置10の設計や製造等を行うメーカ側からすれば、いつ仕様が変わるかわからない領域とされる。
一方で、図10において、クイック設定メニュー重畳画面152、入力切換メニュー重畳画面153、及びテレビメニュー重畳画面154では、スマートボイスモードでの音声操作が可能であり、「Service XXX」であるウェイクワードを受け付けずに、メーカ側で、その動作などを管理することができる。
(スマートボイスモードへの遷移の例)
ここで、図11は、リモコン操作モードとスマートボイスモードとの間での遷移の例を示している。図11のAは、リモコン操作モード時の入力切換メニュー重畳画面153Rを示し、図11のBは、スマートボイスモード時の入力切換メニュー重畳画面153を示している。
入力切換メニュー重畳画面153R(図11のA)においては、ユーザのリモコン操作により入力切換ボタンが操作された場合(OP21)、テレビ番組映像161の下部に表示される各種の切換項目182のうち、選択対象の切換項目がカーソル表示される(領域A11)。
また、この入力切換メニュー重畳画面153Rには、"You can operate the TV by voice. saying that you started "Service XXX, input change""である文言が表示され、音声操作が使用できる旨が提示される(領域A12)。このように、リモコン操作中の場合でも、音声操作が可能であることをユーザに示すことで、当該ユーザに対してユーザビリティの高い音声操作の使用を促すことができる。
表示制御装置10において、テレビ視聴画面150(図4)の表示時、又は入力切換メニュー重畳画面153R(図11のA)の表示時などに、ユーザにより「Service XXX,入力切換」である音声発話がなされた場合(OP22,OP23)、リモコン操作モードからスマートボイスモードに遷移して、入力切換メニュー重畳画面153(図11のB)が表示される。
入力切換メニュー重畳画面153(図11のB)においては、テレビ番組映像161の下部に切換項目182を選択するためのカーソル表示はなく、入力切換メニュー181として、切換項目182と音声操作ガイド183が表示される。
切換項目182には、読み上げ対象のアイテム(推奨読み上げ項目)の文言が、読み上げ推奨を示すアイコンとともに、所定の色(例えば緑色)に変更して表示される(領域A13)。また、音声操作ガイド183には、各種の切換項目182に含まれる"TV","HDMI1","HDMI2"等の文言が、アイテムであることを示している(領域A14)。
なお、表示制御装置10において、入力切換メニュー重畳画面153(図11のB)の表示時に、ユーザによりリモコン操作がなされた場合(OP24)、スマートボイスモードからリモコン操作モードに遷移して、入力切換メニュー重畳画面153R(図11のA)が表示される。
(音声操作ガイドの例)
図12は、各メニュー画面に表示される読み上げ用の音声操作ガイドの表示の例を示している。なお、図12においては、読み上げ用の音声操作ガイドとして、クイック設定メニュー171の音声操作ガイド173を一例に説明する。
表示制御装置10において、音声操作ガイド173の表示タイミングとしては、音声待ち受け中、音声発話中、及び実行中の3つの状態に分けることができる。これらの3状態は、音声待ち受け中、音声発話中、実行中の順に遷移し(TR1、TR2)、実行中の後に音声待ち受け中に戻り(TR3)、再度、3状態の遷移が繰り返される。
図12のAの音声待ち受け中は、ユーザによる音声発話を待ち受けている状態であって、音声操作ガイド173には、"みどり色の項目を読み上げてください"である文言WD11と、"終了する場合は「閉じる」と話してください"である文言WD12との間で、所定のタイミングでの遷移が繰り返され(TR11、TR12)、文言WD11と文言WD12とが交互に表示される。
このとき、文言WD11、WD12に含まれるマイクアイコンは、アニメーション表示される。すなわち、文言WD11は、アイテム(推奨読み上げ項目)の発話誘導ガイドであり、文言WD12は、スマートボイスモードからの抜け方などの特殊操作の操作説明である。なお、ここでは、文言WD11と文言WD12を一例に説明したが、他の文言が表示されてもよい。また、3つ以上の文言が繰り返して表示されてもよい。
図12のBの音声発話中は、ユーザが音声発話を行っている状態であって、ユーザにより音声発話が開始されると、音声操作ガイド173には、その音声発話の内容に応じて、例えば"画質もー"である文言WD21がリアルタイムで表示される。そして、音声発話から文節が認識されるなどして、ユーザによる音声発話が終了すると、音声操作ガイド173には、例えば、音声発話の内容に応じた"「画質モード」"である文言WD22が表示される。
なお、ここでの音声発話の内容が、例えば、スマートボイスモードから抜けるコマンドに対応している場合、当該コマンドを即時に実行(反映)して、スマートボイスモードの対象機能を終了させる(S11)。ただし、コマンド実行後の動作としては、例えば、スマートボイスモードからリモコン操作モードに遷移させるなど、他の動作が行われるようにしてもよい。
図12のCの実行中は、ユーザの音声発話の内容に応じたコマンドを実行する状態であって、コマンドを正常に認識できた場合、音声操作ガイド173には、"「画質モード」を選択します"である文言WD31が表示される。
ここでは、コマンドの認識時に、ユーザの目線は、音声操作ガイド173(の近傍)にあることが想定されるため、コマンド処理部122によって、「画質モード」に応じたコマンドを即時実行(即時反映)するとともに、音声操作ガイド173に、そのコマンドの実行内容を提示することができる。
なお、コマンドを実行するタイミングは、文言WD31の表示と同時(即時反映)であってもよいし、あるいは文言WD31を表示してから所定の時間を経過した後(時間差反映)であってもよい。また、例えば、文言WD31は、1秒間等、所定の時間だけ表示される。さらに、文言WD31の表示中であっても、ユーザにより音声発話がなされた場合には、音声発話中の状態に遷移される。
一方で、ユーザの音声発話の内容が完全に認識されずに、当該音声発話に応じたコマンドを特定できないことでエラーになった場合、音声操作ガイド173には、"「画質もー」には対応していません"である文言W32が表示される。ここでは、エラー時において、ユーザに対し、その原因をフィードバックすることができる。
このように、コマンド認識が失敗したことをユーザに確実に知らせることによって、ユーザに次の発話を促す効果をもたらすことができる。例えば、文言WD32は、1秒間等、所定の時間だけ表示される。また、文言WD32の表示中であっても、ユーザによって、言い直しの再度の音声発話などがなされた場合には、音声発話中の状態に遷移される。
なお、図12の例では、クイック設定メニュー171の音声操作ガイド173を一例に説明したが、入力切換メニュー181の音声操作ガイド183、又はテレビメニュー191の音声操作ガイド193についても、メニューの内容に応じた同様の表示を行うことができる。
また、各メニュー画面に表示される読み上げ用の音声操作ガイド173の表示位置としては、その下部の領域に限らず、他の領域に表示してもよい。例えば、音声操作ガイド173の表示位置として、ユーザの視線誘導を目的として、ユーザに見てもらいたい表示画面の領域(UI領域)の近傍に、音声操作ガイド173を動的に移動させてもよい。ユーザの視線を誘導することで、ユーザに提供したい情報を効果的に提示することができる。
図13は、クイック設定メニュー171に表示される読み上げ用の音声操作ガイド173の表示位置の他の例を示している。図13のAは、上述したクイック設定メニュー171を含むクイック設定メニュー重畳画面152-1を示し、図13のBは、2階層の階層メニューとしてのクイック設定メニュー171を含むクイック設定メニュー重畳画面152-2を示している。
例えば、クイック設定メニュー重畳画面152-1(図13のA)においては、クイック設定メニュー171の中央の設定項目172の上部(の近傍)の領域に、音声操作ガイド173を表示している。この領域に音声操作ガイド173を表示することで、例えば、ユーザの視線を、クイック設定メニュー171の中央部分(の近傍)に誘導することができる。
また、例えば、クイック設定メニュー重畳画面152-2(図13のB)においては、水平方向の設定項目172として、ピクチャモード(Picture Mode)が選択された後に、垂直方向のピクチャモードの設定値174を選択する際に、当該設定値174の右側の領域に、音声操作ガイド173を表示している。この領域に音声操作ガイド173を表示することで、例えば、ユーザの視線を、選択中の"Vivid"である設定値(の近傍)に注目させることができる。
なお、クイック設定メニュー重畳画面152-2(図13のB)におけるクイック設定メニュー171の階層メニュー表示の詳細は、図25乃至図27を参照して後述する。また、入力切換メニュー181の音声操作ガイド183、又はテレビメニュー191の音声操作ガイド193についても、上述した音声操作ガイド173と同様に、動的に移動させることができる。このように、ユーザの視線を誘導することで、ユーザに提供したい情報を効果的に提示することができる。
(アイテム表示領域の例)
図14は、クイック設定メニュー重畳画面152のクイック設定メニュー171における読み上げ対象としてのアイテムを含む領域(以下、アイテム表示領域という)の例を示している。なお、図15には、クイック設定メニュー171における各アイテム表示領域の説明を示しており、適宜参照しながら説明する。
図14において、クイック設定メニュー171には、アイテム表示領域として、領域A21乃至領域A24の4つの領域がある。
すなわち、領域A21では、各種の設定項目172に含まれる推奨読み上げ項目を、アイコンと所定の色(例えば緑色)の文字で表現している(図15)。具体的には、推奨読み上げ項目として、ピクチャオート("Picture Auto")やサウンドモード("Sound Mode")等のアイテムが、緑色の文字(図中の太字)で表示されるため、ユーザは、読み上げ対象のアイテムを容易に把握し、音声操作で使用できる発話の文言を直ちに理解することができる。
また、領域A22では、各種の設定項目172に含まれる推奨読み上げ項目以外のアイテムも読み上げ可能とされ、その推奨読み上げ項目以外のアイテムの読み上げ時の振る舞いとしては、対応する領域A21内の文字が読み上げられた扱いとされる(図15)。
換言すれば、推奨読み上げ項目に関連する関連項目が読み上げられた場合に、当該関連項目に関連した推奨読み上げ項目に対する音声発話がなされたとみなされる。具体的には、推奨読み上げ項目以外のアイテム(関連項目)として、例えば「シネマ("Cinema")」が読み上げられた場合には、サウンドモードに対応する設定動作が行われる。
さらに、領域A23は、表示画面外の領域(非表示領域)を含み、表示画面外のアイテムも読み上げ可能とされる(図15)。すなわち、例えば設定項目172の数が多い場合などには、全ての設定項目172を表示画面内に表示できないことも想定されるが、そのような場合に、表示画面内に表示された設定項目172に含まれる推奨読み上げ項目だけでなく、表示画面外の設定項目172の文言(非表示の文言)も読み上げ対象に含めるようにする。
これにより、ユーザは、表示画面内の設定項目172に含まれるアイテム(表示画面内の第1のアイテム)とともに、表示画面外の設定項目172に含まれるアイテム(表示画面外の第2のアイテム)を読み上げて、表示画面内の第1のアイテム又は表示画面外の第2のアイテムに応じた設定動作の音声操作を行うことができるため、よりユーザビリティの高い音声操作を実現することができる。
なお、領域A24として示すように、クイック設定メニュー171の表示時には、例えば、クイック設定メニュー171を終了させるための「閉じる」や、所定の方向(例えば横方向)にスクロールさせるための「次へ」や「前へ」といった画面操作用のコマンドも読み上げ可能とされる(図15)。ただし、ここでのスクロールは、アイテム単位ではなく、ページスクロール扱いとすることが想定されるが、一部スクロール等の他のスクロールとしてもよい。また、このとき、「Service XXX」であるウェイクワードを発話する必要ないのは、先に述べたとおりである。
ここで、アイテム表示領域に含まれるアイテムの読み上げ時には、例えば、図16に示した4つの課題が想定される。
すなわち、第1に、表示画面内に同一の文言(アイテム)が複数存在する場合が想定される。このような場合としては、例えば、アイテム表示領域内に、アイテムとして"ON"である文言が複数存在するときが該当する。この第1の課題の解決方法としては、例えば、表示画面の左上の位置(基準位置)に最も近い位置に存在するアイテムを優先させればよい。すなわち、アイテムは、表示画面上の左側に重要な項目が配置されることが多いため、左側を優先させることで、より優先度の高いと思われる項目が選択可能とされる。
なお、表示画面の左上の位置は、基準位置の一例であって、例えば、RTL(Right to Left)言語では、表示画面の右上の位置を基準位置とすればよい。さらには、表示画面内の任意の位置に存在するアイテムを優先させてもよい。例えば、ユーザの視線は表示画面内の中央にあることが多いため、表示画面内の中央(の位置)にあるアイテムを優先させることで、ユーザの意図に合った項目を選択することができる。
第2に、表示画面内に表示される文言が長い場合が想定される。このような場合としては、例えば、アイテム表示領域内で、アイテムとして、長いタイトルがつけられたテレビ番組の番組名が存在するときが該当する。この第2の課題の解決方法としては、例えば、文言のマッチングとして一部分のマッチングも許容して、タイトルの一部(例えば前方の一部)を用いたマッチングを行えばよい。これにより、短い発話の場合でも、ユーザの意図する項目を選択することが可能となる。
第3に、音声発話される文言が短すぎて、文節区切りを自動判別できない場合が想定される。このような場合としては、例えば、ユーザによって、「ON」である音声発話がなされた場合が該当する。この第3の課題の解決方法としては、例えば、アイテム表示領域内で、アイテムとして、"ON"の代わりに、"ONにする"など、スマートボイスモードでのみ使用可能な読み方を提示すればよい。
第4に、音声発話のテキストの変換側の仕様で、ユーザの音声発話を正しく変換できない場合が想定される。この第4の課題の解決方法としては、例えば、表示制御装置10側で、正しく変換できない文言を事前に抽出して内部変換テーブルを生成し、当該内部変換テーブルを用いて誤変換を吸収すればよい。また、ここでは、ユーザの音声発話に応じたコマンドの確定時ではなく、ユーザの音声発話の確定時に、この内部変換テーブルを参照することで、発話確定のフィードバックに反映させることができる。
具体的には、例えば、ユーザがテレビ番組の視聴中に、テレビ番組の音声だけを聞きたい場合に、「消画」である文言を含む音声発話を行ったときを想定する。
このとき、表示制御装置10側で、誤変換の吸収を行わないと、例えば、図17のAに示すように、ユーザの音声発話中に、「しょう・・・」、「生姜」と変換され、コマンド変換がなされる(S21:コマンド変換)が、「生姜」に対応したコマンドは存在しないため、例えば、音声操作ガイド173には、"「生姜」には対応していません"である文言が表示される。
また、表示制御装置10側で、誤変換の吸収を行った場合には、例えば、図17のBに示すように、ユーザの音声発話中に、「しょう・・・」、「生姜」と変換され、「生姜」である音声発話が確定されるが、コマンド変換される前に、内部変換テーブルを参照して、「生姜」が「消画」に変換される(S22:誤変換吸収)。これにより、「消画」に対応したコマンドが確定され(S22:コマンド変換)、例えば、音声操作ガイド173には、"「消画」を実行します"である文言が表示される。
また、内部変換テーブルを参照するタイミングであるが、コマンドの確定時ではなく、音声発話の確定時に行うことで、例えば、図17のCに示すように、ユーザの音声発話が確定される前に、内部変換テーブルを参照して、「しょう・・・」、「消画」と変換されて(S23:誤変換吸収)、「消画」である音声発話が確定される。これにより、「消画」に対応したコマンドが確定され(S24:コマンド変換)、例えば、音声操作ガイド173には、"「消画」を選択します"である文言が表示される。この場合には、発話確定のフィードバックに反映させることができる。
なお、コマンドを確定した後、コマンドを実行するタイミングは、音声操作ガイド173に、"「消画」を実行します"や"「消画」を選択します"である文言が表示されるタイミングと同時(即時反映)であってもよいし、あるいは、文言を表示してから所定の時間を経過した後(時間差反映)であってもよい。
ここで、図17のA乃至Cに示した具体例のユーザビリティを比較すれば、図17のCの具体例が最もユーザビリティが高くなる一方で、図17のAの具体例が最もユーザビリティが低く、それらの間のユーザビリティが、図17のBの具体例とされる。そのため、表示制御装置10では、内部変換テーブルを参照して、図17のB又は図17のCの具体例で示した誤変換吸収とコマンド変換の処理が実行されるようにしている。
(非表示領域の対応の例)
ところで、クイック設定メニュー重畳画面152において、クイック設定メニュー171では、各種の設定項目172に含まれるアイテム(読み上げ対象)が、表示画面内に全て表示されずに、表示画面外にも存在する場合があるのは、先に述べたとおりである。図18は、表示画面外にアイテム(読み上げ対象)が存在する場合の対応の例を示している。
ここで、クイック設定メニュー重畳画面152において、テレビ番組映像161に重畳して表示されるクイック設定メニュー171の設定項目172に含まれるアイテムとして、"YYY"である文言が表示画面外(表示画面の右側の非表示領域)に存在する場合を想定する(図18のA)。
この場合において、ユーザによって、「YYY」である音声発話がなされたとき(OP41)、クイック設定メニュー重畳画面152では、クイック設定メニュー171の各種の設定項目172が、図中の右から左の方向にスクロールして(S31)、読み上げられた"YYY"であるアイテムが、表示画面内に移動して表示される(図18のB)。
これにより、ユーザは、表示画面外の設定項目172に含まれるアイテム(非表示の"YYY"である文言)を読み上げて、設定動作の音声操作を行うとともに、表示画面内にスクロールして表示される"YYY"であるアイテムにより、自身が音声発話した文言を視認することができる。つまり、ユーザは、自分の発話に対して正しい選択がなされたかどうかを確認することで、音声発話に対する動作の確実性を向上させることができる。
このように、表示制御装置10(の制御部101)では、ユーザによる音声操作に応じて、表示画面内のアイテム(第1のアイテム)、又は表示画面外のスクロールすることで表示可能なアイテム(第2のアイテム)を選択して、選択したアイテムに応じた動作を制御することができる。
また、表示画面内及び表示画面外の少なくとも一方に、同一のアイテム(例えば、"ON"等)が複数存在する場合には、表示画面の左上の位置に最も近い位置に存在するアイテムを優先させればよい。図19及び図20は、表示画面内又は表示画面外にアイテムが存在する場合の対応の例を示している。
まず、図19のAを参照して、表示画面内に同一のアイテムが複数存在する場合を説明する。
例えば、クイック設定メニュー重畳画面152において、表示画面内のクイック設定メニュー171の各種の設定項目172に、"YYY"であるアイテムが2つ存在する場合に、ユーザによって「YYY」である音声発話がなされたときを想定する(図19のA)。このとき、表示画面内の2つのアイテムのうち、破線の円で囲まれたアイテムの位置のほうが、表示画面の左上の位置に近いため、左側の"YYY"であるアイテムが優先して選択される(図19のA)。
次に、図19のBを参照して、表示画面外に同一のアイテムが複数存在する場合を説明する。
例えば、クイック設定メニュー重畳画面152において、表示画面外のクイック設定メニュー171の設定項目172に、"YYY"であるアイテムが2つ存在する場合に、ユーザによって「YYY」である音声発話がなされたときを想定する(図19のB)。このとき、表示画面外の2つのアイテムのうち、破線の円で囲まれたアイテムの位置のほうが、表示画面の左上の位置に近いため、左側の"YYY"であるアイテムが優先して選択される(図19のB)。
次に、図20のCと図20のDを参照して、表示画面内と表示画面外に同一のアイテムが複数存在する場合を説明する。
例えば、クイック設定メニュー重畳画面152において、表示画面内と表示画面外の両方の設定項目172に、"YYY"であるアイテムがそれぞれ存在する場合に、ユーザによって「YYY」である音声発話がなされたときを想定する(図20のC)。このとき、表示画面内と表示画面外の2つのアイテムのうち、破線の円で囲まれた表示画面内のアイテムの位置のほうが、表示画面の左上の位置に近いため、左側の"YYY"であるアイテムが優先して選択される(図20のC)。
また、例えば、クイック設定メニュー重畳画面152において、表示画面内と表示画面外の両方の設定項目172に、"YYY"であるアイテムがそれぞれ存在する場合に、ユーザによって「YYY」である音声発話がなされたときを想定する(図20のD)。このとき、表示画面内と表示画面外の2つのアイテムのうち、破線の円で囲まれたアイテムの位置のほうが、表示画面の左上の位置からは遠いが、表示画面内に存在するため、右側の"YYY"であるアイテムが優先して選択される(図20のD)。
換言すれば、このとき、表示画面外の"YYY"であるアイテムの位置のほうが、表示画面の左上の位置に近いが、表示画面外よりも表示画面内の"YYY"であるアイテムを優先している。すなわち、表示画面内と表示画面外の両方に、アイテムがそれぞれ存在する場合には、まず、表示画面外よりも表示画面内のアイテムを優先するという第1の条件を適用してから、その後に、表示画面の左上の位置に近いアイテムを優先するという第2の条件を適用することになる。
なお、図19及び図20においては、同一のアイテムが2つ存在する場合を説明したが、同一のアイテムが3つ以上存在する場合であっても同様に、表示画面外よりも表示画面内のアイテムを優先しつつ、表示画面の左上の位置に近い位置に存在するアイテムを優先して選択することができる。
次に、図21及び図22のフローチャートを参照して、表示制御装置10により実行されるアイテム選択処理の流れを説明する。
なお、図21に示したアイテム選択処理は、ユーザによって音声発話がなされたときに実行される。
ステップS101において、制御部101は、ユーザの音声発話の認識結果に基づいて、同一のアイテムが複数存在するかどうかを判定する。
ステップS101において、アイテムが1つしか存在しないと判定された場合、処理は、ステップS102に進められる。ステップS102において、制御部101は、表示画面内にアイテムが存在するかどうかを判定する。
ステップS102において、表示画面内にアイテムが存在すると判定された場合、処理は、ステップS103に進められる。ステップS103において、制御部101は、表示画面内のアイテムを選択する。そして、制御部101は、選択したアイテムに応じた動作を制御する。
一方で、ステップS102において、表示画面内にアイテムが存在しないと判定された場合、処理は、ステップS104に進められる。ステップS104において、制御部101は、表示画面外にアイテムが存在するかどうかを判定する。
ステップS104において、表示画面外にアイテムが存在すると判定された場合、処理は、ステップS105に進められる。ステップS105において、制御部101は、表示画面外のアイテムを選択し、選択したアイテムをスクロールして表示画面内に表示する(例えば、図18のA,図18のBの具体例)。そして、制御部101は、選択したアイテムに応じた動作を制御する。
なお、ステップS104において、表示画面外にアイテムが存在しないと判定された場合、表示画面内と表示画面外の両方にアイテムが存在しないため、アイテム選択処理は終了される。
また、ステップS101において、同一のアイテムが複数存在すると判定された場合、処理は、ステップS106に進められる。ステップS106において、制御部101は、同一アイテム選択処理を実行する。この同一アイテム選択処理の詳細は、図22のフローチャートに示している。
すなわち、ステップS121において、制御部101は、表示画面外にのみ、同一のアイテムが存在するかどうかを判定する。
ステップS121において、表示画面内にも同一のアイテムが存在すると判定された場合、処理は、ステップS122に進められる。ステップS122において、制御部101は、表示画面内で、表示画面の左上の位置(基準位置)に最も近い位置に存在するアイテムを優先して選択する(例えば、図19のA,図20のA,図20のBの具体例)。そして、制御部101は、選択したアイテムに応じた動作を制御する。
一方で、ステップS121において、表示画面外にのみ、同一のアイテムが存在すると判定された場合、処理は、ステップS123に進められる。ステップS123において、制御部101は、表示画面外で、表示画面の左上の位置(基準位置)に最も近い位置に存在するアイテムを優先して選択する(例えば、図19のBの具体例)。また、制御部101は、選択したアイテムに応じた動作を制御する。
ステップS122又はS123の処理が終了すると、処理は、図21のステップS106に戻され、アイテム選択処理は終了される。
以上、アイテム選択処理の流れについて説明した。
(アイテムの縮小表示の例)
上述した説明では、選択される第2のアイテム(表示画面外のアイテム)として、スクロールにより表示可能なアイテム(図18)を説明したが、スクロールに限らず、他の方法で表示可能なアイテムが選択されるようにしてもよい。例えば、図23は、第2のアイテム(表示画面外のアイテム)として、当該アイテムの大きさ(サイズ)を縮小することで、表示可能なアイテムを選択する例を示している。
ここで、クイック設定メニュー重畳画面152において、テレビ番組映像161に重畳して表示されるクイック設定メニュー171に含まれる複数の設定項目172のうち、一部の設定項目172のみが表示される場合を想定する(図23のA)。
この場合において、ユーザによって、「YYY」である音声発話がなされたとき、クイック設定メニュー171では、各設定項目172の大きさが縮小され、表示中の設定項目172が6個(6個×1行)から20個(10個×2行)に増加することで、読み上げられた"YYY"であるアイテムが、表示画面内に表示される(図23のB)。
このとき、図23のBのクイック設定メニュー重畳画面152を、図23のAのクイック設定メニュー重畳画面152と比べれば、クイック設定メニュー171の領域の大きさ自体は変化していないが、各設定項目172の大きさが縮小された分だけ、より多くの設定項目172が表示されている。
これにより、ユーザは、表示画面外の設定項目172に含まれるアイテム(非表示の"YYY"である文言)を読み上げて、設定動作の音声操作を行うとともに、表示画面内に縮小して表示される"YYY"であるアイテムにより、自身が音声発話した文言を視認することができる。つまり、ユーザは、自分の発話に対して正しい選択がなされたかどうかを確認することで、音声発話に対する動作の確実性を向上させることができる。
このように、表示制御装置10(の制御部101)では、ユーザによる音声操作に応じて、表示画面内のアイテム(第1のアイテム)、又は表示画面外のアイテムの大きさ(サイズ)を縮小することで表示可能なアイテム(第2のアイテム)を選択して、選択したアイテムに応じた動作を制御することができる。
(領域の拡大表示の例)
また、例えば、図24は、第2のアイテム(表示画面外のアイテム)として、当該アイテムを表示する領域を拡大することで、表示可能なアイテムを選択する例を示している。
ここで、クイック設定メニュー重畳画面152において、クイック設定メニュー171に含まれる複数の設定項目172のうち、一部の設定項目172のみが表示される場合を想定する(図24のA)。
この場合において、ユーザによって、「YYY」である音声発話がなされたとき、クイック設定メニュー重畳画面152では、テレビ番組映像161に重畳されたクイック設定メニュー171の領域(アイテムを表示する領域)が拡大され、表示中の設定項目172が6個(6個×1行)から12個(6個×2行)に増加することで、読み上げられた"YYY"であるアイテムが、表示画面内に表示される(図24のB)。
このとき、図24のBのクイック設定メニュー重畳画面152を、図24のAのクイック設定メニュー重畳画面152と比べれば、各設定項目172の大きさ自体は変化していないが、クイック設定メニュー171の領域が拡大された分だけ、より多くの設定項目172が表示されている。
これにより、ユーザは、表示画面外の設定項目172に含まれるアイテム(非表示の"YYY"である文言)を読み上げて、設定動作の音声操作を行うとともに、表示画面内の領域が拡大して表示される"YYY"であるアイテムにより、自身が音声発話した文言を視認することができる。つまり、ユーザは、自分の発話に対して正しい選択がなされたかどうかを確認することで、音声発話に対する動作の確実性を向上させることができる。
このように、表示制御装置10(の制御部101)では、ユーザによる音声操作に応じて、表示画面内のアイテム(第1のアイテム)、又は表示画面外のアイテムを表示する領域(アイテム表示領域)を拡大することで表示可能なアイテム(第2のアイテム)を選択して、選択したアイテムに応じた動作を制御することができる。
なお、ここでは、第2のアイテム(表示画面外のアイテム)を表示可能なアイテムとして選択する例として、図18に示したスクロールの他に、図23の例(アイテムの大きさを縮小する例)と、図24の例(アイテムの表示領域を拡大する例)を説明したが、要は、表示画面外のアイテムが表示画面内に表示されればよいのであって、表示画面外のアイテムを表示可能な方法であれば、他の方法を用いてもよい。例えば、図23の例と図24の例とを組み合わせて、アイテムの大きさを縮小するとともに、アイテムの表示領域を拡大することで、より多くのアイテムの中から所望のアイテムが選択されて表示されるようにしてもよい。
また、図23の例と図24の例では、クイック設定メニュー重畳画面152のクイック設定メニュー171を一例に説明したが、入力切換メニュー重畳画面153の入力切換メニュー181、又はテレビメニュー重畳画面154のテレビメニュー191についても、メニューの内容に応じた同様のアイテム選択を行うことができる。
(階層メニューの例)
図25は、クイック設定メニュー重畳画面152の表示の例を示している。
クイック設定メニュー重畳画面152において、クイック設定メニュー171には、表示画面の水平方向に各種の設定項目172が並べられている。この設定項目172としては、例えば、"Dynamic"が設定されたピクチャオート、"Cinema"が設定されたサウンドモード、"25"が設定された輝度、"Off"が設定されたピクチャモード、"Off"が設定されたピクチャオフなどの設定項目(アイテム)が表示される。
ここで、ユーザによって、クイック設定メニュー171に表示された各種の設定項目172の中から、所望の設定項目が選択された場合、選択された設定項目に応じた設定値174が表示される。
具体的には、所望の設定項目として、「ピクチャモード」である音声発話がなされた場合、クイック設定メニュー171における各種の設定項目172のうちのピクチャモードの設定項目が、表示画面の垂直方向に伸びて、ピクチャモードに応じた設定値174が表示される。この設定値174としては、例えば、"Graphics","Vivid","Game-HDR","Game-4K","Game-Standard","Sports","Cinema","Dynamic","Standard"などのピクチャモードに関するパラメータ(アイテム)がアイコンとともに表示される。
これにより、ユーザは、所望の設定項目(アイテム)として選択されたピクチャモードに関する設定値174の中から、所望の設定値(アイテム)を選択することができる。具体的には、例えば、ユーザにより、「ビビッド(鮮やか)」である音声発話がなされた場合、表示制御装置10では、ピクチャモードとして"Vivid"を設定する設定動作が行われる。
図26は、スマートボイスモード時における階層メニューの遷移の例を示している。
表示制御装置10においては、リモコン操作モード時に、ユーザにより、「Service XXX,クイック設定」である音声発話がなされた場合(OP51)、動作モードがスマートボイスモードに遷移し、クイック設定メニュー重畳画面152-1が表示される。このクイック設定メニュー重畳画面152-1では、クイック設定メニュー171の第1階層L1として、表示画面の水平方向に各種の設定項目172が表示される。
このとき、ユーザは、クイック設定メニュー171におけるアイテム表示領域に含まれるアイテムに対する各種の音声操作を行うことができる(OP52)。
ここでは、例えば、第1階層L1としての設定項目172をスクロールさせるための音声操作などを行うことができる。また、例えば、クイック設定メニュー171の終了を指示する「閉じる」や、所定の機能を実行させる音声操作がなされた場合(OP53)、クイック設定メニュー171は終了し、動作モードがリモコン操作モードに遷移する。
また、例えば、ユーザによって、「ピクチャモード」である音声発話がなされた場合(OP54)、クイック設定メニュー重畳画面152-2が表示される。このクイック設定メニュー重畳画面152-2では、クイック設定メニュー171の第2階層L2として、選択されたピクチャモードの設定項目が表示画面の垂直方向に伸びることで、表示画面の垂直方向にピクチャモードに関する設定値174が表示される。
このとき、ユーザは、クイック設定メニュー171におけるアイテム表示領域に含まれるアイテムに対する各種の音声操作を行うことができる(OP55)。
ここでは、例えば、クイック設定メニュー171の終了を指示する「閉じる」や、所定の機能を実行させる音声操作がなされた場合(OP56)、クイック設定メニュー171は終了し、動作モードがリモコン操作モードに遷移する。また、例えば、ユーザによって、「ビビッド」である音声発話がなされた場合(OP55)、表示制御装置10では、ピクチャモードとして"Vivid"を設定する設定動作が行われる(OP56)。
このように、クイック設定メニュー171においては、表示画面の水平方向に表示されるピクチャオートやピクチャモード等の各種の設定項目172を含む第1階層L1と、表示画面の垂直方向(水平方向と直交する方向)に表示される"Graphics"や"Vivid"等の各種の設定値174を含む第2階層L2によって、階層メニューを実現している。そして、読み上げ対象のアイテムとして、第1階層L1における設定項目172に含まれる1又は複数の第1の階層アイテムと、第2階層L2における設定値174に含まれる1又は複数の第2の階層アイテムが存在している。
この階層メニューによって、第1階層L1として表示される各種の設定項目172(に含まれる第1の階層アイテム)の中から選択された所望の設定項目172(に含まれる第1の階層アイテム)に対して設定可能な各種の設定値174(に含まれる第2の階層アイテム)が、第2階層L2として表示されるため、ユーザは、第2階層L2に表示された各種の設定値174を比較しながら、所望の設定値(アイテム)を選択することができる。
なお、選択された所望の設定項目172に設定可能な設定値174が第2階層L2として表示されている場合であっても、第1階層L1における他の設定項目172を選択することができる。一方で、第1階層L1における各種の設定項目172(に含まれる第1の階層アイテム)のみが表示されている場合においては、第2階層L2における各種の設定値174(に含まれる第2の階層アイテム)、すなわち、非表示の項目(第2の階層アイテム)は選択することができない。これにより、ユーザの音声発話に対して誤った項目が選択されるのを防止することができる。
例えば、図26の例では、第1階層L1で設定項目172としてピクチャモードである第1の階層アイテムが選択され、第2階層L2に設定値174として当該ピクチャモードに関する第2の階層アイテムが表示された状態となっている。この状態において、例えば、ユーザが「サウンドモード」である音声発話を行えば、第1階層L1における設定項目172の選択が、ピクチャモードからサウンドモードである第1の階層アイテムに変更され、第2階層L2には、設定値174として当該サウンドモードに関する第2の階層アイテム(例えば、Cinema,News,Sports,Music,Game等)が表示される。
一方で、この例の状態で、第1階層L1における設定項目172として選択されていない他の第1の階層アイテムに応じた1又は複数の第2の階層アイテム(未選択の第1の階層アイテムに応じた1又は複数の第2の階層アイテム)、すなわち、第2階層L2として非表示の設定値174に関する発話を行っても、当該音声発話に応じた設定値を選択することはできない。これにより、ユーザの音声発話に対して誤った項目が選択されるのを防ぐと同時に、第1階層L1における他の設定項目を簡単に選択することができ、ユーザの操作性を向上させることができる。
また、第2階層L2においては、表示される各種の設定値174のうち、現在選択中の設定値(第2の階層アイテム)を識別可能に表示している。例えば、第2階層L2内のハッチングで示しているように、ピクチャモードの設定値として"Vivid"が選択された場合には、"Vivid"である設定値にカーソルを合わせたりして、現在選択中の設定値が識別されるようにする。
次に、図27のフローチャートを参照して、表示制御装置10により実行されるクイック設定メニュー操作対応処理の流れを説明する。
なお、図27のクイック設定メニュー操作対応処理は、ユーザによって音声発話がなされたときに実行される。
ステップS141において、制御部101は、ユーザにより「Service XXX,クイック設定」である音声発話がなされた場合、クイック設定メニュー重畳画面152-1を、表示部104表示する。
ステップS142において、制御部101は、例えばユーザにより「ピクチャモード」等の第1の階層アイテムの音声発話がなされ、クイック設定メニュー171における第1階層L1の設定項目172(に含まれる第1の階層アイテム)が選択されたかどうかを判定する。
ステップS142において、第1階層L1の設定項目172が選択されていないと判定された場合、ステップS142の判定処理が繰り返される。また、ステップS142において、第1階層L1の設定項目172が選択されたと判定された場合、処理は、ステップS143に進められる。
ステップS143において、制御部101は、選択された第1階層L1の設定項目172の設定値174を、第2階層L2として表示する。これにより、表示部104には、第2階層L2として、例えばピクチャモードに関する設定値174が重畳されたクイック設定メニュー重畳画面152-2が表示される。
ステップS144において、制御部101は、例えばユーザにより「ビビッド」等の第2の階層アイテムの音声発話がなされ、クイック設定メニュー171における第2階層L2の設定値174(に含まれる第2の階層アイテム)が選択されたかどうかを判定する。
ステップS144において、第2階層L2の設定値174が選択されていないと判定された場合、処理は、ステップS145に進められる。ステップS145において、制御部101は、例えばユーザにより「サウンドモード」等の他の第1の階層アイテムの音声発話がなされ、第1階層L1の他の設定項目172が選択されたかどうかを判定する。
ステップS145において、第1階層L1の他の設定項目172が選択されていないと判定された場合、処理は、ステップS144に戻り、ステップS144の判定処理が繰り返される。また、ステップS145において、第1階層L1の他の設定項目172が選択されたと判定された場合、処理は、ステップS143に戻り、ステップS143以降の処理が繰り返される。すなわち、この場合、例えば、クイック設定メニュー重畳画面152-2では、第2階層L2として、例えばサウンドモードに関する設定値174が表示される。
一方で、ステップS144において、第2階層L2の設定値174が選択されたと判定された場合、処理は、ステップS146に進められる。
ステップS146において、制御部101は、選択された第2階層L2の設定値174に応じた設定動作を行う。ここでは、例えば、ピクチャモードとして、"Vivid"を設定する設定動作が行われる。そして、ステップS146の処理が終了すると、クイック設定メニュー操作対応処理は終了される。
以上、クイック設定メニュー操作対応処理の流れについて説明した。
(全体の俯瞰イメージの例)
図28は、表示制御装置10の動作に関する全体の俯瞰イメージの例を示している。
表示制御装置10は、テレビ視聴画面150を表示する場合には、リモコン操作モードで動作する一方で、クイック設定メニュー重畳画面152、入力切換メニュー重畳画面153、及びテレビメニュー重畳画面154を表示する場合には、スマートボイスモードで動作する。
表示制御装置10では、テレビ視聴画面150の表示時に、「Service XXX,クイック設定」である音声発話がなされた場合(OP61)、クイック設定メニュー重畳画面152(152-1)が表示される。
クイック設定メニュー重畳画面152において、クイック設定メニュー171は、階層メニュー構造を有しており、第1階層L1の設定項目172が選択された場合(OP62)、第2階層L2の設定値174が表示される。表示制御装置10では、クイック設定メニュー171として、第1階層L1の設定項目172を表示しているとき、又は第1階層L1の設定項目172とともに第2階層L2の設定値174を表示しているとき、音声待ち受け中、音声発話中、及び実行中の3状態の遷移が繰り返され、音声発話に応じたコマンドが実行され得る。
なお、クイック設定メニュー重畳画面152(152-1,152-2)の表示時に、「閉じる」である音声発話がなされたり、所定の機能が実行されたり、あるいはリモコン操作がなされた場合(OP63,OP64)、クイック設定メニュー171の重畳が解除され、テレビ視聴画面150に表示が切り換えられる。
また、表示制御装置10では、テレビ視聴画面150の表示時に、「Service XXX,入力切換」である音声発話がなされた場合(OP65)、入力切換メニュー重畳画面153が表示される。表示制御装置10では、入力切換メニュー重畳画面153の表示時に、音声待ち受け中、音声発話中、及び実行中の3状態の遷移が繰り返され、音声発話に応じたコマンドが実行され得る。
なお、入力切換メニュー重畳画面153の表示時に、「閉じる」である音声発話がなされたり、所定の機能が実行されたり、あるいはリモコン操作がなされた場合(OP66)、入力切換メニュー181の重畳が解除され、テレビ視聴画面150に表示が切り換えられる。
さらに、表示制御装置10では、テレビ視聴画面150の表示時に、「Service XXX,テレビメニュー」である音声発話がなされた場合(OP67)、テレビメニュー重畳画面154が表示される。表示制御装置10では、テレビメニュー重畳画面154の表示時に、音声待ち受け中、音声発話中、及び実行中の3状態の遷移が繰り返され、音声発話に応じたコマンドが実行され得る。
なお、テレビメニュー重畳画面154の表示時に、「閉じる」である音声発話がなされたり、所定の機能が実行されたり、あるいはリモコン操作がなされた場合(OP68)、テレビメニュー191の重畳が解除され、テレビ視聴画面150に表示が切り換えられる。
また、表示制御装置10において、リモコン操作モード動作時の音声操作は、エージェントモードに遷移することで実現され、音声AIアシスタントサービスのプラットフォームを提供するサービス提供者により管理される。一方で、表示制御装置10において、スマートボイスモード動作時の音声操作は、テレビ受像機等の表示制御装置10の設計や製造等を行うメーカにより管理される。
<2.変形例>
上述した説明において、表示制御装置10は、テレビ受像機であるとして説明したが、それに限らず、例えば、ディスプレイ装置、パーソナルコンピュータ、タブレット端末、スマートフォン、携帯電話機、ヘッドマウントディスプレイ、ゲーム機などの電子機器であってもよい。
また、上述した説明において、表示制御装置10は、液晶表示部やOLED表示部等の表示部を含むテレビ受像機であるとして説明したが、表示制御装置10は、表示部104を含まない構成としてもよい。表示部104を含まない表示制御装置10としては、例えば、セットトップボックスや録画機、再生機(プレイヤ)等の電子機器を含む。
また、上述した説明では、表示制御装置10に対する操作として、ユーザによるリモコン操作又は音声操作が行われる場合を説明したが、それに限らず、例えば、表示制御装置10に対してカメラ部を設けて、所定のジェスチャをするユーザを撮影して得られる撮影画像を解析することで、ジェスチャ操作などが行われてもよい。さらに、表示制御装置10とリモートコントローラ11とでは、近距離無線通信や赤外線通信に限らず、他の通信方式に従った通信が行われてもよい。ここでの通信方式は、無線通信に限らず、有線通信であってもよい。
<3.コンピュータの構成>
上述した一連の処理(例えば、図21のアイテム選択処理や、図27のクイック設定メニュー操作対応処理等)は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、各装置のコンピュータにインストールされる。図29は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
コンピュータ1000において、CPU(Central Processing Unit)1001、ROM(Read Only Memory)1002、RAM(Random Access Memory)1003は、バス1004により相互に接続されている。バス1004には、さらに、入出力インターフェース1005が接続されている。入出力インターフェース1005には、入力部1006、出力部1007、記録部1008、通信部1009、及び、ドライブ1010が接続されている。
入力部1006は、マイクロフォン、キーボード、マウスなどよりなる。出力部1007は、スピーカ、ディスプレイなどよりなる。記録部1008は、ハードディスクや不揮発性のメモリなどよりなる。通信部1009は、ネットワークインターフェースなどよりなる。ドライブ1010は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体1011を駆動する。
以上のように構成されるコンピュータ1000では、CPU1001が、ROM1002や記録部1008に記録されているプログラムを、入出力インターフェース1005及びバス1004を介して、RAM1003にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ1000(CPU1001)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体1011に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の伝送媒体を介して提供することができる。
コンピュータ1000では、プログラムは、リムーバブル記録媒体1011をドライブ1010に装着することにより、入出力インターフェース1005を介して、記録部1008にインストールすることができる。また、プログラムは、有線又は無線の伝送媒体を介して、通信部1009で受信し、記録部1008にインストールすることができる。その他、プログラムは、ROM1002や記録部1008に、あらかじめインストールしておくことができる。
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理(例えば、並列処理あるいはオブジェクトによる処理)も含む。また、プログラムは、1のコンピュータ(プロセッサ)により処理されてもよいし、複数のコンピュータによって分散処理されてもよい。
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
また、上述した一連の処理の各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
なお、本技術は、以下のような構成をとることができる。
(1)
ユーザからの音声発話を受信する音声受信部と、
ネットワークを介して、第1のサーバから、前記音声発話に対する情報を受信する通信部と、
受信した前記情報に基づいて、前記音声発話に対応するアイテムを選択するとともに、選択した前記アイテムに応じた動作を制御する制御部と
を備え、
前記アイテムは、表示画面内の第1のアイテム、及びスクロールすることで表示可能な第2のアイテムを含み、
前記制御部は、受信した前記情報に基づいて、前記第1のアイテム又は前記第2のアイテムを選択する
表示制御装置。
(2)
前記第2のアイテムは、前記第2のアイテムの大きさを縮小することで表示可能なアイテムを含む
前記(1)に記載の表示制御装置。
(3)
前記第2のアイテムは、前記第2のアイテムを表示する領域を拡大することで表示可能なアイテムを含む
前記(1)に記載の表示制御装置。
(4)
前記制御部は、コンテンツとともに表示されるメニューに対し、前記アイテムを含める
前記(1)乃至(3)のいずれかに記載の表示制御装置。
(5)
前記制御部は、前記アイテムとして、第1の階層に含まれる1又は複数の第1の階層アイテムと、第2の階層に含まれる1又は複数の第2の階層アイテムとを含める
前記(4)に記載の表示制御装置。
(6)
前記制御部は、前記第1の階層に含まれる前記第1の階層アイテムの中から、所望の第1の階層アイテムが選択された場合、選択された前記第1の階層アイテムに応じた1又は複数の第2の階層アイテムを含む前記第2の階層を表示する
前記(5)に記載の表示制御装置。
(7)
前記制御部は、前記第1の階層に含まれる前記第1の階層アイテムの中から、選択対象として、所望の第1の階層アイテムが選択された場合に、
次の選択対象として、前記第1の階層に含まれる他の第1の階層アイテム、及び前記第2の階層に含まれる選択された前記第1の階層アイテムに応じた1又は複数の第2の階層アイテムを含め、
前記次の選択対象として、未選択の第1の階層アイテムに応じた1又は複数の第2の階層アイテムを含めない
前記(5)又は(6)に記載の表示制御装置。
(8)
前記第1の階層アイテムは、推奨読み上げ項目を含み、
前記制御部は、前記推奨読み上げ項目に関連する関連項目に対する前記音声発話がなされた場合、前記関連項目に関連した前記推奨読み上げ項目に対する前記音声発話がなされたとみなす
前記(5)乃至(7)のいずれかに記載の表示制御装置。
(9)
前記第1の階層として表示される1又は複数の前記第1の階層アイテムが配置される第1の方向と、前記第2の階層として表示される1又は複数の前記第2の階層アイテムが配置される第2の方向とは、直交している
前記(5)乃至(8)のいずれかに記載の表示制御装置。
(10)
前記制御部は、前記メニューに、前記音声発話に応じた音声操作に関するガイドを含める
前記(4)乃至(9)のいずれかに記載の表示制御装置。
(11)
前記制御部は、
前記アイテムを、前記ユーザが識別可能に表示し、
前記アイテムの表示方法を前記ガイドに含める
前記(10)に記載の表示制御装置。
(12)
前記制御部は、
前記音声発話に応じた前記アイテムと同一のアイテムが複数存在する場合であって、前記表示画面内にも同一のアイテムが存在するとき、前記表示画面内で、表示画面の基準位置に最も近い位置に存在するアイテムを優先して選択し、
選択した前記アイテムに応じた動作を制御する
前記(4)乃至(11)のいずれかに記載の表示制御装置。
(13)
前記制御部は、
前記音声発話に応じた前記アイテムと同一のアイテムが複数存在する場合であって、表示画面外にのみ同一のアイテムが存在するとき、前記表示画面外で、表示画面の基準位置に最も近い位置に存在するアイテムを優先して選択し、
選択した前記アイテムに応じた動作を制御する
前記(4)乃至(12)のいずれかに記載の表示制御装置。
(14)
前記制御部は、
あらかじめ用意された誤変換の吸収用のテーブルを参照して、前記音声発話に応じたテキストの誤変換を吸収し、
誤変換が吸収された前記テキストをコマンドに変換する
前記(4)乃至(13)のいずれかに記載の表示制御装置。
(15)
前記制御部は、前記ユーザの音声発話中に、又は前記テキストをコマンドに変換する際に、前記テーブルを参照して、前記テキストの誤変換を吸収する
前記(14)に記載の表示制御装置。
(16)
前記通信部は、ネットワークを介して、あらかじめ用意された誤変換の吸収用のテーブルを参照して前記音声発話に応じたテキストの誤変換の修正を行う第2のサーバに対して前記音声発話に応じたテキストを送信して、前記第2のサーバから送信されてくる誤変換が修正された前記テキストを受信し、
前記制御部は、受信された前記テキストをコマンドに変換する
前記(4)乃至(13)のいずれかに記載の表示制御装置。
(17)
前記メニューは、設定メニューを含み、
前記第1の階層アイテムは、設定項目を含み、
前記第2の階層アイテムは、設定値を含む
前記(5)乃至(9)のいずれかに記載の表示制御装置。
(18)
表示制御装置が、
ユーザからの音声発話を受信し、
ネットワークを介して、サーバから、前記音声発話に対する情報を受信し、
受信した前記情報に基づいて、前記音声発話に対応するアイテムとして、表示画面内の第1のアイテム、又はスクロールすることで表示可能な第2のアイテムを選択するとともに、選択した前記第1のアイテム又は前記第2のアイテムに応じた動作を制御する
表示制御方法。
(19)
ユーザからの音声発話を受信する音声受信部と、
ネットワークを介して、サーバから、前記音声発話に対する情報を受信する通信部と、
受信した前記情報に基づいて、前記音声発話に対応するアイテムを選択するとともに、選択した前記アイテムに応じた動作を制御する制御部と
を備え、
前記アイテムは、表示画面内の第1のアイテム、及び前記アイテムの大きさを縮小することで表示可能な第2のアイテムを含み、
前記制御部は、受信した前記情報に基づいて、前記第1のアイテム又は前記第2のアイテムを選択する
表示制御装置。
(20)
ユーザからの音声発話を受信する音声受信部と、
ネットワークを介して、サーバから、前記音声発話に対する情報を受信する通信部と、
受信した前記情報に基づいて、前記音声発話に対応するアイテムを選択するとともに、選択した前記アイテムに応じた動作を制御する制御部と
を備え、
前記アイテムは、表示画面内の第1のアイテム、及び前記アイテムを表示する領域を拡大することで表示可能な第2のアイテムを含み、
前記制御部は、受信した前記情報に基づいて、前記第1のアイテム又は前記第2のアイテムを選択する
表示制御装置。
10,10-1乃至10-N 表示制御装置, 11 リモートコントローラ, 20 放送配信システム, 30 エージェントサーバ, 40 テキスト変換サーバ, 50 誤変換修正・形態素解析サーバ, 60 ネットワーク, 70 エージェント対応機器, 101 制御部, 102 信号入力部, 103 信号処理部, 104 表示部, 105 スピーカ, 106 通信部, 107 操作受付部, 108 マイクロフォン, 121 音声入力部, 122 コマンド処理部, 123 コマンド変換部, 124 誤変換対応部, 131 誤変換吸収部, 132 形態素解析部, 301 テキスト変換部, 302 コマンド変換部, 401 テキスト変換部, 501 誤変換対応部, 511 誤変換修正部, 512 形態素解析部, 1000 コンピュータ, 1001 CPU

Claims (20)

  1. ユーザからの音声発話を受信する音声受信部と、
    ネットワークを介して、第1のサーバから、前記音声発話に対する情報を受信する通信部と、
    受信した前記情報に基づいて、前記音声発話に対応するアイテムを選択するとともに、選択した前記アイテムに応じた動作を制御する制御部と
    を備え、
    前記アイテムは、表示画面内の第1のアイテム、及びスクロールすることで表示可能な第2のアイテムを含み、
    前記制御部は、受信した前記情報に基づいて、前記第1のアイテム又は前記第2のアイテムを選択する
    表示制御装置。
  2. 前記第2のアイテムは、前記第2のアイテムの大きさを縮小することで表示可能なアイテムを含む
    請求項1に記載の表示制御装置。
  3. 前記第2のアイテムは、前記第2のアイテムを表示する領域を拡大することで表示可能なアイテムを含む
    請求項1に記載の表示制御装置。
  4. 前記制御部は、コンテンツとともに表示されるメニューに対し、前記アイテムを含める
    請求項1に記載の表示制御装置。
  5. 前記制御部は、前記アイテムとして、第1の階層に含まれる1又は複数の第1の階層アイテムと、第2の階層に含まれる1又は複数の第2の階層アイテムとを含める
    請求項4に記載の表示制御装置。
  6. 前記制御部は、前記第1の階層に含まれる前記第1の階層アイテムの中から、所望の第1の階層アイテムが選択された場合、選択された前記第1の階層アイテムに応じた1又は複数の第2の階層アイテムを含む前記第2の階層を表示する
    請求項5に記載の表示制御装置。
  7. 前記制御部は、前記第1の階層に含まれる前記第1の階層アイテムの中から、選択対象として、所望の第1の階層アイテムが選択された場合に、
    次の選択対象として、前記第1の階層に含まれる他の第1の階層アイテム、及び前記第2の階層に含まれる選択された前記第1の階層アイテムに応じた1又は複数の第2の階層アイテムを含め、
    前記次の選択対象として、未選択の第1の階層アイテムに応じた1又は複数の第2の階層アイテムを含めない
    請求項5に記載の表示制御装置。
  8. 前記第1の階層アイテムは、推奨読み上げ項目を含み、
    前記制御部は、前記推奨読み上げ項目に関連する関連項目に対する前記音声発話がなされた場合、前記関連項目に関連した前記推奨読み上げ項目に対する前記音声発話がなされたとみなす
    請求項5に記載の表示制御装置。
  9. 前記第1の階層として表示される1又は複数の前記第1の階層アイテムが配置される第1の方向と、前記第2の階層として表示される1又は複数の前記第2の階層アイテムが配置される第2の方向とは、直交している
    請求項5に記載の表示制御装置。
  10. 前記制御部は、前記メニューに、前記音声発話に応じた音声操作に関するガイドを含める
    請求項4に記載の表示制御装置。
  11. 前記制御部は、
    前記アイテムを、前記ユーザが識別可能に表示し、
    前記アイテムの表示方法を前記ガイドに含める
    請求項10に記載の表示制御装置。
  12. 前記制御部は、
    前記音声発話に応じた前記アイテムと同一のアイテムが複数存在する場合であって、前記表示画面内にも同一のアイテムが存在するとき、前記表示画面内で、表示画面の基準位置に最も近い位置に存在するアイテムを優先して選択し、
    選択した前記アイテムに応じた動作を制御する
    請求項4に記載の表示制御装置。
  13. 前記制御部は、
    前記音声発話に応じた前記アイテムと同一のアイテムが複数存在する場合であって、表示画面外にのみ同一のアイテムが存在するとき、前記表示画面外で、表示画面の基準位置に最も近い位置に存在するアイテムを優先して選択し、
    選択した前記アイテムに応じた動作を制御する
    請求項4に記載の表示制御装置。
  14. 前記制御部は、
    あらかじめ用意された誤変換の吸収用のテーブルを参照して、前記音声発話に応じたテキストの誤変換を吸収し、
    誤変換が吸収された前記テキストをコマンドに変換する
    請求項4に記載の表示制御装置。
  15. 前記制御部は、前記ユーザの音声発話中に、又は前記テキストをコマンドに変換する際に、前記テーブルを参照して、前記テキストの誤変換を吸収する
    請求項14に記載の表示制御装置。
  16. 前記通信部は、ネットワークを介して、あらかじめ用意された誤変換の吸収用のテーブルを参照して前記音声発話に応じたテキストの誤変換の修正を行う第2のサーバに対して前記音声発話に応じたテキストを送信して、前記第2のサーバから送信されてくる誤変換が修正された前記テキストを受信し、
    前記制御部は、受信された前記テキストをコマンドに変換する
    請求項4に記載の表示制御装置。
  17. 前記メニューは、設定メニューを含み、
    前記第1の階層アイテムは、設定項目を含み、
    前記第2の階層アイテムは、設定値を含む
    請求項5に記載の表示制御装置。
  18. 表示制御装置が、
    ユーザからの音声発話を受信し、
    ネットワークを介して、サーバから、前記音声発話に対する情報を受信し、
    受信した前記情報に基づいて、前記音声発話に対応するアイテムとして、表示画面内の第1のアイテム、又はスクロールすることで表示可能な第2のアイテムを選択するとともに、選択した前記第1のアイテム又は前記第2のアイテムに応じた動作を制御する
    表示制御方法。
  19. ユーザからの音声発話を受信する音声受信部と、
    ネットワークを介して、サーバから、前記音声発話に対する情報を受信する通信部と、
    受信した前記情報に基づいて、前記音声発話に対応するアイテムを選択するとともに、選択した前記アイテムに応じた動作を制御する制御部と
    を備え、
    前記アイテムは、表示画面内の第1のアイテム、及び前記アイテムの大きさを縮小することで表示可能な第2のアイテムを含み、
    前記制御部は、受信した前記情報に基づいて、前記第1のアイテム又は前記第2のアイテムを選択する
    表示制御装置。
  20. ユーザからの音声発話を受信する音声受信部と、
    ネットワークを介して、サーバから、前記音声発話に対する情報を受信する通信部と、
    受信した前記情報に基づいて、前記音声発話に対応するアイテムを選択するとともに、選択した前記アイテムに応じた動作を制御する制御部と
    を備え、
    前記アイテムは、表示画面内の第1のアイテム、及び前記アイテムを表示する領域を拡大することで表示可能な第2のアイテムを含み、
    前記制御部は、受信した前記情報に基づいて、前記第1のアイテム又は前記第2のアイテムを選択する
    表示制御装置。
JP2018244221A 2018-12-27 2018-12-27 表示制御装置、及び表示制御方法 Pending JP2022036352A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018244221A JP2022036352A (ja) 2018-12-27 2018-12-27 表示制御装置、及び表示制御方法
PCT/JP2019/048897 WO2020137607A1 (ja) 2018-12-27 2019-12-13 音声発話に基いてアイテムを選択する表示制御装置
US17/416,249 US11941322B2 (en) 2018-12-27 2019-12-13 Display control device for selecting item on basis of speech
US18/443,483 US20240184519A1 (en) 2018-12-27 2024-02-16 Display control device for selecting item on basis of speech

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018244221A JP2022036352A (ja) 2018-12-27 2018-12-27 表示制御装置、及び表示制御方法

Publications (1)

Publication Number Publication Date
JP2022036352A true JP2022036352A (ja) 2022-03-08

Family

ID=71127986

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018244221A Pending JP2022036352A (ja) 2018-12-27 2018-12-27 表示制御装置、及び表示制御方法

Country Status (3)

Country Link
US (2) US11941322B2 (ja)
JP (1) JP2022036352A (ja)
WO (1) WO2020137607A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022254670A1 (ja) * 2021-06-03 2022-12-08 日産自動車株式会社 表示制御装置及び表示制御方法
US11838331B2 (en) * 2021-12-22 2023-12-05 Avaya Management L.P. Endpoint control over a text channel of a real-time communication session

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007087104A (ja) 2005-09-22 2007-04-05 Sony Corp 音声出力制御装置および方法、記録媒体、並びに、プログラム
WO2013014709A1 (ja) 2011-07-27 2013-01-31 三菱電機株式会社 ユーザインタフェース装置、車載用情報装置、情報処理方法および情報処理プログラム
CN104981767A (zh) 2013-01-04 2015-10-14 寇平公司 受控头戴式计算机显示器
JP2014153663A (ja) 2013-02-13 2014-08-25 Sony Corp 音声認識装置、および音声認識方法、並びにプログラム
KR102092164B1 (ko) * 2013-12-27 2020-03-23 삼성전자주식회사 디스플레이 장치, 서버 장치 및 이들을 포함하는 디스플레이 시스템과 그 컨텐츠 제공 방법들
US9338493B2 (en) * 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
JP2018022049A (ja) 2016-08-04 2018-02-08 三菱電機株式会社 音声認識機能付き電子機器及び音声認識機能付きシステム
EP3561653A4 (en) 2016-12-22 2019-11-20 Sony Corporation INFORMATION PROCESSING DEVICE AND INFORMATION PROCESSING METHOD
JP7026449B2 (ja) * 2017-04-21 2022-02-28 ソニーグループ株式会社 情報処理装置、受信装置、及び情報処理方法
JP7003720B2 (ja) 2018-02-19 2022-01-21 コニカミノルタ株式会社 画像処理装置、画像処理装置の制御方法、およびプログラム

Also Published As

Publication number Publication date
US11941322B2 (en) 2024-03-26
US20220057989A1 (en) 2022-02-24
US20240184519A1 (en) 2024-06-06
WO2020137607A1 (ja) 2020-07-02

Similar Documents

Publication Publication Date Title
JP5746111B2 (ja) 電子装置及びその制御方法
JP5819269B2 (ja) 電子装置及びその制御方法
JP6111030B2 (ja) 電子装置及びその制御方法
US20130041665A1 (en) Electronic Device and Method of Controlling the Same
RU2625439C2 (ru) Электронное устройство и способ для предоставления пользовательского интерфейса для него
US9225891B2 (en) Display apparatus and method for controlling display apparatus thereof
US20130073293A1 (en) Electronic device and method for controlling the same
KR102527082B1 (ko) 디스플레이장치 및 그 제어방법
US20240184519A1 (en) Display control device for selecting item on basis of speech
JP2013037689A (ja) 電子装置及びその制御方法
KR102227599B1 (ko) 음성인식 시스템, 음성인식 서버 및 디스플레이 장치의 제어방법
US20130033644A1 (en) Electronic apparatus and method for controlling thereof
US20150194167A1 (en) Display apparatus which operates in response to voice commands and control method thereof
CN105635609A (zh) 显示设备和显示方法
CN112188249A (zh) 一种基于电子说明书的播放方法及显示设备
US20160191841A1 (en) Display device and display method
KR102459655B1 (ko) 서버, 단말장치, 디스플레이장치 및 그 제어방법
WO2021184575A1 (zh) 显示设备和显示方法
US11169774B2 (en) Electronic apparatus and control method thereof
US11930236B2 (en) Content playback device using voice assistant service and operation method thereof
KR102460927B1 (ko) 음성인식 시스템, 음성인식 서버 및 디스플레이장치의 제어방법
CN114302248B (zh) 一种显示设备及多窗口语音播报方法
CN113940049B (zh) 基于内容的语音播放方法及显示设备
US20200413150A1 (en) Display apparatus and the controlling method thereof
CN117812358A (zh) 显示设备、显示控制方法及存储介质