RU2571520C2 - Image processing device and associated control method and image processing system - Google Patents

Abstract

FIELD: physics.

SUBSTANCE: image processing device includes an image processor which processes a broadcasting signal, to display an image based on the processed broadcasting signal; communication unit which is connected to a server; a voice input unit which receives user speech; a voice processor which processes performance of a preset corresponding operation according to a voice command corresponding to the speech; and a controller which processes the voice command corresponding to the speech through one of the voice processor and the server if the speech is input through the voice input unit. If the voice command includes a keyword relating to a call sign of a broadcasting channel, the controller controls one of the voice processor and the server to select a recommended call sign corresponding to the keyword according to a predetermined selection condition, and performs a corresponding operation under the voice command with respect to the broadcasting channel of the recommended call sign.

EFFECT: faster recognition of the command and performance of the operation.

13 cl, 10 dwg

Description

УРОВЕНЬ ТЕХНИКИBACKGROUND

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕFIELD OF THE INVENTION

Устройства и способы, соответствующие примерным вариантам осуществления, относятся к устройству обработки изображений и соответствующему способу управления и к системе обработки изображений, которая обрабатывает сигнал изображения, например вещательный сигнал, подаваемый извне, для отображения изображения на основе обработанного сигнала изображения, а более конкретно к устройству обработки изображений и соответствующему способу управления и к системе обработки изображений, которая распознает голосовую команду пользователя для выполнения функции или операции.The devices and methods corresponding to exemplary embodiments relate to an image processing device and a corresponding control method and to an image processing system that processes an image signal, for example, a broadcast signal supplied from outside, to display an image based on the processed image signal, and more particularly, to a device image processing and the corresponding control method and to an image processing system that recognizes a user's voice command for you complete functions or operations.

ОПИСАНИЕ ПРЕДШЕСТВУЮЩЕГО УРОВНЯ ТЕХНИКИDESCRIPTION OF THE PRIOR ART

Устройство обработки изображений обрабатывает сигналы изображения и/или данные изображения, подаваемые извне, согласно различным операциям обработки изображения. Устройство обработки изображений может отображать изображение на своей панели визуального отображения на основе обработанного сигнала изображения, или выводить обработанный сигнал изображения в другое устройство визуального отображения, содержащее панель для отображения на ней изображения на основе обработанного сигнала изображения. Соответственно, если устройство обработки изображений может обрабатывать сигнал изображения, то оно может включать или не включать в себя панель для отображения изображения. Первый случай может быть реализован в виде телевизора, а второй случай может быть реализован в виде телевизионной приставки.The image processing apparatus processes image signals and / or image data supplied externally according to various image processing operations. The image processing device may display an image on its visual display panel based on the processed image signal, or output the processed image signal to another visual display device comprising a panel for displaying an image on it based on the processed image signal. Accordingly, if the image processing apparatus can process the image signal, then it may or may not include a panel for displaying the image. The first case can be realized in the form of a television set, and the second case can be realized in the form of a set-top box.

В устройство обработки изображений непрерывно добавляются функции для расширения его функций в соответствии с усовершенствованием технологии. При такой тенденции, для ввода требуемых команд пользователя в устройство обработки изображений, обеспечиваются различные конфигурации и способы для ввода команд пользователя, как необходимо для устройства обработки изображений. Например, в обычном устройстве обработки изображений, если пользователь нажимает на клавишу/кнопку с удаленного управляющего устройства, то для выполнения операции, требуемой пользователем, в устройство обработки изображений передается управляющий сигнал. В последние годы, однако, устройство обработки изображений обнаруживает речь или жест пользователя, анализирует обнаруженное содержимое, и выполняет соответствующую операцию, т.е. управление устройством обработки изображений осуществляется согласно намерению пользователя.Functions are continuously added to the image processing device to expand its functions in accordance with technology improvements. With this trend, to enter the desired user commands into the image processing device, various configurations and methods for inputting user commands as necessary for the image processing device are provided. For example, in a conventional image processing device, if the user presses a key / button from a remote control device, then to perform the operation required by the user, a control signal is transmitted to the image processing device. In recent years, however, the image processing apparatus detects a user's speech or gesture, analyzes the detected content, and performs the corresponding operation, i.e. the image processing device is controlled according to the intention of the user.

СУЩНОСТЬ ИЗОБРЕТЕНИЯSUMMARY OF THE INVENTION

Соответственно, в одном или нескольких примерных вариантах осуществления обеспечивается электронное устройство, сервер и соответствующий способ управления, который минимизирует время для распознавания команды пользователя и выполнения операции.Accordingly, in one or more exemplary embodiments, an electronic device, a server, and a corresponding control method are provided that minimizes time for recognizing a user command and performing an operation.

Вышеизложенные и/или другие аспекты могут быть осуществлены посредством обеспечения устройства обработки изображений, включающего в себя: процессор изображений, который обрабатывает вещательный сигнал, переданный извне, для отображения изображения на основе обработанного вещательного сигнала, блок связи, который соединен с сервером для связи, блок голосового ввода, который принимает речь пользователя, голосовой процессор, который обрабатывает выполнение предварительно установленной соответствующей операции согласно голосовой команде, соответствующей этой речи, и контроллер, который обрабатывает голосовую команду, соответствующую этой речи, посредством одного из голосового процессора и сервера, если эта речь введена через блок голосового ввода, причем, если голосовая команда включает в себя ключевое слово, относящееся к позывному вещательного канала, то контроллер осуществляет управление одним из голосового процессора и сервера для выбора рекомендуемого позывного, соответствующего ключевому слову, согласно предопределенному условию выбора, и выполняет соответствующую операцию согласно голосовой команде в отношении вещательного канала по рекомендуемому позывному.The foregoing and / or other aspects may be implemented by providing an image processing apparatus including: an image processor that processes a broadcast signal transmitted from outside to display an image based on a processed broadcast signal, a communication unit that is connected to a server for communication, a unit voice input that receives user speech, a voice processor that processes the execution of a predefined corresponding operation according to the voice com nde corresponding to this speech, and a controller that processes the voice command corresponding to this speech through one of the voice processor and server, if this speech is entered through the voice input unit, and if the voice command includes a keyword related to the broadcast call sign channel, the controller controls one of the voice processor and server to select the recommended callsign corresponding to the keyword, according to the predefined selection condition, and performs accordingly corresponding operations according to the voice command in relation to the broadcasting channel on the recommended callsign.

База данных из, по меньшей мере, одного кандидата на позывной, соответствующего ключевому слову, может храниться в устройстве обработки изображений и на сервере, и рекомендуемый позывной может быть выбран из множества кандидатов на позывной, найденных в этой базе данных согласно условию выбора.A database of at least one call sign candidate corresponding to a keyword can be stored in the image processing device and on the server, and a recommended call sign can be selected from a plurality of call sign candidates found in this database according to a selection condition.

Условие выбора может включать в себя выбор кандидата на позывной, в качестве рекомендуемого позывного, частота выбора которого больше или равна предварительно установленного ранжирования, среди множества кандидатов на позывной, на основе информации предыстории применения устройства обработки изображений.The selection condition may include the selection of a call sign candidate as a recommended call sign, the frequency of which is greater than or equal to a predetermined ranking, among a plurality of call sign candidates, based on the history information of the image processing apparatus.

Условие выбора может включать в себя выбор кандидата на позывной, в качестве рекомендуемого позывного, частота выбора которого больше или равна предварительно установленного ранжирования, в пределах множества других устройств обработки изображений, осуществляющих связь с сервером, среди множества кандидатов на позывной.The selection condition may include the selection of a call sign candidate as a recommended call sign, the frequency of which is greater than or equal to a predetermined ranking, within a plurality of other image processing devices communicating with the server among the plurality of call sign candidates.

Рекомендуемый позывной может быть одним или несколькими позывными, выбранными из множества кандидатов на позывной, и контроллер может отображать интерфейс пользователя (UI), который обеспечивается для выбора одного из множества выбранных кандидатов на позывной, если выбрано множество кандидатов на позывной.The recommended callsign may be one or more callsigns selected from a plurality of callsign candidates, and the controller may display a user interface (UI) that is provided for selecting one of a plurality of selected callsign candidates if multiple callsign candidates are selected.

Если ввод выбора одного из кандидатов на позывной не выполняется за предварительно установленное время после отображения UI, то контроллер может выбрать один из рекомендуемых позывных согласно предварительно установленному условию выбора.If the selection selection of one of the candidates for the call sign is not performed within the preset time after displaying the UI, the controller can select one of the recommended callsigns according to the pre-set selection condition.

Блок связи может осуществлять связь с сервером для преобразования речи в текст (speech-to-text, STT), который преобразует речь в голосовую команду в виде текста, и после ввода речи в блок голосового ввода, контроллер может передавать голосовой сигнал этой речи на сервер STT, и может принимать голосовую команду, соответствующую этой речи, из сервера STT.The communication unit can communicate with the server to convert speech to text (speech-to-text, STT), which converts speech into a voice command in the form of text, and after entering the speech into the voice input unit, the controller can transmit the voice signal of this speech to the server STT, and can receive a voice command corresponding to this speech from the STT server.

Если голосовая команда может являться коротким предложением, то для обработки этой голосовой команды контроллер может осуществлять управление голосовым процессором, и если голосовая команда является предложением разговорной речи, то для обработки этой голосовой команды контроллер может осуществлять управление сервером.If the voice command can be a short sentence, then the controller can control the voice processor to process this voice command, and if the voice command is a conversation offer, the controller can control the server to process this voice command.

Устройство обработки изображений может также включать в себя дисплей, на котором отображается изображение на основе вещательного сигнала, обработанного процессором изображений.The image processing apparatus may also include a display on which an image is displayed based on the broadcast signal processed by the image processor.

Другой аспект настоящего примерного варианта осуществления может быть осуществлен посредством обеспечения способа управления устройства обработки изображений, которое осуществляет связь с сервером, включающего в себя: прием речи пользователя, и обработку голосовой команды, соответствующей этой речи, посредством одного из устройства обработки изображений и сервера, и выполнение предварительно установленной соответствующей операции согласно этой голосовой команде, причем выполнение предварительно установленной соответствующей операции согласно упомянутой голосовой команде включает в себя управление для выбора рекомендуемого позывного, соответствующего ключевому слову, одним из устройства обработки изображений и сервера согласно предварительно установленному условию выбора, если голосовая команда включает в себя ключевое слово, относящееся к позывному вещательного канала, и выполнение соответствующей операции согласно голосовой команде в отношении вещательного канала по рекомендуемому позывному.Another aspect of the present exemplary embodiment may be implemented by providing a control method of an image processing apparatus that communicates with a server, including: receiving a user's speech, and processing a voice command corresponding to that speech through one of the image processing apparatus and the server, and performing a pre-set corresponding operation according to this voice command, and performing a pre-installed corresponding op A walkie-talkie according to said voice command includes a control for selecting a recommended call sign corresponding to a keyword by one of the image processing device and a server according to a pre-set selection condition if the voice command includes a keyword related to the call sign of the broadcast channel and performing the corresponding operation according to the voice command regarding the broadcast channel at the recommended callsign.

База данных из, по меньшей мере, одного кандидата на позывной, соответствующего ключевому слову, может храниться в устройстве обработки изображений и на сервере, и рекомендуемый позывной может быть выбран из множества кандидатов на позывной, найденных в этой базе данных, согласно условию выбора.A database of at least one call sign candidate corresponding to the keyword can be stored in the image processing device and on the server, and the recommended call sign can be selected from a plurality of call sign candidates found in this database according to the selection condition.

Условие выбора может включать в себя выбор кандидата на позывной, в качестве рекомендуемого позывного, частота выбора которого больше или равна предварительно установленного ранжирования, среди множества кандидатов на позывной, на основе информации предыстории применения устройства обработки изображений.The selection condition may include the selection of a call sign candidate as a recommended call sign, the frequency of which is greater than or equal to a predetermined ranking, among a plurality of call sign candidates, based on the history information of the image processing apparatus.

Условие выбора может включать в себя выбор кандидата на позывной, в качестве рекомендуемого позывного, частота выбора которого больше или равна предварительно установленного ранжирования, в пределах множества других устройств обработки изображений, осуществляющих связь с сервером, среди множества кандидатов на позывной.The selection condition may include the selection of a call sign candidate as a recommended call sign, the frequency of which is greater than or equal to a predetermined ranking, within a plurality of other image processing devices communicating with the server among the plurality of call sign candidates.

Рекомендуемый позывной может быть одним позывным или несколькими позывными, выбранными из множества кандидатов на позывной, и выполнение соответствующей операции может включать в себя отображение интерфейса пользователя (UI), который обеспечивается для выбора одного из множества выбранных кандидатов на позывной, если выбрано множество кандидатов на позывной.The recommended call sign may be one call sign or several callsign selected from a plurality of call sign candidates, and performing the corresponding operation may include displaying a user interface (UI) that is provided for selecting one of a plurality of selected call sign candidates if a plurality of call sign candidates are selected .

Отображение UI может включать в себя выбор одного из рекомендуемых позывных согласно предварительно установленному условию выбора, если ввод выбора одного из кандидатов на позывной не выполняется за предварительно установленное время после отображения UI.The display of the UI may include the selection of one of the recommended callsigns according to a predefined selection condition, if the selection selection of one of the call sign candidates is not completed within a predetermined time after the display of the UI.

Устройство обработки изображений может осуществлять связь с сервером STT, который преобразует речь в голосовую команду в виде текста, и прием речи пользователя может включать в себя передачу голосового сигнала этой речи на сервер STT и прием голосовой команды, соответствующей этой речи, из сервера STT.The image processing apparatus may communicate with the STT server, which converts the speech into a voice command in the form of text, and receiving a user's speech may include transmitting the voice signal of this speech to the STT server and receiving a voice command corresponding to this speech from the STT server.

Выполнение предварительно установленной соответствующей операции согласно голосовой команде может включать в себя обработку этой голосовой команды посредством устройства обработки изображений, если эта голосовая команда является коротким предложением, и обработку этой голосовой команды посредством сервера, если эта голосовая команда является предложением разговорной речи.Performing a predetermined corresponding operation according to the voice command may include processing this voice command by the image processing device if the voice command is a short sentence, and processing this voice command by the server if this voice command is a conversation offer.

Другой аспект настоящего примерного варианта осуществления может быть осуществлен посредством обеспечения системы обработки изображений, включающей в себя: устройство обработки изображений, которое обрабатывает вещательный сигнал, переданный извне, для отображения изображения на основе обработанного вещательного сигнала, сервер, который осуществляет связь с устройством обработки изображений, причем это устройство обработки изображений включает в себя блок голосового ввода, который принимает речь пользователя, голосовой процессор, который выполняет предварительно установленную соответствующую операцию согласно голосовой команде, соответствующей этой речи, контроллер, который осуществляет управление одним из голосового процессора и сервера для обработки голосовой команды, соответствующей этой речи, если эта речь введена, причем этот контроллер осуществляет управление одним из голосового процессора и сервера для выбора рекомендуемого позывного, соответствующего ключевому слову, согласно предварительно установленному условию выбора, если эта голосовая команда включает в себя ключевое слово, относящееся к позывному вещательного канала, и выполняет соответствующую операцию согласно этой голосовой команде в отношении вещательного канала по рекомендуемому позывному.Another aspect of the present exemplary embodiment may be implemented by providing an image processing system including: an image processing device that processes a broadcast signal transmitted from outside to display an image based on the processed broadcast signal, a server that communicates with the image processing device, moreover, this image processing device includes a voice input unit that receives user speech, a voice processor which performs a pre-set corresponding operation according to a voice command corresponding to this speech, a controller that controls one of the voice processor and a server for processing a voice command corresponding to this speech, if this speech is entered, and this controller controls one of the voice processor and server to select the recommended callsign corresponding to the keyword, according to the predefined selection condition, if this voice command yes includes a keyword related to the call sign of the broadcast channel and performs the corresponding operation according to this voice command with respect to the broadcast channel by the recommended call sign.

Система обработки изображений может также (включать в себя) сервер STT, который преобразует речь в голосовую команду в виде текста, причем, если речь введена в блок голосового ввода, то контроллер может передавать голосовой сигнал этой речи на сервер STT, и принимает голосовую команду, соответствующую этой речи, из сервера STT.The image processing system can also (include) a STT server, which converts speech into a voice command in the form of text, and if speech is entered into the voice input unit, the controller can transmit the voice signal of this speech to the STT server, and receives a voice command, corresponding to this speech, from the STT server.

В одном примерном варианте осуществления существует устройство обработки изображений, включающее в себя: процессор изображений, который обрабатывает вещательный сигнал, принятый извне, для отображения изображения на основе обработанного вещательного сигнала, устройство связи, которое выполнено с возможностью осуществления связи с сервером, голосовой приемник, который принимает речь пользователя, голосовой процессор, который выполнен с возможностью обработки выполнения операции согласно голосовой команде, соответствующей речи пользователя, и контроллер, который обрабатывает голосовую команду, соответствующую этой речи, посредством одного из голосового процессора и сервера, если эта речь принята через голосовой приемник, причем, если голосовая команда включает в себя ключевое слово, относящееся к требуемому позывному вещательного канала, то контроллер осуществляет управление одним из голосового процессора и сервера для выбора позывного, соответствующего ключевому слову, согласно предопределенному условию выбора, в качестве рекомендуемого позывного, и выполняет операцию согласно голосовой команде в отношении вещательного канала по рекомендуемому позывному.In one exemplary embodiment, there is an image processing apparatus including: an image processor that processes a broadcast signal received from outside to display an image based on a processed broadcast signal, a communication device that is configured to communicate with a server, a voice receiver that receives a user’s speech, a voice processor that is adapted to process an operation according to a voice command corresponding to speech the caller, and the controller that processes the voice command corresponding to this speech, through one of the voice processor and server, if this speech is received through the voice receiver, and if the voice command includes a keyword related to the required call sign of the broadcast channel, then the controller controls one of the voice processor and server to select a callsign corresponding to a keyword according to a predetermined selection condition as a recommended callsign, and operation according to the voice command in relation to the broadcasting channel on the recommended callsign.

В еще одном примерном варианте осуществления, существует способ управления устройства обработки изображений, которое осуществляет связь с сервером, причем способ включает в себя: прием речи пользователя, и обработку голосовой команды, соответствующей речи пользователя, посредством одного из устройства обработки изображений и сервера, и выполнение операции согласно этой голосовой команде, причем выполнение операции согласно голосовой команде включает в себя: управление для выбора позывного, соответствующего ключевому слову, в качестве рекомендуемого позывного, одним из устройства обработки изображений и сервера согласно предварительно установленному условию выбора, если голосовая команда включает в себя ключевое слово, относящееся к позывному вещательного канала, и выполнение операции согласно голосовой команде в отношении вещательного канала по рекомендуемому позывному.In yet another exemplary embodiment, there is a method of controlling an image processing apparatus that communicates with a server, the method including: receiving a user’s speech, and processing a voice command corresponding to the user's speech through one of the image processing device and the server, and executing operations according to this voice command, and the operation according to the voice command includes: control for selecting a callsign corresponding to a keyword, as e of the recommended call sign, by one of the image processing device and the server according to a pre-established selection condition, if the voice command includes a keyword related to the call sign of the broadcast channel, and the operation according to the voice command regarding the broadcast channel of the recommended call sign.

В еще одном примерном варианте осуществления существует система обработки изображений, включающая в себя: устройство обработки изображений, которое обрабатывает вещательный сигнал, принятый извне, для отображения изображения на основе обработанного вещательного сигнала, сервер, который осуществляет связь с устройством обработки изображений, причем устройство обработки изображений включает в себя голосовой приемник, который выполнен с возможностью приема речи пользователя, голосовой процессор, который выполняет предварительно установленную соответствующую операцию для голосовой команды, соответствующей речи пользователя, и контроллер, который осуществляет управление одним из голосового процессора и сервера для обработки голосовой команды, соответствующей речи пользователя, если речь пользователя принята, причем этот контроллер осуществляет управление одним из голосового процессора и сервера для выбора позывного, соответствующего ключевому слову, в качестве рекомендуемого позывного, согласно предварительно установленному условию выбора, если эта голосовая команда включает в себя ключевое слово, относящееся к позывному вещательного канала, и выполняет соответствующую операцию согласно этой голосовой команде в отношении вещательного канала по рекомендуемому позывному.In another exemplary embodiment, there is an image processing system including: an image processing device that processes a broadcast signal received from outside to display an image based on the processed broadcast signal, a server that communicates with the image processing device, the image processing device includes a voice receiver that is configured to receive user speech, a voice processor that preliminarily sets an updated corresponding operation for a voice command corresponding to the user's speech, and a controller that controls one of the voice processor and the server to process the voice command corresponding to the user's speech, if the user’s speech is received, and this controller controls one of the voice processor and the server to select the callsign corresponding to the keyword as the recommended callsign, according to the pre-established selection condition, if this voice the command includes a keyword related to the call sign of the broadcast channel and performs the corresponding operation according to this voice command with respect to the broadcast channel by the recommended call sign.

В одном примерном варианте осуществления существует способ распознавания голосовой команды, включающий в себя: прием голосовой команды пользователя через микрофон устройства отображения для переключения с отображаемого вещательного канала на другой вещательный канал, причем эта голосовая команда пользователя включает в себя идентификатор (ID) другого вещательного канала, оцифровку упомянутой голосовой команды пользователя и обработку оцифрованной голосовой команды пользователя, сравнение упомянутой обработанной голосовой команды пользователя с предварительно сохраненными цифровыми моделями ID множества вещательных каналов и определение одной из предварительно сохраненных цифровых моделей ID множества вещательных каналов как совпадающей, причем эта операция сравнения выполняется в, по меньшей мере, одном из устройства отображения или внешнего сервера, который является отделенным от устройства отображения, и переключение с отображаемого вещательного канала на вещательный канал, соответствующий определенной одной из предварительно сохраненных цифровых моделей ID множества вещательных каналов, являющейся совпадающей.In one exemplary embodiment, there is a method for recognizing a voice command, including: receiving a user's voice command through the microphone of the display device to switch from the displayed broadcast channel to another broadcast channel, wherein this user voice command includes an identifier (ID) of another broadcast channel, digitizing said user voice command and processing digitized user voice command, comparing said processed voice command a user with pre-stored digital ID models of multiple broadcast channels and determining one of the pre-stored digital ID models of multiple broadcast channels as matching, this comparison operation being performed in at least one of a display device or an external server that is separate from the display device , and switching from the displayed broadcast channel to the broadcast channel corresponding to a specific one of the previously stored digital models th ID multiple broadcast channels are coincident.

ID может быть одним из цифрового ID, буквенного ID и буквенно-цифрового ID.The ID may be one of a digital ID, an alphabetic ID, and an alphanumeric ID.

Определение одной из предварительно сохраненных цифровых моделей ID множества вещательных каналов как являющейся совпадающей включает в себя определение множества предварительно сохраненных цифровых моделей ID множества вещательных каналов как являющегося совпавшим, причем упомянутый способ также включает в себя: отображение ID, соответствующих определенному множеству предварительно сохраненных цифровых моделей ID множества вещательных каналов, являющемуся совпавшим.Determining one of the pre-stored digital ID models of the set of broadcast channels as being the same includes determining the set of pre-stored digital models ID of the set of broadcast channels as being the same, said method also including: displaying IDs corresponding to the determined set of pre-stored digital ID models multiple broadcast channels being matched.

Способ распознавания голосовой команды также включает в себя: автоматический выбор одного из отображаемых ID, если не принят ввод пользователя для выбора одного из отображаемых ID, причем этот выбранный один из отображаемых ID ранее выбирался чаще других из отображаемых ID.The voice command recognition method also includes: automatic selection of one of the displayed IDs if the user input for selecting one of the displayed IDs is not accepted, moreover, this selected one of the displayed IDs was previously selected more often than the other of the displayed IDs.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙBRIEF DESCRIPTION OF THE DRAWINGS

Вышеупомянутые и/или другие аспекты станут очевидными и более понятыми из следующего описания примерных вариантов осуществления во взаимосвязи с прилагаемыми чертежами, в которых:The above and / or other aspects will become apparent and better understood from the following description of exemplary embodiments in conjunction with the accompanying drawings, in which:

Фиг. 1 - блок-схема устройства визуального отображения согласно первому примерному варианту осуществления.FIG. 1 is a block diagram of a visual display device according to a first exemplary embodiment.

На фиг. 2 изображен пример структуры базы данных, относящейся к ключевому слову и кандидатам на позывной.In FIG. 2 illustrates an example database structure related to a keyword and call sign candidates.

Фиг. 3 - блок-схема структуры взаимодействия устройства визуального отображения и сервера на фиг. 1.FIG. 3 is a block diagram of the interaction structure of the visual display device and the server of FIG. one.

На фиг. 4 изображен пример процесса взаимодействия между устройством визуального отображения и сервером на фиг. 3.In FIG. 4 shows an example of the interaction process between the visual display device and the server of FIG. 3.

На фиг. 5 и фиг. 6 изображен пример изображения интерфейса пользователя (UI), который обеспечивается для выбора одного из множества рекомендуемых позывных, на устройстве визуального отображения на фиг. 1.In FIG. 5 and FIG. 6 depicts an example user interface (UI) image that is provided for selecting one of a plurality of recommended callsigns on a visual display device in FIG. one.

На фиг. 7 изображает пример процесса взаимодействия между устройством визуального отображения и сервером согласно второму примерному варианту осуществления.In FIG. 7 depicts an example interaction process between a visual display device and a server according to a second exemplary embodiment.

Фиг. 8 - блок-схема структуры взаимодействия устройства визуального отображения и сервера согласно третьему примерному варианту осуществления.FIG. 8 is a block diagram of an interaction structure of a visual display device and a server according to a third exemplary embodiment.

На фиг. 9 изображен процесс взаимодействия между устройством визуального отображения и сервером на фиг. 8.In FIG. 9 shows the interaction process between the visual display device and the server of FIG. 8.

Фиг. 10 - блок-схема, изображающая структуру передачи сигнала голосового процессора устройства визуального отображения согласно четвертому примерному варианту осуществления.FIG. 10 is a block diagram showing a signal transmission structure of a voice processor of a visual display device according to a fourth exemplary embodiment.

ПОДРОБНОЕ ОПИСАНИЕ ПРИМЕРНЫХ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯDETAILED DESCRIPTION OF EXAMPLE EMBODIMENTS

Ниже подробно описаны примерные варианты осуществления со ссылкой на прилагаемые чертежи для облегчения понимания лицу, обладающему обычными познаниями в данной области техники. Примерные варианты осуществления могут быть воплощены в различных формах и не ограничиваются примерными вариантами осуществления, изложенными в этом документе. Описания известных частей опущены для ясности, и используется сквозная нумерация ссылочных позиций.Exemplary embodiments are described in detail below with reference to the accompanying drawings in order to facilitate understanding by a person having ordinary knowledge in the art. Exemplary embodiments can be embodied in various forms and are not limited to the exemplary embodiments set forth herein. Descriptions of well-known parts are omitted for clarity, and end-to-end reference numerals are used.

Фиг. 1 является блок-схемой устройства 100 обработки изображений согласно первому примерному варианту осуществления.FIG. 1 is a block diagram of an image processing apparatus 100 according to a first exemplary embodiment.

Ниже примерные варианты осуществления описывают устройство 100 обработки изображений, которое само может отображать изображение, но идея настоящего изобретения может применяться к другим устройствам, которые сами не отображают изображение, а вместо этого выводят сигналы изображения и/или управляющие сигналы в другое устройство визуального отображения. Соответственно, идея настоящего изобретение не ограничивается нижеизложенными примерными вариантами осуществления. Несмотря на то, что в настоящем примерном варианте осуществления описано устройство 100 обработки изображений, которое реализовано в виде телевизора, в других примерных вариантах осуществления могут существовать другие реализации.Below, exemplary embodiments describe an image processing apparatus 100 that can itself display an image, but the idea of the present invention can be applied to other devices that themselves do not display an image, but instead output image signals and / or control signals to another visual display device. Accordingly, the idea of the present invention is not limited to the following exemplary embodiments. Although an image processing apparatus 100 that is implemented as a television is described in the present exemplary embodiment, other implementations may exist in other exemplary embodiments.

Как представлено на фиг. 1, устройство 100 обработки изображений или устройство 100 визуального отображения согласно настоящему примерному варианту осуществления принимает сигнал изображения из источника подачи изображения. Сигнал изображения, который может быть принят устройством 100 визуального отображения, не ограничен по типу или формату, например, устройство 100 визуального отображения может принимать вещательный сигнал, передаваемый передающим устройством вещательной станции, настраивать этот вещательный сигнал и отображать изображение вещания.As shown in FIG. 1, an image processing apparatus 100 or a visual display apparatus 100 according to the present exemplary embodiment receives an image signal from an image supply source. The image signal that can be received by the visual display device 100 is not limited in type or format, for example, the visual display device 100 can receive a broadcast signal transmitted by a broadcast station transmitter, configure this broadcast signal and display a broadcast image.

Устройство 100 визуального отображения включает в себя приемник 110 изображения, который принимает сигнал изображения из источника подачи изображения, процессор 120 изображений, который обрабатывает сигнал изображения, принятый приемником 110 изображения, согласно предварительно установленной операции обработки изображения, дисплей 130, на котором отображается изображение на основе сигнала изображения, обработанного процессором 120 изображений, блок 140 связи (например, устройство связи), который осуществляет связь с внешним устройством, например, сервером 10, блок 150 ввода пользователя, которым манипулирует пользователь, блок 160 голосового ввода, (например, голосовой приемник, микрофон и т.д.), который принимает голос или звук извне, голосовой процессор 170, который интерпретирует и обрабатывает голос или звук, введенный в блок 160 голосового ввода, блок 180 памяти (например, запоминающее устройство), в котором хранятся данные и/или информация, и контроллер 190, который управляет всеми операциями устройства 100 визуального отображения.The visual display device 100 includes an image receiver 110 that receives an image signal from an image supply source, an image processor 120 that processes an image signal received by an image receiver 110 according to a predefined image processing operation, a display 130 on which an image is displayed based on an image signal processed by the image processor 120, a communication unit 140 (e.g., a communication device) that communicates with an external device, e.g. an example, server 10, a user input unit 150 that the user manipulates, a voice input unit 160 (e.g., a voice receiver, microphone, etc.) that receives voice or sound from outside, a voice processor 170 that interprets and processes the voice, or sound input to the voice input unit 160, a memory unit 180 (for example, a storage device) that stores data and / or information, and a controller 190 that controls all operations of the visual display device 100.

Приемник 110 изображения принимает сигналы изображения и/или данные изображения проводным или беспроводным способом, и передает эти сигналы изображения и/или данные изображения в процессор 120 изображений. Приемник 110 изображения может меняться в зависимости от стандарта принимаемого сигнала изображения и типа примерного варианта осуществления устройства 100 визуального отображения. Например, приемник 110 изображения может принимать радиочастотный (RF) сигнал или сигнал изображения согласно различным стандартам, например, композитный видеосигнал, компонентный видеосигнал, видео высокого качества (super video), SCART, мультимедийный интерфейс высокой четкости (HDMI), DisplayPort, унифицированный дисплейный интерфейс (UDI), беспроводный стандарт для HD или другой стандарт. Если сигнал изображения является вещательным сигналом, то приемник 110 изображения включает в себя устройство настройки для настройки на вещательный сигнал канала.The image receiver 110 receives image signals and / or image data in a wired or wireless manner, and transmits these image signals and / or image data to the image processor 120. The image receiver 110 may vary depending on the standard of the received image signal and the type of an exemplary embodiment of the visual display device 100. For example, the image receiver 110 can receive a radio frequency (RF) signal or an image signal according to various standards, for example, composite video signal, component video signal, high quality video (super video), SCART, high-definition multimedia interface (HDMI), DisplayPort, unified display interface (UDI), the wireless standard for HD or another standard. If the image signal is a broadcast signal, then the image receiver 110 includes a tuning device for tuning to the channel broadcast signal.

Процессор 120 изображений обрабатывает сигнал изображения, принятый приемником 110 изображения, согласно различным операциям обработки изображения. Процессор 120 изображений выводит обработанный сигнал изображения на дисплей 130, на котором отображается изображение на основе обработанного сигнала изображения. Например, если устройство настройки настраивается на вещательный сигнал конкретного канала в приемнике 110 изображения, то процессор 120 изображений извлекает изображение, голос и дополнительные данные из вещательного сигнала, соответствующего этому каналу, корректирует сигнал изображения до предварительно установленного разрешения и отображает изображение на дисплее 130.The image processor 120 processes the image signal received by the image receiver 110 according to various image processing operations. The image processor 120 outputs the processed image signal to a display 130 on which an image is displayed based on the processed image signal. For example, if the tuning device is tuned to the broadcast signal of a particular channel in the image receiver 110, the image processor 120 extracts the image, voice and additional data from the broadcast signal corresponding to that channel, corrects the image signal to a preset resolution and displays the image on the display 130.

Операция обработки изображения процессора 120 изображений может включать в себя, например, операцию декодирования, соответствующую формату изображения данных изображения, операцию обратного перемежения для преобразования данных изображения с перемежением в данные прогрессивного изображения, операцию масштабирования для корректировки данных изображения до предварительно установленного разрешения, операцию подавления шума для улучшения качества изображения, операцию улучшения деталей, преобразование частоты обновления кадров и т.д.The image processing operation of the image processor 120 may include, for example, a decoding operation corresponding to the image format of the image data, an interleaving operation for converting the interleaved image data into progressive image data, a scaling operation for adjusting the image data to a preset resolution, a noise suppression operation to improve image quality, detail enhancement operation, frame refresh rate conversion, etc. .

Процессор 120 изображений реализован как однокристальная система (SOC), в которой интегрируются некоторые или все вышеизложенные функции, или как плата обработки изображений, которая сформирована посредством монтажа отдельных элементов на печатной плате (PCB), для выполнения некоторых или всех вышеизложенных операций обработки изображения, и установлен в устройстве 100 визуального отображения.The image processor 120 is implemented as a single-chip system (SOC) in which some or all of the above functions are integrated, or as an image processing board, which is formed by mounting individual elements on a printed circuit board (PCB), to perform some or all of the above image processing operations, and installed in the visual display device 100.

На дисплее 130 отображается изображение на основе сигнала изображения, выведенного процессором 120 изображений. Дисплей 130 может быть реализован, но без ограничения, в виде различных панелей визуального отображения, включающих в себя, например, жидкокристаллические, плазменные, проекционные, светодиодные (LED), на органических светодиодах (OLED), с электронной эмиссией на основе поверхностной проводимости, на основе углеродных нанотрубок и нанокристаллические.An image 130 is displayed on the display 130 based on the image signal output by the image processor 120. The display 130 can be implemented, but without limitation, in the form of various visual display panels, including, for example, liquid crystal, plasma, projection, light emitting diode (LED), organic light emitting diodes (OLED), with electronic emission based on surface conductivity, on based on carbon nanotubes and nanocrystalline.

Дисплей 130 также может включать в себя дополнительные элементы в зависимости от его реализации. Например, дисплей 130 в виде ЖКД (LCD) может включать в себя ЖК-панель, блок фоновой подсветки для излучения света на ЖК-панель и плату для управления панелью для управления ЖК-панелью.The display 130 may also include additional elements depending on its implementation. For example, an LCD display 130 may include an LCD panel, a backlight unit for emitting light to the LCD panel, and a board for controlling the panel for controlling the LCD panel.

Блок 140 связи передает и принимает данные для осуществления связи между устройством 100 визуального отображения и сервером 10. В примерном варианте осуществления, связь может являться интерактивной связью. Блок 140 связи соединен с сервером 10 через проводную и/или беспроводную глобальную и/или локальную сеть или локальное соединение в соответствии с протоколом связи сервера 10.The communication unit 140 transmits and receives data for communicating between the display device 100 and the server 10. In an exemplary embodiment, the communication may be an interactive communication. The communication unit 140 is connected to the server 10 via a wired and / or wireless global and / or local area network or a local connection in accordance with the communication protocol of the server 10.

Блок 150 ввода пользователя передает различные предварительно установленные команды управления или информацию в контроллер 190 согласно принятому вводу пользователя. Блок 150 ввода пользователя реализован в виде кнопки вывода меню или панели ввода, установленной на внешней части устройства 100 визуального отображения, или удаленного контроллера, который является отделенным от устройства 100 визуального отображения. Или же, блок 150 ввода пользователя может быть объединен с дисплеем 130. Если дисплей 130 является сенсорным экраном, то пользователь может коснуться меню ввода, отображенного на дисплее 130, для передачи предварительно установленной команды в контроллер 190.The user input unit 150 transmits various preset control commands or information to the controller 190 according to the received user input. The user input unit 150 is implemented as a menu output button or an input panel mounted on the outside of the visual display device 100, or a remote controller that is separate from the visual display device 100. Alternatively, the user input unit 150 may be combined with the display 130. If the display 130 is a touch screen, then the user can touch the input menu displayed on the display 130 to transmit a preset command to the controller 190.

Блок 160 голосового ввода реализован в виде микрофона и обнаруживает различные звуки, создаваемые во внешнем окружении устройства 100 визуального отображения. Звук, который обнаружен блоком 160 голосового ввода, включает в себя речь пользователя и другие звуки, которые создаются различными источниками, отличными от пользователя.The voice input unit 160 is implemented as a microphone and detects various sounds generated in the external environment of the visual display device 100. The sound that is detected by the voice input unit 160 includes user speech and other sounds that are generated by various sources other than the user.

Голосовой процессор 170 обрабатывает голоса или звуки, введенные в блок 160 голосового ввода, исходя из различных предварительно установленных процессов, выполняемых устройством 100 визуального отображения. Под "голосом", который обрабатывается голосовым процессором 170, подразумевается голос, введенный в блок 160 голосового ввода. Сигнал изображения, который обрабатывается процессором 120 изображений, может включать в себя голосовые данные, которые обрабатываются процессором 120 изображений.The voice processor 170 processes the voices or sounds inputted to the voice input unit 160 based on various predefined processes performed by the visual display device 100. By “voice”, which is processed by the voice processor 170, is meant the voice input to the voice input unit 160. An image signal that is processed by the image processor 120 may include voice data that is processed by the image processor 120.

Если голос или звук вводятся в блок 160 голосового ввода, то голосовой процессор 170 определяет то, является ли введенный голос или звук результатом речи пользователя, или они были созданы другими факторами. При таком определении могут использоваться различные конфигурации, и оно не может быть задано, например, оно включает в себя способ определения того, подпадают ли введенный голос или звук под длину волны или полосу частот, соответствующую человеческому голосу, или способ определения того, подпадают ли введенный голос или звук под профиль голоса пользователя, который является сохраненным заранее, или совпадают с ним.If voice or sound is input to the voice input unit 160, then the voice processor 170 determines whether the inputted voice or sound is the result of the user's speech, or if they were created by other factors. Various configurations can be used with such a definition, and it cannot be specified, for example, it includes a method for determining whether an inputted voice or sound matches the wavelength or frequency band corresponding to the human voice, or a method for determining whether the entered voice or sound under the user's voice profile, which is stored in advance, or coincides with it.

Если определено, что введена речь пользователя, то голосовой процессор 170 выполняет предварительно установленную соответствующую операцию для голосовой команды, соответствующей этой речи. В одном примерном варианте осуществления, голосовая команда является содержимым того, что сказал пользователь. Это будет подробно описано ниже.If it is determined that user speech has been entered, then voice processor 170 performs a predetermined corresponding operation for the voice command corresponding to that speech. In one exemplary embodiment, the voice command is the content of what the user said. This will be described in detail below.

В блоке 180 памяти сохраняются данные под управлением контроллера 190. Блок 180 памяти реализован как энергонезависимая память, например флэш-память или жесткий диск. К блоку 180 памяти обращается контроллер 190, процессор 120 изображений или голосовой процессор 170, и данные, сохраняемые в нем, могут считываться, записываться, модифицироваться, удаляться или обновляться контроллером 190, процессором 120 изображений или голосовым процессором 170.In the block 180 memory is stored data under the control of the controller 190. The block 180 memory is implemented as non-volatile memory, such as flash memory or hard disk. The memory unit 180 is accessed by a controller 190, an image processor 120, or a voice processor 170, and the data stored therein can be read, written, modified, deleted, or updated by a controller 190, an image processor 120, or a voice processor 170.

После приема речи пользователя через блок 160 голосового ввода, контроллер 190 осуществляет управление голосовым процессором 170 для обработки этой введенной речи. Когда процессор 120 изображений обрабатывает сигнал изображения, принятый приемником 110 изображения, для отображения изображения вещания на дисплее 130, контроллер 190 меняет канал согласно содержимому речи пользователя, если эта речь пользователя принята, чтобы командовать сменить канал через блок 160 голосового ввода.After receiving user speech through the voice input unit 160, the controller 190 controls the voice processor 170 to process this inputted speech. When the image processor 120 processes the image signal received by the image receiver 110 to display the broadcast image on the display 130, the controller 190 changes the channel according to the contents of the user's speech, if that user speech is received to command a channel change through the voice input unit 160.

Голосовая команда, относящаяся к 'смене канала', может включать в себя произнесение номера канала вещательного канала, который требуется пользователю, или произнесение позывного требуемого вещательного канала. Номер канала и позывной являются выражениями, которые устанавливаются заранее для того, чтобы отличать каналы друг от друга. Номер канала выражается положительным числом, например, 6, 7 и 11.A voice command related to a “channel change” may include pronouncing the channel number of the broadcast channel that the user requires, or pronouncing the call sign of the desired broadcast channel. The channel number and call sign are expressions that are set in advance in order to distinguish the channels from each other. The channel number is expressed as a positive number, for example, 6, 7 and 11.

Позывной является ID провайдера, который обеспечивает конкретный канал, и обычно является идентификационным именем вещательной станции, которая осуществляет вещание канала, для одного канала может существовать множество позывных, и если одна вещательная станция обеспечивает множество каналов, то соответствующие каналы имеют разные позывные для того, чтобы отличать их. Альтернативными формами ID являются цифровая, буквенная и буквенно-цифровая формы.The call sign is the provider ID that provides the particular channel, and is usually the identification name of the broadcasting station that broadcasts the channel, there can be many callsigns for one channel, and if one broadcasting station provides many channels, the corresponding channels have different callsigns so that distinguish them. Alternate forms of ID are numeric, alphabetic, and alphanumeric.

Примером первого случая является следующий: если позывным предопределенного первого канала является "KBS", то тогда такой позывной "Korean Broadcasting System" ("Корейская система вещания") может относиться к первому каналу, идентичному "KBS". Позывным предопределенного второго канала в одном географическом местоположении является "MBC", но позывным этого второго канала в другом географическом местоположении может являться "TNN". Соответственно, для конкретного канала может существовать множество позывных.An example of the first case is the following: if the call sign of the predefined first channel is "KBS", then such a call sign "Korean Broadcasting System" ("Korean Broadcasting System") can refer to the first channel identical to "KBS". The call sign of the predefined second channel in one geographical location is "MBC", but the call sign of this second channel in another geographical location may be "TNN". Accordingly, for a particular channel, there may be many callsigns.

Примером второго случая является следующий: вещательная станция, позывным которой является "KBS", может обеспечивать вещательный сигнал в предопределенный третий канал и четвертый (канал). В этом случае, позывным третьего канала является "KBS-1", а позывным четвертого канала является "KBS-2", которые отличаются друг от друга. "KBS" может рассматриваться как представительный позывной вещательной станции, а "KBS-1" и "KBS-2" являются позывными более низкого уровня по отношению к "KBS". Соответственно, позывной "KBS" относится как к третьему каналу, так и к четвертому каналу.An example of the second case is the following: a broadcast station whose call sign is “KBS” can provide a broadcast signal to a predetermined third channel and fourth (channel). In this case, the callsign of the third channel is “KBS-1”, and the callsign of the fourth channel is “KBS-2”, which are different from each other. “KBS” can be considered as representative of the broadcast call sign, and “KBS-1” and “KBS-2” are lower level callsigns to “KBS”. Accordingly, the call sign "KBS" refers to both the third channel and the fourth channel.

Соответственно, если речь пользователя, которая введена через блок 160 голосового ввода, является голосовой командой, "воспроизвести KBS", то может быть не понятно то, к какому из третьего канала "KBS-1" и четвертого канала "KBS-2" это относится.Accordingly, if the user’s speech that is inputted through the voice input unit 160 is a voice command “play KBS”, it may not be clear which of the third channel “KBS-1” and the fourth channel “KBS-2” refers .

Согласно настоящему примерному варианту осуществления, контроллер 190 определяет то, включает ли в себя голосовая команда, соответствующая речи пользователя, ключевое слово, относящееся к позывному вещательного канала.According to the present exemplary embodiment, the controller 190 determines whether the voice command corresponding to the user's speech includes a keyword related to the callsign of the broadcast channel.

Если определяется, что голосовая команда включает в себя ключевое слово, относящееся к позывному, то контроллер 190 осуществляет управление голосовым процессором 170 для поиска позывного, соответствующего этому ключевому слову, в базе данных, содержащей множество позывных. База данных хранится в блоке 180 памяти, и найденный позывной называется кандидатом на позывной. Если найдено множество кандидатов на позывной, соответствующих ключевому слову, то контроллер 190 выбирает позывной как рекомендуемый позывной из этого множества кандидатов на позывной согласно предварительно установленным условиям выбора. В других примерных вариантах осуществления, позывной, выбранный контроллером, может являться наиболее совпадающим позывным, предполагаемым позывным или распознанным позывным.If it is determined that the voice command includes a keyword related to the callsign, then the controller 190 controls the voice processor 170 to search for the callsign corresponding to this keyword in a database containing many callsigns. The database is stored in memory block 180, and the found call sign is called a call sign candidate. If a plurality of call sign candidates are found that match the keyword, then the controller 190 selects the call sign as the recommended call sign from this set of call sign candidates according to predefined selection conditions. In other exemplary embodiments, the call sign selected by the controller may be the most matching call sign, prospective call sign, or recognized call sign.

В других случаях, контроллер 190 может передавать ключевое слово и голосовую команду на сервер 10, на котором хранится база данных. После этого, (сервер) 10, согласно принципу, который является аналогичным принципу, раскрытому выше, выбирает рекомендуемый позывной, анализирует соответствующую операцию в голосовой команде и передает управляющий сигнал в устройство 100 визуального отображения согласно выбору и результатам анализа.In other cases, the controller 190 may transmit the keyword and voice command to the server 10 on which the database is stored. After that, (server) 10, according to a principle that is similar to the principle disclosed above, selects the recommended call sign, analyzes the corresponding operation in a voice command and transmits a control signal to the visual display device 100 according to the selection and analysis results.

Контроллер 190 выполняет соответствующую операцию в отношении вещательного сигнала по выбранному, рекомендуемому позывному, для голосовой команды.The controller 190 performs the corresponding operation with respect to the broadcast signal for the selected, recommended callsign, for a voice command.

Далее в этом документе, со ссылкой на фиг. 2 описаны конфигурация базы 200 данных и способ поиска в базе 200 данных кандидата 230 на позывной.Hereinafter, with reference to FIG. 2, the configuration of the database 200 and the method for searching the candidate 230 for the call sign in the database 200 are described.

На фиг. 2 изображен пример базы 200 данных.In FIG. 2 illustrates an example database 200.

Как на ней показано, контроллер 190 определяет то, включает ли в себя голосовая команда "воспроизвести KBS", замененная на текст исходя из речи пользователя, ключевое слово, относящееся к позывному. Если в блоке 180 памяти хранится база 200 данных взаимосвязей, которая устанавливает соответствие ключевого слова и позывного, то контроллер 190 может осуществлять поиск предопределенного ключевого слова в базе 200 данных и определять то, относится ли это ключевое слово к позывному.As shown, controller 190 determines whether the voice command "play KBS", replaced by text based on the user's speech, includes a keyword related to the callsign. If a relationship database 200 is stored in the memory unit 180, which matches the keyword and the call sign, then the controller 190 can search for the predetermined keyword in the database 200 and determine whether this keyword refers to the call sign.

База 200 данных устанавливает соответствие множества ключевых слов 220 и множества позывных 230, и используется для поиска, по меньшей мере, одного кандидата на позывной среди множества позывных 230 на основе одного ключевого слова из множества ключевых слов 220. На чертеже изображена взаимосвязь элементов, относящихся только к двум представительным позывным, "KBS" и "FTV", из базы 200 данных.The database 200 matches the plurality of keywords 220 and the plurality of callsigns 230, and is used to search for at least one candidate for the callsign among the plurality of callsigns 230 based on one keyword from the plurality of keywords 220. The drawing shows the relationship of elements related only to two representative callsigns, “KBS” and “FTV”, from database 200.

Представительные позывные 210 действуют как связующее звено между множеством ключевых слов 220 и множеством позывных 230. Более конкретно, если введено предопределенное ключевое слово из множества ключевых слов 220, то в базе 200 данных осуществляется поиск представительного позывного, соответствующего этому предопределенному ключевому слову. Если найден соответствующий представительный позывной 210, то во второй раз осуществляется поиск позывного более низкого уровня или соответственного кандидата на позывной, соответствующего найденному, для представительного позывного 210.Representative callsign 210 act as a link between a plurality of keywords 220 and a plurality of callsigns 230. More specifically, if a predetermined keyword from a plurality of keywords 220 is entered, then a representative callsign corresponding to this predetermined keyword is searched in the database 200. If the corresponding representative callsign 210 is found, then the second time a search is made for a lower-level callsign or the corresponding candidate for the callsign corresponding to the found for the representative callsign 210.

В случае ключевого слова, группируются и/или распределяются по категориям для представительного позывного различные термины, включающие в себя синонимы, относящиеся к представительному позывному. Кандидаты на позывной включают в себя позывные, по меньшей мере, одного канала, относящегося к представительному позывному 210, и эти позывные группируются и/или распределяются по категориям для представительного позывного 210.In the case of a keyword, various terms are grouped and / or categorized for the representative callsign, including synonyms related to the representative callsign. Candidate candidates include the callsigns of at least one channel belonging to the representative callsign 210, and these calls are grouped and / or categorized for the representative callsign 210.

Например, если введено ключевое слово "канал рыбалки", то представительным позывным, относящимся к "каналу рыбалки", является "FTV", и кандидатом на позывной, который относится к представительному позывному "FTV" 20, является только один, "FTV". Соответственно, согласно результатам поиска в базе 200 данных, позывным канала, соответствующим ключевому слову "канал рыбалки" 220, является один "FTV".For example, if the keyword “fishing channel” is entered, then the representative callsign referring to the “fishing channels” is “FTV”, and the candidate for the callsign that refers to the representative callsign “FTV” 20 is only one, “FTV”. Accordingly, according to the search results in the database 200, the channel callsign corresponding to the keyword “fishing channel” 220 is one “FTV”.

Если введено ключевое слово "KBS", то представительным позывным, относящимся к "KBS", является "KBS", и кандидатами на позывной, относящимися к представительному позывному "KBS", являются четыре кандидата, т.е. "KBS-1", "KBS-2", "KBS - спорт" и "KBS - кино".If the keyword “KBS” is entered, then the representative callsign related to “KBS” is “KBS”, and the candidates for the callsign related to the representative callsign “KBS” are four candidates, i.e. "KBS-1", "KBS-2", "KBS - Sport" and "KBS - Cinema".

Вышеизложенным способом в базе 200 данных осуществляется поиск для получения, по меньшей мере, одного кандидата на позывной, относящегося к ключевому слову. Вышеизложенный способ является только примером реализации базы 200 данных, и способ реализации базы 200 данных может варьироваться, и не ограничивается вышеизложенным примером.In the foregoing method, a database is searched in the database 200 to obtain at least one candidate for a call sign related to a keyword. The above method is only an example of the implementation of the database 200, and the method of implementation of the database 200 may vary, and is not limited to the above example.

Фиг. 3 является блок-схемой, на которой представлена структура взаимодействия устройства 100 визуального отображения и серверов 20 и 30.FIG. 3 is a block diagram showing an interaction structure of the visual display device 100 and the servers 20 and 30.

Как на ней представлено, устройство 100 визуального отображения включает в себя блок 140 связи, блок 160 голосового ввода, голосовой процессор 170 и контроллер 190. Элементы являются идентичными тем, которые раскрыты на фиг. 1. Блок 140 связи соединен с сервером 20 для преобразования речи в текст (STT), который преобразует речь пользователя в голосовую команду, и с сервером 30 для разговорной речи, который анализирует голосовую команду для определения операции, соответствующей этой голосовой команде.As shown, the visual display device 100 includes a communication unit 140, a voice input unit 160, a voice processor 170, and a controller 190. The elements are identical to those disclosed in FIG. 1. The communication unit 140 is connected to the server 20 for converting speech into text (STT), which converts the user's speech into a voice command, and to the server 30 for conversational speech, which analyzes the voice command to determine the operation corresponding to this voice command.

Сервер 20 STT анализирует форму волны принятого голосового сигнала и формирует текст исходя из содержимого этого голосового сигнала. Сервер 20 STT преобразует голосовой сигнал речи пользователя, переданный устройством 200 визуального отображения, в голосовую команду.The STT server 20 analyzes the waveform of the received voice signal and generates text based on the contents of this voice signal. The STT server 20 converts the user's voice voice transmitted by the visual display device 200 into a voice command.

Сервер 30 для разговорной речи включает в себя базу данных, которая устанавливает соответствие различных операций устройства 100 визуального отображения, соответствующих голосовой команде. Сервер 30 для разговорной речи анализирует голосовую команду, переданную устройством 100 визуального отображения, и передает в устройство 100 визуального отображения управляющий сигнал для выполнения операции, соответствующей голосовой команде согласно результатам анализа.The conversation server 30 includes a database that matches various operations of the visual display device 100 corresponding to the voice command. The conversation server 30 analyzes the voice command transmitted by the visual display device 100 and transmits a control signal to the visual display device 100 to perform an operation corresponding to the voice command according to the analysis results.

Если речь пользователя введена в блок 160 голосового ввода или принята в нем, то контроллер 190 передает голосовой сигнал этой речи на сервер 20 STT, и принимает голосовую команду из сервера 20 STT, соответствующую этой речи.If the user's speech is entered into or received in the voice input unit 160, then the controller 190 transmits the voice signal of this speech to the STT server 20, and receives a voice command from the STT server 20 corresponding to this speech.

Контроллер 190 определяет то, является ли голосовая команда, переданная сервером 20 STT, коротким предложением или предложением разговорной речи. Если голосовая команда является коротким предложением, то контроллер 190 осуществляет управление голосовым процессором 170 для обработки этой голосовой команды. Если голосовая команда является предложением разговорной речи, то контроллер 190 осуществляет управление сервером 30 для разговорной речи для обработки этой голосовой команды. В примерном варианте осуществления, короткое предложение можно отличить от предложения разговорной речи на основе количества слов или нескольких фонем. В одном примерном варианте осуществления, короткое предложение содержит (N1) или меньшее количество слов, где N1 может быть равно одному из 1, 2, 3, 4, 5, 6, 7, 8, а предложение разговорной речи содержит большее количество, чем (N1) слов. В другом примерном варианте осуществления, короткое предложение содержит N2 или меньшее количество фонем, где N2 может быть равно одному из 1, 2, 3, 4, 5, 6, 7, 8, а предложение разговорной речи содержит большее количество, чем N фонем.The controller 190 determines whether the voice command transmitted by the STT server 20 is a short sentence or a conversation offer. If the voice command is a short sentence, then the controller 190 controls the voice processor 170 to process this voice command. If the voice command is an offer of conversational speech, then the controller 190 controls the server 30 for conversational speech to process this voice command. In an exemplary embodiment, a short sentence can be distinguished from a colloquial sentence based on the number of words or several phonemes. In one exemplary embodiment, the short sentence contains (N1) or fewer words, where N1 may be equal to one of 1, 2, 3, 4, 5, 6, 7, 8, and the colloquial sentence contains more than ( N1) words. In another exemplary embodiment, the short sentence contains N2 or fewer phonemes, where N2 may be one of 1, 2, 3, 4, 5, 6, 7, 8, and the colloquial sentence contains more than N phonemes.

Это потому, что предложение разговорной речи является естественным языком, и механическое извлечение требуемой соответствующей операции из голосовой команды в виде предложения разговорной речи является относительно сложным. Например, если голосовая команда пользователя является коротким предложением "воспроизвести KBS", то голосовой процессор 170 может немедленно выполнить операцию с ключевым словом "KBS" позывного и ключевым словом "воспроизвести" операции.This is because the suggestion of spoken language is a natural language, and the mechanical extraction of the required corresponding operation from the voice command in the form of a sentence of spoken speech is relatively difficult. For example, if the user's voice command is a short “play KBS” sentence, then the voice processor 170 can immediately perform the operation with the call sign “KBS” and the “play” keyword.

Однако, если голосовая команда является предложением разговорной речи "сменить текущий канал на Korean Broadcasting System", содержимое которой является по существу идентичным содержимому вышеизложенного короткого предложения, то потребуется процесс извлечения ключевого слова "KBS" позывного, соответствующего "Korean Broadcasting System", и процесс извлечения ключевого слова "воспроизвести" операции, соответствующего "сменить на". Вследствие различных факторов, например загрузки системы или размера базы данных, обработка такого предложения разговорной речи голосовым процессором 170 может являться сложной.However, if the voice command is a colloquial sentence "change the current channel to the Korean Broadcasting System", the content of which is essentially identical to the contents of the above short sentence, then the process of extracting the KBS keyword of the callsign corresponding to the "Korean Broadcasting System" will be required, and the process retrieve the keyword "play" the operation corresponding to "change to". Due to various factors, such as system loading or database size, processing such a colloquial sentence by the voice processor 170 can be difficult.

На фиг. 4 изображен пример процесса взаимодействия между устройствами 100 визуального отображения и серверами 20 и 30 согласно настоящему примерному варианту осуществления.In FIG. 4 shows an example of a communication process between the visual display devices 100 and the servers 20 and 30 according to the present exemplary embodiment.

Как на ней представлено, после приема ввода речи пользователя (600), устройство 100 визуального отображения передает голосовой сигнал этой речи на сервер 20 STT (610).As shown, after receiving user input of speech (600), the visual display device 100 transmits the voice signal of this speech to the STT server 20 (610).

Сервер 20 STT преобразует голосовой сигнал в голосовую команду (620) и передает преобразованную голосовую команду в устройство 100 визуального отображения (630).The STT server 20 converts the voice signal into a voice command (620) and transmits the converted voice command to the visual display device 100 (630).

Устройство 100 визуального отображения анализирует голосовую команду, переданную сервером (20) STT, и извлекает ключевое слово, относящееся к позывному, из голосовой команды (640). Устройство 100 визуального отображения определяет то, является ли голосовая команда коротким предложением или предложением разговорной речи.The visual display device 100 analyzes the voice command transmitted by the STT server (20), and extracts the keyword related to the call sign from the voice command (640). The visual display device 100 determines whether the voice command is a short sentence or a colloquial sentence.

Если определяется, что голосовая команда является предложением разговорной речи, то устройство 100 визуального отображения передает голосовую команду и ключевое слово, относящееся к позывному, на сервер 30 для разговорной речи (650).If it is determined that the voice command is a conversation offer, the visual display device 100 transmits a voice command and a keyword related to the callsign to the conversation server 30 (650).

Сервер 30 для разговорной речи выполняет процесс анализа позывного с учетом голосовой команды и ключевого слова, относящегося к позывному, переданному устройством 100 визуального отображения (660). Процесс анализа позывного включает в себя процесс поиска кандидата на позывной, соответствующего ключевому слову, относящемуся к упомянутому позывному, процесс выбора позывного из найденных кандидатов на позывной в качестве рекомендуемого позывного и процесс определения операции устройства 100 визуального отображения, соответствующей рекомендуемому позывному, в пределах текста. Это подробно описывается ниже.The conversation server 30 performs a call sign analysis process taking into account the voice command and the keyword related to the call sign transmitted by the visual display device 100 (660). The call sign analysis process includes a process for finding a call sign candidate corresponding to a keyword related to said call sign, a process for selecting a call sign from the found call sign candidates as a recommended call sign, and a process for determining the operation of the visual display device 100 corresponding to the recommended call sign within the text. This is described in detail below.

Если выбор рекомендуемого позывного и определение соответствующей операции голосовой команды завершены, то сервер 30 для разговорной речи передает управляющий сигнал в устройство 100 визуального отображения согласно этим результатам выбора и определения. Устройство 100 визуального отображения может выполнять соответствующую операцию в отношении рекомендуемого позывного согласно упомянутому управляющему сигналу.If the selection of the recommended call sign and the determination of the corresponding voice command operation are completed, then the conversation server 30 transmits a control signal to the visual display device 100 according to these selection and determination results. The visual display device 100 may perform the corresponding operation with respect to the recommended call sign according to said control signal.

Например, если в результате анализа оказалось, что рекомендуемым позывным является "KBS-1", и соответствующей операцией является смена канала, то сервер 30 для разговорной речи передает управляющий сигнал, с указанием этого содержимого, в устройство 100 визуального отображения, которое меняет канал на "KBS-1".For example, if as a result of the analysis it turned out that the recommended call sign is “KBS-1”, and the corresponding operation is changing the channel, then the conversation server 30 transmits a control signal, indicating this content, to the visual display device 100, which changes the channel to "KBS-1".

Если определяется то, что голосовая команда является коротким предложением, то, при операции 640, устройство 100 визуального отображения выполняет процесс анализа позывного в отношении принятой голосовой команды и ключевого слова, относящегося к этому позывному. Такой процесс выполняется согласно по существу идентичному принципу, как и в случае процесса, выполняемого сервером 30 для разговорной речи.If it is determined that the voice command is a short sentence, then, in operation 640, the visual display device 100 performs a call sign analysis process on the received voice command and a keyword related to this call sign. Such a process is carried out according to a substantially identical principle, as in the case of a process performed by the server 30 for colloquial speech.

Далее в этом документе описывается процесс анализа позывного относительно ключевого слова, относящегося к этому позывному.The rest of this document describes the process of analyzing the callsign relative to the keyword related to this callsign.

Сервер 30 для разговорной речи осуществляет поиск кандидата на позывной, соответствующего ключевому слову, относящемуся к этому позывному, и определяет то, существует ли множество кандидатов на позывной.The conversation server 30 searches for a call sign candidate corresponding to a keyword related to that call sign and determines if there are many call sign candidates.

Определение того, включает ли в себя голосовая команда ключевое слово, относящееся к позывному, и поиск кандидата на позывной, соответствующего упомянутому ключевому слову, могут быть выполнены способом, идентичным тому, который раскрыт на фиг. 2. Соответственно, сервер 30 для разговорной речи осуществляет поиск слов, извлеченных из голосовой команды, в базе 200 данных (см. фиг. (2)), и определяет то, существует ли какое-либо соответствующее слово 220 (см. фиг. 2), и если это так, то может получить кандидата на позывной (см. фиг. 2) по представительному позывному (см. фиг. 2).The determination of whether the voice command includes a keyword related to the callsign and the search for a candidate for the callsign corresponding to the mentioned keywords can be performed in a manner identical to that disclosed in FIG. 2. Accordingly, the conversation server 30 searches for words extracted from the voice command in the database 200 (see FIG. (2)), and determines whether any corresponding word 220 exists (see FIG. 2 ), and if so, then he can get a candidate for the callsign (see Fig. 2) for a representative callsign (see Fig. 2).

В процессе извлечения ключевого слова из голосовой команды, может выполняться коррекция или фильтрация ошибки в голосовой команде. Например, если существует голосовая команда "воспроизвести Orean Broadcasting System", то в базе данных может быть выбрано слово "Korean Broadcasting System", даже если слово "Orean Broadcasting System" не включено в базу данных, но определено то, что слово "Korean Broadcasting System" является похожим на слово "Orean Broadcasting System". Способ определения сходства слов может варьироваться и не ограничивает идею настоящего изобретение.In the process of extracting a keyword from a voice command, error correction or filtering in a voice command may be performed. For example, if the voice command “play Orean Broadcasting System” exists, then the word “Korean Broadcasting System” may be selected in the database, even if the word “Orean Broadcasting System” is not included in the database, but it is determined that the word “Korean Broadcasting System "is similar to the word" Orean Broadcasting System ". The method for determining word similarity may vary and does not limit the idea of the present invention.

Если существует только один кандидат на позывной, то сервер 30 для разговорной речи выбирает кандидат на позывной в качестве рекомендуемого позывного.If there is only one call sign candidate, then the server 30 for colloquial speech selects a call sign candidate as the recommended call sign.

Если существует множество кандидатов на позывной, то сервер 30 для разговорной речи выбирает рекомендуемый позывной согласно предварительно установленным условиям выбора.If there are many candidates for the call sign, then the server 30 for colloquial speech selects the recommended call sign according to the predefined selection conditions.

Условия выбора для выбора рекомендуемого позывного из кандидатов на позывной могут быть заданы заранее. Например, сервер 30 для разговорной речи может выбрать множество позывных, частоты выбора которых, основанные на предыдущих данных, имеют предварительно установленный ранг или выше него, в качестве рекомендуемых позывных, или выбрать один позывной, частота выбора которого, основанная на предыдущих данных, является самой высокой, в качестве рекомендуемого позывного.The selection conditions for selecting a recommended call sign from the call sign candidates may be predetermined. For example, the conversation server 30 may select a plurality of callsigns whose selection frequencies, based on previous data, have a pre-set rank or higher as recommended callsigns, or select a single callsign whose selection frequency, based on previous data, is the most high as a recommended callsign.

Если в качестве кандидатов на позывной существуют четыре позывных "KBS-1", "KBS-2", "KBS - спорт" и "KBS - кино", то контроллер 190, в устройстве 100 визуального отображения, определяет частоту выбора каналов, основанную на предыдущих данных, за предопределенный период на основе информации о предыстории применения. Например, если позывные упорядочены согласно уменьшению частоты выбора, основанной на предыдущих данных, то порядок может быть следующим: "KBS - спорт", "KBS - кино", "KBS-2" и "KBS-1", контроллер 190 может выбирать множество позывных в порядке частоты выбора, основанной на предыдущих данных, или выбирать один позывной.If there are four callsigns “KBS-1”, “KBS-2”, “KBS-sport” and “KBS-movie” as candidates for the callsign, then the controller 190, in the visual display device 100, determines the channel selection frequency based on previous data for a predetermined period based on information about the history of application. For example, if the callsigns are ordered according to a decrease in the frequency of selection based on previous data, then the order may be as follows: "KBS - sport", "KBS - movie", "KBS-2" and "KBS-1", controller 190 may select callsigns in order of frequency of selection based on previous data, or select one callsign.

Контроллер 190 может отображать интерфейс пользователя (UI), который используется для того, чтобы пользователь выбрал один из множества кандидатов на позывной.The controller 190 may display a user interface (UI) that is used so that the user selects one of a plurality of call sign candidates.

На фиг. 5 и фиг. 6 изображен пример UI 310 и 320, которые обеспечиваются для выбора одного из множества рекомендуемых позывных.In FIG. 5 and FIG. 6 depicts an example of UI 310 and 320, which are provided for selecting one of a plurality of recommended callsigns.

Как представлено на фиг. 5, контроллер 190 выбирает "KBS - спорт" и "KBS - кино", которые выбирались наиболее часто на устройстве 100 визуального отображения, в качестве (рекомендуемых позывных) на основе информации о предыстории применения, и обеспечивает UI 310 для того, чтобы пользователь выбрал требуемый канал из (выбранных рекомендуемых позывных). Пользователь может выбрать один позывной и вещательный канал из "KBS - спорт" и "KBS - кино" посредством UI 310.As shown in FIG. 5, the controller 190 selects “KBS sport” and “KBS movie” that were most often selected on the visual display device 100 as (recommended callsigns) based on application history information, and provides a UI 310 for the user to select desired channel from (selected recommended callsigns). The user can select one call sign and broadcast channel from "KBS - Sport" and "KBS - Cinema" via UI 310.

Как представлено на фиг. 6, контроллер 190 может обеспечить UI 320, который используется для выбора одного из всех кандидатов на позывной: "KBS - спорт", "KBS - кино", "KBS-2" и "KBS-1". В UI 320 контроллер 190 может отображать все найденные кандидаты на позывной, но может определять порядок отображения позывных согласно частоте выбора, основанной на предыдущих данных. Например, в UI 320 могут отображаться кандидаты на позывной в порядке, начиная с самой высокой частоты выбора, основанной на предыдущих данных.As shown in FIG. 6, the controller 190 may provide a UI 320 that is used to select one of all call sign candidates: “KBS - Sport,” “KBS - Cinema,” “KBS-2,” and “KBS-1.” In UI 320, the controller 190 may display all found candidates for the callsign, but may determine the display order of the callsigns according to the selection frequency based on previous data. For example, UI 320 may display call sign candidates in order, starting with the highest selection rate based on previous data.

Если выбор пользователя не сделан за предварительно установленное время, пока отображаются UI 310 и 320, то контроллер 190 может выбрать канал с самым высоким рангом, например, "KBS - спорт", который выбирался наиболее часто, из кандидатов на позывной.If the user’s choice has not been made in the preset time while the UI 310 and 320 are displayed, then the controller 190 may select the channel with the highest rank, for example, “KBS - sport”, which was selected most often from the candidates for the callsign.

Условия выбора для выбора рекомендуемого позывного из кандидатов на позывной могут отличаться от условий в вышеупомянутом примере. Сервер 10 (см. фиг. 1) является соединенным с различными другими устройствами визуального отображения, которые отличаются от устройства 100 визуального отображения. Сервер 10 может быть идентичным серверу 20 STT или серверу 30 для разговорной речи или отличаться от них. Сервер 20 STT и сервер 30 для разговорной речи были (описаны) как разные, но могут быть реализованы как идентичные серверы.The selection conditions for selecting a recommended call sign from the call sign candidates may differ from the conditions in the above example. Server 10 (see FIG. 1) is connected to various other visual display devices that are different from the visual display device 100. The server 10 may be identical to or different from the STT server 20 or the server 30 for conversational speech. The STT server 20 and the conversation server 30 were (described) as different, but can be implemented as identical servers.

Другие устройства визуального отображения передают информацию о предыстории применения на сервер 10. Сервер 10 определяет частоту выбора "KBS-1", "KBS-2", "KBS - спорт" (и) "KBS - кино" в пределах кандидатов на позывной на основе упомянутой информации о предыстории применения, собранной из других устройств визуального отображения.Other visual display devices transmit application history information to server 10. Server 10 determines the frequency of selection of "KBS-1", "KBS-2", "KBS - sport" (s), "KBS - movies" within the call sign candidates based on mentioned application history information collected from other visual display devices.

Контроллер 190 передает кандидаты на позывной, "KBS-1", "KBS-2", "KBS - спорт" и "KBS - кино", на сервер 10, и может запрашивать, чтобы сервер 10 выбрал рекомендуемого кандидата из кандидатов на позывной.The controller 190 sends the call sign candidates, “KBS-1,” “KBS-2,” “KBS sport,” and “KBS movie,” to server 10, and may request that server 10 select a recommended candidate from call sign candidates.

Сервер 10 определяет ранг выбора на основе информации о предыстории применения из других устройств визуального отображения, в пределах кандидатов на позывной. Если ранг выбора представлен в порядке: "KBS - кино", "KBS-2", "KBS - спорт" и "KBS-1", и количество (рекомендуемых кандидатов), запрашиваемых устройством 100 визуального отображения равно одному, то сервер 10 принимает решение о "KBS - кино", который выбирался наиболее часто, в качестве рекомендуемого кандидата, и уведомляет устройство 100 визуального отображения о вышеупомянутом. Контроллер 190 может отображать информацию, относящуюся к "KBS - кино", в виде изображения.Server 10 determines the selection rank based on information about the application history from other visual display devices within the call sign candidates. If the selection rank is presented in the order: "KBS - movie", "KBS-2", "KBS - sport" and "KBS-1", and the number (recommended candidates) requested by the visual display device 100 is one, then the server 10 accepts the decision on "KBS - movie", which was selected most often as the recommended candidate, and notifies the visual display device 100 of the above. The controller 190 may display information related to the "KBS movie" as an image.

Если выбран только один рекомендуемый позывной, то контроллер 190 может автоматически отображать изображение вещательного канала по рекомендуемому позывному. Однако номер канала, соответствующий позывному, может являться не идентичным, в зависимости от географического местоположения.If only one recommended callsign is selected, then the controller 190 may automatically display the image of the broadcast channel on the recommended callsign. However, the channel number corresponding to the callsign may not be identical, depending on the geographical location.

Соответственно, контроллер 190 получает информацию о географическом местоположении, касающуюся географического местоположения, где расположено устройство 100 визуального отображения, и определяет номер канала позывного для этого географического местоположения. Способ определения географического местоположения устройства 100 визуального отображения может варьироваться, например, извлечение географического местоположения и/или ID страны, включенного в заголовок или метаданные вещательного сигнала, определение сервером 10 на основе MAC-адреса блока 140 связи или ввод информации о географическом местоположении пользователем заранее, в устройстве 100 визуального отображения.Accordingly, the controller 190 obtains geographic location information regarding the geographic location where the visual display device 100 is located, and determines the channel number of the call sign for that geographic location. The method for determining the geographic location of the visual display device 100 may vary, for example, retrieving the geographic location and / or country ID included in the header or metadata of the broadcast signal, determining the server 10 based on the MAC address of the communication unit 140, or entering the geographic location information by the user in advance, in the visual display device 100.

Как описано выше, если голосовая команда, соответствующая речи пользователя, включает в себя ключевое слово, относящееся к позывному, то устройство 100 визуального отображения выбирает рекомендуемый позывной, соответствующий этому ключевому слову, и выполняет соответствующую операцию согласно голосовой команде в отношении вещательного канала по выбранному рекомендуемому позывному.As described above, if the voice command corresponding to the user's speech includes a keyword related to the call sign, then the visual display device 100 selects the recommended call sign corresponding to this keyword and performs the corresponding operation according to the voice command regarding the broadcast channel of the selected recommended call sign.

На фиг. 7 изображает пример процесса взаимодействия устройства 100 визуального отображения и серверов 20 и 30 согласно второму примерному варианту осуществления.In FIG. 7 depicts an example interaction process of the display device 100 and the servers 20 and 30 according to the second exemplary embodiment.

Как на ней представлено, после приема ввода речи пользователя (700), устройство 100 визуального отображения передает голосовой сигнал этой речи на сервер 20 STT (710).As shown, after receiving user input of speech (700), the visual display device 100 transmits a voice signal of this speech to the STT server 20 (710).

Сервер 20 STT преобразует принятый голосовой сигнал в голосовую команду (720). Операции 700-720 являются идентичными операциям на фиг. 4.The STT server 20 converts the received voice signal into a voice command (720). Operations 700-720 are identical to the operations of FIG. four.

Сервер 20 STT передает голосовую команду на сервер 30 для разговорной речи (730).The STT server 20 transmits a voice command to the server 30 for conversational speech (730).

Сервер 30 для разговорной речи выполняет процесс анализа позывного, например поиск кандидатов на позывной и выбор рекомендуемого позывного (740). Подробное описание может быть аналогичным описанию вышеизложенного примерного варианта осуществления, и не приводится повторно. Однако, в отличие от случая на фиг. 4, процесс анализа позывного согласно настоящему примерному варианту осуществления выполняется сервером 30 для разговорной речи посредством извлечения позывного слова из голосовой команды.The conversation server 30 performs a call sign analysis process, for example, searching for candidates for a call sign and selecting a recommended call sign (740). A detailed description may be similar to the description of the foregoing exemplary embodiment, and is not repeated. However, unlike the case in FIG. 4, a call sign analysis process according to the present exemplary embodiment is performed by the colloquial server 30 by extracting the call sign from the voice command.

Сервер 30 для разговорной речи передает рекомендуемый позывной и управляющий сигнал с указанием соответствующей операции в устройство 100 визуального отображения, которое выполняет операцию согласно этому управляющему сигналу (750).The conversation server 30 transmits the recommended callsign and control signal indicating the corresponding operation to the visual display device 100, which performs the operation according to this control signal (750).

В вышеизложенном примерном варианте осуществления, раскрыта конфигурация для преобразования, сервером 20 STT, речевого ввода пользователя в устройство 100 визуального отображения в голосовую команду, и обработки, устройством 100 визуального отображения, короткого предложения как голосовой команды, и обработки, сервером 30 для разговорной речи, предложения разговорной речи как голосовой команды.In the above exemplary embodiment, a configuration is disclosed for converting, by the STT server 20, user voice input to the visual display device 100 into a voice command, and processing by the visual display device 100, a short sentence as a voice command, and processing by the conversation server 30, sentences of speaking as a voice command.

Однако идея настоящего изобретения не ограничивается вышеизложенным, и конфигурация для преобразования речи в голосовую команду и конфигурация, касающаяся субъекта, который обрабатывает голосовую команду, в зависимости от того, является ли эта голосовая команда коротким предложением или предложением разговорной речи, могут отличаться от этих конфигураций в вышеизложенном примерном варианте осуществления.However, the idea of the present invention is not limited to the foregoing, and the configuration for converting speech into a voice command and the configuration relating to the subject who processes the voice command, depending on whether this voice command is a short sentence or a sentence of spoken language, may differ from these configurations in the above exemplary embodiment.

Фиг. 8 является блок-схемой, изображающей структуру взаимодействия устройства 100a визуального отображения и сервера 40 согласно третьему примерному варианту осуществления. На фиг. 9 изображен пример процесса взаимодействия между устройством 100a визуального отображения и сервером 40 на фиг. 8.FIG. 8 is a block diagram depicting an interaction structure of the display device 100a and the server 40 according to the third exemplary embodiment. In FIG. 9 shows an example of the interaction process between the display device 100a and the server 40 in FIG. 8.

Как представлено на фиг. 8, устройство 100a визуального отображения включает в себя блок 140a связи, блок 160a голосового ввода, голосовой процессор 170a и контроллер 190a.As shown in FIG. 8, the visual display device 100a includes a communication unit 140a, a voice input unit 160a, a voice processor 170a, and a controller 190a.

Голосового процессор 170a включает в себя преобразователь 171a STT, который преобразует речь, переданную блоком 160a голосового ввода, в голосовую команду, и командный процессор 172a для короткого предложения, который обрабатывает голосовую команду, если эта голосовая команда является коротким предложением.The voice processor 170a includes an STT converter 171a that converts the speech transmitted by the voice input unit 160a into a voice command, and a short sentence command processor 172a that processes the voice command if the voice command is a short sentence.

Если введена речь пользователя, то блок 160a голосового ввода передает голосовой сигнал введенной речи в преобразователь 171a STT. Преобразователь 171a STT анализирует голосовой сигнал, переданный блоком 160a голосового ввода, и преобразует этот голосовой сигнал в голосовую команду, включающую в себя содержимое этого голоса. Преобразователь (171a) STT передает преобразованную голосовую команду в контроллер 190a. Соответственно, преобразователь 171a STT выполняет функцию сервера 20 STT в первом примерном варианте осуществления.If user speech is input, the voice input unit 160a transmits a voice signal of the inputted speech to the STT converter 171a. The STT converter 171a analyzes the voice signal transmitted by the voice input unit 160a, and converts this voice signal into a voice command including the contents of this voice. Converter (171a) STT transmits the converted voice command to the controller 190a. Accordingly, the STT converter 171a performs the function of the STT server 20 in the first exemplary embodiment.

Контроллер 190a определяет то, является ли голосовая команда коротким предложением или предложением разговорной речи. Если голосовая команда является коротким предложением, то контроллер 190a передает эту голосовую команду в командный процессор 172a для короткого предложения. Командный процессор 172a для короткого предложения анализирует голосовую команду посредством осуществления управления контроллером 190a, и выполняет соответствующую операцию согласно результатам анализа. При анализе и выполнении голосовой команды может применяться вышеизложенный примерный вариант осуществления, и подробное описание опущено.The controller 190a determines whether the voice command is a short sentence or a sentence of spoken language. If the voice command is a short sentence, then the controller 190a transmits this voice command to the command processor 172a for a short sentence. The command processor 172a for a short sentence analyzes the voice command by controlling the controller 190a, and performs the corresponding operation according to the analysis. When analyzing and executing a voice command, the foregoing exemplary embodiment can be applied, and a detailed description is omitted.

Если голосовая команда является предложением разговорной речи, то контроллер 190a передает эту голосовую команду на сервер 40 для разговорной речи через блок 140a связи, а не в командный процессор 172a для короткого предложения. Сервер 20 для разговорной речи выполняет идентичную функцию, что и сервер 30 для разговорной речи согласно первому примерному варианту осуществления.If the voice command is a conversation offer, then the controller 190a transmits this voice command to the server 40 for conversation through the communication unit 140a, and not to the command processor 172a for a short sentence. The conversation server 20 performs the same function as the conversation server 30 according to the first exemplary embodiment.

Устройство 100a визуального отображения выполняет операцию, соответствующую управляющему сигналу, передаваемому сервером (30) для разговорной речи.The visual display device 100a performs an operation corresponding to a control signal transmitted by the server (30) for speaking.

Как представлено на фиг. 9, устройство 100a визуального отображения соединено с сервером 40 для разговорной речи для связи. Если введена речь пользователя (810), то устройство 100a визуального отображения определяет то, является ли голосовая команда, соответствующая этой речи, коротким предложением или предложением разговорной речи (820). Если определяется то, что голосовая команда является предложением разговорной речи, то устройство 100a визуального отображения передает голосовую команду на сервер 40 для разговорной речи (830).As shown in FIG. 9, the visual display device 100a is connected to the conversation server 40 for communication. If user speech (810) is inputted, the visual display device 100a determines whether the voice command corresponding to that speech is a short sentence or a sentence of spoken language (820). If it is determined that the voice command is a conversation offer, the visual display device 100a transmits the voice command to the conversation server 40 (830).

После приема голосовой команды из устройства 100 визуального отображения (910), сервер 40 для разговорной речи извлекает ключевое слово, относящееся к позывному, из этой голосовой команды (920).After receiving the voice command from the visual display device 100 (910), the conversation server 40 retrieves the call sign related keyword from this voice command (920).

В других случаях, ключевое слово, относящееся к позывному, может быть извлечено устройством 100a визуального отображения, а не сервером 40 для разговорной речи. В этом случае, устройство 100a визуального отображения передает, на сервер 40 для разговорной речи, ключевое слово, относящееся к позывному, вместе с голосовой командой.In other cases, the keyword related to the call sign may be retrieved by the visual display device 100a, rather than by the conversation server 40. In this case, the visual display device 100a transmits, to the conversational speech server 40, a keyword related to the call sign, together with a voice command.

Сервер 40 для разговорной речи осуществляет поиск кандидата на позывной, соответствующего ключевому слову (930). Если найдено множество кандидатов на позывной, то сервер 40 для разговорной речи выбирает позывной из этого множества найденных кандидатов на позывной как рекомендуемый позывной, согласно условиям выбора, как описано выше (940). Сервер 40 для разговорной речи анализирует голосовую команду и определяет соответствующую операцию согласно этой голосовой команде.The server 40 for colloquial speech searches for a candidate for the callsign corresponding to the keyword (930). If a plurality of call sign candidates are found, then the colloquial server 40 selects a call sign from this set of call sign candidates found as the recommended call sign according to the selection conditions as described above (940). The server 40 for conversational speech analyzes the voice command and determines the corresponding operation according to this voice command.

Сервер 40 для разговорной речи передает, в устройство 100a визуального отображения, рекомендуемый позывной и управляющий сигнал с указанием соответствующей операции (950).The conversation server 40 transmits, to the visual display device 100a, the recommended callsign and control signal indicating the corresponding operation (950).

Устройство 100a визуального отображения выполняет соответствующую операцию в отношении вещательного сигнала по рекомендуемому позывному, согласно управляющему сигналу, переданному сервером 40 для разговорной речи (840).The visual display device 100a performs the corresponding operation with respect to the broadcast signal according to the recommended callsign, according to the control signal transmitted by the server 40 for conversation (840).

Если определяется то, что голосовая команда является коротким предложением, при операции 820, то устройство 100 визуального отображения анализирует рекомендуемый позывной и соответствующую операцию.If it is determined that the voice command is a short sentence, at operation 820, then the visual display device 100 analyzes the recommended call sign and the corresponding operation.

Фиг. 10 является блок-схемой, изображающей структуру передачи сигнала голосового процессора 171b устройства 100b визуального отображения согласно четвертому примерному варианту осуществления.FIG. 10 is a block diagram depicting a signal transmission structure of a voice processor 171b of a display device 100b according to a fourth exemplary embodiment.

Как на ней представлено, голосовой процессор 170b включает в себя преобразователь 171b STT, который преобразует речь пользователя, переданную блоком 160b голосового ввода, в голосовую команду, командный процессор 172b для короткого предложения, который обрабатывает голосовую команду, если эта голосовая команда, преобразованная преобразователем 171b STT, является коротким предложением, и командный процессор 173b для разговорной речи, который обрабатывает голосовую команду, преобразованную преобразователем 171b STT, если эта голосовая команда является предложением разговорной речи/обычным языком. Структура голосового процессора 170b не ограничивается вышеизложенным примером, и настоящий пример коротко раскрывает предметы, непосредственно относящиеся к настоящему примерному варианту осуществления.As presented, the voice processor 170b includes an STT transducer 171b that converts the user speech transmitted by the voice input unit 160b into a voice command, a short command command processor 172b that processes the voice command if this voice command is transformed by the transformer 171b STT is a short sentence, and a spoken command processor 173b that processes the voice command converted by the STT converter 171b if this voice command is spoken language / common language. The structure of the voice processor 170b is not limited to the foregoing example, and the present example briefly discloses subjects directly related to the present exemplary embodiment.

Если введена речь пользователя, то блок 160b голосового ввода передает голосовой сигнал введенной речи в преобразователь 171b STT. Преобразователь 171b STT преобразует речь, переданную блоком 160b голосового ввода, в голосовую команду, включающую в себя содержимое этой этой речи. Преобразователь 171b STT передает преобразованную голосовую команду в контроллер 190b.If user speech is input, the voice input unit 160b transmits a voice signal of the inputted speech to the STT converter 171b. The STT converter 171b converts the speech transmitted by the voice input unit 160b into a voice command including the contents of this speech. The STT converter 171b transmits the converted voice command to the controller 190b.

Контроллер 190b определяет то, является ли голосовая команда коротким предложением или предложением разговорной речи. Вышеизложенное определение может быть выполнено посредством различных алгоритмов.The controller 190b determines whether the voice command is a short sentence or a sentence of spoken language. The foregoing determination can be made by various algorithms.

Если голосовая команда является коротким предложением, то контроллер 190b передает эту голосовую команду в командный процессор 172b для короткого предложения. Если голосовая команда является предложением разговорной речи, то контроллер 190b передает эту голосовую команду в командный процессор 173b для разговорной речи.If the voice command is a short sentence, then the controller 190b transmits this voice command to the command processor 172b for a short sentence. If the voice command is an offer of conversational speech, then the controller 190b transmits this voice command to the command processor 173b for conversational speech.

Командный процессор I72b для короткого предложения выполняет по существу идентичную функцию, что и командный процессор 172b для короткого предложения на фиг. 8. Командный процессор 173b для разговорной речи выполняет функцию, выполняемую серверами 30 и 40 для разговорной речи согласно вышеизложенным вариантам осуществления.The short sentences command processor I72b has a substantially identical function as the short sentences command processor 172b in FIG. 8. The spoken command processor 173b performs the function performed by the spoken servers 30 and 40 according to the above embodiments.

Соответственно, в отличие от вышеизложенных примерных вариантов осуществления, устройство 100b визуального отображения согласно настоящему примерному варианту осуществления может преобразовывать голосовую команду из речи пользователя и анализировать операцию, соответствующую этой голосовой команде, вместо того, чтобы обмениваться данными и/или сигналами с внешними серверами 20-40.Accordingly, in contrast to the above exemplary embodiments, the visual display device 100b according to the present exemplary embodiment can convert a voice command from a user's speech and analyze the operation corresponding to that voice command, instead of exchanging data and / or signals with external servers 20- 40.

Если устройство визуального отображения соединено с дополнительным сервером, который выполняет процесс анализа позывного, то командный процессор 172a для короткого предложения или командный процессор 173b для разговорной речи могут передавать ключевое слово и голосовую команду на сервер, который выполняет процесс анализа позывного.If the visual display device is connected to an additional server that performs the call sign analysis process, then the command processor 172a for a short sentence or the command processor 173b for colloquial speech can transmit the keyword and voice command to the server that performs the call analysis process.

Соответственно, в вышеизложенных примерных вариантах осуществления, процесс анализа позывного выполняют серверы 30 и 40 для разговорной речи или голосовые процессоры 170, 170a и 170b, но в других случаях процесс анализа позывного может быть выполнен дополнительным сервером.Accordingly, in the above exemplary embodiments, the call sign analysis process is performed by the conversation servers 30 and 40 or the voice processors 170, 170a and 170b, but in other cases, the call sign analysis process may be performed by an additional server.

Несмотря на то что представлены и описаны несколько примерных вариантов осуществления, специалистам в данной области техники очевидно, что в этих примерных вариантах осуществления могут быть сделаны изменения, не выходя за границы принципов и сущности изобретения, объем которого определен в прилагаемой формуле изобретения и ее эквивалентах. Кроме того, специалистам в данной области техники очевидно, что все упомянутые выше блоки могут быть реализованы аппаратно.Although several exemplary embodiments are presented and described, it will be apparent to those skilled in the art that changes can be made to these exemplary embodiments without departing from the principles and spirit of the invention, the scope of which is defined in the appended claims and their equivalents. In addition, it will be apparent to those skilled in the art that all of the above blocks can be implemented in hardware.

Claims (13)

1. Устройство обработки изображений, содержащее:
процессор изображений, сконфигурированный с возможностью обработки вещательного сигнала для отображения программы вещательного канала,
средство связи, сконфигурированное с возможностью осуществления связи с сервером,
голосовой приемник, сконфигурированный с возможностью приема речи от пользователя,
голосовой процессор, сконфигурированный с возможностью обработки выполнения операции, соответствующей упомянутой речи, и
контроллер, сконфигурированный с возможностью обработки упомянутой речи, которая должна быть обработана посредством одного из голосового процессора и сервера,
при этом, если упомянутая речь содержит ключевое слово, относящееся к требуемому позывному вещательного канала, то контроллер осуществляет управление для выбора представительного позывного, соответствующего упомянутому ключевому слову, из базы данных, которая хранит множество представительных позывных и множество групп позывных, каждая содержит по меньшей мере один позывной, относящийся к соответствующему представительному позывному, осуществляет управление для отображения списка, который содержит группу позывных, относящуюся к выбранному представительному позывному, так что один позывной выбирается из группы позывных в отображаемом списке, и выполняет операцию согласно упомянутой речи в отношении вещательного канала по выбранному позывному.1. An image processing apparatus comprising:
an image processor configured to process a broadcast signal to display a broadcast channel program,
communication means configured to communicate with a server,
a voice receiver configured to receive speech from a user,
a voice processor configured to process an operation corresponding to said speech, and
a controller configured to process said speech to be processed by one of the voice processor and server,
however, if the said speech contains a keyword related to the desired call sign of the broadcast channel, the controller controls to select a representative callsign corresponding to the mentioned keyword from a database that stores a plurality of representative callsigns and a plurality of call sign groups, each containing at least one call sign related to the corresponding representative callsign controls to display a list that contains a group of callsigns related to you a selected representative callsign, so that one callsign is selected from the group of callsigns in the displayed list, and performs an operation according to said speech with respect to the broadcast channel on the selected callsign. 2. Устройство обработки изображений по п. 1, в котором контроллер выбирает по меньшей мере один позывной на основе частоты выбора позывного, которая больше или равна предварительно установленному рангу, из упомянутого множества позывных в упомянутой группе позывных, относящейся к выбранному представительному позывному.2. The image processing apparatus of claim 1, wherein the controller selects at least one call sign based on a call sign selection frequency that is greater than or equal to a predetermined rank from the plurality of call signs in said call sign group related to the selected representative call sign. 3. Устройство обработки изображений по п. 1, в котором контроллер выбирает по меньшей мере один позывной на основе частоты выбора позывного, которая больше или равна предварительно установленному рангу, причем частота выбора происходит из множества других устройств обработки изображений, осуществляющих связь с сервером, из упомянутого множества позывных в упомянутой группе позывных, относящейся к выбранному представительному позывному.3. The image processing device according to claim 1, wherein the controller selects at least one call sign based on a call sign selection frequency that is greater than or equal to a predetermined rank, the selection frequency coming from a variety of other image processing devices communicating with the server, from said plurality of callsigns in said callsign group relating to the selected representative callsign. 4. Устройство обработки изображений по п. 1, в котором контроллер отображает интерфейс пользователя (UI), который отображает упомянутый список и предусматривает выбор упомянутого одного позывного.4. The image processing apparatus according to claim 1, wherein the controller displays a user interface (UI) that displays the list and provides for the selection of said one call sign. 5. Устройство обработки изображений по п. 4, в котором, если позывной не выбран пользователем за предварительно установленный период времени после отображения UI, то контроллер выбирает один позывной в упомянутом списке согласно предопределенному условию выбора.5. The image processing device according to claim 4, in which, if the call sign is not selected by the user for a predefined period of time after displaying the UI, the controller selects one call sign in the list according to a predetermined selection condition. 6. Устройство обработки изображений по п. 1, в котором средство связи осуществляет связь с сервером преобразования речи в текст (STT), который преобразует речь в текстовые данные, и при этом, после ввода речи в голосовой приемник, контроллер передает голосовой сигнал этой речи на сервер STT, и принимает текстовые данные, соответствующие этой речи, из сервера STT.6. The image processing device according to claim 1, wherein the communication means communicates with a speech-to-text (STT) server, which converts speech into text data, and, after inputting speech into a voice receiver, the controller transmits a voice signal of this speech to the STT server, and receives text data corresponding to this speech from the STT server. 7. Устройство обработки изображений по п. 6, в котором, если контроллер определяет, что речью является короткое предложение, то для обработки текстовых данных упомянутой речи контроллер осуществляет управление голосовым процессором, и если контроллер определяет, что речью является предложение разговорной речи, то контроллер передает на сервер текстовые данные упомянутой речи для их обработки сервером.7. The image processing device according to claim 6, in which, if the controller determines that the speech is a short sentence, the controller controls the voice processor to process the text data of the said speech, and if the controller determines that the speech is a sentence, the controller transmits to the server text data of said speech for processing by the server. 8. Устройство обработки изображений по п. 1, дополнительно содержащее дисплей, на котором отображается программа вещательного канала на основе вещательного сигнала, обработанного процессором изображений.8. The image processing device according to claim 1, further comprising a display on which the program of the broadcast channel is displayed based on the broadcast signal processed by the image processor. 9. Способ управления устройством обработки изображений, содержащий:
осуществление связи с сервером,
прием речи от пользователя, и
обработку речи посредством одного из устройства обработки изображений и сервера, и выполнение операции согласно упомянутой речи,
при этом, в по меньшей мере одном из устройства обработки изображений и сервера хранится база данных, причем база данных хранит множество представительных позывных и множество групп позывных, включающих в себя по меньшей мере один позывной, относящийся к соответствующему представительному позывному, и
при этом упомянутые обработка и выполнение содержат:
если упомянутая речь содержит ключевое слово, относящееся к требуемому позывному вещательного канала, осуществление управления для выбора из базы данных представительного позывного, соответствующего ключевому слову,
отображение списка, который содержит группу позывных, относящуюся к выбранному представительному позывному, так что один позывной выбирается из группы позывных в отображаемом списке, и
выполнение операции согласно упомянутой речи в отношении вещательного канала по выбранному позывному.9. A method of controlling an image processing device, comprising:
communication with the server,
receiving speech from the user, and
speech processing by one of the image processing device and the server, and performing an operation according to said speech,
however, in at least one of the image processing apparatus and the server, a database is stored, wherein the database stores a plurality of representative callsigns and a plurality of groups of callsigns including at least one callsign related to the corresponding representative callsign, and
wherein said processing and execution comprise:
if the said speech contains a keyword related to the required call sign of the broadcast channel, the control for selecting from the database a representative callsign corresponding to the keyword,
displaying a list that contains a group of callsigns related to the selected representative callsign, so that one callsign is selected from a group of callsigns in the displayed list, and
performing an operation according to said speech with respect to the broadcast channel on the selected callsign. 10. Способ управления по п. 9, в котором упомянутое управление для выбора представительного позывного содержит:
выбор по меньшей мере одного позывного на основе частоты выбора позывного, которая больше или равна предварительно установленному рангу, из упомянутого множества позывных в упомянутой группе позывных, относящейся к выбранному представительному позывному.10. The control method of claim 9, wherein said control for selecting a representative callsign comprises:
selecting at least one call sign based on a call sign selection frequency that is greater than or equal to a predetermined rank from the plurality of call signs in said call sign group related to the selected representative call sign. 11. Способ управления по п. 9, в котором упомянутое управление для выбора представительного позывного содержит:
выбор по меньшей мере одного позывного на основе частоты выбора позывного, которая больше или равна предварительно установленному рангу, причем частота выбора происходит из множества других устройств обработки изображений, осуществляющих связь с сервером, из упомянутого множества позывных в упомянутой группе позывных, относящейся к выбранному представительному позывному.11. The control method of claim 9, wherein said control for selecting a representative callsign comprises:
selecting at least one call sign based on a call sign selection frequency that is greater than or equal to a predetermined rank, wherein the selection frequency comes from a plurality of other image processing devices communicating with the server, from the plurality of callsigns in said call sign group related to the selected representative callsign . 12. Способ управления по п. 9, в котором упомянутое отображение списка содержит отображение интерфейса пользователя (UI), который отображает упомянутый список для выбора упомянутого одного позывного.12. The control method of claim 9, wherein said list display comprises a user interface (UI) display that displays said list for selecting said one call sign. 13. Способ управления по п. 12, в котором упомянутое отображение UI содержит выбор одного позывного, отображаемого в списке, согласно предварительно установленному условию выбора, если позывной не выбран пользователем за предварительно установленное время после отображения UI. 13. The control method according to claim 12, wherein said UI display comprises selecting one call sign displayed in the list according to a predefined selection condition if the call sign is not selected by the user for a predetermined time after the UI display.

Images