JP2017060059A - Control program, storage medium, portable communication equipment, program-related information provision device, and program-related information display method - Google Patents

Control program, storage medium, portable communication equipment, program-related information provision device, and program-related information display method Download PDF

Info

Publication number
JP2017060059A
JP2017060059A JP2015184516A JP2015184516A JP2017060059A JP 2017060059 A JP2017060059 A JP 2017060059A JP 2015184516 A JP2015184516 A JP 2015184516A JP 2015184516 A JP2015184516 A JP 2015184516A JP 2017060059 A JP2017060059 A JP 2017060059A
Authority
JP
Japan
Prior art keywords
program
broadcast program
information
television
broadcast
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015184516A
Other languages
Japanese (ja)
Inventor
和也 吉田
Kazuya Yoshida
和也 吉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fields Corp
Original Assignee
Fields Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fields Corp filed Critical Fields Corp
Priority to JP2015184516A priority Critical patent/JP2017060059A/en
Publication of JP2017060059A publication Critical patent/JP2017060059A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a control program and portable communication equipment capable of allowing a display part of the portable communication equipment to display information related to a broadcast program being received by a TV set.SOLUTION: Portable communication equipment having a microphone and a display part is allowed to perform: a voice acquisition step of acquiring voice of a broadcast program output from a speaker of a TV set receiving the broadcast program with the use of the microphone; an acquisition step of acquiring information related to a broadcast program being received by the TV set when predetermined voice is acquired in the voice acquisition step; and a display step of displaying the information acquired in the acquisition step on the display part.SELECTED DRAWING: Figure 1

Description

本発明は、テレビが受像している放送番組に関する情報を携帯通信機に表示させるための制御プログラム、記録媒体、携帯通信機、番組関連情報提供装置及び番組関連情報表示方法に関する。   The present invention relates to a control program, a recording medium, a portable communication device, a program related information providing apparatus, and a program related information display method for displaying information related to a broadcast program received by a television on a portable communication device.

音声認識装置を備えたテレビがある（特許文献１）。この音声認識装置は、ユーザが発した音声をマイクで取得し、取得した音声に対応するコマンド及びキーワードを認識する。上記音声認識装置は、例えばキーワードを用いてインターネット検索を行い、検索結果をテレビの表示画面に表示する。また、特許文献１には、携帯通信機に搭載されたマイクによってユーザの音声を取得し、取得した音声を該携帯通信機からテレビへ無線送信する構成も開示されている。   There is a television provided with a voice recognition device (Patent Document 1). This voice recognition device acquires a voice uttered by a user with a microphone and recognizes a command and a keyword corresponding to the acquired voice. The voice recognition device performs an Internet search using keywords, for example, and displays the search result on a television display screen. Patent Document 1 also discloses a configuration in which a user's voice is acquired by a microphone mounted on a portable communication device, and the acquired voice is wirelessly transmitted from the portable communication device to a television.

特開２０１４−１２６６００号公報JP 2014-126600 A

しかしながら、従来の音声認識装置はユーザが発する音声を、単にコマンド及びキーワードとして認識するものである。また、携帯通信機は、単にユーザが発した音声を取得し、テレビへ無線送信するのみであり、無線マイクとして機能しているに過ぎない。   However, the conventional speech recognition apparatus recognizes speech uttered by a user as commands and keywords. In addition, the portable communication device simply acquires the voice uttered by the user and wirelessly transmits it to the television, and merely functions as a wireless microphone.

本発明の目的は、テレビが受像している放送番組に関する情報を携帯通信機の表示部に表示させることを可能にする制御プログラム、記録媒体、携帯通信機、番組関連情報提供装置及び番組関連情報表示方法を提供することにある。   An object of the present invention is to provide a control program, a recording medium, a portable communication device, a program-related information providing apparatus, and program-related information that enable information related to a broadcast program received by a television to be displayed on a display unit of the portable communication device. To provide a display method.

本発明の一態様に係る制御プログラムは、マイク及び表示部を有する携帯通信機に、放送番組を受像するテレビのスピーカから出力された該放送番組の音声を前記マイクにて取得する音声取得ステップと、該音声取得ステップにて所定の音声を取得すると、前記テレビが受像している放送番組に関連する情報を取得する取得ステップと、該取得ステップにて取得した情報を前記表示部に表示する表示ステップとを実行させる。   A control program according to an aspect of the present invention includes: a sound acquisition step of acquiring sound of a broadcast program output from a speaker of a television receiving a broadcast program with the microphone in a portable communication device having a microphone and a display unit; , When a predetermined sound is acquired in the sound acquisition step, an acquisition step of acquiring information related to the broadcast program received by the television, and a display for displaying the information acquired in the acquisition step on the display unit Step.

本発明の一態様に係る記録媒体は、コンピュータにより読み出し可能なプログラムを格納した記憶媒体であって、上述の制御プログラムを格納する。   A recording medium according to one embodiment of the present invention is a storage medium that stores a computer-readable program, and stores the above-described control program.

本発明の一態様に係る携帯通信機は、放送番組を受像するテレビのスピーカから出力された該放送番組の音声を取得するマイクと、該マイクにて所定の音声を取得すると、前記テレビが受像している放送番組に関連する情報を取得する取得部と、該取得部にて取得した情報を表示する表示部とを備える。   The portable communication device according to one aspect of the present invention receives a broadcast program sound output from a television speaker that receives a broadcast program, and acquires predetermined sound using the microphone. An acquisition unit that acquires information related to the broadcast program being performed, and a display unit that displays the information acquired by the acquisition unit.

本発明の一態様に係る番組関連情報表示システムは、携帯通信機と、該携帯通信機へ放送番組に関連する情報を提供する番組関連情報提供装置とを備え、前記携帯通信機は提供された情報を表示する番組関連情報表示システムであって、前記携帯通信機は、放送番組を受像するテレビのスピーカから出力された該放送番組の音声を取得するマイクと、該マイクにて取得した音声を前記番組関連情報提供装置へ送信する携帯送信部とを備え、前記番組関連情報提供装置は、前記携帯通信機から送信された音声を受信する受信部と、該受信部にて受信した音声に基づいて、前記テレビが受像している放送番組に関連する情報を取得する取得部と、該取得部にて取得した情報を前記携帯通信機へ送信する送信部とを備え、前記携帯通信機は、前記番組関連情報提供装置から送信された情報を受信する携帯受信部と、該携帯受信部にて受信した情報を表示する表示部とを備える。   A program-related information display system according to an aspect of the present invention includes a portable communication device and a program-related information providing device that provides information related to a broadcast program to the portable communication device, and the portable communication device is provided. A program-related information display system for displaying information, wherein the portable communication device acquires a sound of the broadcast program output from a speaker of a television receiving the broadcast program, and a sound acquired by the microphone. A portable transmission unit that transmits to the program-related information providing device, the program-related information providing device based on the reception unit that receives the audio transmitted from the portable communication device and the audio that is received by the reception unit An acquisition unit that acquires information related to the broadcast program received by the television, and a transmission unit that transmits the information acquired by the acquisition unit to the portable communication device. Said number It includes a mobile receiver for receiving information transmitted from the related information providing apparatus, and a display unit for displaying the information received by the mobile receiver.

本発明の一態様に係る番組関連情報提供装置は、放送番組に関連する情報を提供する番組関連情報提供装置であって、放送番組を受像するテレビのスピーカから出力された該放送番組の音声を取得する携帯通信機から送信された該音声を受信する受信部と、該受信部にて受信した音声に基づいて、前記テレビが受像している放送番組に関連する情報を取得する取得部と、該取得部にて取得した情報を前記携帯通信機へ送信する送信部とを備える。   A program-related information providing apparatus according to an aspect of the present invention is a program-related information providing apparatus that provides information related to a broadcast program, and outputs the sound of the broadcast program output from a speaker of a television that receives the broadcast program. A receiving unit that receives the audio transmitted from the mobile communication device to acquire; an acquiring unit that acquires information related to a broadcast program received by the television based on the audio received by the receiving unit; A transmission unit that transmits the information acquired by the acquisition unit to the portable communication device.

本発明の一態様に係る番組関連情報表示方法は、マイク及び表示部を有する携帯通信機に放送番組に関連する情報を表示させる番組関連表示方法であって、放送番組を受像するテレビのスピーカから出力された該放送番組の音声を前記マイクにて取得する音声取得ステップと、該音声取得ステップにて所定の音声を取得すると、前記テレビが受像している放送番組に関連する情報を取得する取得ステップと、該取得ステップにて取得した情報を前記表示部に表示する表示ステップとを備える。   A program related information display method according to an aspect of the present invention is a program related display method for displaying information related to a broadcast program on a portable communication device having a microphone and a display unit, from a television speaker that receives the broadcast program. An audio acquisition step for acquiring the output audio of the broadcast program with the microphone, and an acquisition for acquiring information related to the broadcast program received by the television when the predetermined audio is acquired in the audio acquisition step. And a display step of displaying the information acquired in the acquisition step on the display unit.

本態様によれば、テレビが受像している放送番組に関する情報を携帯通信機の表示部に表示させることができる。   According to this aspect, it is possible to display information related to the broadcast program received by the television on the display unit of the portable communication device.

本発明の一実施形態に係る番組関連情報表示システムの一構成例を示す概念図である。It is a conceptual diagram which shows the example of 1 structure of the program related information display system which concerns on one Embodiment of this invention. 本発明の一実施形態に係る携帯通信機の一構成例を示すブロック図である。It is a block diagram which shows one structural example of the portable communication apparatus which concerns on one Embodiment of this invention. 本発明の一実施形態に係る番組関連情報表示処理の手順を示すフローチャートである。It is a flowchart which shows the procedure of the program related information display process which concerns on one Embodiment of this invention. 本発明の一実施形態に係る番組関連情報の表示例を示す概念図である。It is a conceptual diagram which shows the example of a display of the program relevant information which concerns on one Embodiment of this invention. 本発明の一実施形態に係る番組関連情報表示システムの一構成例を示す概念図である。It is a conceptual diagram which shows the example of 1 structure of the program related information display system which concerns on one Embodiment of this invention. 本発明の一実施形態に係る番組関連情報提供装置の一構成例を示すブロック図である。It is a block diagram which shows one structural example of the program relevant-information provision apparatus which concerns on one Embodiment of this invention. 本発明の一実施形態に係る番組情報ＤＢのレコードレイアウトを示す概念図である。It is a conceptual diagram which shows the record layout of program information DB which concerns on one Embodiment of this invention. 本発明の一実施形態に係る人物関連情報ＤＢのレコードレイアウトを示す概念図である。It is a conceptual diagram which shows the record layout of person related information DB which concerns on one Embodiment of this invention. 本発明の一実施形態に係るダイジェスト画像情報ＤＢのレコードレイアウトを示す概念図である。It is a conceptual diagram which shows the record layout of digest image information DB which concerns on one Embodiment of this invention. 本発明の一実施形態に係る広告情報ＤＢのレコードレイアウトを示す概念図である。It is a conceptual diagram which shows the record layout of advertisement information DB which concerns on one Embodiment of this invention. 本発明の一実施形態に係る番組関連情報表示処理の手順を示すフローチャートである。It is a flowchart which shows the procedure of the program related information display process which concerns on one Embodiment of this invention. 本発明の一実施形態に係る番組関連情報検索処理の手順を示すフローチャートである。It is a flowchart which shows the procedure of the program relevant-information search process which concerns on one Embodiment of this invention. 本発明の一実施形態に係る番組関連情報検索処理の手順を示すフローチャートである。It is a flowchart which shows the procedure of the program relevant-information search process which concerns on one Embodiment of this invention. 本発明の一実施形態に係る番組関連情報の表示例を示す概念図である。It is a conceptual diagram which shows the example of a display of the program relevant information which concerns on one Embodiment of this invention. 本発明の一実施形態に係る他の番組関連情報の表示例を示す概念図である。It is a conceptual diagram which shows the example of a display of the other program relevant information which concerns on one Embodiment of this invention. 本発明の一実施形態に係る番組関連情報検索処理の手順を示すフローチャートである。It is a flowchart which shows the procedure of the program relevant-information search process which concerns on one Embodiment of this invention. 本発明の一実施形態に係る番組関連情報検索処理の手順を示すフローチャートである。It is a flowchart which shows the procedure of the program relevant-information search process which concerns on one Embodiment of this invention.

以下、本発明をその実施の形態を示す図面に基づいて詳述する。
（実施形態１）
図１は実施形態１に係る番組関連情報表示システムの一構成例を示す概念図である。番組関連情報表示システムは、携帯通信機１及びテレビ２を備える。番組関連情報表示システムは、テレビ２が受像している放送番組に関連する情報を携帯通信機１が収集して表示するというものである。テレビ２は、放送局３から送信された放送番組データを受信し、受信した放送番組データに基づいて、放送番組の映像を表示し、該放送番組の音声を出力する。テレビ２は、据置型のブラウン管テレビ、液晶テレビ、プラズマテレビ、有機ＥＬテレビ等に限定されるものでは無く、放送番組を受像可能なプロジェクター、パーソナルコンピュータ等含まれる。携帯通信機１は、テレビ２のスピーカから出力された放送番組の音声を取得し、取得した音声に基づいて放送番組を特定する。そして、携帯通信機１は、特定された放送番組に関連する情報を、放送局３又は通信網Ｎに接続されたウェブサーバ４から取得し、取得した情報を表示する。 Hereinafter, the present invention will be described in detail with reference to the drawings illustrating embodiments thereof.
(Embodiment 1)
FIG. 1 is a conceptual diagram illustrating a configuration example of a program related information display system according to the first embodiment. The program related information display system includes a portable communication device 1 and a television 2. In the program related information display system, the mobile communication device 1 collects and displays information related to a broadcast program received by the television 2. The television 2 receives the broadcast program data transmitted from the broadcast station 3, displays the video of the broadcast program based on the received broadcast program data, and outputs the audio of the broadcast program. The television 2 is not limited to a stationary cathode ray tube television, a liquid crystal television, a plasma television, an organic EL television, and the like, and includes a projector capable of receiving a broadcast program, a personal computer, and the like. The mobile communication device 1 acquires the sound of the broadcast program output from the speaker of the television 2 and specifies the broadcast program based on the acquired sound. And the portable communication apparatus 1 acquires the information relevant to the specified broadcast program from the web server 4 connected to the broadcasting station 3 or the communication network N, and displays the acquired information.

放送番組データは、例えばＭＰＥＧ２ＴＳ（Transport Stream）形式のストリームデータであり、本実施形態１においては、一つの放送番組データが、映像データと、２つの異なる第１音声データ及び第２音声データとを含むものとして説明する。ただし、放送番組データによっては、第２音声データを含まないものもある。
第１音声は、いわゆる主音声である。第１音声は、ドラマ、映画、アニメ、バラエティ番組等に登場する俳優、キャラクター等が発する通常の音声等である。以下、放送番組に登場する俳優、キャラクター等、言葉として認識可能な主音声を発する主体を包括して人物と呼ぶ。第１音声は、テレビ２のスピーカから音波として出力される。なお、図１中、テレビ２に図示されている破線の吹き出しは、第１音声を登場人物が発していることを示しており、表示されるものでは無い。本実施形態では、第１音声データは、所定の人物により表現される所定発話区間の発話内容（言葉、文章等）を示す音声データである。従って、第１音声データを音声認識処理することにより、上記発話内容の文字列を生成したり、発話の主体（上記所定の人物）を識別したりすることができる。
第２音声は、いわゆる副音声であり、例えばオーディオコメンタリーである。本実施形態では、第２音声により表現される発話内容は、ドラマ、映画、アニメ等に登場する人物が発する第１音声に表れていない本音、コメント、実況説明等である。第２音声は通常ではテレビ２のスピーカから出力されておらず、副音声形式に切り替えることによりスピーカから出力することができる。また、本実施形態では、後述するように、関連した第１音声データを携帯通信機１により取得した際に、該携帯通信機１に文字として表示される。ユーザは、第１音声を出力するテレビで放送番組を視聴しながら、携帯通信機１を用いて、放送番組に登場する人物の本音、コメント等を見て楽しむことができる。第２音声データは、所定の第１音声データに関連した所定の情報（上記本音、コメント、実況説明等）を示す音声データである。従って、第１音声データを音声認識処理することにより、上記発話内容の文字列を生成したり、発話の主体を識別したりすることができる。 The broadcast program data is, for example, MPEG2TS (Transport Stream) stream data. In the first embodiment, one broadcast program data includes video data, two different first audio data, and second audio data. It will be described as including. However, some broadcast program data does not include the second audio data.
The first voice is a so-called main voice. The first sound is a normal sound generated by an actor, character, etc. appearing in a drama, movie, animation, variety program, or the like. In the following, actors and characters appearing in broadcast programs are collectively referred to as human beings that emit main speech that can be recognized as words. The first sound is output as sound waves from the speaker of the television 2. In FIG. 1, a dashed balloon illustrated on the television 2 indicates that the character is emitting the first sound, and is not displayed. In the present embodiment, the first voice data is voice data indicating the utterance content (words, sentences, etc.) of a predetermined utterance section expressed by a predetermined person. Therefore, by performing voice recognition processing on the first voice data, it is possible to generate a character string of the utterance content and identify the subject of the utterance (the predetermined person).
The second sound is so-called sub-sound, for example, audio commentary. In the present embodiment, the utterance content expressed by the second voice is a real voice, a comment, a live commentary, etc. that do not appear in the first voice uttered by a person appearing in a drama, movie, animation, or the like. The second sound is not normally output from the speaker of the television 2 and can be output from the speaker by switching to the sub sound format. In the present embodiment, as described later, when the related first audio data is acquired by the portable communication device 1, it is displayed as characters on the portable communication device 1. While viewing the broadcast program on the television that outputs the first sound, the user can enjoy watching the real intentions, comments, etc. of the person appearing in the broadcast program using the mobile communication device 1. The second audio data is audio data indicating predetermined information related to the predetermined first audio data (the above-mentioned true intention, comment, actual situation explanation, etc.). Therefore, by performing speech recognition processing on the first speech data, it is possible to generate a character string of the utterance content and identify the subject of the utterance.

図２は実施形態１に係る携帯通信機１の一構成例を示すブロック図である。携帯端末機は、例えばスマートフォン、携帯電話、タブレット端末、ＰＤＡ（Personal Digital Assistant）等の可搬型の無線通信装置である。携帯端末機は、該携帯端末機の各構成部の動作を制御する制御部１０を備える。   FIG. 2 is a block diagram illustrating a configuration example of the mobile communication device 1 according to the first embodiment. The mobile terminal is a portable wireless communication device such as a smartphone, a mobile phone, a tablet terminal, or a PDA (Personal Digital Assistant). The portable terminal includes a control unit 10 that controls the operation of each component of the portable terminal.

制御部１０は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、入出力インタフェース等を有するマイクロコンピュータである。制御部１０の入出力インタフェースには、記憶部１１、無線通信部１２、無線ＬＡＮ通信部１３、チューナ１４、撮像部１５、表示部１６、操作部１７、スピーカ１８及びマイク１９等が接続されている。
ＲＯＭはコンピュータの初期動作に必要なプログラムを記憶している。ＲＡＭは、ＤＲＡＭ（Dynamic RAM）、ＳＲＡＭ（Static RAM）等のメモリであり、制御部１０の演算処理を実行する際に記憶部１１から読み出された後述の制御プログラム５０、又は制御部１０の演算処理によって生ずる各種データを一時記憶する。ＣＰＵは制御プログラム５０を実行することにより、各構成部の動作を制御し、携帯通信機１の表示部１６に番組関連情報を表示させる番組関連情報表示処理方法を実施する。 The control unit 10 is a microcomputer having a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), an input / output interface, and the like. A storage unit 11, a wireless communication unit 12, a wireless LAN communication unit 13, a tuner 14, an imaging unit 15, a display unit 16, an operation unit 17, a speaker 18, a microphone 19, and the like are connected to the input / output interface of the control unit 10. Yes.
The ROM stores a program necessary for the initial operation of the computer. The RAM is a memory such as a DRAM (Dynamic RAM), an SRAM (Static RAM), etc., and a control program 50 described later read from the storage unit 11 when the arithmetic processing of the control unit 10 is executed, or the control unit 10 Various data generated by arithmetic processing are temporarily stored. The CPU executes the control program 50 to control the operation of each component and implement a program related information display processing method for displaying the program related information on the display unit 16 of the portable communication device 1.

記憶部１１は、ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）、フラッシュメモリ等の不揮発性メモリであり、本実施形態に係る番組関連情報表示処理に必要な制御プログラム５０を記憶している。   The storage unit 11 is a nonvolatile memory such as an EEPROM (Electrically Erasable Programmable ROM) or a flash memory, and stores a control program 50 necessary for the program related information display processing according to the present embodiment.

本実施形態１に係る制御プログラム５０は、記録媒体５にコンピュータ読み取り可能に記録されている態様でも良い。記憶部１１は、図示しない読出装置によって記録媒体５から読み出された制御プログラム５０を記憶する。記録媒体５はフラッシュメモリ等の半導体メモリである。また、記録媒体５はＣＤ（Compact Disc）−ＲＯＭ、ＤＶＤ（Digital Versatile Disc）−ＲＯＭ、ＢＤ（Blu-ray（登録商標） Disc）等の光ディスクでも良い。更に、記録媒体５は、フレキシブルディスク、ハードディスク等の磁気ディスク、磁気光ディスク等であっても良い。更にまた、通信網Ｎに接続されている図示しない外部コンピュータから本実施形態１に係る制御プログラム５０をダウンロードし、記憶部１１に記憶させても良い。   The control program 50 according to the first embodiment may be recorded in the recording medium 5 so as to be readable by a computer. The storage unit 11 stores a control program 50 read from the recording medium 5 by a reading device (not shown). The recording medium 5 is a semiconductor memory such as a flash memory. The recording medium 5 may be an optical disc such as a CD (Compact Disc) -ROM, a DVD (Digital Versatile Disc) -ROM, or a BD (Blu-ray (registered trademark) Disc). Furthermore, the recording medium 5 may be a flexible disk, a magnetic disk such as a hard disk, a magnetic optical disk, or the like. Furthermore, the control program 50 according to the first embodiment may be downloaded from an external computer (not shown) connected to the communication network N and stored in the storage unit 11.

無線通信部１２は、基地局を介して他の携帯通信機、通信網Ｎに接続された外部の通信装置等との間で各種情報を送受信するための通信機であり、携帯送信部１２ａ及び携帯受信部１２ｂを有する。無線通信部１２は、例えば、３Ｇ（Generation）回線、４Ｇ回線、ＬＴＥ（Long Term Evolution）回線等を用いて、通話音声及び各種データの送受信を行う。無線ＬＡＮ通信部１３は、外部の通信装置との間で各種情報を送受信する通信機であり、例えばＩＥＥＥ８０２．１１規格、ＷｉＦｉ規格に準拠した無線通信を行う。   The wireless communication unit 12 is a communication device for transmitting and receiving various types of information to and from other mobile communication devices, external communication devices connected to the communication network N, etc. via the base station. It has a portable receiver 12b. The wireless communication unit 12 performs transmission / reception of call voice and various data using, for example, a 3G (Generation) line, a 4G line, an LTE (Long Term Evolution) line, and the like. The wireless LAN communication unit 13 is a communication device that transmits and receives various types of information to and from an external communication device, and performs wireless communication based on, for example, the IEEE 802.11 standard or the WiFi standard.

チューナ１４には、放送局３から放送された信号を受信するアンテナ１４ａが接続されている。該信号には複数の放送番組データが含まれている。チューナ１４は、アンテナ１４ａが受信する信号から、特定チャンネルの信号を選択する。チューナ１４は例えばデジタルチューナである。チューナ１４は、復調回路を内蔵しており、選択された信号を復調する。例えば、上記信号は、ＯＦＤＭ（Orthogonal Frequency Division Multiplexing）方式で変調されており、復調回路は、上記信号を、ＭＰＥＧ２ＴＳ形式のストリームデータに復調し、該ストリームデータを映像データ、音声データ、番組配列情報（SI: Service Information）等に分離及び復元する。音声データは、第１音声データ及び第２音声データを含む。番組配列情報は、放送される番組のタイトル、チャンネル、放送開始時刻、放送終了時刻、及び番組のジャンル等の情報を有している。   The tuner 14 is connected to an antenna 14 a that receives a signal broadcast from the broadcasting station 3. The signal includes a plurality of broadcast program data. The tuner 14 selects a signal of a specific channel from the signals received by the antenna 14a. The tuner 14 is a digital tuner, for example. The tuner 14 incorporates a demodulation circuit and demodulates the selected signal. For example, the signal is modulated by an OFDM (Orthogonal Frequency Division Multiplexing) system, and the demodulation circuit demodulates the signal into MPEG2TS format stream data, and the stream data is video data, audio data, and program arrangement information. (SI: Service Information) etc. The audio data includes first audio data and second audio data. The program arrangement information includes information such as the title, channel, broadcast start time, broadcast end time, and program genre of the broadcast program.

なお、本実施形態１では携帯通信機１に内蔵されたチューナ１４を用いて、放送番組データを受信する例を説明するが、携帯通信機１の外部に設けた携帯チューナを用いて放送番組データを受信するように構成しても良い。例えば、携帯チューナは、本実施形態１に係るチューナ１４と同様の構成であり、放送局３から送信された放送番組データを受信し、受信して復号した放送番組データを携帯通信機１へ無線送信する。携帯通信機１は、無線ＬＡＮ通信部１３にて放送番組データを受信する。また、テレビ２がある家屋に設置されたホームネットワークが放送番組データを無線送信する機能を有する場合、携帯通信機１は、ホームネットワークから無線送信された放送番組を無線ＬＡＮ通信部１３にて取得しても良い。また家屋に衛星放送受信アンテナ、ケーブルテレビのセットボックスが設置され、ホームネットワークがＢＳ（Broadcasting Satellite）、ＣＳ（Communications Satellite）等の放送番組データを無線送信する機能を有する場合、携帯通信機１は、自身では受信できないＢＳ、ＣＳ等の放送番組データをホームネットワークから取得することもできる。   In the first embodiment, an example of receiving broadcast program data using the tuner 14 built in the portable communication device 1 will be described. However, broadcast program data using a portable tuner provided outside the portable communication device 1 is described. May be received. For example, the portable tuner has the same configuration as the tuner 14 according to the first embodiment, receives broadcast program data transmitted from the broadcast station 3, and wirelessly transmits the received and decoded broadcast program data to the portable communication device 1. Send. The portable communication device 1 receives broadcast program data at the wireless LAN communication unit 13. In addition, when the home network installed in a house where the TV 2 is installed has a function of wirelessly transmitting broadcast program data, the portable communication device 1 acquires the broadcast program wirelessly transmitted from the home network with the wireless LAN communication unit 13. You may do it. When the house has a satellite broadcast receiving antenna and a cable TV set box, and the home network has a function of wirelessly transmitting broadcast program data such as BS (Broadcasting Satellite), CS (Communications Satellite), etc., the portable communication device 1 Broadcast program data such as BS and CS that cannot be received by the user can be acquired from the home network.

撮像部１５は、レンズと、該レンズにて結像した像を電気信号に変換するＣＣＤ、ＣＭＯＳ等の撮像素子と、撮像素子にて変換された電気信号をデジタルの映像データにＡＤ変換し、ＡＤ変換された映像データに各種画像処理を施す画像処理部とを備える。撮像部１５は、撮像して得た映像データを制御部１０に与える。なお、撮像部１５は、動画及び静止画のいずれも撮像することができる。表示部１６は、液晶パネル、有機ＥＬディスプレイ、電子ペーパ、プラズマディスプレイ等である。表示部１６は、制御部１０から与えられた映像データに応じた各種情報を表示する。操作部１７は、例えば表示部１６の表面又は内部に設けられたタッチセンサ、機械式操作ボタン等である。タッチセンサは、ユーザの指が表示部１６に触れたこと、指が触れた位置等を検出することにより、ユーザの操作を受け付け、受け付けた操作情報を制御部１０に与える。つまり、制御部１０は操作部１７にてユーザの操作を受け付けることができる。   The imaging unit 15 performs AD conversion of a lens, an image sensor such as a CCD or CMOS that converts an image formed by the lens into an electrical signal, and an electrical signal converted by the image sensor into digital video data, An image processing unit that performs various types of image processing on the AD-converted video data. The imaging unit 15 gives video data obtained by imaging to the control unit 10. Note that the imaging unit 15 can capture both moving images and still images. The display unit 16 is a liquid crystal panel, an organic EL display, electronic paper, a plasma display, or the like. The display unit 16 displays various information according to the video data given from the control unit 10. The operation unit 17 is, for example, a touch sensor or a mechanical operation button provided on the surface or inside of the display unit 16. The touch sensor receives a user operation by detecting that the user's finger touches the display unit 16, a position where the finger touches, and the like, and gives the received operation information to the control unit 10. That is, the control unit 10 can accept a user operation through the operation unit 17.

スピーカ１８は、制御部１０から与えられた音声データを音波に変換して出力する。マイク１９は、音波を音声データに変換し、変換した音声データを制御部１０に与える。例えば、マイク１９は、放送番組を受像するテレビ２のスピーカから出力された放送番組の音声を音声データに変換して制御部１０に与える。つまり制御部１０は上記音声をマイク１９にて取得する。   The speaker 18 converts the sound data given from the control unit 10 into a sound wave and outputs the sound wave. The microphone 19 converts sound waves into sound data and gives the converted sound data to the control unit 10. For example, the microphone 19 converts the sound of the broadcast program output from the speaker of the television 2 that receives the broadcast program into sound data and gives the sound data to the control unit 10. That is, the control unit 10 acquires the above sound with the microphone 19.

図３は実施形態１に係る番組関連情報表示処理の手順を示すフローチャートである。本処理は、ユーザが操作部１７により本処理を開始する操作が行われた際に実行される。例えば、テレビ２にて所定の放送番組を視聴しているユーザが操作部１７を介してテレビ２にて放映されている放送番組を携帯通信機１に入力することにより、携帯通信機１は、上記放映されている放送番組のチャンネルに受信チャンネルを調整する。そして、ユーザが、上記放送番組において、ある場面にてある人物が発している第１音声を携帯送信機１に取り込むべく、上記操作を行う。該操作により制御部１０は、受信チャンネルとして選択されている一のチャンネルの、該操作が実行されたタイミングにおける放送番組データをチューナ１４にて取得し（ステップＳ１１）、取得した放送番組データから上記場面にて上記ある人物が発した発話内容の少なくとも一部を含む第１音声データ（所定発話区間の第１音声データ）を抽出する（ステップＳ１２）。第１音声データは、放送局３から送信されている複数の放送番組の中から、現にテレビ２が受像している放送番組を特定するための情報の一例でもある。   FIG. 3 is a flowchart showing a procedure of program-related information display processing according to the first embodiment. This process is executed when the user performs an operation for starting this process using the operation unit 17. For example, when a user who is watching a predetermined broadcast program on the television 2 inputs a broadcast program broadcast on the television 2 via the operation unit 17 to the portable communication device 1, the portable communication device 1 The reception channel is adjusted to the channel of the broadcast program being broadcast. And a user performs the said operation in order to take in the 1st audio | voice which the person in a certain scene has uttered in the portable transmitter 1 in the said broadcast program. With this operation, the control unit 10 acquires the broadcast program data of the channel selected as the reception channel at the timing when the operation is executed by the tuner 14 (step S11), and the above-mentioned broadcast program data is acquired from the acquired broadcast program data. First voice data (first voice data in a predetermined utterance section) including at least a part of the utterance contents uttered by a certain person in the scene is extracted (step S12). The first audio data is also an example of information for specifying a broadcast program that is actually received by the television 2 from among a plurality of broadcast programs transmitted from the broadcast station 3.

次いで、制御部１０は、放送番組を受像するテレビ２のスピーカから出力された該放送番組の音声をマイク１９にて取得する（ステップＳ１３）。以下、ステップＳ１３にて取得した音声のデータを、テレビ音声データと呼ぶ。そして、制御部１０は、ステップＳ１１及びステップＳ１２にて取得及び抽出した第１音声データと、ステップＳ１３にて取得したテレビ音声データとを比較することにより、テレビ２が受像している放送番組を特定する処理を実行する（ステップＳ１４）。例えば、制御部１０は、第１音声データにおいてテレビ音声データと略完全に一致する部分を有する場合に、第１音声データとテレビ音声データとが対応していると判断する。何故ならば、テレビ音声データは、ユーザの操作によって決まるものであり、第１音声データに関する発話の途中からの発話内容を含むものになる可能性もあるからである。さて、第１音声データと、テレビ音声データとが対応している場合、テレビ２が受像している放送番組として、ステップＳ１１で受信した放送番組データに係る放送番組が特定される。つまり、第１音声データと、テレビ音声データとが略一致したときのチューナ１４の受信チャンネルに係る放送番組が特定される。第１音声データと、テレビ音声データとが不一致の場合は、テレビ２が受像している放送番組は一意に特定されない。   Next, the control unit 10 acquires the sound of the broadcast program output from the speaker of the television 2 that receives the broadcast program with the microphone 19 (step S13). Hereinafter, the audio data acquired in step S13 is referred to as TV audio data. And the control part 10 compares the 1st audio | voice data acquired and extracted in step S11 and step S12, and the television audio | voice data acquired in step S13, and the broadcast program which the television 2 is receiving is compared. The specified process is executed (step S14). For example, the control unit 10 determines that the first audio data and the TV audio data correspond to each other when the first audio data has a portion that almost completely matches the TV audio data. This is because the television audio data is determined by the user's operation and may include utterance contents from the middle of the utterance regarding the first audio data. When the first audio data and the TV audio data correspond to each other, the broadcast program related to the broadcast program data received in step S11 is specified as the broadcast program received by the TV 2. That is, the broadcast program related to the reception channel of the tuner 14 when the first audio data and the television audio data substantially match is specified. When the first audio data and the television audio data do not match, the broadcast program received by the television 2 is not uniquely identified.

なお、第１音声データと、テレビ音声データとの比較方法は特に限定されるものでは無い。例えば、制御部１０は、第１音声データ及びテレビ音声データに基づいて、各データに含まれる音声により表現されている内容を文字データに変換し、変換して得た文字を比較することによって、音声の一致及び不一致を判定する。制御部１０は、所定の閾値以上の割合で文字が一致していれば、音声が一致していると判定する。なお、テレビ音声データはテレビ２のスピーカから出力される音声に加え、テレビ２を視聴している人の音声のデータも含むため、第１音声データから得られる文字群が、テレビ音声データから得られる文字列に所定割合以上含まれていれば、音声が一致しているものと判定するように構成しても良い。また、放送番組データに第１音声データに対応する字幕データが含まれている場合、制御部１０は、テレビ音声データに基づいて変換された文字データと、上記字幕データとを比較することによって、音声の一致及び不一致を判定するように構成しても良い。
更に、制御部１０は第１音声データ及びテレビ音声データを単純に比較し、各データの一致率を算出することによって、音声の一致及び不一致を判定するように構成しても良い。データの比較は波形を比較しても良いし、音声の周波数成分等を比較するように構成しても良い。 In addition, the comparison method of 1st audio | voice data and television audio | voice data is not specifically limited. For example, the control unit 10 converts the contents expressed by the sound included in each data into character data based on the first sound data and the television sound data, and compares the characters obtained by the conversion, Determine whether voice matches or does not match. If the characters match at a rate equal to or greater than a predetermined threshold, the control unit 10 determines that the sounds match. Note that the television audio data includes not only the audio output from the speaker of the television 2 but also the audio data of the person watching the television 2, so that the character group obtained from the first audio data is obtained from the television audio data. It may be configured to determine that the voices match as long as they are included in a certain character string or more. When the broadcast program data includes subtitle data corresponding to the first audio data, the control unit 10 compares the subtitle data with the character data converted based on the TV audio data, You may comprise so that audio | voice coincidence and disagreement may be determined.
Further, the control unit 10 may be configured to determine whether the audio matches or does not match by simply comparing the first audio data and the television audio data and calculating the matching rate of each data. The comparison of data may be performed by comparing waveforms or by comparing frequency components of audio.

ステップＳ１４の処理を終えた制御部１０は放送番組の特定に成功したか否かを判定する（ステップＳ１５）。放送番組の特定に失敗したと判定した場合（ステップＳ１５：ＮＯ）、制御部１０は、ステップＳ１１で選択していた受信チャンネルを変更し（ステップＳ１６）、処理をステップＳ１１へ戻す。なお、ステップＳ１６では、制御部１０は、受信チャンネル変更をユーザに促しても良い。ステップＳ１４〜ステップＳ１６の処理は、テレビ２が受像している放送番組を特定する処理ステップであり、制御部１０は、受信チャンネルを順次変更しながら、受信した各チャンネルの第１音声データと、テレビ音声データとを比較することによって、現在テレビ２が受像している一の放送番組を特定する。   After completing the process of step S14, the control unit 10 determines whether or not the broadcast program has been successfully identified (step S15). If it is determined that identification of the broadcast program has failed (step S15: NO), the control unit 10 changes the reception channel selected in step S11 (step S16), and returns the process to step S11. In step S16, the control unit 10 may prompt the user to change the reception channel. The processing of step S14 to step S16 is a processing step for specifying the broadcast program received by the television 2, and the control unit 10 sequentially receives the first audio data of each channel while changing the reception channel, By comparing with the TV audio data, one broadcast program currently received by the TV 2 is specified.

放送番組の特定に成功したと判定した場合（ステップＳ１５：ＹＥＳ）、制御部１０は、チューナ１４の受信チャンネルを、ステップＳ１４にて特定された放送番組のチャンネルに合わせ、放送番組データをチューナ１４にて取得する（ステップＳ１７）。そして、制御部１０は、取得した放送番組データから上記第１音声データに対応する第２音声データを抽出する処理を実行し（ステップＳ１８）、第２音声データの抽出に成功したか否かを判定する（ステップＳ１９）。放送番組データが主音声に係る音声データのみを含む場合、第２音声データの抽出に失敗する。第２音声データの抽出に成功したと判定した場合（ステップＳ１９：ＹＥＳ）、制御部１０は、抽出した第２音声データに基づいて、第２音声に含まれる言葉を文字データに変換する（ステップＳ２０）。そして、制御部１０は、変換された第２音声データに係る文字を表示部１６に表示する（ステップＳ２１）。放送番組データには映像及び音声を出力するタイミングを示すデータが含まれているため、制御部１０は、該データを参照し、第２音声を出力すべきタイミングに合わせて第２音声データに係る文字を表示部１６に表示すると良い。   When it is determined that the broadcast program has been successfully identified (step S15: YES), the control unit 10 matches the reception channel of the tuner 14 with the channel of the broadcast program identified in step S14, and sets the broadcast program data to the tuner 14. (Step S17). And the control part 10 performs the process which extracts the 2nd audio | voice data corresponding to the said 1st audio | voice data from the acquired broadcast program data (step S18), and whether extraction of the 2nd audio | voice data was successful is performed. Determination is made (step S19). If the broadcast program data includes only audio data related to the main audio, the extraction of the second audio data fails. When it is determined that the extraction of the second voice data is successful (step S19: YES), the control unit 10 converts the words included in the second voice into character data based on the extracted second voice data (step S19). S20). And the control part 10 displays the character which concerns on the converted 2nd audio | voice data on the display part 16 (step S21). Since the broadcast program data includes data indicating the timing of outputting video and audio, the control unit 10 refers to the data and relates to the second audio data in accordance with the timing at which the second audio should be output. Characters may be displayed on the display unit 16.

抽出に失敗したと判定した場合（ステップＳ１９：ＮＯ）、制御部１０は、第２音声データ以外の他の番組関連情報を検索し（ステップＳ２２）、検索して得た番組関連情報を表示部１６に表示する（ステップＳ２３）。例えば、制御部１０は、無線通信部１２又は無線ＬＡＮ通信部１３にて外部のウェブサーバ４にアクセスし、ステップＳ１１〜ステップＳ１５の処理で特定された放送番組に関連する情報を検索する。情報の検索は、例えば特定された放送番組の番組名、該放送番組に登場する人物名等をキーワードとして情報を検索すれば良い。番組名、人物名等は、放送番組データに含まれている。
また、放送局３から放送されるデータの中から、他の番組関連情報を検索するようにしても良い。例えば、各チャンネルの番組配列情報、又は該番組配列情報に基づいて作成された電子番組ガイド（EPG:ElectronicProgram Guide）から、上記放送番組に登場する人物名が含まれる他の放送番組の番組名、チャンネル、放送日時等を検索し、検索して得た情報を、番組関連情報として表示部１６に表示しても良い。
他の番組関連情報の例は多岐にわたるものであり、特に限定されるものでは無い。より複雑な具体例について、実施形態２以降で説明する。 When it is determined that the extraction has failed (step S19: NO), the control unit 10 searches for program related information other than the second audio data (step S22), and displays the program related information obtained by the search. 16 (step S23). For example, the control unit 10 accesses the external web server 4 through the wireless communication unit 12 or the wireless LAN communication unit 13 and searches for information related to the broadcast program specified by the processes in steps S11 to S15. Information can be searched by using, for example, the program name of the specified broadcast program, the name of a person appearing in the broadcast program, and the like as keywords. The program name, person name, etc. are included in the broadcast program data.
Further, other program related information may be searched from data broadcast from the broadcasting station 3. For example, from the program arrangement information of each channel, or an electronic program guide (EPG: Electronic Program Guide) created based on the program arrangement information, the program names of other broadcast programs including the names of persons appearing in the broadcast programs, You may search a channel, broadcast date, etc., and you may display the information obtained by searching on the display part 16 as program relevant information.
Examples of other program-related information are various and are not particularly limited. More specific examples will be described in the second and subsequent embodiments.

ステップＳ２１又はステップＳ２３の処理を終えた制御部１０は、テレビ２が受像している放送番組のチャンネルを確認するタイミングであるか否かを判定する（ステップＳ２４）。例えば、制御部１０は、ステップＳ１１〜ステップＳ１６の処理で放送番組が特定されてから所定時間が経過した場合、チャンネルの確認を行うタイミングであると判定する。また、映像データ及び音声データに基づいて、放送番組の場面変化を検出し、場面変化が検出された場合、チャンネルの確認を行うタイミングであると判定しても良い。チャンネルの確認を行うタイミングであると判定した場合（ステップＳ２４：ＹＥＳ）、制御部１０は、処理をステップＳ１１へ戻す。   The control part 10 which finished the process of step S21 or step S23 determines whether it is a timing which confirms the channel of the broadcast program which the television 2 is receiving (step S24). For example, the control unit 10 determines that it is time to check the channel when a predetermined time has elapsed since the broadcast program was identified in the processes of steps S11 to S16. Further, a scene change of a broadcast program is detected based on video data and audio data, and when a scene change is detected, it may be determined that it is time to confirm a channel. If it is determined that it is time to confirm the channel (step S24: YES), the control unit 10 returns the process to step S11.

チャンネルの確認を行うタイミングで無いと判定した場合（ステップＳ２４：ＮＯ）、制御部１０は、本実施形態１に係る処理を終了するか否かを判定する（ステップＳ２５）。例えば、制御部１０は本実施形態１に係る制御プログラム５０の終了操作を操作部１７にて受け付けた場合、処理を終了すべきと判定する。終了しないと判定した場合（ステップＳ２５：ＮＯ）、制御部１０は処理をステップＳ１７へ戻す。処理を終了すべきと判定した場合（ステップＳ２５：ＹＥＳ）、本実施形態１に係る処理を終了する。   If it is determined that it is not time to confirm the channel (step S24: NO), the control unit 10 determines whether or not to end the processing according to the first embodiment (step S25). For example, when the operation unit 17 receives an end operation of the control program 50 according to the first embodiment, the control unit 10 determines that the process should be ended. When it determines with not complete | finishing (step S25: NO), the control part 10 returns a process to step S17. If it is determined that the process should be terminated (step S25: YES), the process according to the first embodiment is terminated.

図４は実施形態１に係る番組関連情報の表示例を示す概念図である。テレビ２が図１に示すように番組名「放送番組Ａ」の放送番組を受像し、該放送番組の第１音声が出力されている場合、ステップＳ２１の処理によって、携帯端末機の表示部１６には当該放送番組の第２音声の文字が表示される。   FIG. 4 is a conceptual diagram illustrating a display example of program-related information according to the first embodiment. When the television 2 receives a broadcast program with the program name “Broadcast program A” as shown in FIG. 1 and the first sound of the broadcast program is output, the display unit 16 of the portable terminal is processed by the process of step S21. Displays the character of the second sound of the broadcast program.

このように構成された本実施形態１によれば、携帯通信機１はテレビ２から発せられる第１音声により該テレビ２が受像している放送番組を特定することができ、特定した放送番組に関する情報を携帯通信機１の表示部１６に表示することができる。   According to the first embodiment configured as described above, the mobile communication device 1 can identify the broadcast program received by the television 2 by the first sound emitted from the television 2, and relates to the identified broadcast program. Information can be displayed on the display unit 16 of the portable communication device 1.

具体的には、携帯通信機１はテレビ２が受像している放送番組の所定の場面にて所定の人物が発した第１音声による発話内容に関連した第２音声、即ち副音声を文字として表示部１６に表示することができる。従って、ユーザは、第１音声を出力するテレビ２で放送番組を視聴しながら、携帯通信機１を用いて放送番組に登場する人物の本音、コメント等を見て楽しむことができる。また、携帯通信機１における第２音声のテキスト表示のトリガは、携帯通信機１による、該当放送番組が放映されているテレビ２から出力される第１音声の取得である。よって、番組視聴をしている視聴者（ユーザ）が、ある場面においてある人物が発している発話内容に気になる部分があるとき、そのテレビ２から発せられる音声（第１音声）を携帯通信機１により取得することにより、上記発話に関連した情報（発話内容のより詳細な情報、その人物の本音等）を携帯通信機１にて閲覧することができる。よって、その放送番組に対してユーザをより没入させることができる。また、複数の第１音声データのうち、限られたものにのみ第２音声データを用意しておくことにより、第１の場面の第１の人物の第１音声では上記第２音声のテキスト表示が行われないが、第２の場面の第１の人物の第１音声では上記第２音声のテキスト表示が行われるようにすることができる。よって、テレビ２の視聴者（ユーザ）にとっては、ある番組において、本音といった第２音声を探る楽しみといった従来には無い新たなテレビ番組視聴方法を享受することができる。
テレビ２の音声切り替えによって、放送番組を第２音声によって視聴することもできるが、この場合、ユーザは第１音声によって放送番組を視聴することができなくなる。従って、第１及び第２音声を楽しみたいユーザは、第１音声にて放送番組を視聴した後、録画された放送番組を第２音声にて再生し、視聴するようなことを行っている。この場合、放送番組の視聴に２倍の時間がかかってしまう。また第２音声を楽しみたいものの、第１音声による視聴を主に考えているユーザにとっては、第２音声による視聴にある種の煩わしさを覚えることもある。
しかし、本実施形態１によれば、ユーザは第１音声による放送番組の視聴を楽しむことができ、時折、携帯通信機１に表示された第２音声の文字を見ることによって、第２音声も楽しむことができる。ユーザは、第１音声及び第２音声を同時的に楽しむことができる。 Specifically, the portable communication device 1 uses the second voice related to the utterance content by the first voice uttered by a predetermined person in a predetermined scene of the broadcast program received by the television 2, that is, the sub voice as characters. It can be displayed on the display unit 16. Therefore, the user can enjoy watching the real intentions, comments, etc. of the person appearing in the broadcast program using the mobile communication device 1 while viewing the broadcast program on the television 2 that outputs the first sound. In addition, the trigger for the text display of the second sound in the mobile communication device 1 is the acquisition of the first sound output from the television 2 on which the corresponding broadcast program is broadcast by the mobile communication device 1. Therefore, when a viewer (user) who is watching a program is interested in the utterance content uttered by a person in a certain scene, the voice (first voice) uttered from the television 2 is portable communication. By acquiring with the device 1, information related to the utterance (more detailed information on the utterance content, the person's true intention, etc.) can be viewed on the portable communication device 1. Therefore, the user can be more immersed in the broadcast program. Further, by preparing the second voice data only for a limited number of the first voice data, the first voice of the first person in the first scene is displayed as the text of the second voice. However, the text display of the second voice can be performed in the first voice of the first person in the second scene. Therefore, the viewer (user) of the television 2 can enjoy a new television program viewing method that has not been found in the past, such as the pleasure of searching for the second sound such as the real sound in a certain program.
The broadcast program can be viewed with the second sound by switching the sound of the television 2, but in this case, the user cannot view the broadcast program with the first sound. Therefore, a user who wants to enjoy the first and second sounds views the broadcast program with the first sound, and then plays the recorded broadcast program with the second sound for viewing. In this case, it takes twice as long to watch the broadcast program. In addition, a user who wants to enjoy the second sound but is mainly interested in viewing with the first sound may experience some annoyance in viewing with the second sound.
However, according to the first embodiment, the user can enjoy watching the broadcast program by the first sound, and sometimes the second sound can be obtained by watching the characters of the second sound displayed on the mobile communication device 1. I can enjoy it. The user can enjoy the first sound and the second sound simultaneously.

技術的観点から言い換えると、本実施形態１の制御プログラム５０、携帯通信機１、番組関連情報表示システム及び番組関連情報表示方法は、放送番組データに含まれる映像データ及び第１音声データを、映像及び音声としてテレビ２から出力し、該放送番組データに含まれる第２音声データを文字として携帯通信機１の表示部１６に表示することができる。本実施形態１に係る発明は、テレビ２及び携帯通信機１から、映像データ、第１音声データ及び第２音声データを同時的に出力することができる。しかも、第１音声及び第２音声を、音声及び文字と異なる態様で出力することによって、第１音声の内容のユーザへの伝達と、第２音声の内容のユーザへの伝達とが干渉することを防ぐことができる。   In other words, from the technical point of view, the control program 50, the portable communication device 1, the program-related information display system, and the program-related information display method according to the first embodiment convert video data and first audio data included in broadcast program data into video. The second audio data included in the broadcast program data can be displayed as characters on the display unit 16 of the mobile communication device 1. The invention according to the first embodiment can simultaneously output video data, first audio data, and second audio data from the television 2 and the portable communication device 1. In addition, by outputting the first voice and the second voice in a manner different from the voice and characters, the transmission of the contents of the first voice to the user interferes with the transmission of the contents of the second voice to the user. Can be prevented.

また、本実施形態１に係る携帯通信機１は、放送番組データに含まれる第１音声データと、テレビ２から取得したテレビ音声データとを比較することによって放送番組を特定する構成であるため、より容易かつ簡便な操作で放送番組を特定することができる。例えば、テレビ２に表示される映像を用いて放送番組を特定するように構成した場合、ユーザは携帯通信機１の撮像部１５をテレビ２の表示画面に向け、撮像範囲にテレビ２画面を収める必要がある。しかし、本実施形態１のように構成すれば、テレビ２のスピーカから出力される音声を取得できる範囲に携帯通信機１を配置するのみで、テレビ２が受像している放送番組を特定することが可能である。また、異なる番組において同じようなシーンが表示される場合、例えば法廷の映像を含む放送番組が複数ある場合、放送番組の特定を誤る可能性があるが、音声によれば、その誤りを低減することができる。   Moreover, since the portable communication device 1 according to the first embodiment is configured to identify the broadcast program by comparing the first audio data included in the broadcast program data with the television audio data acquired from the television 2, A broadcast program can be specified by an easier and simpler operation. For example, when the broadcast program is specified using the video displayed on the television 2, the user points the imaging unit 15 of the mobile communication device 1 toward the display screen of the television 2 and puts the television 2 screen in the imaging range. There is a need. However, if configured as in the first embodiment, it is possible to specify the broadcast program received by the television 2 only by placing the portable communication device 1 in a range where the sound output from the speaker of the television 2 can be acquired. Is possible. In addition, when similar scenes are displayed in different programs, for example, when there are a plurality of broadcast programs including forensic video, there is a possibility that the broadcast program may be specified incorrectly. be able to.

なお、放送局３から放送番組のデジタルデータが送信される例を中心に説明したが、放送局３から送信されるアナログ放送信号をテレビ２及び携帯通信機１が受信する場合にも本実施形態を適用することができる。アナログ放送信号は、映像信号と、左スピーカ用の音声信号と、右スピーカ用の音声信号とを含み、一方の音声信号が第１音声の信号に対応し、他方の音声信号が第２音声の信号に対応する。   Note that the description has been made mainly on the example in which the digital data of the broadcast program is transmitted from the broadcast station 3, but the present embodiment is also applied to the case where the television 2 and the portable communication device 1 receive the analog broadcast signal transmitted from the broadcast station 3. Can be applied. The analog broadcast signal includes a video signal, an audio signal for the left speaker, and an audio signal for the right speaker, one audio signal corresponding to the first audio signal, and the other audio signal being the second audio signal. Corresponds to the signal.

また、本実施形態１では、放送番組データには、主音声及び副音声として第１及び第２音声データが含まれる例を説明したが、放送番組データは３以上の音声データを含むことができる。この場合、携帯通信機１は、主音声以外の他の複数の音声データに係る文字列を同時的に表示部１６に表示しても良いし、選択的に切り替えられた一つの音声データに係る文字列を表示するように構成しても良い。   In the first embodiment, an example in which the broadcast program data includes the first and second sound data as the main sound and the sub sound has been described. However, the broadcast program data can include three or more sound data. . In this case, the mobile communication device 1 may simultaneously display a character string related to a plurality of audio data other than the main audio on the display unit 16, or related to one audio data that is selectively switched. You may comprise so that a character string may be displayed.

更に、本実施形態１では、テレビ２が受像している放送番組を定期的に確認する例を説明したが、テレビ２が受像している放送番組を常時確認するように構成しても良い。また、一旦放送番組が特定された場合、ユーザによる特定の操作があるまで、該特定された放送番組に係る第２音声の文字を表示部１６に表示するように構成しても良い。
また、本実施形態では、図３のステップＳ１１〜Ｓ１６にて、携帯通信機１側にてテレビ２が受像している放送番組の特定を行っているが、ユーザが携帯通信機１に直接放送番組を入力するようにしても良い。本実施形態で重要なことは、ある放送番組中のある場面においてある人物が発した音声を携帯通信機１にて取得し、該音声に関連した情報（本実施形態では第２音声により表現されている内容）を携帯通信機１にて表示（例えば、テキスト形式）することである。よって、携帯通信機１がテレビ２にて放映されている放送番組を特定する方法は問題では無い。
また、本実施形態では、携帯通信機１による所定の第１音声の取得をトリガとして携帯通信機１に表示している情報を第２音声データに基づいて行っているが、上述のように、第１音声の取得をトリガとして該第１音声に関連した情報を携帯通信機１に表示させることが重要であり、これが実現できるのであれば表示元は問わない。例えば、第２音声データではなく、表示すべき内容のテキスト情報であっても良い。
また、本実施形態では、制御部１０は、チューナ１４を介してアンテナ１４ａにより第１音声データおよび第２音声データを取得しているが、携帯受信部１２ｂにより取得しても良い。 Furthermore, in the first embodiment, an example has been described in which the broadcast program received by the television 2 is regularly confirmed. However, the broadcast program received by the television 2 may be constantly confirmed. In addition, once a broadcast program is specified, the second audio character related to the specified broadcast program may be displayed on the display unit 16 until a specific operation is performed by the user.
In the present embodiment, the broadcast program received by the television 2 is specified on the mobile communication device 1 side in steps S11 to S16 in FIG. 3, but the user broadcasts directly to the mobile communication device 1. A program may be input. What is important in the present embodiment is that the mobile communication device 1 obtains voices uttered by a person in a scene in a broadcast program, and information related to the voices (expressed by the second voice in the present embodiment). Content) is displayed on the portable communication device 1 (for example, in text format). Therefore, the method for specifying the broadcast program broadcasted on the television 2 by the mobile communication device 1 is not a problem.
In the present embodiment, the information displayed on the mobile communication device 1 is triggered based on the acquisition of the predetermined first sound by the mobile communication device 1 based on the second sound data, but as described above, It is important to display the information related to the first voice on the portable communication device 1 using the acquisition of the first voice as a trigger, and the display source is not limited as long as this can be realized. For example, text information of contents to be displayed may be used instead of the second audio data.
Further, in the present embodiment, the control unit 10 acquires the first audio data and the second audio data by the antenna 14a via the tuner 14, but may be acquired by the mobile reception unit 12b.

（実施形態２）
図５は実施形態２に係る番組関連情報表示システムの一構成例を示す概念図である。実施形態２に係る番組関連情報表示システムは、携帯通信機１、テレビ２及び番組関連情報提供装置６を備える。実施形態２に係る番組関連情報表示システムは、音声認識及び番組関連情報の収集を番組関連情報提供装置６が実行し、より多様な番組関連情報を携帯通信機１に表示させることが可能なシステムである。実施形態２は、システムが番組関連情報提供装置６を備える点と、各装置の処理内容とが実施形態１と異なるため、以下では、主にかかる相違点を説明する。その他の構成及び作用効果は実施形態１と同様であるため、対応する箇所には同様の符号を付して詳細な説明を省略する。 (Embodiment 2)
FIG. 5 is a conceptual diagram showing a configuration example of a program related information display system according to the second embodiment. The program related information display system according to the second embodiment includes a mobile communication device 1, a television 2, and a program related information providing device 6. The program related information display system according to the second embodiment is a system in which the program related information providing apparatus 6 executes voice recognition and collection of program related information, and allows the portable communication device 1 to display more various program related information. It is. The second embodiment is different from the first embodiment in that the system includes the program-related information providing device 6 and the processing contents of each device. Therefore, the differences will be mainly described below. Since other configurations and operational effects are the same as those of the first embodiment, the corresponding portions are denoted by the same reference numerals, and detailed description thereof is omitted.

図６は実施形態２に係る番組関連情報提供装置６の一構成例を示すブロック図である。番組関連情報提供装置６は、例えば、該番組関連情報提供装置６の各構成部の動作を制御するＣＰＵ等のサーバ制御部６０を備えたコンピュータである。サーバ制御部６０には、バスを介して、一時記憶部６１、記憶部６２、通信部６３及びチューナ６４が接続されている。   FIG. 6 is a block diagram illustrating a configuration example of the program related information providing apparatus 6 according to the second embodiment. The program related information providing device 6 is a computer including a server control unit 60 such as a CPU that controls the operation of each component of the program related information providing device 6. A temporary storage unit 61, a storage unit 62, a communication unit 63, and a tuner 64 are connected to the server control unit 60 via a bus.

一時記憶部６１は、ＤＲＡＭ、ＳＲＡＭ等のメモリであり、サーバ制御部６０の演算処理を実行する際に記憶部６２から読み出されたサーバ制御プログラム７０、又はサーバ制御部６０の演算処理によって生ずる各種データを一時記憶する。記憶部６２は、ハードディスク、ＥＥＰＲＯＭ等の不揮発性メモリであり、番組関連情報の収集及び提供処理に必要なサーバ制御プログラム７０を記憶している。本実施形態２に係るサーバ制御プログラム７０は、記録媒体７にコンピュータ読み取り可能に記録されている態様でも良い。記憶部６２は、図示しない読出装置によって記録媒体７から読み出されたサーバ制御プログラム７０を記憶する。また、記憶部６２は、各種放送番組の番組関連情報として、番組情報ＤＢ６２ａ（Database）、人物関連情報ＤＢ６２ｂ、ダイジェスト画像情報ＤＢ６２ｃ、広告情報ＤＢ６２ｄを記憶している。各データベースの詳細は後述する。   The temporary storage unit 61 is a memory such as a DRAM or an SRAM, and is generated by the server control program 70 read from the storage unit 62 or the calculation process of the server control unit 60 when the calculation process of the server control unit 60 is executed. Temporarily store various data. The storage unit 62 is a non-volatile memory such as a hard disk or an EEPROM, and stores a server control program 70 necessary for collecting and providing program related information. The server control program 70 according to the second embodiment may be recorded in the recording medium 7 so as to be readable by a computer. The storage unit 62 stores the server control program 70 read from the recording medium 7 by a reading device (not shown). The storage unit 62 stores a program information DB 62a (Database), a person related information DB 62b, a digest image information DB 62c, and an advertisement information DB 62d as program related information of various broadcast programs. Details of each database will be described later.

通信部６３は、通信網Ｎを介して、携帯通信機１及び任意のウェブサーバ４との間で各種情報を送受信するための通信機であり、送信部６３ａ及び受信部６３ｂを有する。通信部６３による各種情報の送受信はサーバ制御部６０によって制御される。チューナ６４は、携帯通信機１が備えるチューナ１４と同様の構成であり、放送局３から放送される信号をアンテナ６４ａにて受信し、放送番組の映像データ、音声データ、番組配列情報等を復元する。ただし、本実施形態２のチューナ６４はマルチチューナであり、サーバ制御部６０は、複数の放送番組データを同時的に処理するものとする。   The communication unit 63 is a communication device for transmitting and receiving various types of information between the mobile communication device 1 and an arbitrary web server 4 via the communication network N, and includes a transmission unit 63a and a reception unit 63b. Transmission and reception of various information by the communication unit 63 is controlled by the server control unit 60. The tuner 64 has the same configuration as the tuner 14 included in the mobile communication device 1, receives a signal broadcast from the broadcasting station 3 by the antenna 64 a, and restores video data, audio data, program arrangement information, etc. of the broadcast program. To do. However, the tuner 64 of the second embodiment is a multi-tuner, and the server control unit 60 processes a plurality of broadcast program data simultaneously.

図７Ａは番組情報ＤＢ６２ａのレコードレイアウトを示す概念図である。番組情報ＤＢ６２ａは、例えば放送局３から放送される複数の放送番組それぞれの番組名と、当該番組の番組情報とを対応付けて記憶する。番組情報は、例えば、ドラマに登場する俳優、ドラマ制作に関与するスタッフ、主題歌の情報、あらすじ、裏ストーリ、俳優へのインタビュー情報、写真、原作に関する情報、ロケ地情報等である。なお、放送番組の種類は特に限定されるものでは無く、例えばドラマ、アニメ、映画、バラエティ番組等が含まれ、番組情報ＤＢ６２ａは、放送番組の内容にかかわる情報を番組情報として記憶している。なお、番組情報は、静的な情報であっても良いし、動的に収集した情報であっても良い。例えば、放送番組の放送局３が設けた投稿ウェブページ、その他の各種投稿サイトに投稿されるユーザのメッセージをリアルタイム又は定期的に収集し、収集した情報を番組情報の一部として番組情報ＤＢ６２ａに記憶させるようにしても良い。   FIG. 7A is a conceptual diagram showing a record layout of the program information DB 62a. The program information DB 62a stores, for example, program names of a plurality of broadcast programs broadcast from the broadcast station 3 and program information of the programs in association with each other. The program information includes, for example, actors appearing in dramas, staff involved in drama production, information on theme songs, synopsis, reverse story, interview information with actors, photos, information about the original, location information, and the like. Note that the types of broadcast programs are not particularly limited, and include, for example, dramas, animations, movies, variety programs, and the like, and the program information DB 62a stores information related to the contents of the broadcast programs as program information. The program information may be static information or dynamically collected information. For example, a user's message posted on a posting web page provided by a broadcasting station 3 for broadcast programs and other various posting sites is collected in real time or periodically, and the collected information is stored in the program information DB 62a as part of the program information. You may make it memorize | store.

図７Ｂは人物関連情報ＤＢ６２ｂのレコードレイアウトを示す概念図である。人物関連情報ＤＢ６２ｂは、例えば放送局３から放送される複数の放送番組それぞれの番組名と、該番組に登場する人物に関連する情報（以下、人物関連情報と呼ぶ。）とを対応付けて記憶する。人物関連情報は、例えば、当該人物のプロフィール、ニュース、他に出演しているドラマ、番組、該人物が執筆した書籍、楽曲等の広告等の情報を含む。   FIG. 7B is a conceptual diagram showing a record layout of the person related information DB 62b. The person-related information DB 62b stores, for example, program names of a plurality of broadcast programs broadcast from the broadcast station 3 and information related to persons appearing in the programs (hereinafter referred to as person-related information) in association with each other. To do. The person-related information includes, for example, information on the person's profile, news, other dramas, programs, books written by the person, advertisements for music, and the like.

図７Ｃはダイジェスト画像情報ＤＢ６２ｃのレコードレイアウトを示す概念図である。ダイジェスト画像ＤＢは、複数回にわたって放送される一連の放送番組を要約して示すことができる画像を記憶している。具体的には、ダイジェスト画像ＤＢは、放送局３から放送される複数の放送番組それぞれの番組名と、当該放送番組の放送回と、各回のダイジェスト画像とを対応付けて記憶している。ダイジェスト画像は、各話の放送番組の映像の中から抽出した複数の静止画である。なお、ダイジェスト画像は、番組関連情報提供装置６が作成しても良いし、放送局３が開設している放送番組のウェブサイトから収集し、ダイジェスト画像情報ＤＢ６２ｃに記憶させても良い。   FIG. 7C is a conceptual diagram showing a record layout of the digest image information DB 62c. The digest image DB stores images that can summarize and show a series of broadcast programs that are broadcast a plurality of times. Specifically, the digest image DB stores a program name of each of a plurality of broadcast programs broadcast from the broadcasting station 3, broadcast times of the broadcast program, and digest images of each time in association with each other. The digest image is a plurality of still images extracted from the broadcast program video of each story. The digest image may be created by the program-related information providing apparatus 6, or may be collected from a broadcast program website established by the broadcast station 3 and stored in the digest image information DB 62c.

図７Ｄは広告情報ＤＢ６２ｄのレコードレイアウトを示す概念図である。広告情報ＤＢ６２ｄは、例えば、放送局３から放送される複数の放送番組それぞれの番組名と、当該番組の登場する人物名と、放送番組の音声に含まれるキーワードと、広告情報とを対応付けて記憶する。広告情報は、キーワードに関連する情報として、例えば通信販売サイトのＵＲＬ、キーワードに関連する商品名及び使用等の情報を含む。   FIG. 7D is a conceptual diagram showing a record layout of the advertisement information DB 62d. The advertisement information DB 62d associates, for example, a program name of each of a plurality of broadcast programs broadcast from the broadcast station 3, a person name in which the program appears, a keyword included in the sound of the broadcast program, and advertisement information. Remember. The advertisement information includes, as information related to the keyword, for example, information such as a URL of a mail order site, a product name related to the keyword, and usage.

なお、放送番組に係る各種情報は、番組関連情報提供装置６が外部のウェブサイトから収集して、各ＤＢに記憶するように構成しても良いし、人手で収集した情報を広告情報ＤＢ６２ｄに登録するように構成しても良い。   Note that various types of information related to the broadcast program may be configured such that the program-related information providing apparatus 6 collects information from an external website and stores it in each DB, or manually collected information is stored in the advertisement information DB 62d. You may comprise so that it may register.

図８は実施形態２に係る番組関連情報表示処理の手順を示すフローチャートである。携帯通信機１の制御部１０は、放送番組を受像するテレビ２のスピーカから出力された該放送番組の音声をマイク１９にて取得し（ステップＳ２１１）、取得したテレビ音声データを携帯送信部１２ａにて番組関連情報提供装置６へ送信する（ステップＳ２１２）。   FIG. 8 is a flowchart showing a procedure of program-related information display processing according to the second embodiment. The control unit 10 of the mobile communication device 1 acquires the sound of the broadcast program output from the speaker of the television 2 that receives the broadcast program with the microphone 19 (step S211), and the acquired TV sound data is transmitted to the mobile transmission unit 12a. Is transmitted to the program-related information providing apparatus 6 (step S212).

番組関連情報提供装置６のサーバ制御部６０は、携帯通信機１から送信されたテレビ音声データを受信部６３ｂにて受信する（ステップＳ２１３）。そして、サーバ制御部６０は、受信したテレビ音声データに基づいて、テレビ２が受像している放送番組に関連する情報を検索し（ステップＳ２１４）、検索して得た番組関連情報を送信部６３ａにて携帯通信機１へ送信する（ステップＳ２１５）。番組関連情報の検索処理の詳細は後述する。   The server control unit 60 of the program-related information providing device 6 receives the television audio data transmitted from the mobile communication device 1 by the receiving unit 63b (step S213). Then, the server control unit 60 searches for information related to the broadcast program received by the television 2 based on the received television audio data (step S214), and transmits the program related information obtained by the search to the transmission unit 63a. To the portable communication device 1 (step S215). Details of the program related information search processing will be described later.

携帯通信機１の制御部１０は、番組関連情報提供装置６から送信された番組関連情報を携帯受信部１２ｂにて受信し（ステップＳ２１６）、受信した番組関連情報を表示部１６に表示する（ステップＳ２１７）。次いで、制御部１０は、本実施形態に係る処理を終了するか否かを判定する（ステップＳ２１８）。終了しないと判定した場合（ステップＳ２１８：ＮＯ）、制御部１０は処理をステップＳ２１１へ戻す。処理を終了すべきと判定した場合（ステップＳ２１８：ＹＥＳ）、本実施形態に係る処理を終了する。   The control unit 10 of the mobile communication device 1 receives the program-related information transmitted from the program-related information providing device 6 at the mobile receiving unit 12b (step S216), and displays the received program-related information on the display unit 16 ( Step S217). Next, the control unit 10 determines whether or not to end the process according to the present embodiment (step S218). When it determines with not complete | finishing (step S218: NO), the control part 10 returns a process to step S211. When it is determined that the process should be terminated (step S218: YES), the process according to the present embodiment is terminated.

番組関連情報の検索処理の詳細を説明する。
図９及び図１０は実施形態２に係る番組関連情報検索処理の手順を示すフローチャートである。サーバ制御部６０は、放送局３から放送されている各チャンネルの放送番組データをチューナ６４にて取得し（ステップＳ２５１）、取得した各放送番組データから第１音声データを抽出する（ステップＳ２５２）。そして、サーバ制御部６０は、ステップＳ２５１及びステップＳ２５２にて取得及び抽出した第１音声データと、ステップＳ２１３にて受信したテレビ音声のデータとを比較することにより、放送番組を特定する処理を実行する（ステップＳ２５３）。 Details of the program related information search process will be described.
9 and 10 are flowcharts showing the procedure of the program related information search process according to the second embodiment. The server control unit 60 acquires the broadcast program data of each channel broadcast from the broadcast station 3 with the tuner 64 (step S251), and extracts the first audio data from the acquired broadcast program data (step S252). . And the server control part 60 performs the process which specifies a broadcast program by comparing the 1st audio | voice data acquired and extracted in step S251 and step S252 with the data of the television audio | voice received in step S213. (Step S253).

次いで、サーバ制御部６０は、放送番組の特定に成功したか否かを判定する（ステップＳ２５４）。放送番組の特定に失敗したと判定した場合（ステップＳ２５４：ＮＯ）、サーバ制御部６０は、放送番組一般の広告情報を含む番組関連情報を作成し（ステップＳ２５５）、番組関連情報の検索に係る処理を終える。つまり、サーバ制御部６０は、テレビ２が受像している放送番組を特定しきれなかったため、特定の放送番組に限定されない一般的な広告情報を番組関連情報として作成する。   Next, the server control unit 60 determines whether the broadcast program has been successfully identified (step S254). If it is determined that the identification of the broadcast program has failed (step S254: NO), the server control unit 60 creates program-related information including advertisement information of the broadcast program in general (step S255), and relates to the search for the program-related information. Finish the process. That is, the server control unit 60 creates general advertisement information that is not limited to a specific broadcast program as the program-related information because the broadcast program received by the television 2 cannot be specified.

放送番組の特定に成功したと判定した場合（ステップＳ２５４：ＹＥＳ）、サーバ制御部６０は、ステップＳ２５３の処理で特定された放送番組データから第２音声データを抽出する処理を実行する（ステップＳ２５６）。そして、サーバ制御部６０は、第２音声データの抽出に成功したか否かを判定する（ステップＳ２５７）。第２音声データの抽出に成功したと判定した場合（ステップＳ２５７：ＹＥＳ）、サーバ制御部６０は、抽出した第２音声データに基づいて、第２音声に含まれる言葉を文字データに変換する（ステップＳ２５８）。そして、サーバ制御部６０は、変換された第２音声データに係る文字と、特定された放送番組に係る映像データを含む番組関連情報を作成し（ステップＳ２５９）、番組関連情報の検索に係る処理を終える。放送番組に係る映像データは、例えば、映像データを小映像に変換して得たデータ、映像データから抽出される静止画像データ等である。   If it is determined that the broadcast program has been successfully identified (step S254: YES), the server control unit 60 executes a process of extracting the second audio data from the broadcast program data identified in the process of step S253 (step S256). ). Then, the server control unit 60 determines whether or not the second audio data has been successfully extracted (step S257). When it is determined that the second voice data has been successfully extracted (step S257: YES), the server control unit 60 converts words included in the second voice into character data based on the extracted second voice data ( Step S258). Then, the server control unit 60 creates program related information including characters related to the converted second audio data and video data related to the specified broadcast program (step S259), and processing related to search for program related information Finish. Video data relating to a broadcast program is, for example, data obtained by converting video data into small video, still image data extracted from video data, and the like.

抽出に失敗したと判定した場合（ステップＳ２５７：ＮＯ）、サーバ制御部６０は、ステップＳ２５３にて特定された放送番組の番組名に基づいて、番組情報ＤＢ６２ａから放送番組の情報を読み出す（ステップＳ２６０）。次いで、サーバ制御部６０は、ステップＳ２５３にて特定された放送番組の番組名に基づいて、人物関連情報ＤＢ６２ｂから、放送番組に登場する人物に関する情報、該人物に係る広告の情報を読み出す（ステップＳ２６１）。次いで、サーバ制御部６０は、ステップＳ２５３にて特定された放送番組の番組名及び放送回の情報に基づいて、ダイジェスト画像情報ＤＢ６２ｃから、ダイジェスト画像を読み出す（ステップＳ２６２）。なお、放送回の情報は、番組配列情報から得られる。   If it is determined that the extraction has failed (step S257: NO), the server control unit 60 reads broadcast program information from the program information DB 62a based on the program name of the broadcast program specified in step S253 (step S260). ). Next, based on the program name of the broadcast program specified in step S253, the server control unit 60 reads out information related to the person appearing in the broadcast program and advertisement information related to the person from the person related information DB 62b (step S253). S261). Next, the server control unit 60 reads a digest image from the digest image information DB 62c based on the program name and broadcast time information specified in step S253 (step S262). The broadcast times information is obtained from the program arrangement information.

次いで、サーバ制御部６０は、ステップＳ２１３にて受信したテレビ音声データを文字データに変換し（ステップＳ２６３）、文字データから検索用のキーワードを抽出する（ステップＳ２６４）。例えば、サーバ制御部６０は名詞、動詞等の特定の文字をキーワードとして抽出する。そして、サーバ制御部６０は、ステップＳ２５３にて特定された放送番組の番組名、人物名、ステップＳ２６４にて抽出したキーワードに基づいて、広告情報ＤＢ６２ｄから関連する広告情報を読み出す（ステップＳ２６５）。次いで、サーバ制御部６０は、ステップＳ２５３にて特定された放送番組の番組名、人物名、ステップＳ２６４にて抽出したキーワード等を用いてネット検索を行い、ウェブサーバ４から放送番組に関連する情報を取得する（ステップＳ２６６）。そして、サーバ制御部６０は、ステップＳ２６０〜ステップＳ２６６にて読み出し、又は検索して得た各種情報を含む番組関連情報を作成し（ステップＳ２６７）、番組関連情報検索に係る処理を終える。   Next, the server control unit 60 converts the television audio data received in step S213 into character data (step S263), and extracts search keywords from the character data (step S264). For example, the server control unit 60 extracts specific characters such as nouns and verbs as keywords. Then, the server control unit 60 reads related advertisement information from the advertisement information DB 62d based on the program name and person name of the broadcast program specified in step S253 and the keyword extracted in step S264 (step S265). Next, the server control unit 60 performs a network search using the program name and person name of the broadcast program specified in step S253, the keyword extracted in step S264, and the information related to the broadcast program from the web server 4. Is acquired (step S266). Then, the server control unit 60 creates program related information including various information obtained by reading or searching in steps S260 to S266 (step S267), and ends the process related to the program related information search.

図１１は実施形態２に係る番組関連情報の表示例を示す概念図である。番組関連情報提供装置６が放送番組の特定に成功し、第２音声データを抽出している場合、携帯通信機１の表示部１６には、図１１に示すような番組関連情報が表示される。携帯通信機１は、受信した放送番組関連情報を用いて、表示部１６の上段に番組名「放送番組Ａ」を表示し、中段に放送番組の小映像又は静止画像を表示し、下段に第２音声の文字列（例えば、第１音声を発した人物の本音等）を表示する。   FIG. 11 is a conceptual diagram illustrating a display example of program-related information according to the second embodiment. When the program related information providing apparatus 6 has succeeded in identifying the broadcast program and has extracted the second audio data, the program related information as shown in FIG. 11 is displayed on the display unit 16 of the portable communication device 1. . Using the received broadcast program related information, the portable communication device 1 displays the program name “broadcast program A” in the upper part of the display unit 16, displays a small video or still image of the broadcast program in the middle part, and displays A character string of two voices (for example, the real voice of the person who uttered the first voice) is displayed.

図１２は実施形態２に係る他の番組関連情報の表示例を示す概念図である。番組情報提供装置が放送番組の特定に成功したものの、第２音声データが抽出されていない場合、携帯通信機１の表示部１６には、図１２に示すような番組関連情報が表示される。携帯通信機１は、受信した放送番組関連情報を用いて、放送番組及び人物に関する広告、放送番組のあらすじ、キャスト、コメント、裏ストーリ、人物関連情報、通販サイトのＵＲＬ等を表示部１６に表示する。また、携帯通信機１は、前回までの放送回のダイジェスト画像を表示部１６にサムネイル表示する。   FIG. 12 is a conceptual diagram showing a display example of other program related information according to the second embodiment. When the program information providing apparatus succeeds in specifying the broadcast program but the second audio data is not extracted, the program related information as shown in FIG. 12 is displayed on the display unit 16 of the mobile communication device 1. Using the received broadcast program related information, the mobile communication device 1 displays on the display unit 16 advertisements related to broadcast programs and people, broadcast program synopsis, casts, comments, back stories, person related information, mail order site URLs, and the like. To do. In addition, the mobile communication device 1 displays the digest images of the previous broadcast times as thumbnails on the display unit 16.

このように構成された本実施形態２によれば、放送番組データに第２音声データが含まれている場合、携帯通信機１の表示部１６に第２音声の文字を表示し、第２音声データが含まれていない場合、放送番組に関連する各種情報を表示部１６に表示することができる。従って、ユーザは、第１音声を出力するテレビ２で放送番組を視聴しながら、携帯通信機１を用いて登場人物の本音、コメント等を見て楽しむことができる。   According to the second embodiment configured as described above, when the second audio data is included in the broadcast program data, the second audio character is displayed on the display unit 16 of the mobile communication device 1 and the second audio data is displayed. When data is not included, various types of information related to the broadcast program can be displayed on the display unit 16. Accordingly, the user can enjoy watching the real intentions, comments, etc. of the characters using the mobile communication device 1 while viewing the broadcast program on the television 2 that outputs the first sound.

また、表示部１６に第２音声の文字と共に、放送番組の小映像又は静止画像を表示するように構成しているため、ユーザがテレビ２から目を離して携帯通信機１の表示部１６を見ているときでも、テレビ２に表示される映像の様子を確認しながら、第２音声の文字を楽しむことができ、重要シーンの見逃しを低減することができる。   In addition, since the display unit 16 is configured to display the small video or still image of the broadcast program together with the characters of the second audio, the user keeps an eye on the television 2 and displays the display unit 16 of the portable communication device 1. Even while watching, the user can enjoy the characters of the second sound while checking the state of the video displayed on the television 2, and can reduce oversight of important scenes.

更に、放送番組に第２音声データが含まれていない場合、携帯通信機１の表示部１６に放送番組に関連する各種情報を表示することができる。従って、ユーザは、ウェブブラウザを操作し、視聴している放送番組に関する情報を検索しなくても、放送番組に関する情報を得ることができる。例えば、ユーザは、放送番組のあらすじ、キャスト等の情報、裏ストーリ等を得ることができる。また、ユーザは、放送番組に登場する人物の情報、人物に関連する広告情報を得ることができる。例えば、ユーザは、放送番組の関連グッズを扱う通販サイトのＵＲＬ等の情報を得ることができる。
更に、ユーザは、放送番組の音声を文字データに変換して得られるキーワードによって検索される情報を得ることができる。更にまた、テレビ音声データを文字データに変換してキーワードを抽出し、広告情報を特定する構成であるため、単純に放送番組の音声に含まれるキーワードを用いる場合に比べて、ユーザの嗜好に合った広告情報を携帯通信機１の表示部１６に表示することができる。例えば、放送番組を視聴しているユーザが、放送番組に登場するアクセサリーに興味を覚え、「アクセサリー」の文字を発した場合、テレビ音声データには、ユーザが発した「アクセサリー」の文字も含まれることになる。従って、制御部１０は、放送番組の番組名、人物名等の客観的な情報に加え、ユーザが発した音声に基づくキーワード「アクセサリー」に基づいて、ユーザの嗜好に合った広告情報を特定することができ、表示部１６に表示させることができる。
なお、本実施形態２では、番組関連情報の取得処理を、番組関連情報提供装置６が実行する例を説明したが、番組関連情報提供装置６が実行する処理の一部又は全部を実施形態１のように携帯通信機１が実行するように構成しても良い。 Furthermore, when the second audio data is not included in the broadcast program, various information related to the broadcast program can be displayed on the display unit 16 of the mobile communication device 1. Therefore, the user can obtain information on the broadcast program without operating the web browser and searching for information on the broadcast program being viewed. For example, the user can obtain a summary of a broadcast program, information such as a cast, a back story, and the like. In addition, the user can obtain information on a person appearing in a broadcast program and advertisement information related to the person. For example, the user can obtain information such as the URL of a mail order site that handles goods related to broadcast programs.
Further, the user can obtain information searched by a keyword obtained by converting sound of a broadcast program into character data. Furthermore, since the TV audio data is converted into character data, keywords are extracted, and the advertisement information is specified, the user's preference is satisfied as compared with the case where the keywords included in the broadcast program audio are simply used. The advertisement information can be displayed on the display unit 16 of the mobile communication device 1. For example, when a user who is watching a broadcast program is interested in accessories appearing in the broadcast program and utters “accessory” characters, the TV audio data also includes “accessory” characters uttered by the user. Will be. Therefore, the control unit 10 specifies advertisement information that matches the user's preference based on the keyword “accessory” based on the voice uttered by the user, in addition to objective information such as the program name and person name of the broadcast program. Can be displayed on the display unit 16.
In the second embodiment, the example in which the program related information providing apparatus 6 executes the program related information acquisition process has been described. However, part or all of the processes executed by the program related information providing apparatus 6 are described in the first embodiment. The mobile communication device 1 may be configured to execute as described above.

（実施形態３）
実施形態３は、番組関連情報収集処理の内容が実施形態１と異なるため、以下では、主にかかる相違点を説明する。その他の構成及び作用効果は実施形態１と同様であるため、対応する箇所には同様の符号を付して詳細な説明を省略する。 (Embodiment 3)
The third embodiment is different from the first embodiment in the contents of the program related information collection process, and therefore the following mainly describes the differences. Since other configurations and operational effects are the same as those of the first embodiment, the corresponding portions are denoted by the same reference numerals, and detailed description thereof is omitted.

図１３は実施形態３に係る番組関連情報検索処理の手順を示すフローチャートである。図１３は、実施形態１におけるステップＳ２２の処理手順の詳細を示したものである。携帯通信機１の制御部１０は、ステップＳ１４にて特定された放送番組の番組名に基づいて、放送番組の情報をネット検索し、ウェブサーバ４から収集する（ステップＳ３１１）。
なお、放送番組の情報をより効果的に収集するために、番組のジャンル、チャンネル番号、その他の所定のキーワードを組み合わせて、ネット検索するようにしても良い。 FIG. 13 is a flowchart showing a procedure of program-related information search processing according to the third embodiment. FIG. 13 shows details of the processing procedure of step S22 in the first embodiment. Based on the program name of the broadcast program specified in step S14, the control unit 10 of the portable communication device 1 searches the network for broadcast program information and collects it from the web server 4 (step S311).
In addition, in order to collect broadcast program information more effectively, a net search may be performed by combining program genres, channel numbers, and other predetermined keywords.

次いで、制御部１０は、ステップＳ１４にて特定された放送番組の番組名に基づいて、放送番組に登場する人物に関する情報、該人物に係る広告の情報をネット検索し、ウェブサーバ４から収集する（ステップＳ３１２）。
なお、人物関連情報をより効果的に収集するために、番組のチャンネル番号、「名前」、「プロフィール」等の所定のキーワードを組み合わせて、ネット検索するようにしても良い。 Next, based on the program name of the broadcast program identified in step S <b> 14, the control unit 10 searches the web server 4 for information related to the person appearing in the broadcast program and advertisement information related to the person. (Step S312).
In order to collect the person-related information more effectively, it may be possible to search the internet by combining predetermined keywords such as a program channel number, “name”, and “profile”.

次いで、制御部１０は、ステップＳ１４にて特定された放送番組の番組名及び放送回の情報に基づいて、ダイジェスト画像をネット検索し、ウェブサーバ４から収集する（ステップＳ３１３）。
なお、ダイジェスト画像をより効果的に収集するために、番組のチャンネル番号、「ダイジェスト」、「前回までのあらすじ」等の所定のキーワードを組み合わせて、ネット検索するようにしても良い。 Next, the control unit 10 searches the Internet for a digest image based on the program name of the broadcast program specified in Step S14 and information on the broadcast times, and collects it from the web server 4 (Step S313).
In order to collect digest images more effectively, a network search may be performed by combining predetermined channel keywords such as a program channel number, “digest”, and “summary up to the previous time”.

次いで、制御部１０は、ステップＳ１７にて取得した放送番組の音声データを文字データに変換し（ステップＳ３１４）、文字データから検索用のキーワードを抽出する（ステップＳ３１５）。そして、制御部１０は、ステップＳ１４にて特定された放送番組の番組名、人物名、ステップＳ３１５にて抽出したキーワードに基づいて、各種広告情報をネット検索し、収集する（ステップＳ３１６）。
なお、広告情報をより効果的に収集するために、「販売」、「グッズ」等の所定のキーワードを組み合わせて、ネット検索するようにしても良い。 Next, the control unit 10 converts the broadcast program audio data acquired in step S17 into character data (step S314), and extracts search keywords from the character data (step S315). Then, the control unit 10 searches and collects various types of advertisement information based on the program name and person name of the broadcast program specified in step S14 and the keywords extracted in step S315 (step S316).
In order to collect advertisement information more effectively, a net search may be performed by combining predetermined keywords such as “sales” and “goods”.

次いで、制御部１０は、ステップＳ３１１〜ステップＳ３１６にて収集した各種情報を取りまとめた番組関連情報を生成し（ステップＳ３１７）、番組関連情報検索に係る処理を終える。   Subsequently, the control part 10 produces | generates the program relevant information which collected the various information collected in step S311-step S316 (step S317), and complete | finishes the process which concerns on a program relevant information search.

このように構成された本実施形態３によれば、放送番組データに第２音声データが含まれていない場合、放送番組に関連する各種情報として、番組情報、人物関連情報、ダイジェスト画像、広告情報等を携帯通信機１の表示部１６に表示することができる。広告情報については、実施形態２と同様、ユーザの嗜好を加味した広告情報を特定し、表示部１６に表示することができる。   According to the third embodiment configured as described above, when the second audio data is not included in the broadcast program data, the program information, the person related information, the digest image, the advertisement information are included as various information related to the broadcast program. Can be displayed on the display unit 16 of the portable communication device 1. As for the advertisement information, as in the second embodiment, the advertisement information taking into account the user's preference can be specified and displayed on the display unit 16.

（実施形態４）
実施形態４は、番組関連情報収集処理の内容が実施形態１と異なるため、以下では、主にかかる相違点を説明する。その他の構成及び作用効果は実施形態１と同様であるため、対応する箇所には同様の符号を付して詳細な説明を省略する。 (Embodiment 4)
The fourth embodiment is different from the first embodiment in the contents of the program-related information collection process, so the following mainly describes the differences. Since other configurations and operational effects are the same as those of the first embodiment, the corresponding portions are denoted by the same reference numerals, and detailed description thereof is omitted.

図１４は実施形態４に係る番組関連情報検索処理の手順を示すフローチャートである。図１４は、実施形態１におけるステップＳ２２の処理手順の詳細を示したものである。携帯通信機１の制御部１０は、操作部１７の操作状態を検出し、撮像操作が行われたか否かを判定する（ステップＳ４１１）。撮像操作が行われていないと判定した場合（ステップＳ４１１：ＮＯ）、制御部１０は処理を終える。   FIG. 14 is a flowchart illustrating a procedure of program-related information search processing according to the fourth embodiment. FIG. 14 shows the details of the processing procedure of step S22 in the first embodiment. The control unit 10 of the mobile communication device 1 detects the operation state of the operation unit 17 and determines whether an imaging operation has been performed (step S411). When it determines with imaging operation not being performed (step S411: NO), the control part 10 finishes a process.

撮像操作が行われたと判定した場合（ステップＳ４１１：ＹＥＳ）、制御部１０は、撮像部１５にて撮像を行う（ステップＳ４１２）。携帯通信機１の撮像部１５がテレビ２の表示画面に向けられている場合、撮像部１５は、放送番組を受像しているテレビ２に表示される映像を取得することができる。以下、放送番組を受像しているテレビ２の表示画面を撮像して得たデータを、テレビ映像データと呼ぶ。ここでは、放送局３から送信される映像データに、知覚困難な電子透かしとして、番組関連情報にアクセスするための情報が含まれているものとする。   When it is determined that the imaging operation has been performed (step S411: YES), the control unit 10 performs imaging with the imaging unit 15 (step S412). When the imaging unit 15 of the mobile communication device 1 is directed to the display screen of the television 2, the imaging unit 15 can acquire a video displayed on the television 2 that receives the broadcast program. Hereinafter, data obtained by imaging the display screen of the television 2 receiving the broadcast program is referred to as television video data. Here, it is assumed that the video data transmitted from the broadcasting station 3 includes information for accessing program-related information as a digital watermark that is difficult to perceive.

ステップＳ４１２の処理を終えた制御部１０は、テレビ映像データから電子透かしの情報を抽出する（ステップＳ４１３）。次いで、制御部１０は、抽出した情報に基づいて、テレビ２が受像している放送番組の番組情報及び広告情報を収集する（ステップＳ４１４）。例えば、電子透かしの情報はＵＲＬであり、制御部１０は該ＵＲＬを用いて、特定のウェブサーバ４にアクセスし、放送番組に関連する情報を収集する。そして、制御部１０は、収集した情報に基づいて、番組関連情報を作成し（ステップＳ４１５）、番組関連情報検索に係る処理を終える。   After completing the process in step S412, the control unit 10 extracts digital watermark information from the TV video data (step S413). Next, based on the extracted information, the control unit 10 collects program information and advertisement information of broadcast programs received by the television 2 (step S414). For example, the digital watermark information is a URL, and the control unit 10 uses the URL to access a specific web server 4 and collect information related to the broadcast program. And the control part 10 produces program relevant information based on the collected information (step S415), and complete | finishes the process which concerns on a program relevant information search.

このように構成された本実施形態３によれば、映像データを撮像することによって、テレビ２が受像している放送番組に関連する番組関連情報を取得し、携帯通信機１の表示部１６に表示することができる。   According to the third embodiment configured as described above, the program-related information related to the broadcast program received by the television 2 is acquired by imaging the video data, and is displayed on the display unit 16 of the mobile communication device 1. Can be displayed.

なお、本実施形態４では、電子透かしの情報を用いて、放送番組に関連する情報を収集する例を説明したが、番組関連情報そのものを電子透かしとして含ませておいても良い。   In the fourth embodiment, an example of collecting information related to a broadcast program using digital watermark information has been described, but the program related information itself may be included as a digital watermark.

また、放送番組の映像を用いた可視光通信によって、テレビ２から携帯通信機１へ番組関連情報を送信するように構成しても良い。具体的には、放送番組の映像データには、番組関連情報が可視光通信可能に重畳されている。例えば、テレビ２は、映像の一部を知覚困難な態様で明暗させる等して情報を可視光送信する。携帯通信機１は撮像部１５にてテレビ２の表示画面を撮像することによって、テレビ２から可視光送信された番組関連情報を受信することができる。なお、本実施形態４では、電子透かし又は可視光通信にて送信された情報を撮像部１５にて受信する例を説明したが、可視光通信専用の受信機を携帯通信機１に備えても良い。   Moreover, you may comprise so that program relevant information may be transmitted to the portable communication apparatus 1 from the television 2 by visible light communication using the image | video of the broadcast program. Specifically, program related information is superimposed on the video data of the broadcast program so that visible light communication is possible. For example, the television 2 transmits information by visible light by, for example, brightening and darkening a part of the video in a manner that is difficult to perceive. The portable communication device 1 can receive program-related information transmitted from the television 2 by visible light by imaging the display screen of the television 2 with the imaging unit 15. In the fourth embodiment, the example in which the information transmitted by digital watermarking or visible light communication is received by the imaging unit 15 has been described. However, the portable communication device 1 may include a receiver dedicated to visible light communication. good.

今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。   The embodiment disclosed this time is to be considered as illustrative in all points and not restrictive. The scope of the present invention is defined by the terms of the claims, rather than the meanings described above, and is intended to include any modifications within the scope and meaning equivalent to the terms of the claims.

１ 携帯通信機
２ テレビ
３ 放送局
５ 記録媒体
７ 記録媒体
１０ 制御部
１１ 記憶部
１２ 無線通信部
１２ａ 携帯送信部
１２ｂ 携帯受信部
１３ 無線ＬＡＮ通信部
１４ チューナ
１６ 表示部
１９ マイク
５０ 制御プログラム
Ｎ 通信網 DESCRIPTION OF SYMBOLS 1 Portable communication apparatus 2 Television 3 Broadcasting station 5 Recording medium 7 Recording medium 10 Control part 11 Storage part 12 Wireless communication part 12a Portable transmission part 12b Portable reception part 13 Wireless LAN communication part 14 Tuner 16 Display part 19 Microphone 50 Control program N Communication network

Claims (7)

マイク及び表示部を有する携帯通信機に、
放送番組を受像するテレビのスピーカから出力された該放送番組の音声を前記マイクにて取得する音声取得ステップと、
該音声取得ステップにて所定の音声を取得すると、前記テレビが受像している放送番組に関連する情報を取得する取得ステップと、
該取得ステップにて取得した情報を前記表示部に表示する表示ステップと
を実行させる制御プログラム。 In a portable communication device having a microphone and a display unit,
An audio acquisition step of acquiring audio of the broadcast program output from a speaker of a television receiving a broadcast program with the microphone;
An acquisition step of acquiring information related to a broadcast program received by the television when acquiring a predetermined sound in the sound acquisition step;
A control program that executes a display step of displaying the information acquired in the acquisition step on the display unit. 前記放送番組に関連する情報は、前記所定の音声に関連する情報である請求項１に記載の制御プログラム。   The control program according to claim 1, wherein the information related to the broadcast program is information related to the predetermined sound. 前記携帯通信機は撮像部を備え、
前記携帯通信機に、
放送番組を受像するテレビに表示された該放送番組の映像を前記撮像部にて取得する映像取得ステップを実行させ、
前記取得ステップは、
前記映像取得ステップにて取得した映像に基づいて、前記テレビが受像している放送番組に関連する情報を取得するステップを有する
請求項１又は請求項２に記載の制御プログラム。 The portable communication device includes an imaging unit,
In the portable communication device,
A video acquisition step of acquiring the video of the broadcast program displayed on the television receiving the broadcast program by the imaging unit;
The obtaining step includes
The control program according to claim 1, further comprising: acquiring information related to a broadcast program received by the television based on the video acquired in the video acquisition step. コンピュータにより読み出し可能なプログラムを格納した記憶媒体であって、請求項１乃至請求項３のいずれか一項に記載の制御プログラムを格納した記憶媒体。   A storage medium storing a computer-readable program, wherein the control program according to any one of claims 1 to 3 is stored. 放送番組を受像するテレビのスピーカから出力された該放送番組の音声を取得するマイクと、
該マイクにて所定の音声を取得すると、前記テレビが受像している放送番組に関連する情報を取得する取得部と、
該取得部にて取得した情報を表示する表示部と
を備える携帯通信機。 A microphone for acquiring audio of the broadcast program output from a speaker of a television receiving the broadcast program;
An acquisition unit that acquires information related to a broadcast program received by the television when acquiring predetermined sound with the microphone;
A portable communication device comprising: a display unit that displays information acquired by the acquisition unit. 放送番組に関連する情報を提供する番組関連情報提供装置であって、
放送番組を受像するテレビのスピーカから出力された該放送番組の音声を取得する携帯通信機から送信された該音声を受信する受信部と、
該受信部にて受信した音声に基づいて、前記テレビが受像している放送番組に関連する情報を取得する取得部と、
該取得部にて取得した情報を前記携帯通信機へ送信する送信部と
を備える番組関連情報提供装置。 A program related information providing apparatus for providing information related to a broadcast program,
A receiving unit that receives the sound transmitted from a portable communication device that acquires sound of the broadcast program output from a speaker of a television that receives the broadcast program;
An acquisition unit for acquiring information related to a broadcast program received by the television based on the sound received by the reception unit;
A program-related information providing apparatus comprising: a transmission unit that transmits information acquired by the acquisition unit to the portable communication device. マイク及び表示部を有する携帯通信機に放送番組に関連する情報を表示させる番組関連表示方法であって、
放送番組を受像するテレビのスピーカから出力された該放送番組の音声を前記マイクにて取得する音声取得ステップと、
該音声取得ステップにて所定の音声を取得すると、前記テレビが受像している放送番組に関連する情報を取得する取得ステップと、
該取得ステップにて取得した情報を前記表示部に表示する表示ステップと
を備える番組関連情報表示方法。 A program-related display method for displaying information related to a broadcast program on a portable communication device having a microphone and a display unit,
An audio acquisition step of acquiring audio of the broadcast program output from a speaker of a television receiving a broadcast program with the microphone;
An acquisition step of acquiring information related to a broadcast program received by the television when acquiring a predetermined sound in the sound acquisition step;
A program related information display method comprising: a display step of displaying the information acquired in the acquisition step on the display unit.
JP2015184516A 2015-09-17 2015-09-17 Control program, storage medium, portable communication equipment, program-related information provision device, and program-related information display method Pending JP2017060059A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015184516A JP2017060059A (en) 2015-09-17 2015-09-17 Control program, storage medium, portable communication equipment, program-related information provision device, and program-related information display method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015184516A JP2017060059A (en) 2015-09-17 2015-09-17 Control program, storage medium, portable communication equipment, program-related information provision device, and program-related information display method

Publications (1)

Publication Number Publication Date
JP2017060059A true JP2017060059A (en) 2017-03-23

Family

ID=58390780

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015184516A Pending JP2017060059A (en) 2015-09-17 2015-09-17 Control program, storage medium, portable communication equipment, program-related information provision device, and program-related information display method

Country Status (1)

Country Link
JP (1) JP2017060059A (en)

Similar Documents

Publication Publication Date Title
KR101644789B1 (en) Apparatus and Method for providing information related to broadcasting program
US11409817B2 (en) Display apparatus and method of controlling the same
US20150082330A1 (en) Real-time channel program recommendation on a display device
JP4621758B2 (en) Content information reproducing apparatus, content information reproducing system, and information processing apparatus
US11227620B2 (en) Information processing apparatus and information processing method
CN102193794B (en) Link real-time media situation is to relevant application program and service
KR20160057085A (en) Display apparatus and the control method thereof
US20230401030A1 (en) Selecting options by uttered speech
CN103947220A (en) Display device and method for providing content using the same
JP2013240052A (en) Display device, and server and control method of the same
JP2014158193A (en) Video display system, video display device, content server, video display method, and video display program
US20070110397A1 (en) Playback apparatus and bookmark system
JP5209129B1 (en) Information processing apparatus, broadcast receiving apparatus, and information processing method
JP6212719B2 (en) Video receiving apparatus, information display method, and video receiving system
US8863193B2 (en) Information processing apparatus, broadcast receiving apparatus and information processing method
JP5063045B2 (en) Communication terminal device, video display system, and control program
JP2017060059A (en) Control program, storage medium, portable communication equipment, program-related information provision device, and program-related information display method
WO2014043987A1 (en) Information transmission method, device, and system
JP7332473B2 (en) Server and its control method
JP5703321B2 (en) Information processing apparatus and information processing method
JP2017060060A (en) Program, portable communication equipment, viewing state determination device, and viewing state determination method
JP2013126079A (en) Television apparatus, information processing method, and program
US11949942B2 (en) Display device
WO2019082606A1 (en) Content management device, content management system, and control method
CN113573095B (en) Display device and method of operating the same