JP2020048014A - Video and audio reproduction system, video display device, and video display method - Google Patents
Video and audio reproduction system, video display device, and video display method Download PDFInfo
- Publication number
- JP2020048014A JP2020048014A JP2018173345A JP2018173345A JP2020048014A JP 2020048014 A JP2020048014 A JP 2020048014A JP 2018173345 A JP2018173345 A JP 2018173345A JP 2018173345 A JP2018173345 A JP 2018173345A JP 2020048014 A JP2020048014 A JP 2020048014A
- Authority
- JP
- Japan
- Prior art keywords
- audio
- video
- output
- unit
- delay time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
本発明は、デジタルテレビの映像音声再生システム及び映像表示装置に関する。 The present invention relates to a video / audio reproduction system and a video display device for a digital television.
従来、映像を表示する装置と音声を出力する装置とを有し、映像を表示する装置から音声を出力する装置へ音声を表す信号が無線で伝送されるシステムにおいて、映像と音声とを同期させる装置が知られている。映像の表示と音声の出力の同期化にあっては、映像を表示する装置において無線通信信号が生成されるまでの時間と、無線通信信号がリモコンまで送信されるに要する時間と、音声を出力する装置で出力されるまでの時間との合計時間を演算しておこなう。例えば映像を表示する装置であるテレビと、テレビと無線で接続した音声を出力する装置であるヘッドホンとで構成されるＡＶシステムにおいて、テレビで出力される映像と、ヘッドホンで出力する音声とを同期させる（例えば特許文献１参照）。 2. Description of the Related Art Conventionally, in a system having a device for displaying video and a device for outputting audio, a system in which a signal representing audio is wirelessly transmitted from a device for displaying video to a device for outputting audio, the video and audio are synchronized. Devices are known. In synchronizing the display of video and the output of audio, the time required for a wireless communication signal to be generated by a device that displays video, the time required for the wireless communication signal to be transmitted to a remote control, and the output of audio This is calculated by calculating the total time with the time until the output is performed by the device that performs the output. For example, in an AV system composed of a television as a device for displaying video and headphones as a device for outputting audio wirelessly connected to the television, the video output from the television and the audio output from the headphones are synchronized. (For example, see Patent Document 1).
特許文献１のＡＶシステムでは、テレビのスピーカから無線で接続したヘッドホンに音声出力を切り替える際に、同期のための遅延時間を機械的に決定することが可能と記してあるが、例示された“音圧レベルのピークのタイミングの比較”という方法は映像コンテンツの音声信号には適応が困難であり、実際に特許文献１には設定専用の音声を再生する設定モードが必要であることが書かれている。この場合、遅延時間調整を行うために視聴していた映像や音声を中断する必要があり、同様にテレビのスピーカからヘッドホン等の外付けの音声を出力する装置への音声出力の切り替えをスムーズに行うことが困難である。
In the AV system of
この発明は、上記のような課題を解決するためになされたもので、ユーザの映像コンテンツ視聴を中断させることなく、表示機の出力する映像と外部スピーカの出力する音声との再生タイミングを同期させる映像音声再生システムを得るものである。 The present invention has been made to solve the above-described problem, and synchronizes the reproduction timing of the video output from the display device and the audio output from the external speaker without interrupting the user's viewing of the video content. A video / audio reproduction system is obtained.
この発明に係る映像音声再生システムにおいては、映像表示装置と音声出力装置とを有し、映像表示装置において、出力装置用音声信号を音声出力装置に無線で送信し、音声出力装置において、出力装置用音声信号を受信し音声に変換して出力する映像音声再生システムであって、映像表示装置は、映像信号を映像に変換して表示する映像表示部と、表示装置用音声信号を音声に変換して出力する音声出力部と、出力装置用音声信号を音声出力装置に無線で送信する音声送信部と、音声出力部から出力される音声と音声出力装置から出力される音声との間の時間差に基づいて、映像信号の遅延時間である映像遅延時間を決定する遅延時間決定部と、映像信号を映像遅延時間だけ遅延させ、映像表示部から出力される映像の出力タイミングと音声出力装置から出力される音声の出力タイミングとを同期させる映像遅延部とを備えるものである。 A video / audio reproduction system according to the present invention includes a video display device and an audio output device, wherein the video display device wirelessly transmits an audio signal for an output device to the audio output device, and the audio output device includes an output device. A video / audio reproduction system for receiving an audio signal for use, converting the audio signal to audio, and outputting the audio signal, wherein the video display device converts the video signal to video and displays the video signal, and converts the audio signal for the display device to audio. An audio output unit for transmitting and outputting the audio signal for the output device to the audio output device, and a time difference between the audio output from the audio output unit and the audio output from the audio output device. A delay time determining unit that determines a video delay time, which is a delay time of a video signal, based on the video signal; Those comprising an image delay unit for synchronizing the output timing of the sound output from the output device.
本発明によれば、映像音声再生システムが、ユーザが視聴している映像コンテンツの映像と音声とを出力しながら、表示機の内部スピーカの出力した音声と外付けスピーカの外部スピーカの出力した音声との間の時間差を遅延時間として演算することで、ユーザの映像コンテンツ視聴を中断させることなく、表示機の出力する映像と外部スピーカの出力する音声との再生タイミングを同期させることができる。 According to the present invention, while the video / audio reproduction system outputs the video and audio of the video content being viewed by the user, the audio output from the internal speaker of the display device and the audio output from the external speaker of the external speaker are output. Is calculated as a delay time, the reproduction timing of the video output from the display device and the audio output from the external speaker can be synchronized without interrupting the user's viewing of the video content.
実施の形態１．
図１は、この発明の実施の形態１における映像音声再生システム１の構成を示すブロック図である。
FIG. 1 is a block diagram showing a configuration of a video /
本実施の形態の映像音声再生システム１は、表示機２と外付けスピーカ３とを備える。
The video /
表示機２は、デジタルテレビや車載モニターなどがこれに該当する。表示機２は、また映像表示装置である。なお、以降デジタルテレビをテレビと称す。 The display device 2 corresponds to a digital television, an in-vehicle monitor, or the like. The display device 2 is also a video display device. Hereinafter, digital television is referred to as television.
外付けスピーカ３は、無線接続可能なスピーカやヘッドホン、イヤホンなどがこれに該当する。外付けスピーカ３は、また音声出力装置である。
The
映像音声再生システム１では、表示機２が出力する音声を、無線を通じて外付けスピーカ３に送信可能であり、表示機２と外付けスピーカ３とから音声を出力する。また外付けスピーカ３は、表示機２の内部スピーカ２１５が出力する音声と外付けスピーカ３の外部スピーカ３０８が出力する音声との合成音声を収録し、遅延時間の演算を行い、遅延時間を表示機２に送信する。
In the video /
なお、表示機２と外付けスピーカ３との間の通信規格としては、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）があげられる
The communication standard between the display device 2 and the
本実施の形態における表示機２は、映像音声分離部２０１、映像処理部２０２、映像遅延部２０３、映像表示部２０４、音声処理部２０５、音声遅延部２０６、音声再生部２０７、音声送信部２０８、遅延時間決定部２０９、遅延時間受信部２１０、パイロット信号保存部２１１、及び内部スピーカ２１５を備える。内部スピーカ２１５は、また音声出力部である。
The display device 2 according to the present embodiment includes a video /
映像音声分離部２０１は、外部から入力された信号を映像コンテンツ情報と音声情報とに分離する。また、映像音声分離部２０１は、映像コンテンツ情報を映像処理部２０２に送信し、音声情報を音声処理部２０５に送信する。表示機２がテレビである場合、テレビにおいて操作される映像コンテンツ情報は、例えば、テレビが受信した放送波に含まれる映像コンテンツ情報でもよいし、ＤＶＤやＢｌｕ−ｌａｙ Ｄｉｓｃ（登録商標）やＨＤＤなどの映像媒体に記憶された映像コンテンツ情報でもよい。
The video /
映像処理部２０２は、映像音声分離部２０１から送信された映像情報について輝度調整、コントラスト調整、及びカラーバランス調整などの各種映像調整処理を実施し、生成された映像信号を映像遅延部２０３に送信する。
The
映像遅延部２０３は、遅延時間決定部２０９により決定される一定の遅延時間である映像遅延時間だけ待機した後、受信した映像信号を映像表示部２０４へ出力する。この映像信号は、映像表示部２０４から映像として出力される。なお、映像遅延部２０３は、映像信号を映像遅延時間だけ遅延させ、映像表示部から出力される映像の出力タイミングと音声出力装置から出力される音声の出力タイミングとを同期させる。
The
音声処理部２０５は、映像音声分離部２０１から送信された音声信号について周波数バランス調整や反響度合の調整などの各種音声調整処理を実施し、生成された音声信号を音声遅延部２０６に送信する。また、パイロット信号保存部２１１からパイロット信号が送信された場合は、生成された音声信号にパイロット信号を加算し、音声遅延部２０６に送信する。
The
音声遅延部２０６は、遅延時間決定部２０９により決定される一定の遅延時間だけ待機した後、受信した音声信号を、音声再生部２０７と音声送信部２０８の両方に送信する。
The
音声再生部２０７は、受信した音声信号を増幅し、この増幅した音声信号を音声に変換して内部スピーカ２１５から出力する。また、内部スピーカ２１５から出力される音声は、表示装置用音声信号を音声に変換したものである。表示装置用音声信号は、表示機２における音声信号であり、外付けスピーカ３に無線を通じて送信される。
The
音声送信部２０８は、受信した音声信号を外付けスピーカ３の音声受信部３０１に無線を通じて送信する。
The
遅延時間決定部２０９は、遅延時間受信部２１０で受信した遅延時間を使用して、映像の再生タイミングと音声の再生タイミングとを同期させるように映像信号及び音声信号の遅延時間を決定する。なお、遅延時間決定部２０９は、音声出力部から出力される音声と音声出力装置から出力される音声との間の時間差に基づいて、映像信号の遅延時間である映像遅延時間を決定する。
The delay
パイロット信号保存部２１１は、映像音声分離部２０１から送信された音声信号から生成されたパイロット信号を音声処理部２０５に送信する。パイロット信号はどのような音声信号でもよいが、人の可聴領域の端である１０ｋＨｚ以上の音声信号で、周波数が階段状に上下するなど自然には生成されないような音声信号であることが望ましい。またパイロット信号の音量についてもどのような音量でもよいが、音声信号より小さくテレビ視聴者が不快にならない程度の音量であり、かつ、マイク３０９が収録するには十分な音量であることが望ましい。
Pilot
本実施の形態における外付けスピーカ３は、音声受信部３０１、音声バッファ３１０、音声再生部３０２、外部スピーカ３０８、マイク３０９、音声入力部３０３、バンドパスフィルタ３０４、遅延時間演算部３０５、及び遅延時間送信部３０６を備える。
The
音声受信部３０１は、表示機２の音声送信部２０８から送信される音声信号を、受信し、復調し、伝送路でのゆらぎを吸収するために音声バッファ３１０に出力する。音声バッファ３１０は、音声受信部３０１から出力された音声信号を蓄積する。
The
音声バッファ３１０で蓄積された音声信号は、音声再生部３０２により増幅され、外部スピーカ３０８から音声に変換して出力される。外部スピーカ３０８から出力される音声は、出力装置用音声信号を音声に変換したものである。出力装置用音声信号は、外付けスピーカ３における音声信号である。
The audio signal stored in the
マイク３０９は、表示機２の内部スピーカ２１５が出力する音声と外付けスピーカ３の外部スピーカ３０８が出力する音声との合成音声を収録する。マイク３０９は、また音声収録部である。
The
音声入力部３０３は、マイク３０９で収録した音声を入力して音声信号に変換する。音声入力部３０３は、音声信号を増幅し、バンドパスフィルタ３０４へと送信する。
The
バンドパスフィルタ３０４は、音声入力部３０３から送信された音声信号にフィルタ処理を施す。実施されるフィルタ処理は、パイロット信号において含まれない周波数成分がカットオフされるような処理を含む。例えば、１０ｋＨｚ以上の周波数で構成されるパイロット信号の場合は、フィルタ処理は１０ｋＨｚ以上を通過域とするハイパスフィルタを含んだフィルタにより行われる。この処理により、パイロット信号をユーザの映像コンテンツ視聴を阻害しないような小さな音量、例えば音圧比１／１０程度のパイロット信号とすることができる。フィルタ処理された音声信号は、遅延時間演算部３０５に送信される。
The band-
遅延時間演算部３０５は、フィルタ処理された音声信号を入力し、表示機２の内部スピーカ２１５の出力した音声と外付けスピーカ３の外部スピーカ３０８の出力した音声との間の時間差を遅延時間として演算し、遅延時間送信部３０６から表示機２へと送信する。
The delay
図２は、本発明の実施の形態１における映像音声再生システム１の映像再生及び音声再生に関するタイミングチャート例である
FIG. 2 is an example of a timing chart relating to video reproduction and audio reproduction of the video /
映像音声再生システム１では、既に述べたように映像と音声との同期処理（リップシンク）を行うために遅延時間の付与が必要である。
In the video /
図２（ａ）は、表示機２の内部スピーカ２１５を使用して音声を再生する場合に、リップシンクが行われている状態のタイミングチャート例である。図２（ａ）において、上側の図が映像信号のタイミングを示し、下側の図が表示機２の内部スピーカ２１５における音声信号のタイミングを示す。
FIG. 2A is an example of a timing chart in a state where lip sync is performed when audio is reproduced using the
図２（ｂ）は、表示機２の内部スピーカ２１５での音声の再生と、外付けスピーカ３の外部スピーカ３０８での音声の再生とを共に行う場合のタイミングチャート例である。図２（ｂ）において、上側の図が表示機２の内部スピーカ２１５における音声信号のタイミングを示し、下側の図が外付けスピーカ３の外部スピーカ３０８における音声信号のタイミングを示す。
FIG. 2B is an example of a timing chart in a case where sound reproduction by the
図２（ｃ）は、外付けスピーカ３の外部スピーカ３０８を使用して音声を再生する場合に、リップシンクが行われている状態のタイミングチャート例である。図２（ｃ）において、上側の図が映像信号のタイミングを示し、下側の図が外付けスピーカ３の外部スピーカ３０８における音声信号のタイミングを示す。
FIG. 2C is an example of a timing chart in a state where lip sync is performed when audio is reproduced using the
一般的に映像コンテンツから映像信号と音声信号とを取り出すときには、映像信号を取り出す時間が音声信号を取り出す時間よりも長い。そのため、表示機２が内部スピーカ２１５を使用して音声を再生するなど他に時間を要する処理がない場合は、図２（ａ）に示すように、音声遅延部２０６が音声信号に対する音声遅延のための遅延時間を付与することで音声再生を遅延させ、映像と音声とのリップシンクを行う。
Generally, when extracting a video signal and an audio signal from video content, the time to extract the video signal is longer than the time to extract the audio signal. Therefore, when there is no other time-consuming process, such as when the display device 2 uses the
このとき、表示機２の内部スピーカ２１５での音声の再生と、外付けスピーカ３の外部スピーカ３０８での音声の再生とを共に行うと、無線伝送遅延時間及び無線伝送音声信号デコードを実施するための所要時間及び音声バッファ３１０での伝送路時間ゆらぎ吸収のための遅延時間が発生するため、図２（ｂ）に示すように音声再生タイミングに差が発生してしまう。この時間の差を遅延時間と定義する。
At this time, when the reproduction of the sound by the
表示機２が外付けスピーカ３の外部スピーカ３０８を使用して音声を再生するなど音声信号を無線通信で送信する場合でも、図２（ｃ）に示すように、この遅延時間をもとに映像遅延部２０３が映像遅延時間を付与することで映像再生を遅延させ、映像と音声とのリップシンクを行うことができる。
Even when the display device 2 transmits an audio signal by wireless communication, such as reproducing the audio using the
遅延時間は、図２に示すように望ましくは遅延時間の合計が最短となるように決定されてもよいが、映像及び音声一方の遅延時間を固定し、もう一方の遅延時間を動的に変更するような決定方法でもよい。 The delay time may be determined so that the total of the delay times is desirably the shortest as shown in FIG. 2, but the delay time of one of the video and audio is fixed, and the other is dynamically changed. May be determined.
以下で図３から図５までを用いて、映像音声再生システム１での遅延時間演算の実行処理の流れについて説明を行う。本実施の形態では、音声のエネルギー差分をもとにした適応フィルタの更新を行うことで遅延時間の演算を行う方法についての説明を行うが、その他の音声の遅延時間を検出する方法であればどのような方法であってもよい。
Hereinafter, the flow of the execution process of the delay time calculation in the video /
図３は、本発明の実施の形態１における遅延時間演算の実行処理及び適用処理を示すフローチャートである。 FIG. 3 is a flowchart showing a delay time calculation execution process and an application process according to the first embodiment of the present invention.
図３中の各ブロックの説明を行う。ステップＳ１０１では、表示機２と外付けスピーカ３の通信を開始することを表す。ステップＳ１０２では、表示機２が音声信号にパイロット信号を加算する。ステップＳ１０３では、表示機２と外付けスピーカ３とがパイロット信号が加算された音声信号を音声に変換して出力し、外付けスピーカ３がその出力された音声を収録する。ステップＳ１０４では、外付けスピーカ３が収録した音声を用いて遅延時間を演算する。ステップＳ１０５では、外付けスピーカ３が演算された遅延時間を表示機２に送信する。ステップＳ１０６では、遅延時間を決定し表示機２にて適用する。
Each block in FIG. 3 will be described. Step S101 indicates that communication between the display device 2 and the
図４は、本発明の実施の形態１における遅延時間演算部３０５で行う遅延時間演算処理の説明図である。
FIG. 4 is an explanatory diagram of the delay time calculation processing performed by the delay
遅延時間演算部３０５は、適応フィルタ３１１を備える。
The delay
適応フィルタ３１１は、表示機２において加算されたパイロット信号に適応フィルタ３１１が持つパラメータで以てフィルタ処理を行うことで、バンドパスフィルタ３０４によってフィルタ処理された目標となる音声信号との誤差が最小となるように逐次的にフィルタ係数を変化させる音声信号フィルタである。
The
なお、例えば遅延時間演算部３０５は、パイロット信号保存部２１１と同様のパイロット信号を保存し、必要なタイミングで適応フィルタ３１１にパイロット信号を送信するようなパイロット信号保存部をさらに設けてもよい。
Note that, for example, the delay
図５は、本発明の実施の形態１における遅延時間演算部３０５での遅延時間演算処理における音声信号の処理経過をグラフで表した模式図である。なお図は模式図であるため、使用する音声信号の波形パターンはこの限りではない。
FIG. 5 is a schematic diagram showing the progress of processing of the audio signal in the delay time calculation process in delay
図５（ａ）は、パイロット信号保存部２１１が持つパイロット信号の一例である。図５（ｂ）は、表示機２の音声処理部２０５にてパイロット信号と映像情報コンテンツとを加算した後の音声信号の一例である。図５（ｃ）は、外付けスピーカ３のマイク３０９にて収録した音声を変換した音声信号の一例である。図５（ｄ）は、外付けスピーカ３のバンドパスフィルタ３０４にてフィルタ処理が実行された後の音声信号の一例である。図５（ｅ）は、外付けスピーカ３の適応フィルタ３１１のフィルタ係数演算結果の一例である。
FIG. 5A is an example of a pilot signal held by pilot
以下で、実施の形態１における遅延時間演算の実行処理及び適用処理の流れを示す。 Hereinafter, a flow of the execution processing and the application processing of the delay time calculation according to the first embodiment will be described.
図３に示すように、まず表示機２と外付けスピーカ３との通信が開始されることをトリガに、遅延時間演算の実行処理及び適用処理は開始される（ステップＳ１０１）。
As shown in FIG. 3, first, the start of communication between the display device 2 and the
次に、パイロット信号保存部２１１は、図５（ａ）で示すようなパイロット信号を音声処理部２０５に送信する。音声処理部２０５は、パイロット信号を音声信号に加算する処理を行う（ステップＳ１０２）。このとき、図５（ｂ）のような音声信号が得られる。
Next, pilot
次に、音声が表示機２の内部スピーカ２１５と外付けスピーカ３の外部スピーカ３０８とから出力される。このとき既に述べたように音声信号が無線により送信されるため、外部スピーカ３０８から出力される音声は、内部スピーカ２１５から出力される音声に比べ、遅れて出力される。それと並行して、外付けスピーカ３のマイク３０９が収録を開始し、内部スピーカ２１５が出力する音声と外部スピーカ３０８が出力する音声との合成音声が収録される（ステップＳ１０３）。マイク３０９が収録した音声を変換した音声信号は、図５（ｃ）に示すように、図５（ｂ）で示した音声信号が内部スピーカ２１５と外部スピーカ３０８との間の時間差及び音量差を以て合成された音声を変換した音声信号になる。
Next, sound is output from the
マイク３０９にて合成音声が収録されると、バンドパスフィルタ３０４が音声信号にフィルタ処理を行い、遅延時間演算部３０５が表示機２の内部スピーカ２１５の出力した音声と外付けスピーカ３の外部スピーカ３０８の出力した音声との間の時間差を遅延時間として演算する（ステップＳ１０４）。
When the synthesized voice is recorded by the
具体的には、以下の手順で行う。以下では。パイロット信号を適応フィルタ３１１にてフィルタ処理をした音声信号をｙ（ｋ）とし、内部スピーカ２１５、外部スピーカ３０８が出力する音声がマイクに到達し、バンドパスフィルタ３０４によってフィルタ処理された音声信号をｄ（ｋ）と定義する。なお図５（ｄ）はバンドパスフィルタ３０４にてフィルタ処理が実行された後の音声信号の一例であり、パイロット信号において含まれない周波数成分がカットオフされパイロット信号の特徴を強調できている状態が図に示されている。
Specifically, the following procedure is performed. Below. The audio signal obtained by filtering the pilot signal with the
遅延時間演算部３０５では、図４に示すように、まずｙ（ｋ）−ｄ（ｋ）の差分波形ｅ（ｋ）の音圧エネルギーを演算する。このエネルギー成分が０になるように適応フィルタ３１１のフィルタパラメータを変化させる。この操作は言い換えると、ｄ（ｋ）に含まれる内部スピーカ２１５と外部スピーカ３０８とから出力されるパイロット信号の時間遅れがそれぞれどのようになっているかを演算することに等しい。このとき図５（ｅ）に示すように、２つのピークがフィルタパラメータの係数列上に発生するので、この差をもとに遅延時間の演算を行うことができる。
The delay
続いて、演算した遅延時間を遅延時間送信部３０６から表示機２の遅延時間受信部２１０に送信する（ステップＳ１０５）。
Subsequently, the calculated delay time is transmitted from the delay
最後に、遅延時間受信部２１０で受信した遅延時間を遅延時間決定部２０９に送信し、遅延時間決定部２０９が遅延時間を映像遅延部２０３と音声遅延部２０６とのそれぞれにどの程度の時間をもって適用するかを決定する（ステップＳ１０６）。例えば、内部スピーカ２１５の音声出力は表示機２の映像出力を基準として遅延時間が決められる。また、映像出力は外部スピーカ３０８が出力する音声出力を基準として遅延時間が決められる。
Finally, the delay time received by the delay
以上で、実施の形態１での遅延時間演算の実行処理が完了となる。 With the above, the execution processing of the delay time calculation in the first embodiment is completed.
以上のように本実施の形態の映像音声再生システム１によれば、ユーザが視聴している映像コンテンツの映像と音声とを出力しながら、表示機２の出力する音声と外付けスピーカ３の出力する音声とを合成した合成音声を収録し、表示機２の出力する音声と外付けスピーカ３の出力する音声との時間差を遅延時間として自動的に演算することで、ユーザの映像コンテンツ視聴を中断させることなく、表示機２の出力する映像と外付けスピーカ３の出力する音声との再生タイミングを同期させることができる。
As described above, according to the video /
なお、表示機２の出力する映像と外付けスピーカ３の出力する音声との再生タイミングを同期させた後、表示機２の出力する音声と外付けスピーカ３の出力する音声とは、上記表示機２の出力する映像と外付けスピーカ３の出力する音声とのように同期させてもよいし、又は、表示機２の出力する音声を無音としてもよい。
After synchronizing the reproduction timing of the video output from the display device 2 with the audio output from the
実施の形態２．
図６は、この発明の実施の形態２における映像音声再生システム１ａの構成を示すブロック図である。
Embodiment 2 FIG.
FIG. 6 is a block diagram showing a configuration of a video / audio reproduction system 1a according to Embodiment 2 of the present invention.
本実施の形態における表示機２ａは、映像音声分離部２０１、映像処理部２０２、映像遅延部２０３、映像表示部２０４、音声処理部２０５、音声遅延部２０６、音声再生部２０７、音声送信部２０８、遅延時間決定部２０９、パイロット信号保存部２１１、音声受信部２１２、バンドパスフィルタ２１３、遅延時間演算部２１４、及び内部スピーカ２１５を備える。
The display device 2a according to the present embodiment includes a video /
音声受信部２１２は、外付けスピーカ３ａで収録した音声を変換した音声信号を受信する。
The
バンドパスフィルタ２１３は、実施の形態１のバンドパスフィルタ３０４と同様に、音声受信部２１２で受信した音声信号にフィルタ処理を施す。フィルタ処理された音声信号は、遅延時間演算部２１４に送信される。
The band-
遅延時間演算部２１４は、実施の形態１の遅延時間演算部３０５と同様に、フィルタ処理された音声信号をもとに表示機２ａの内部スピーカ２１５の出力した音声と外付けスピーカ３ａの外部スピーカ３０８の出力した音声との間の時間差を遅延時間として演算する。演算した遅延時間は、遅延時間決定部２０９に送信される。
Similarly to the delay
外付けスピーカ３ａは、音声受信部３０１、音声バッファ３１０、音声再生部３０２、音声入力部３０３、音声送信部３０７、外部スピーカ３０８、及びマイク３０９を備える。
The
音声入力部３０３は、マイク３０９で収録された音声を音声信号に変換する。音声送信部３０７は、音声入力部３０３で変換された音声信号を表示機２ａに送信する。
The
この構成によると、本実施の形態の映像音声再生システム１ａは、外付けスピーカ３ａにて、マイク３０９で収録された音声を変換した音声信号を複雑な信号処理をすることなく音声送信部３０７から表示機２ａの音声受信部２１２に送信し、表示機２ａにて、バンドパスフィルタ２１３が受信された音声信号のフィルタ処理を行い、遅延時間演算部２１４がフィルタ処理された音声信号を用いて遅延時間の演算を行う点が、実施の形態１と異なる。
According to this configuration, the video / audio reproduction system 1a of the present embodiment uses the
図７は、本発明の実施の形態２における遅延時間演算の実行処理及び適用処理を示すフローチャートである。 FIG. 7 is a flowchart showing a delay time calculation execution process and an application process according to the second embodiment of the present invention.
図７中の各ブロックのうち、実施の形態１と異なるステップＳ２０４及びステップＳ２０５についての説明を行う。ステップＳ２０４では、外付けスピーカ３ａが収録した音声を表示機２ａに送信する。ステップＳ２０５では、表示機２ａが受信した音声を用いて遅延時間を演算する。
Steps S204 and S205, which are different from the first embodiment, among the blocks in FIG. 7 will be described. In step S204, the sound recorded by the
以下で、実施の形態２における遅延時間演算の実行処理及び適用処理の流れを示す。 Hereinafter, the flow of the execution processing and the application processing of the delay time calculation according to the second embodiment will be described.
図７に示すように、まず表示機２ａと外付けスピーカ３ａとの通信が開始されることをトリガとして遅延時間演算の実行処理及び適用処理が開始される（ステップＳ２０１）。
As shown in FIG. 7, first, the start of communication between the display device 2a and the
次に、パイロット信号保存部２１１は、パイロット信号を音声処理部２０５に送信する。音声処理部２０５は、パイロット信号と音声信号とを加算する処理を行う。（ステップＳ２０２）。
Next, pilot
次に、表示機２ａの内部スピーカ２１５と外付けスピーカ３ａの外部スピーカ３０８とから音声が出力される。このとき実施の形態１と同様に音声信号が無線により送信されるため、外付けスピーカ３ａから出力される音声は、内部スピーカ２１５から出力される音声に比べ、遅れて出力される。それと並行して、外付けスピーカ３ａのマイク３０９が収録を開始し、内部スピーカ２１５が出力する音声と外部スピーカ３０８が出力する音声との合成音声を収録する（ステップＳ２０３）。
Next, sound is output from the
音声入力部３０３にてマイク３０９が収録した合成音声が入力されると、音声入力部３０３は、入力された合成音声を変換した音声信号を増幅し、音声送信部３０７は、音声信号を表示機２ａの音声受信部２１２に送信する（ステップＳ２０４）
When the synthesized voice recorded by the
音声受信部２１２が音声信号を受信すると、バンドパスフィルタ２１３が音声信号にフィルタ処理を行い、遅延時間演算部２１４がフィルタ処理された音声信号を入力とし、表示機２ａの内部スピーカ２１５の出力した音声と外付けスピーカ３ａの外部スピーカ３０８の出力した音声との間の時間差を遅延時間として演算する（ステップＳ２０５）。
When the
最後に、遅延時間演算部２１４が演算した遅延時間を遅延時間決定部２０９に送信し、遅延時間決定部２０９が遅延時間を映像遅延部２０３と音声遅延部２０６とのそれぞれにどのように適用するかを決定する（ステップＳ２０６）。
Finally, the delay time calculated by the delay
以上で、実施の形態２での遅延時間演算の実行処理が完了となる。 Thus, the execution processing of the delay time calculation in the second embodiment is completed.
以上のように本実施の形態によれば、映像音声再生システム１ａが、ユーザが視聴している映像コンテンツの映像と音声とを出力しながら、外付けスピーカ３ａが、表示機２ａの出力する音声と外付けスピーカ３ａの出力する音声とを収録し、表示機２ａが、リモコンで収録した合成音声から表示機２ａの内部スピーカ２１５の出力した音声と外付けスピーカ３ａの外部スピーカ３０８の出力した音声との時間差を遅延時間として自動的に演算することで、ユーザの映像コンテンツ視聴を中断させることなく、表示機２ａの出力する映像と外付けスピーカ３ａの出力する音声との再生タイミングを同期させることができる。
As described above, according to the present embodiment, while the video / audio reproduction system 1a outputs the video and audio of the video content being viewed by the user, the
実施の形態３．
図８は、本発明の実施の形態３における映像音声再生システム１ｂの構成を示すブロック図である。
FIG. 8 is a block diagram showing a configuration of a video / audio reproduction system 1b according to
実施の形態１、２における映像音声再生システムは、表示機及び外付けスピーカを備えていたが、本実施の形態における映像音声再生システム１ｂは、リモコン４をさらに備える。 Although the video and audio reproduction systems according to the first and second embodiments include a display device and an external speaker, the video and audio reproduction system 1b according to the present embodiment further includes a remote controller 4.
リモコン４は、例えば表示機２のリモートコントローラや利用者のスマートフォンなどがこれに該当する。リモコン４は、また遠隔操作器である。 The remote controller 4 corresponds to, for example, a remote controller of the display device 2 or a user's smartphone. The remote controller 4 is also a remote controller.
なお、表示機２とリモコン４との間の通信規格としては、例えば、Ｗｉ−Ｆｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）方式やＢｌｕｅｔｏｏｔｈ（登録商標）があげられる The communication standard between the display device 2 and the remote controller 4 includes, for example, a Wi-Fi (Wireless Fidelity) system and Bluetooth (registered trademark).
本実施の形態における表示機２は、実施の形態１と同様である。 The display 2 in the present embodiment is the same as in the first embodiment.
本実施の形態における外付けスピーカ３ｂは、音声受信部３０１、音声バッファ３１０、音声再生部３０２、及び外部スピーカ３０８を備える。
The
本実施の形態におけるリモコン４は、音声入力部４０１、バンドパスフィルタ４０２、遅延時間演算部４０３、遅延時間送信部４０４、及びマイク４０６を備える。
The remote controller 4 according to the present embodiment includes a
マイク４０６は、実施の形態１におけるマイク３０９と同様に、内部スピーカ２１５が出力する音声と外部スピーカ３０８が出力する音声との合成音声を収録する。マイク４０６は、また音声収録部である。
音声入力部４０１は、実施の形態１の外付けスピーカ３ｂにおける音声入力部３０３と同様に、マイク４０６で収録された合成音声を変換した音声信号を増幅し、バンドパスフィルタ４０２へと送信する。
The
バンドパスフィルタ４０２は、実施の形態１の外付けスピーカ３ｂにおけるバンドパスフィルタ３０４と同様に、音声入力部４０１から送信された音声信号にフィルタ処理を施す。フィルタ処理された音声信号は、遅延時間演算部４０３に送信される。
The band-
遅延時間演算部４０３は、実施の形態１の外付けスピーカ３ｂにおける遅延時間演算部３０５と同様に、フィルタ処理された音声信号を入力し、表示機２の内部スピーカ２１５の出力した音声と外付けスピーカ３ｂの外部スピーカ３０８の出力した音声との間の時間差を遅延時間として演算する。遅延時間演算部４０３は、遅延時間送信部４０４及び遅延時間受信部２１０を経由して、演算された遅延時間を遅延時間決定部２０９に送信する。
The delay
この構成によると、本実施の形態の映像音声再生システム１ｂは、リモコン４のマイク４０６で収録した合成音声を変換した音声信号に対して、バンドパスフィルタ４０２が音声信号のフィルタ処理を行い、遅延時間演算部４０３がフィルタ処理された音声信号を用いて遅延時間の演算を行う点で、実施の形態１と異なる。
According to this configuration, in the video / audio reproduction system 1b according to the present embodiment, the
図９は、本発明の実施の形態３における遅延時間演算の実行処理及び適用処理を示すフローチャートである。 FIG. 9 is a flowchart showing a delay time calculation execution process and an application process according to the third embodiment of the present invention.
図９中の各ブロックのうち、実施の形態１に追加されたステップＳ３０２とステップＳ３０３についての説明を行う。ステップＳ３０２では、リモコン４と表示機２とが通信可能であるかを判定する。ステップＳ３０３では、映像音声再生システム１ｂが、遅延時間演算処理を行わずに既定の遅延時間を適用することを決定する。 Steps S302 and S303 added to the first embodiment among the blocks in FIG. 9 will be described. In step S302, it is determined whether the remote controller 4 and the display device 2 can communicate with each other. In step S303, the video / audio reproduction system 1b determines to apply a predetermined delay time without performing the delay time calculation process.
以下で、実施の形態３における遅延時間演算の実行処理及び適用処理の流れを示す。 Hereinafter, the flow of the execution processing and the application processing of the delay time calculation according to the third embodiment will be described.
表示機２と外付けスピーカ３ｂとの通信が開始されることをトリガとして遅延時間演算の実行及び適用処理が開始される（ステップＳ３０１）。
The execution of the delay time calculation and the application process are started with the start of the communication between the display device 2 and the
次に映像音声再生システム１ｂは、リモコン４と表示機２とが通信可能であるかを判定する（ステップＳ３０２）。別の判定方法としては、例えばリモコン４がスマートフォンである場合は、無線通信で接続されているので常に送受信可能であるかを判定できる。 Next, the video / audio reproduction system 1b determines whether the remote controller 4 and the display device 2 can communicate with each other (Step S302). As another determination method, for example, when the remote controller 4 is a smartphone, it can be determined whether transmission and reception are always possible since the remote controller 4 is connected by wireless communication.
リモコン４と表示機２とが通信可能でない場合（ステップＳ３０２：Ｎｏ）、映像音声再生システム１ｂとして、表示機２が遅延時間演算処理を行わずに既定の遅延時間を適用することを決定する（ステップＳ３０３）。 If the remote controller 4 and the display device 2 cannot communicate with each other (Step S302: No), the video / audio reproduction system 1b determines that the display device 2 applies a predetermined delay time without performing the delay time calculation process (Step S302). Step S303).
リモコン４と表示機２とが通信可能である場合（ステップＳ３０２：ｙｅｓ）、パイロット信号保存部２１１は、パイロット信号を音声処理部２０５に送信する。音声処理部２０５がパイロット信号と音声信号とを加算する処理を行う。（ステップＳ３０４）。
When the remote controller 4 and the display device 2 can communicate with each other (step S302: yes), the pilot
次に、音声が表示機２の内部スピーカ２１５と外付けスピーカ３ｂの外部スピーカ３０８とから出力される。このとき既に述べたように音声信号が無線により送信されるため、外付けスピーカ３ｂから出力される音声は、表示機２から出力される音声に比べ、遅れて出力される。それと並行して、リモコン４のマイク４０６が収録を開始し、内部スピーカ２１５が出力する音声と外付けスピーカ３ｂが出力する音声との合成音声を収録する（ステップＳ３０５）。
Next, sound is output from the
マイク４０６にて合成音声が収録されると、音声入力部４０１は収録された合成音声が入力される。音声入力部４０１は、合成音声を変換した音声信号を増幅し、バンドパスフィルタ４０２は、音声信号にフィルタ処理を行う。遅延時間演算部４０３は、フィルタ処理された音声信号を入力し、表示機２の内部スピーカ２１５の出力した音声と外付けスピーカ３ｂの外部スピーカ３０８の出力した音声との間の時間差を遅延時間として演算する（ステップＳ３０６）。
When the synthesized speech is recorded by the
遅延時間送信部４０４は、遅延時間演算部４０３が演算した遅延時間を表示機２の遅延時間受信部２１０に送信する（ステップＳ３０７）。
The delay
遅延時間受信部２１０は、受信した遅延時間を遅延時間決定部２０９に送信する。遅延時間決定部２０９は、遅延時間を映像遅延部２０３と音声遅延部２０６とのそれぞれにどのように適用するかを決定する（ステップＳ３０８）。
The delay
以上で、実施の形態３での遅延時間演算の実行処理が完了となる。 Thus, the execution processing of the delay time calculation in the third embodiment is completed.
以上のように本実施の形態によれば、映像音声再生システム１ｂが、ユーザが視聴している映像コンテンツの映像と音声とを出力しながら、リモコン４が、表示機２の出力する音声と外部スピーカ３０８の出力する音声とを収録し、収録した音声から表示機２の内部スピーカ２１５の出力した音声と外付けスピーカ３ｂの外部スピーカ３０８の出力した音声との間の時間差を遅延時間として自動的に演算することで、ユーザの映像コンテンツ視聴を中断させることなく、表示機２の出力する映像と外部スピーカ３０８の出力する音声との再生タイミングを同期させることができる。
As described above, according to the present embodiment, while the video / audio reproduction system 1b outputs the video and audio of the video content being viewed by the user, the remote controller 4 controls the audio output from the display device 2 and the external The sound output from the
実施の形態４．
図１０は、本発明の実施の形態４における映像音声再生システム１ｃの構成を示すブロック図である。
Embodiment 4 FIG.
FIG. 10 is a block diagram showing a configuration of a video / audio reproduction system 1c according to Embodiment 4 of the present invention.
本実施の形態における表示機２ａは、実施の形態２と同様に、映像音声分離部２０１、映像処理部２０２、映像遅延部２０３、映像表示部２０４、音声処理部２０５、音声遅延部２０６、音声再生部２０７、音声送信部２０８、遅延時間決定部２０９、パイロット信号保存部２１１、音声受信部２１２、バンドパスフィルタ２１３、遅延時間演算部２１４、及び内部スピーカ２１５を備える。
The display device 2a according to the present embodiment includes a video /
本実施の形態におけるリモコン４ａは、音声入力部４０１、音声送信部４０５、及びマイク４０６を備える。
The remote controller 4a according to the present embodiment includes an
音声入力部４０１は、マイク４０６で収録された音声を音声信号に変換する。音声送信部４０５は、音声入力部４０１で変換された音声信号を出力する。
The
音声送信部４０５は、入力された音声を音声信号に変換して表示機２ａに送信する。また、本実施の形態における外付けスピーカ３ｂは、実施の形態３と同様である。
The
この構成によると、リモコン４ａは音声信号を表示機２ａの音声受信部２１２に送信し、表示機２ａは、バンドパスフィルタ２１３が受信した音声信号のフィルタ処理を行い、遅延時間演算部２１４がフィルタ処理された音声信号を用いて遅延時間の演算を行う点が、実施の形態３と異なる。
According to this configuration, the remote controller 4a transmits the audio signal to the
図１１は、本発明の実施の形態４における遅延時間演算の実行処理及び適用処理を示すフローチャートである。 FIG. 11 is a flowchart showing a delay time calculation execution process and an application process according to the fourth embodiment of the present invention.
表示機２ａと外付けスピーカ３ｂとの通信が開始されることをトリガとして遅延時間演算の実行処理及び適用処理が開始される（ステップＳ４０１）。
The start of communication between the display 2a and the
次に映像音声再生システム１ｃは、リモコン４ａと表示機２ａとが通信可能であるかを判定する（ステップＳ４０２）。 Next, the video / audio reproduction system 1c determines whether the remote controller 4a and the display device 2a can communicate with each other (Step S402).
リモコン４ａと表示機２ａとが通信可能でない場合（ステップＳ４０２：ｎｏ）、映像音声再生システム１ｃとして、表示機２ａが遅延時間演算処理を行わずに既定の遅延時間を適用することを決定する（ステップＳ４０３）。 If the remote controller 4a and the display device 2a cannot communicate with each other (step S402: no), the video / audio reproduction system 1c determines that the display device 2a applies a predetermined delay time without performing the delay time calculation process (step S402). Step S403).
リモコン４ａと表示機２ａとが通信可能である場合（ステップＳ４０２：ｙｅｓ）、パイロット信号保存部２１１は、パイロット信号を音声処理部２０５に送信する。音声処理部２０５がパイロット信号と音声信号とを加算する処理を行う。（ステップＳ４０４）。
When the remote controller 4a and the display device 2a can communicate with each other (step S402: yes), the pilot
次に、音声信号が表示機２ａの内部スピーカ２１５と外付けスピーカ３ｂの外部スピーカ３０８とから出力される。このとき既に述べたように音声信号が無線により送信されるため、外付けスピーカ３ｂから出力される音声は、表示機２ａから出力される音声に比べ、遅れて出力される。それと並行して、リモコン４ａのマイク４０６が収録を開始し、内部スピーカ２１５が出力する音声と外付けスピーカ３ｂが出力する音声との合成音声を収録する（ステップＳ４０５）。
Next, audio signals are output from the
マイク４０６にて合成音声が収録されると、音声入力部４０１が収録された合成音声を変換した音声信号を増幅し、音声送信部４０５が音声信号を表示機２ａの音声受信部２１２に送信する（ステップＳ４０６）
When the synthesized voice is recorded by the
音声受信部２１２が音声信号を受信すると、バンドパスフィルタ２１３が音声信号にフィルタ処理を行い、遅延時間演算部２１４がフィルタ処理された音声信号を入力し、表示機２ａの内部スピーカ２１５の出力した音声と外付けスピーカ３ｂの外部スピーカ３０８の出力した音声との間の時間差を遅延時間として演算する（ステップＳ４０７）。
When the
最後に、演算した遅延時間受信部２１０で受信した遅延時間を遅延時間決定部２０９に送信し、遅延時間決定部２０９が遅延時間を映像遅延部２０３と音声遅延部２０６とのそれぞれにどのように適用するかを決定する（ステップＳ４０８）。
Finally, the calculated delay time received by the delay
以上で、実施の形態４の遅延時間演算の実行処理が完了となる。 Thus, the execution processing of the delay time calculation according to the fourth embodiment is completed.
以上のように本実施の形態によれば、映像音声再生システムが、ユーザが視聴している映像コンテンツの映像と音声とを出力しながら、リモコン４ａが、表示機２ａの出力する音声と外付けスピーカ３ｂの出力する音声とを収録し、表示機２ａが、リモコン４ａで収録した合成音声から表示機２ａの内部スピーカ２１５の出力した音声と外付けスピーカ３ｂの外部スピーカ３０８の出力した音声との間の時間差を遅延時間として自動的に演算することで、ユーザの映像コンテンツ視聴を中断させることなく、表示機２ａの出力する映像と外付けスピーカ３ｂの出力する音声との再生タイミングを同期させることができる。
As described above, according to the present embodiment, while the video / audio reproduction system outputs the video and audio of the video content being viewed by the user, the remote controller 4a controls the audio output from the display device 2a and the external The sound output from the
実施の形態５．
図１２は、本発明の実施の形態５における映像音声再生システム１ｄの構成を示すブロック図である。
Embodiment 5 FIG.
FIG. 12 is a block diagram showing a configuration of a video / audio reproduction system 1d according to Embodiment 5 of the present invention.
本実施の形態における外付けスピーカ３ｃは、音声受信部３０１、音声バッファ３１０、音声再生部３１４、外部スピーカ３０８、音声入力部３０３、音声混合部３１３、バンドパスフィルタ３０４、遅延時間演算部３０５、遅延時間送信部３０６、及びマイク３０９を備える。
The external speaker 3c in the present embodiment includes an
音声混合部３１３は、表示機２が外付けスピーカ３ｃへと無線で送信した音声信号と、表示機２が内部スピーカ２１５より出力した音声を変換した音声信号とを混合する。この操作により外付けスピーカ３ｃは、実施の形態１で述べたような内部スピーカ２１５が出力する音声と外部スピーカ３０８が出力する音声との合成音声を変換した音声信号に相当する音声信号を生成し、バンドパスフィルタ３０４に送信する。
The sound mixing unit 313 mixes a sound signal transmitted wirelessly from the display device 2 to the external speaker 3c and a sound signal converted from sound output from the
この構成によると、本実施の形態の映像音声再生システム１ｄは、外付けスピーカ３ｃにて受信した音声信号を出力しないので、映像音声再生システム１ｄから発せられる音声が多重化することなく、遅延時間の演算を行うことができる点が実施の形態１と異なる。 According to this configuration, since the video / audio reproduction system 1d of the present embodiment does not output the audio signal received by the external speaker 3c, the audio output from the video / audio reproduction system 1d is not multiplexed, and the delay time is reduced. Is different from that of the first embodiment.
図１３は、本発明の実施の形態５における遅延時間演算の実行処理及び適用処理を示すフローチャートである。 FIG. 13 is a flowchart showing a delay time calculation execution process and an application process according to the fifth embodiment of the present invention.
図１３中の各ブロックのうち、実施の形態１と異なるステップＳ５０３とステップＳ５０４についての説明を行う。ステップＳ５０３は、表示機２がパイロット信号の加算された音声信号を外付けスピーカ３ｃに送信するブロックである。ステップＳ５０４は、外付けスピーカ３ｃが表示機２の出力した音声を変換した音声信号と表示機２から無線で送信された音声信号とを加算するブロックである。 Steps S503 and S504, which are different from the first embodiment, among the blocks in FIG. 13 will be described. Step S503 is a block in which the display device 2 transmits the audio signal to which the pilot signal has been added to the external speaker 3c. Step S504 is a block for adding the audio signal obtained by converting the audio output from the display 2 by the external speaker 3c and the audio signal wirelessly transmitted from the display 2.
以下で、実施の形態５における遅延時間演算の実行処理及び適用処理の流れを示す。 Hereinafter, the flow of the execution processing and the application processing of the delay time calculation in the fifth embodiment will be described.
図に示すように、まず表示機２と外付けスピーカ３ｃとの通信が開始されることをトリガに、遅延時間演算の実行及び適用処理は開始される（ステップＳ５０１）。 As shown in the figure, the execution of the delay time calculation and the application process are started with the start of communication between the display device 2 and the external speaker 3c as a trigger (step S501).
次に、パイロット信号保存部２１１は、パイロット信号を音声処理部２０５に送信する。音声処理部２０５がパイロット信号と音声信号とを加算する処理を行う。（ステップＳ５０２）。
Next, pilot
次に、表示機２がパイロット信号の加算された音声信号を外付けスピーカ３ｃに送信し、表示機２がパイロット信号の加算された音声信号を増幅し、この増幅した音声信号を音声に変換して内部スピーカ２１５から出力する。それと並行して、外付けスピーカ３ｃのマイク３０９が収録を開始し、内部スピーカ２１５が出力する音声を収録し、表示機２の音声送信部２０８から無線で音声信号を送信する（ステップＳ５０３）。
Next, the display 2 transmits the audio signal to which the pilot signal has been added to the external speaker 3c, the display 2 amplifies the audio signal to which the pilot signal has been added, and converts the amplified audio signal into audio. Output from the
音声入力部３０３にて音声が収録されると、音声混合部３１３が、表示機２の出力音声を変換した音声信号と表示機２から無線で送信された音声信号とを混合する（ステップＳ５０４）。
When the sound is recorded by the
音声混合部３１３にて音声信号が混合されると、バンドパスフィルタ３０４が音声信号にフィルタ処理を行い、遅延時間演算部３０５が表示機２の内部スピーカ２１５の出力した音声と外付けスピーカ３ｃの外部スピーカ３０８の出力した音声との間の時間差を遅延時間として演算する（ステップＳ５０５）。
When the audio signal is mixed by the audio mixing unit 313, the band-
続いて、演算した遅延時間を遅延時間送信部３０６から表示機２の遅延時間受信部２１０に送信する（ステップＳ５０６）。
Subsequently, the calculated delay time is transmitted from the delay
最後に、遅延時間受信部２１０で受信した遅延時間を遅延時間決定部２０９に送信し、遅延時間決定部２０９が遅延時間を映像遅延部２０３と音声遅延部２０６とのそれぞれにどのように適用するかを決定する（ステップＳ５０７）。
Finally, the delay time received by the delay
以上で、実施の形態５での遅延時間演算の実行処理が完了となる。 Thus, the execution processing of the delay time calculation in the fifth embodiment is completed.
以上のように本実施の形態によれば、映像音声再生システムが、ユーザが視聴している映像コンテンツの映像と音声とを出力しながら、外付けスピーカ３ｃが、表示機２の出力する音声を収録し、表示機２の内部スピーカ２１５の出力した音声と外付けスピーカ３ｃの外部スピーカ３０８の出力した音声との間の時間差を遅延時間として自動的に演算することで、ユーザの映像コンテンツ視聴を中断させることなく、表示機２の出力する映像と外付けスピーカ３ｃの出力する音声との再生タイミングをさせることができる。
As described above, according to the present embodiment, while the video / audio reproduction system outputs the video and audio of the video content being viewed by the user, the external speaker 3 c outputs the audio output from the display device 2. Recording and automatically calculating, as a delay time, a time difference between the sound output from the
また、以上のように本実施の形態によれば、音声が表示機２からのみ出力され外付けスピーカ３ｃからは出力されずに遅延時間を演算できるため、映像音声再生システムから発せられる音声が多重化することなく、ユーザは映像コンテンツの音声を複数のスピーカから聞くことがない。その結果としてユーザは映像コンテンツの視聴を快適に行うことができる。 Further, according to the present embodiment, as described above, since the delay time can be calculated without outputting the sound from the display 2 and not from the external speaker 3c, the sound emitted from the video / audio reproduction system is multiplexed. Therefore, the user does not hear the audio of the video content from a plurality of speakers. As a result, the user can comfortably view the video content.
実施の形態６．
図１４は、本発明の実施の形態６における映像音声再生システム１ｅの構成を示すブロック図である。
Embodiment 6 FIG.
FIG. 14 is a block diagram showing a configuration of a video / audio reproduction system 1e according to Embodiment 6 of the present invention.
本実施の形態における映像音声再生システム１ｅの表示機２ｂは、映像音声分離部２０１、映像処理部２０２、映像遅延部２０３、映像表示部２０４、音声処理部２０５、音声遅延部２０６、音声再生部２０７、音声送信部２０８、遅延時間決定部２０９、音声受信部２１２、遅延時間演算部２１４、及び内部スピーカ２１５を備える。内部スピーカ２１５は、また音声出力部である。
The display device 2b of the video / audio playback system 1e according to the present embodiment includes a video /
本実施の形態における映像音声再生システム１ｅの外付けスピーカ３ａは、音声受信部３０１、音声バッファ３１０、音声再生部３０２、音声入力部３０３、音声送信部３０７、外部スピーカ３０８、及びマイク３０９を備える。
The
この構成によると、表示機２ｂにてパイロット音声の付与をすることなく遅延時間の演算を行い、リップシンクを行う点が実施の形態２と異なる。 According to this configuration, the second embodiment is different from the second embodiment in that the delay time is calculated without giving the pilot voice on the display device 2b and the lip sync is performed.
図１５は、本発明の実施の形態６における遅延時間演算の実行処理及び適用処理を示すフローチャートである。 FIG. 15 is a flowchart showing a delay time calculation execution process and an application process according to the sixth embodiment of the present invention.
図１５中の各ブロックのうち、音声処理部２０５がパイロット信号と音声信号とを加算するステップが存在しない点が、実施の形態２と異なる。
15 is different from the second embodiment in that there is no step of adding the pilot signal and the audio signal by the
図１６は、本発明の実施の形態６における遅延時間演算部２１４で行う遅延時間演算処理の説明図である。
FIG. 16 is an explanatory diagram of the delay time calculation processing performed by the delay
本発明の実施の形態６における適応フィルタ３１１では、映像コンテンツの音声信号に対してフィルタ処理を行い（ｙ（ｋ））、マイク３０９にて収録した音声を変換した音声信号（ｄ（ｋ））との誤差信号（ｅ（ｋ））を最小化することを目的とする。このようにすることで、パイロット音声の付与をすることなく遅延時間の演算を行い、リップシンクを行う点が実施の形態２と異なる。
The
以上のように本実施の形態によれば、映像音声再生システムが、ユーザが視聴している映像コンテンツの映像と音声とを出力しながら、外部スピーカ３０８が、表示機２ｂの出力する音声と外部スピーカ３０８の出力する音声との合成音声を収録し、リモコンで収録した合成音声から表示機２ｂの出力する音声と外部スピーカ３０８の出力する音声との時間差を遅延時間として自動的に演算することで、ユーザの映像コンテンツ視聴を中断させることなく、表示機２ｂの出力する映像と外部スピーカ３０８の出力する音声との再生タイミングを同期させることができる。
As described above, according to the present embodiment, while the video / audio reproduction system outputs the video and audio of the video content being viewed by the user, the
さらに本実施の形態によれば、表示機２ｂにてパイロット音声の付与をすることなく遅延時間の演算を行うため、ユーザの映像コンテンツ視聴を阻害することなく、リップシンクを行うことができる。 Furthermore, according to the present embodiment, since the delay time is calculated without giving the pilot sound on the display device 2b, the lip sync can be performed without obstructing the user from viewing the video content.
なお、以上の実施形態はあくまでも例示であって、本発明はこれらの実施形態によって限定されるものではない。 The above embodiments are merely examples, and the present invention is not limited to these embodiments.
１，１ａ，１ｂ，１ｃ，１ｄ，１ｅ 映像音声再生システム
２，２ａ，２ｂ 表示機
２０１ 映像音声分離部
２０２ 映像処理部
２０３ 映像遅延部
２０４ 映像表示部
２０５ 音声処理部
２０６ 音声遅延部
２０７ 音声再生部
２０８ 音声送信部
２０９ 遅延時間決定部
２１０ 遅延時間受信部
２１１ パイロット信号保存部
２１２ 音声受信部
２１３ バンドパスフィルタ
２１４ 遅延時間演算部
２１５ 内部スピーカ
３，３ａ，３ｂ，３ｃ 外付けスピーカ
３０１ 音声受信部
３０２ 音声再生部
３０３ 音声入力部
３０４ バンドパスフィルタ
３０５ 遅延時間演算部
３０６ 遅延時間送信部
３０７ 音声送信部
３０８ 外部スピーカ
３０９ マイク
３１０ 音声バッファ
３１１ 適応フィルタ
３１２ パイロット信号保存部
３１３ 音声混合部
３１４ 音声再生部
４，４ａ リモコン
４０１ 音声入力部
４０２ バンドパスフィルタ
４０３ 遅延時間演算部
４０４ 遅延時間送信部
４０５ 音声送信部
４０６ マイク
1, 1a, 1b, 1c, 1d, 1e Video / audio reproduction system 2, 2a,
Claims (11)
前記映像表示装置において、出力装置用音声信号を前記音声出力装置に無線で送信し、
前記音声出力装置において、前記出力装置用音声信号を受信し音声に変換して出力する映像音声再生システムであって、
前記映像表示装置は、
映像信号を映像に変換して表示する映像表示部と、
表示装置用音声信号を音声に変換して出力する音声出力部と、
前記出力装置用音声信号を前記音声出力装置に無線で送信する音声送信部と、
前記音声出力部から出力される音声と前記音声出力装置から出力される音声との間の時間差に基づいて、前記映像信号の遅延時間である映像遅延時間を決定する遅延時間決定部と、
前記映像信号を前記映像遅延時間だけ遅延させ、前記映像表示部から出力される映像の出力タイミングと前記音声出力装置から出力される音声の出力タイミングとを同期させる映像遅延部とを備える
映像音声再生システム。 Having a video display device and an audio output device,
In the video display device, wirelessly transmits an audio signal for an output device to the audio output device,
In the audio output device, a video and audio reproduction system that receives the output device audio signal, converts it into audio, and outputs the audio.
The image display device,
An image display unit for converting an image signal into an image and displaying the image,
An audio output unit that converts a display device audio signal into audio and outputs the audio;
An audio transmitting unit that wirelessly transmits the audio signal for the output device to the audio output device,
A delay time determination unit that determines a video delay time that is a delay time of the video signal, based on a time difference between the audio output from the audio output unit and the audio output from the audio output device.
A video / audio reproduction unit including a video delay unit that delays the video signal by the video delay time and synchronizes output timing of a video output from the video display unit with output timing of an audio output from the audio output device. system.
前記合成音声から前記時間差を演算する遅延時間演算部と
を備える請求項１に記載の映像音声再生システム。 The sound output device, a sound recording unit that records a synthesized sound of the sound output from the sound output unit and the sound output from the sound output device,
The video and audio reproduction system according to claim 1, further comprising: a delay time calculation unit that calculates the time difference from the synthesized voice.
前記映像表示装置は、前記合成音声から前記時間差を演算する遅延時間演算部をさらに備える
請求項１に記載の映像音声再生システム。 The sound output device includes a sound recording unit that records a synthesized sound of a sound output from the sound output unit and a sound output from the sound output device,
The video and audio reproduction system according to claim 1, wherein the video display device further includes a delay time calculation unit that calculates the time difference from the synthesized voice.
前記遠隔操作器は、前記音声出力部から出力される音声と前記音声出力装置から出力される音声との合成音声を収録する音声収録部と、
前記合成音声から前記時間差を演算する遅延時間演算部とを備える
請求項１に記載の映像音声再生システム。 Further comprising a remote controller for remotely operating the video display device,
The remote control device, a voice recording unit that records a synthesized voice of the voice output from the voice output unit and the voice output from the voice output device,
The video and audio reproduction system according to claim 1, further comprising: a delay time calculation unit that calculates the time difference from the synthesized voice.
前記遠隔操作器は、前記音声出力部から出力される音声と前記音声出力装置から出力される音声との合成音声を収録する音声収録部を備え、
前記映像表示装置は、前記合成音声から前記時間差を演算する遅延時間演算部をさらに備える
請求項１に記載の映像音声再生システム。 Further comprising a remote controller for remotely operating the video display device,
The remote controller includes a voice recording unit that records a synthesized voice of a voice output from the voice output unit and a voice output from the voice output device,
The video and audio reproduction system according to claim 1, wherein the video display device further includes a delay time calculation unit that calculates the time difference from the synthesized voice.
前記合成された音声信号にフィルタ処理を行い、前記時間差を演算する遅延時間演算部とをさらに備える
請求項１に記載の映像音声再生システム。 The audio output device, an audio mixing unit that synthesizes an audio signal transmitted from the audio output unit and an audio signal obtained by converting audio output from the audio output device,
The video / audio reproduction system according to claim 1, further comprising: a delay time calculation unit configured to perform a filtering process on the synthesized audio signal and calculate the time difference.
請求項１に記載の映像音声再生システム。 The video / audio reproduction system according to claim 1, wherein the video display device further includes a delay time calculation unit configured to calculate the time difference from audio output from the audio output unit and audio output from the audio output device. .
請求項１から７のいずれか1項に記載の映像音声再生システム。 In the video display device, the video delay unit delays the video signal by the video delay time, and outputs an output timing of a video output from the video display unit and an output timing of an audio output from the audio output device. 8. The method according to claim 1, wherein, after the synchronization, the audio signal for the display device is delayed, and an output timing of the audio output from the audio output unit and an output timing of the audio output from the audio output device are synchronized. The video / audio reproduction system according to any one of the preceding claims.
請求項１から７のいずれか1項に記載の映像音声再生システム。 In the video display device, the video delay unit delays the video signal by the video delay time, and outputs an output timing of a video output from the video display unit and an output timing of an audio output from the audio output device. The video / audio reproduction system according to claim 1, wherein the audio signal for the display device is silenced after the synchronization.
映像信号を前記映像に変換して表示する映像表示部と、
表示装置用音声信号を音声に変換して出力する音声出力部と、
前記出力装置用音声信号を前記音声出力装置に無線で送信する音声送信部と、
前記音声出力部から出力される音声と前記音声出力装置から出力される音声との間の時間差に基づいて、前記映像信号の遅延時間である映像遅延時間を決定する遅延時間決定部と、
前記映像信号を前記映像遅延時間だけ遅延させ、前記映像表示部から出力される映像の出力タイミングと前記音声出力装置から出力される音声の出力タイミングとを同期させる映像遅延部とを備える
映像表示装置。 A video display device that displays a video and wirelessly transmits an output device audio signal to an external audio output device,
A video display unit that converts a video signal into the video and displays the video;
An audio output unit that converts a display device audio signal into audio and outputs the audio;
An audio transmitting unit that wirelessly transmits the audio signal for the output device to the audio output device,
A delay time determination unit that determines a video delay time that is a delay time of the video signal, based on a time difference between the audio output from the audio output unit and the audio output from the audio output device,
A video display device comprising: a video delay unit that delays the video signal by the video delay time and synchronizes output timing of a video output from the video display unit and output timing of an audio output from the audio output device. .
映像信号を前記映像に変換して表示するステップと、
表示装置用音声信号を音声に変換して出力するステップと、
前記出力装置用音声信号を前記音声出力装置に無線で送信するステップと、
音声出力部から出力される音声と前記音声出力装置から出力される音声との間の時間差に基づいて、前記映像信号の遅延時間である映像遅延時間を決定するステップと、
前記映像信号を前記映像遅延時間だけ遅延させ、映像表示部から出力される映像の出力タイミングと前記音声出力装置から出力される音声の出力タイミングとを同期させるステップとを備える
映像表示方法。 A video display method for displaying an image and wirelessly transmitting an output device audio signal to an external audio output device,
Converting a video signal into the video and displaying the video,
Converting the audio signal for the display device into audio and outputting the audio;
Wirelessly transmitting the audio signal for the output device to the audio output device;
Based on the time difference between the audio output from the audio output unit and the audio output from the audio output device, determining a video delay time that is a delay time of the video signal,
Delaying the video signal by the video delay time, and synchronizing the output timing of the video output from the video display unit with the output timing of the audio output from the audio output device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018173345A JP7004627B2 (en) | 2018-09-18 | 2018-09-18 | Video / audio playback system, video display device and video display method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018173345A JP7004627B2 (en) | 2018-09-18 | 2018-09-18 | Video / audio playback system, video display device and video display method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020048014A true JP2020048014A (en) | 2020-03-26 |
| JP7004627B2 JP7004627B2 (en) | 2022-01-21 |
Family
ID=69901925
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018173345A Active JP7004627B2 (en) | 2018-09-18 | 2018-09-18 | Video / audio playback system, video display device and video display method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7004627B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022065952A3 (en) * | 2020-09-28 | 2022-05-19 | 삼성전자 주식회사 | Electronic device for performing synchronization of video data and audio data, and control method therefor |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006217649A (en) * | 2006-03-20 | 2006-08-17 | Toshiba Corp | Signal processor |
| JP2008219819A (en) * | 2007-03-07 | 2008-09-18 | Rohm Co Ltd | Remote control system and television |
| JP2010011274A (en) * | 2008-06-30 | 2010-01-14 | Toshiba Corp | Video/audio output device and method |
| JP2014003432A (en) * | 2012-06-18 | 2014-01-09 | Sharp Corp | Signal processing device, content output device, and content listening system |
-
2018
- 2018-09-18 JP JP2018173345A patent/JP7004627B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006217649A (en) * | 2006-03-20 | 2006-08-17 | Toshiba Corp | Signal processor |
| JP2008219819A (en) * | 2007-03-07 | 2008-09-18 | Rohm Co Ltd | Remote control system and television |
| JP2010011274A (en) * | 2008-06-30 | 2010-01-14 | Toshiba Corp | Video/audio output device and method |
| JP2014003432A (en) * | 2012-06-18 | 2014-01-09 | Sharp Corp | Signal processing device, content output device, and content listening system |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022065952A3 (en) * | 2020-09-28 | 2022-05-19 | 삼성전자 주식회사 | Electronic device for performing synchronization of video data and audio data, and control method therefor |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7004627B2 (en) | 2022-01-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8649538B2 (en) | Hearing aid having multiple sound inputs and methods therefor | |
| KR102393798B1 (en) | Method and apparatus for processing audio signal | |
| JP2007329633A (en) | Control apparatus, synchronism correction method, and synchronism correction program | |
| JP2015126460A (en) | Source apparatus | |
| US20220345845A1 (en) | Method, Systems and Apparatus for Hybrid Near/Far Virtualization for Enhanced Consumer Surround Sound | |
| JP2009260458A (en) | Sound reproducing device and video image sound viewing/listening system containing the same | |
| CN110996143B (en) | Digital television signal processing method, television, device and storage medium | |
| KR102409376B1 (en) | Display apparatus and control method thereof | |
| WO2017141977A1 (en) | Audio device and control method | |
| JP7004627B2 (en) | Video / audio playback system, video display device and video display method | |
| WO2024037189A1 (en) | Acoustic image calibration method and apparatus | |
| JP2010212898A (en) | Sound signal processing device and television receiving set | |
| US20190182557A1 (en) | Method of presenting media | |
| JP2009246911A (en) | Voice reproduction system, voice processing device, display device, and program thereof | |
| JPWO2007108301A1 (en) | Stereo sound reproduction device and stereo sound reproduction program | |
| US20200154197A1 (en) | Acoustic processor and acoustic output device | |
| JP2010050544A (en) | Video and sound reproducing device | |
| JP6798392B2 (en) | Effect-giving device and effect-giving program | |
| JP2008283318A (en) | Acoustic reproduction device and acoustic reproduction method | |
| JPWO2005086525A1 (en) | Filter circuit and reproducing apparatus using the same | |
| JP6202076B2 (en) | Audio processing device | |
| JP2019016851A (en) | Voice processing apparatus, voice processing method and program | |
| JP4430105B2 (en) | Sound playback device | |
| KR100808201B1 (en) | Method for synchronizing audio/video data | |
| JP6074899B2 (en) | Sound data processing device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201021 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210706 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210817 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20210927 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211014 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211207 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220104 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7004627 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |