JP4380694B2 - コンテンツ再生装置 - Google Patents
コンテンツ再生装置 Download PDFInfo
- Publication number
- JP4380694B2 JP4380694B2 JP2006336248A JP2006336248A JP4380694B2 JP 4380694 B2 JP4380694 B2 JP 4380694B2 JP 2006336248 A JP2006336248 A JP 2006336248A JP 2006336248 A JP2006336248 A JP 2006336248A JP 4380694 B2 JP4380694 B2 JP 4380694B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- video
- data
- audio
- reproduction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Management Or Editing Of Information On Record Carriers (AREA)
- Reverberation, Karaoke And Other Acoustics (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
この発明では、複数パートのオーディオ信号と複数パートの音声時系列データを対応するパートごとに対比し、さらに各種の補助情報に基づいてこれらの対比結果を修正する。複数の対比結果を参照する(例えば結果を平均化する)ことでオーディオ信号に同期した再生クロックを生成する。また、各トラックの対比結果の信頼度を求め、これらの信頼度に基づいて再生クロックを生成してもよい。この再生クロックに基づいて映像時系列データを再生することにより、オーディオ信号に同期した映像(および音声)を再生することができる。なお、オーディオ信号は、この装置を経由して再生用に出力されるようにしてもよく、この装置をバイパスする別の経路で再生されるようにしてもよい。
<<第1実施形態>>
図1はこの発明の第1実施形態であるコンテンツ再生装置の構成図である。このコンテンツ再生装置は、オーディオ入力部(Audio In)1から入力されたオーディオ信号に同期させて映像シーケンスデータ(Display Sequence Data)9を再生出力する装置である。以下の説明では、カラオケ曲の演奏に用いられる曲データを用いて、ライブ演奏の歌詞を表示する場合を例に挙げて説明する。
Trk 1)〜同期制御部3−N(Time Alignment for Trk N)、クロック生成部 (Intelligent Clock Generator)4および遅延部(Delay)5を有している。同期制御部3−1〜3−Nは、それぞれ曲データの各演奏トラック(音声データ8−1〜音声データ8−N)に対応している。同期制御部3−1〜3−Nは、それぞれオーディオ入力部1から入力された各チャンネルのオーディオ信号と曲データ中の各トラックの音声データとを対比し、且つ、補助情報入力部2から入力された補助情報に基づいて対比位置や速度を修正しつつ、前記オーディオ信号と同期した再生位置情報(タイミング情報)およびテンポ情報を生成する。オーディオ信号のチャンネルと曲データのトラックとの対応づけは、それぞれのチャンネル、トラックに付されているパート名で対応づけてもよく、総当たり的に全チャンネルを全トラックと対比して最も類似しているもの同士を対応づけるようにしてもよい。なお、チャンネルとトラックとの対応づけは、必ずしも1対1に限定されるものではなく、1チャンネルを複数トラックに対応づけて対比してもよく、複数チャンネルを同一のチャンネルとそれぞれ個別に対比してもよい。特に、総当たり検索の結果、対応づけが確実でない場合等にこのような対応づけで対比すればよい。
(1)信頼度が最小(0%)を出力した同期制御部の情報は無視する。
(2)最も高い信頼度を出力した同期制御部の情報を採用する。
(3)信頼度に応じて各情報に重み付けをし、各情報の加重平均をとる。
(1)〜(3)の手法を全て用いてもよいし、いずれか1の手法を用いるようにしてもよい。なお、信頼度を用いずに再生クロックを生成することもできる。同期制御部3−1〜3−Nが信頼度を出力していない場合、各情報の単純平均をとればよい。このようにして生成された再生クロックは、映像シーケンサ10に入力される。映像シーケンサ10は、歌詞テロップである映像シーケンスデータ9を、クロック信号にしたがって読み出し、歌詞テロップの映像を再生する。上記のようにクロック信号が、外部から入力されたオーディオ信号すなわちライブ演奏音に同期したものであるため、この映像シーケンサ10によって再生され、映像出力部12から出力される歌詞テロップは、ライブ演奏に同期したものとなる。
図2において、曲データは、同図(A)に示すように、ヘッダ、カラオケ曲を演奏するための楽音トラック、ガイドメロディを発生するためのガイドメロディトラック、歌詞テロップを表示するための歌詞トラック、曲の区切り位置を示すジャンプマークが書き込まれたマークトラック等からなっている。マークトラックには、たとえば、1番、2番、サビ、クライマックス、イントロ、間奏、エンディング等を示すジャンプマークが書き込まれる。
タイミングデータは、各イベントデータ間の時間的間隔を示すデュレーションデータや曲のスタート時刻からの絶対時間を示す絶対時間データなどで構成することができる。
このような場合に、会場の係員がどこにジャンプしたか(またはどこにジャンプしそうかという予測)をジャンプ情報として入力する。ジャンプ位置は、曲データ中のジャンプマークで指定すればよいが、曲データにおける時刻軸の値で指定してもよい。ジャンプマークとしては、上述したように、1番、2番、サビ、クライマックス、イントロ、間奏、エンディングを示すマークがあり、それぞれの曲に応じて曲データにおける時刻軸の値に対応づけて付される。このジャンプマークは、図2に示したように元々曲データに付加されていることが好ましいが、ジャンプマークを持たない曲データについては、ライブ会場の係員が、曲のスタート時に補助情報としてジャンプマークトラックのデータを配信するようにしてもよい。
図4はこの発明の第2実施形態であるコンテンツ再生装置の構成図である。図4において、図1に示した第1の実施形態と同一構成の部分は、同一番号を付して説明を省略する。
図5はこの発明の第3実施形態であるコンテンツ再生装置の構成図である。図5において、図1に示した第1の実施形態と同一構成の部分は、同一番号を付して説明を省略する。
図6はこの発明の第4実施形態であるコンテンツ再生装置の構成図である。図6において、図1に示した第1の実施形態と同一構成の部分は、同一番号を付して説明を省略する。
この映像遅延部25で遅延されたビデオ信号は、映像ミキサ26に入力される。映像ミキサ26には、映像シーケンサ10が再生した映像も入力される。映像ミキサ26は、ビデオ入力部24から入力されたビデオ信号と映像シーケンサ10が再生した映像とを合成する。この映像ミキサ26で合成された映像(ビデオ信号)が映像出力部12から出力される。
図7はこの発明の第5実施形態であるコンテンツ再生装置の構成図である。図7において、図6に示した第4の実施形態と同一構成の部分は、同一番号を付して説明を省略する。
演奏者の動作を認識して、概ねのフレーズや繰り返し,曲の終了等を認識する。
照明の変化(画面の明るさの変化)で、曲のスタートや概ねのビートを認識する。
図8はこの発明の第6実施形態であるコンテンツ再生装置の構成図である。図8において、図6に示した第4の実施形態と同一構成の部分は、同一番号を付して説明を省略する。
再生用の音声データ8AがMIDI等のシーケンスデータの場合、音声再生部21は、シーケンサおよび音源の機能を備える。また、再生用の音声データ8Aがオーディオ波形データの場合には、音声再生部21は、デコーダを備える。
図9はこの発明の第7実施形態であるコンテンツ再生装置の構成図である。図9において、図8に示した第6の実施形態と同一構成の部分は、同一番号を付して説明を省略する。
Info)30を入力し、トラック選択の補助情報として用いる。トラック情報は、曲データの各トラックと関連づけされている。例えば各トラックの担当する楽器名が記載されている。このトラック情報は必須ではないが、トラック選択の補助として用いることができる。
上記第3実施形態は、第1実施形態に外部シーケンスデータ17,外部シーケンサ18等による外部機器制御機能を付加した例を示したが、この外部機器制御機能を第2,4〜7実施形態のどれに設けてもよく、いずれの形態も本発明の技術的範囲内のものである。
また、上記実施形態では、ネットワークや放送を通じてオーディオ信号やビデオ信号が送られてくる例を示したが、オーディオ信号,ビデオ信号および補助情報がDVDやHDD等のメディア,ストレージに記憶されており、これを再生したものをオーディオ信号,ビデオ信号,補助情報として入力する形態で、本コンテンツ再生装置を用いることも可能である。
2 補助情報入力部
3 同期制御部
4 クロック生成部
5 遅延部
6 信号処理部
7 記憶部
8 音声データ
8A (再生用の)音声データ
9 映像シーケンスデータ
10 映像シーケンサ
11 オーディオ出力部
12 映像出力部
14 ビデオデータ
15 ビデオ再生部
17 外部シーケンスデータ
18 外部シーケンサ
19 制御信号出力部
21 音声再生部
22 ミキサ
24 ビデオ入力部
25 映像遅延部
26 映像ミキサ
28 パターン認識部
Claims (17)
- 並列に形成された複数パートの音声時系列データと映像時系列データとを時系列に対応づけて記録したコンテンツデータを記憶するコンテンツデータ記憶部と、
外部から1または複数パートのオーディオ信号を入力するオーディオ信号入力部と、
外部から補助情報を入力する補助情報入力部と、
前記オーディオ信号の各パートと音声時系列データの対応するパートとを対比する対比処理を実行するとともに、前記補助情報に基づいて前記対比処理を修正し、各トラックの対比処理の結果に基づいて前記オーディオ信号に同期した再生クロックを生成するクロック生成部と、
前記クロック生成部が生成した再生クロックに基づいて前記映像時系列データを再生する映像再生部と、
を備えたコンテンツ再生装置。 - 前記クロック生成部は、対比するパートごとに前記対比処理の信頼度を求め、前記対比するパートのうち、最も信頼度の高い1つのパートを用いて再生クロックを生成する請求項1に記載のコンテンツ再生装置。
- 前記クロック生成部は、対比するパートごとに前記対比処理の信頼度を求め、前記対比するパートのうち、信頼度の低い1または複数パートの対比結果を無視し、他のパートの対比結果を平均して再生クロックを生成する請求項1に記載のコンテンツ再生装置。
- 前記クロック生成部は、対比するパートごとに前記対比処理の信頼度を求め、各パートの対比結果をその信頼度に基づいて加重平均することによって再生クロックを生成する請求項1に記載のコンテンツ再生装置。
- 外部からビデオ信号を入力するビデオ信号入力部と、
前記ビデオ信号入力部が入力したビデオ信号と前記映像再生部が再生した映像信号とを合成して出力する映像合成部と、
をさらに備えた請求項1乃至請求項4のいずれかに記載のコンテンツ再生装置。 - 前記ビデオ信号を、前記クロック生成部による再生クロックの生成に要する時間だけ遅延させたのち前記映像合成部に入力するビデオ遅延部を備えた請求項5に記載のコンテンツ再生装置。
- 前記ビデオ信号入力部が入力したビデオ信号から補助情報を抽出して前記クロック生成部に供給する補助情報抽出部と、
をさらに備えた請求項5または請求項6に記載のコンテンツ再生装置。 - 外部から前記オーディオ信号に同期したビデオ信号を入力するビデオ信号入力部と、
前記ビデオ信号入力部が入力したビデオ信号から補助情報を抽出して前記クロック生成部に供給する補助情報抽出部と、
をさらに備えた請求項1乃至請求項4のいずれかに記載のコンテンツ再生装置。 - 前記オーディオ信号入力部から入力されたオーディオ信号を、前記クロック生成部による再生クロックの生成に要する時間だけ遅延させたのち再出力するオーディオ信号出力部を備えた請求項1乃至請求項8のいずれかに記載のコンテンツ再生装置。
- 前記クロック生成部は、さらに、前記補助情報に基づいて、前記映像再生部に対して、前記映像時系列データの再生位置を指示する請求項1乃至請求項9のいずれかに記載のコンテンツ再生装置。
- 前記補助情報入力部は、補助情報として前記オーディオ信号の進行位置情報を入力し、
前記クロック生成部は、前記補助情報に基づいて、前記対比処理における前記音声時系列データの対比位置を修正する請求項1乃至請求項10のいずれかに記載のコンテンツ再生装置。 - 前記補助情報入力部は、補助情報として前記オーディオ信号の進行速度情報を入力し、
前記クロック生成部は、前記補助情報に基づいて、前記対比処理におけるクロック周期を修正する請求項1乃至請求項11のいずれかに記載のコンテンツ再生装置。 - 前記コンテンツデータ記憶部が記憶する前記映像時系列データは、表示すべき映像データとその表示タイミングを示すタイミングデータを含むシーケンスデータであり、
前記映像再生部は、前記シーケンスデータを再生するシーケンス処理部を含む請求項1乃至請求項12のいずれかに記載のコンテンツ再生装置。 - 前記コンテンツデータ記憶部が記憶する前記映像時系列データは、動画映像を含むビデオデータであり、
前記映像再生部は、前記ビデオデータを再生するビデオ再生部を含む請求項1乃至請求項13のいずれかに記載のコンテンツ再生装置。 - 前記コンテンツデータ記憶部は、さらに、外部機器を時系列に制御する機器制御時系列データを記憶し、
前記クロック生成部が生成した再生クロックに基づいて前記機器制御時系列データを読み出して制御信号を出力する外部機器制御部をさらに備えた請求項1乃至請求項14のいずれかに記載のコンテンツ再生装置。 - 前記クロック生成部が生成した再生クロックに基づいて前記音声時系列データを再生する音声再生部をさらに備えた請求項1乃至請求項15のいずれかに記載のコンテンツ再生装置。
- 前記クロック生成部が対比に用いたパート以外のパートを再生すべきパートとして選択して前記音声再生部に指示するトラック選択部をさらに備えた請求項16に記載のコンテンツ再生装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006336248A JP4380694B2 (ja) | 2006-12-13 | 2006-12-13 | コンテンツ再生装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006336248A JP4380694B2 (ja) | 2006-12-13 | 2006-12-13 | コンテンツ再生装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008145977A JP2008145977A (ja) | 2008-06-26 |
JP4380694B2 true JP4380694B2 (ja) | 2009-12-09 |
Family
ID=39606197
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006336248A Expired - Fee Related JP4380694B2 (ja) | 2006-12-13 | 2006-12-13 | コンテンツ再生装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4380694B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5659435B2 (ja) * | 2010-04-24 | 2015-01-28 | 株式会社オリンピア | 遊技機 |
GB2488772A (en) * | 2011-03-05 | 2012-09-12 | Sonocent Ltd | Creating annotated recordings from two devices using audio synchronisation |
JP2015179116A (ja) * | 2014-03-18 | 2015-10-08 | 株式会社エクシング | サーバ装置、カラオケ用通信端末装置、プログラム及びデータ提供方法 |
JP7273856B2 (ja) * | 2018-06-07 | 2023-05-15 | シグニファイ ホールディング ビー ヴィ | 遅延の変動に応じた1つ以上のライト効果の選択 |
JP7481174B2 (ja) | 2020-06-25 | 2024-05-10 | セコム株式会社 | 表示装置 |
-
2006
- 2006-12-13 JP JP2006336248A patent/JP4380694B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2008145977A (ja) | 2008-06-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4380694B2 (ja) | コンテンツ再生装置 | |
JP5151245B2 (ja) | データ再生装置、データ再生方法およびプログラム | |
JP2008225117A (ja) | ピッチ表示制御装置 | |
JP4182750B2 (ja) | カラオケ装置 | |
JP4487209B2 (ja) | カラオケ装置およびカラオケ処理プログラム | |
JP4204941B2 (ja) | カラオケ装置 | |
JP4506750B2 (ja) | コンテンツ再生装置 | |
JP4458096B2 (ja) | データ再生装置、データ再生方法およびプログラム | |
JP2005107328A (ja) | カラオケ装置 | |
JP4561735B2 (ja) | コンテンツ再生装置およびコンテンツ同期再生システム | |
JP5012263B2 (ja) | 演奏クロック生成装置、データ再生装置、演奏クロック生成方法、データ再生方法およびプログラム | |
JP2009031549A (ja) | メロディ表示制御装置及びカラオケ装置 | |
JP4506748B2 (ja) | コンテンツ再生装置 | |
JP4506749B2 (ja) | コンテンツ再生装置 | |
JP4561736B2 (ja) | コンテンツ再生装置 | |
JP4595947B2 (ja) | データ再生装置、データ再生方法およびプログラム | |
JP4595948B2 (ja) | データ再生装置、データ再生方法およびプログラム | |
JP4539647B2 (ja) | コンテンツ再生装置 | |
JP4470947B2 (ja) | データ再生装置、データ再生方法およびプログラム | |
JP2005107332A (ja) | カラオケ装置 | |
JP4586787B2 (ja) | 生演奏カラオケシステム | |
JP2008180794A (ja) | データ再生装置 | |
JP4159961B2 (ja) | カラオケ装置 | |
JP4182898B2 (ja) | カラオケ装置 | |
JP2008197272A (ja) | データ再生装置、データ再生方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090821 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090901 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090914 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121002 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121002 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131002 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |