TWI777529B - 影像舞台表演系統及影像舞台表演之提供方法 - Google Patents
影像舞台表演系統及影像舞台表演之提供方法 Download PDFInfo
- Publication number
- TWI777529B TWI777529B TW110115264A TW110115264A TWI777529B TW I777529 B TWI777529 B TW I777529B TW 110115264 A TW110115264 A TW 110115264A TW 110115264 A TW110115264 A TW 110115264A TW I777529 B TWI777529 B TW I777529B
- Authority
- TW
- Taiwan
- Prior art keywords
- video
- image
- time
- stage performance
- reproduction
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 26
- 230000001360 synchronised effect Effects 0.000 claims abstract description 30
- 238000003860 storage Methods 0.000 claims description 39
- 230000006870 function Effects 0.000 claims description 36
- 230000008859 change Effects 0.000 claims description 26
- 238000006243 chemical reaction Methods 0.000 claims description 19
- 230000005236 sound signal Effects 0.000 claims description 13
- 230000001172 regenerating effect Effects 0.000 claims description 2
- 238000001454 recorded image Methods 0.000 claims 3
- 230000008929 regeneration Effects 0.000 claims 1
- 238000011069 regeneration method Methods 0.000 claims 1
- 230000007246 mechanism Effects 0.000 abstract description 8
- 238000012545 processing Methods 0.000 description 57
- 238000010586 diagram Methods 0.000 description 22
- 230000008569 process Effects 0.000 description 15
- 230000004044 response Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- ZYXYTGQFPZEUFX-UHFFFAOYSA-N benzpyrimoxan Chemical compound O1C(OCCC1)C=1C(=NC=NC=1)OCC1=CC=C(C=C1)C(F)(F)F ZYXYTGQFPZEUFX-UHFFFAOYSA-N 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 238000002360 preparation method Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000007175 bidirectional communication Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/04—Synchronising
- H04N5/06—Generation of synchronising signals
- H04N5/067—Arrangements or circuits at the transmitter end
- H04N5/073—Arrangements or circuits at the transmitter end for mutually locking plural sources of synchronising signals, e.g. studios or relay stations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
- H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Television Signal Processing For Recording (AREA)
- Color Television Image Signal Generators (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
[課題]在影像所致之舞台表演的提供之際,即使所被演奏的樂曲是被分成複數個檔案而被準備的情況下,仍可不需要繁瑣的機制或操作而可容易使其他要素與影像取得同步。
[解決手段]依照表示所有影像是按時間序列而被配置之狀態的時間序列配置資訊,影像與時間資訊是以被建立關連的狀態而被記憶;伴隨影像之再生而被輸出的同步訊號係含有:與再生對象之影像建立關連的時間資訊;所被同步的其他要素,係依照時間序列配置資訊而與時間資訊建立關連而被記憶,藉此,依照同步訊號而被再生的其他要素會與所被再生的前記影像取得同步。
Description
本發明係有關於影像舞台表演系統及影像舞台表演之提供方法。
近年來,將所被創作出來的角色以虛擬偶像的方式加以出售的這件事情,已被進行。如此的虛擬偶像所致之表演,係由於其特性而會透過網際網路所致之串流化配訊或以DVD這類的影像軟體產品等,透過影像而被提供,但也有應用了影像技術的擬似性舞台表演會被提供。
在將影像與聲音所致之舞台表演提供給聽者之際,要使影像與聲音是以所意圖的時序而同步讓聽者感知,這是最大的前提。作為用來使影像與聲音同步的手法已被提出有,對影像資料的聲音訊軌重疊時間碼的手法(例如參照專利文獻1)。
在專利文獻1所揭露的技術中,是將已被重疊有時間碼的聲音訊號與影像進行重合而當作主要內容而加以記錄,同時,與時間碼建立關連的聲音訊號是作為有別於主要內容的其他資料而被記錄。然後,將主要內容的再生之際所被輸出的已被重疊有時間碼的聲音訊號予以解調而生成時間碼,藉由在已被生成之時間碼與聲音訊號所被建立關連的時間碼之間取得同步以將聲音進行再生。
又,作為對多人數之聽眾提供影像之際的影像與其他要素取得同步的手法已被提出有,使用依照影像之每一畫格而被記錄的時間碼的手法(例如參照專利文獻2)。在專利文獻2所揭露的技術中,作為時間碼之例子是揭露使用LTC(Linear Time Code),同時揭露了,在電影院等中令座位的動作對影像進行同步的手法。
[先前技術文獻]
[專利文獻]
[專利文獻1]日本特開2012-114779號公報
[專利文獻2]日本特開2015-514443號公報
[發明所欲解決之課題]
在如此的影像所致之舞台表演的提供時,除了如上述的影像與聲音或其他要素的時序之同步是很重要以外,當日之前的準備階段,尤其是影像或聲音的準備作業,會需要龐大的勞力。而且,關於影像之最終品質,使用會場中所被設置的大型顯示設備所做的測試並非隨時可以進行,於準備階段中會是透過PC(Personal Computer)等之終端的螢幕來做確認。
而且,在正式開演前一天才首次於會場中進行測試的結果,在影像與所意圖的態樣大幅不同的情況下,就變成需要修正影像。此時,假設舞台表演全篇的影像是已經彙整成1個檔案的情況下,就算只有一部分的修正,仍需要將現場演出全篇的影像重新輸出成為再生用的檔案。此時,若為使用到CG(Computer Graphics)的影像,則由於需要CG的算圖處理,因此會需要龐大的時間。尤其是,若是在正式開演前一天的時間點上,則由於時間上沒有餘裕而會有無法修正的情況。
因此,所要演奏的樂曲之影像係分別以檔案的方式按照樂曲別而被準備,至少按照數曲而被分開準備,較為理想。藉此,即使在如上述般地發生需要修正的情況下,仍只需要一部分之修正就可只將包含該部分的檔案予以輸出,就能達成目的。
如此的情況下,接下來會造成問題的就是,必須對影像同步進行再生的聲音或其他要素的操作。若是像先前那樣把現場演出全篇之影像彙整成1個檔案的情況下,則關於要同步於影像的聲音或其他要素也是沿著1個時間線而構成,因此在再生中只要不發生同步偏誤則所有的要素都會以被同步的狀態而被輸出。
另一方面,在如上述般地各個樂曲之影像是以不同檔案的方式而被準備的情況下、或以每數曲而被彙整之檔案的方式而被準備的情況下,則為了確保影像與其他要素的同步,就必須要有特別的機制。例如,對各個影像檔案以1對1方式而準備了聲音或其他要素的情況下,為了在檔案間使其對應而做同步再生所需之繁瑣的機制或手動操作,就變成必須。
本發明係為了對應上述的課題而研發,目的在於,在影像所致之舞台表演的提供之際,即使所被再生的影像是被分成複數個檔案而被準備的情況下,仍不需要繁瑣的機制或操作而可容易使其他要素與影像取得同步。
[用以解決課題之手段]
為了解決上記課題,本發明的一態樣係為,一種藉由在會場內再生影像而對聽眾提供舞台表演的影像舞台表演系統,其特徵為,含有:影像檔案記憶媒體,係將於舞台表演中所被再生之影像被分割成複數個影像檔案而加以記憶;和影像再生部,係將前記影像檔案記憶媒體中所被記憶之複數個影像檔案以所定之順序進行再生,並且將影像之再生所相應之同步訊號予以輸出;和同步要素再生部,係將要與被前記影像再生部所再生之影像取得同步的其他要素,依照前記同步訊號進行再生;前記影像檔案記憶媒體,係以影像與時間資訊是依照時間序列配置資訊而被建立關連的狀態,而將前記影像檔案加以記憶,其中,該時間序列配置資訊係表示,前記所有影像是按時間序列而被配置之狀態;前記影像再生部所輸出的同步訊號係含有:與正被再生之影像所建立關連的前記時間資訊;前記同步要素再生部,係依照前記時間序列配置資訊而將前記其他要素與時間資訊建立關連而記憶,藉此,依照前記同步訊號而被再生的其他要素,係與被前記影像再生部所再生之影像取得同步。
[發明效果]
若依據本發明,則在影像所致之舞台表演的提供之際,即使所被再生的影像是被分成複數個檔案而被準備的情況下,仍可不需要繁瑣的機制或操作而可容易使其他要素與影像取得同步。
以下,參照圖式而詳細說明本發明的實施形態。於本實施形態中是說明,用來提供影像所致之舞台表演所需之系統及所被使用之資料的資料結構或其操作機制。
圖1係為本實施形態所述之影像舞台表演系統1的全體構成的圖示。如圖1所示,本實施形態所述之影像舞台表演系統1係含有:編輯軟體終端100、影像檔案記憶媒體110a、110b(以下總稱為影像檔案記憶媒體110)、控制伺服器200、控制盒300、同步系統400a、400b(以下總稱為同步系統400)、影像切換器500、顯示裝置510、聲音切換器600、PA(Public Address)系統610、揚聲器611、現場樂團用耳返612、影像切換器700、顯示裝置710。又,同步系統400a、400b係分別含有:影像播放器401、fps(frames per second)轉換器402、LTC(Linear Time Code)轉換器403、DAW(Digital Audio Workstation)終端410及背景影像終端420。
編輯軟體終端100,係為用來製作、編輯要在舞台表演上進行再生所需之影像所需之終端,是藉由已被安裝有專用之軟體的PC(Personal Computer)而加以實現。又,編輯軟體終端100係具有:透過控制伺服器200來操作同步系統400中所含之影像播放器401的功能。編輯軟體終端100係透過網路A而與控制伺服器200被連接成可通訊。
又,編輯軟體終端100,係將已製作/編輯的影像檔案予以寫出,儲存至影像檔案記憶媒體110。影像檔案記憶媒體110係被***至影像播放器401。藉此,已被儲存的影像檔案就可被影像播放器401進行再生。
網路A係為LAN(Local Area Network)等之可雙向通訊的網路線路。控制伺服器200係為,具有用來控制同步系統400中所含之影像播放器401所需之功能的伺服器。控制盒300係為,在舞台表演之會場中用來簡易操作影像播放器401所需之操作部,是透過專用的I/F而與控制伺服器200連接。
控制伺服器200係隨應於從編輯軟體終端100或控制盒300所被輸入的控制訊號而控制同步系統400中所含之影像播放器401所致之影像之再生。亦即,控制伺服器200是成為影像再生控制部而發揮功能。如圖所示,本實施形態所述之同步系統400是以主要系統與備援系統的方式而被二重化,控制伺服器200係對雙方同時發送控制訊號。
同步系統400係為,提供將影像檔案記憶媒體110中所被儲存之影像檔案進行再生,並且,與影像取得同步而將聲音或背景影像等進行再生之功能的系統。影像播放器401係為,將影像檔案記憶媒體110中所被儲存之影像檔案進行再生,並將影像訊號對影像切換器500進行輸出的影像再生部。
影像切換器500,係原則上是將從身為主要系統的同步系統400a的影像播放器401所被輸入的影像訊號加以選擇而對顯示裝置510進行輸出,但在從影像播放器401所被輸入的影像訊號發生中斷的情況下,就會自動切換成從身為子系統的同步系統400b的影像播放器401所被輸入的影像訊號之選擇。顯示裝置510係為,於舞台表演之會場中將用來讓聽眾觀覽所需之影像進行顯示的顯示裝置,是藉由大型的顯示器或投影機等來加以實現。
又,影像播放器401係透過影像切換器500而將用來對顯示裝置510所顯示的影像使得聲音或背景影像等取得同步所需之同步訊號,對fps轉換器402進行輸出。fps轉換器402,係將從影像播放器401所被輸入的同步訊號之fps,轉換成對應於後段的機器也就是LTC轉換器403所對應的fps然後輸出。作為fps轉換器402係可使用例如Blackmagic Design公司的Teranex Express。
LTC轉換器403,係將從fps轉換器402所被輸入的同步訊號,轉換成一般的時間碼也就是LTC訊號,然後輸出至DAW終端410或背景影像終端420。作為LTC轉換器403係可使用例如Blackmagic Design公司的Teranex Mini Audio to SDI 12G。
DAW終端410係由被安裝有DAW之軟體的PC所構成。DAW終端410,係與從LTC轉換器403所被輸入的LTC訊號取得同步而藉由DAW之功能以將聲音訊號進行輸出。DAW終端410所輸出的聲音訊號,係同步系統400a、400b都一併被輸入至聲音切換器600。
背景影像終端420,係為具有將背景影像進行再生之功能的終端,是藉由被安裝有專用之軟體的PC來加以實現。背景影像終端420,係與從LTC轉換器403所被輸入的LTC訊號取得同步而藉由已被安裝之軟體的功能以將背景影像之影像訊號進行輸出。背景影像終端420所輸出的影像訊號,係同步系統400a、400b都一併被輸入至影像切換器700。
聲音切換器600,係原則上是將從身為主要系統的同步系統400a的DAW終端410所被輸入的聲音訊號加以選擇而對PA系統610進行輸出,但於DAW終端410中只要DAW正常動作就會一直被發送的訊號若發生中斷的情況下,就會自動切換成從身為子系統的同步系統400b的DAW終端410所被輸入的聲音訊號之選擇。
PA系統610係為,含有對揚聲器611或現場樂團用耳返612等之聲音系統分配聲音訊號的混音器等之音響機器的系統。揚聲器611係將用來讓舞台表演之會場中聽眾聆聽所需之聲音,予以輸出。現場樂團用耳返612,係於舞台表演中實際演湊樂器的演奏者所穿戴,係將用來讓演奏者取得節湊所需之聲音,予以輸出。
影像切換器700,係原則上是將從身為主要系統的同步系統400a的背景影像終端420所被輸入的影像訊號加以選擇而對顯示裝置710進行輸出,但在從背景影像終端420所被輸入的影像訊號發生中斷的情況下,就會自動切換成從身為子系統的同步系統400b的背景影像終端420所被輸入的影像訊號之選擇。
顯示裝置710係為,舞台表演之會場中對顯示裝置510所顯示的影像而將身為背景影像的影像用來讓聽眾觀覽所需之影像予以顯示的顯示裝置,是藉由大型的顯示器或投影機等來加以實現。使得藉由顯示裝置510而被顯示的影像與揚聲器611所輸出的聲音或顯示裝置710中所被顯示的背景影像取得同步,這是同步系統400的主要功能。
此外,DAW終端410或背景影像終端420,係如上述是與從LTC轉換器403所被輸入的LTC訊號取得同步而將聲音或背景影像進行再生並輸出,但其時序係隨應於揚聲器611、現場樂團用耳返612、顯示裝置710之輸出而以手動進行調整。亦即,DAW終端410或背景影像終端420,係可以對於從LTC轉換器403所被輸入的LTC訊號的同步作為基礎,依照藉由操作員以手動所被設定的延遲或是提前之設定值而將聲音或背景影像進行再生並輸出。藉此,就可隨著提供影像舞台表演的每個會場的訊號傳達環境之差異而做對應。
圖2係為本實施形態所述之系統中所含之編輯軟體終端100、控制伺服器200、DAW終端410、背景影像終端420等之資訊機器的硬體構成的圖示。這些資訊機器係可藉由一般的資訊處理機器的硬體構成來加以實現,如圖2所示,CPU(Central Processing Unit)10、RAM (Random Access Memory)20、ROM(Read Only Memory) 30、HDD(Hard Disk Drive)40及I/F50是透過匯流排80而被連接。又,I/F50上係被連接有LCD(Liquid Crystal Display)60及操作部70。
CPU10係為演算手段,係控制資訊機器全體的動作。RAM20係為可高度讀寫資訊的揮發性之記憶媒體,是作為CPU10處理資訊之際的作業領域而被使用。ROM30係為唯讀的非揮發性記憶媒體,儲存有韌體等之程式。HDD40係為可讀寫資訊的非揮發性之記憶媒體,儲存有OS(Operating System)或各種控制程式、應用程式等。
I/F50係將匯流排80與各種硬體或網路等進行連接並控制。LCD60係為用來讓使用者確認資訊機器之狀態所需之視覺性使用者介面。操作部70係為鍵盤、滑鼠、各種的實體按鈕、觸控面板等,是用來讓使用者對資訊機器輸入資訊所需之使用者介面。此外,控制伺服器200係由於是作為伺服器而被運用,因此可以省略LCD60或操作部70等之使用者介面。
於如此的硬體構成中,ROM30或HDD40或是未圖示的光碟等之記憶媒體中所被儲存之程式是被讀出至RAM20中,藉由CPU10依照這些程式進行演算,而構成了軟體控制部。藉由如此所被構成的軟體控制部、與硬體之組合,就構成了將本實施形態所述之影像舞台表演系統加以構成的各機器的功能的實現所需之功能區塊。
於如此的系統中,本實施形態所述之要旨,係以使得同步系統400所致之影像與聲音其他要素取得同步而進行再生的功能為前提,係為使得於舞台表演中所被再生之影像或聲音之作為素材的資料的操作變得容易所需之構成。
如上述,影像所致之舞台表演的提供之際,係使藉由影像播放器401而被再生的影像、與藉由DAW終端410而被再生的聲音或藉由背景影像終端420而被再生的背景影像取得同步而提供給聽眾。如此的構成,主要是由於影像與聲音或背景影像是被各別準備,所以為必須。又,隨著會場而PA系統610或揚聲器611之構成上存在有差異而導致訊號的延遲態樣有所不同,因此需要個別的延遲控制,如此的構成係為合適。
於如此的構成中,想當然爾,影像是藉由影像播放器401,聲音是藉由DAW終端410,背景影像是藉由背景影像終端420,而被分別再生。因此,管理影像舞台表演的操作員,必須將身為影像、聲音、背景影像之各者的素材的資料予以個別地管理,於舞台表演的當日必須個別地進行再生操作,導致操作會變得非常地繁瑣。
相對於此,於本實施形態所述之系統中,藉由影像播放器401而被再生的影像在編輯軟體終端100中使用專用的軟體而被製作之際,於舞台表演中所被演奏的全樂曲都是依照設置清單而按時間序列配置而被製作。然後,該軟體中的表示樂曲的時間序列之配置狀態的資訊,是作為時間序列配置資訊而亦與聲音或背景影像等之需要同步之其他要素的製作者做共享。
於DAW終端410或背景影像終端420中,係依照上述的時間序列配置資訊而使時間碼被對合以製作/編輯聲音或背景影像。藉此,DAW終端410的聲音或背景影像終端420的背景影像之時間碼,就會被記憶在影像檔案記憶媒體110中而與藉由影像播放器401而被再生的影像檔案之時間碼相對應。
因此,於舞台表演的當日,於影像播放器401中,可將影像檔案記憶媒體110中所被記憶之影像檔案依照設置清單之順序而進行再生,只要將表示與該再生時序所相應之時間碼的同步訊號,輸入至DAW終端410或背景影像終端420,則於DAW終端410或背景影像終端420中,就會再生出時間碼為對應的聲音或背景影像。因此,操作員就不需要管理所被再生之檔案之對應關係的這類繁瑣的操作,可使素材的操作變得容易。
圖3係為編輯軟體終端100中所被安裝之影像編輯用軟體的GUI(Graphical User Interface)的圖示。於圖3中,影像訊軌是以“TRACK01”,聲音訊軌是以“TRACK02”而被圖示,如“01:00:00”~“01:06:00”所示,左右方向係為時間序列。
在影像訊軌之中有被配置素材的期間是以斜線表示。此外,從編輯時的便利性之觀點來看在圖3中如“TRACK02”所示般地亦包含有聲音訊軌,但該聲音並非實際於舞台表演中所被再生之聲音,而是編輯時的確認用之聲音。
於圖3中,作為例子而只有“TRACK01”是作為影像訊軌而被圖示,但亦可為,有複數個影像訊軌被重疊顯示的態樣。影像所致之舞台表演中,主要是使用CG的角色之影像,但除此以外,若還有手繪的動畫影像或已被拍攝的實攝影像等可被視覺性顯示的影像,則可同樣地適用。
然而,本發明的宗旨之1在於,關於影像所致之於舞台表演中所被再生之影像,將舞台全篇之影像不是用1個檔案而是分割成複數個檔案,理想來說是按照設置清單的每一樂曲而分成個別的檔案。藉此,在影像發生重做之際,不需將舞台全篇之影像重新記憶至影像檔案記憶媒體110,只需將包含發生重做部分之影像重新記憶至影像檔案記憶媒體110即可。
如此的效果,係在影像檔案對影像檔案記憶媒體110之記憶所需要的時間為長的情況下,可被最大化。此種情況係為例如,於舞台表演中所被再生之影像是CG,影像檔案對影像檔案記憶媒體110的記憶之際,需要CG之算圖處理的情況。
又,於圖3中,如“01:00:00”~“01:06:00”所示,時間序列是從“01:00:00”開始。這是依照影像製作業界的慣例而為的態樣,但就獲得本件專利之效果來說,就算從“00:00:00”開始也不會有問題。
如圖3所示,在表示1曲之結束時序的時序t01ED
、與表示下一曲之開始時序的t02OP
之間,係設有無音期間T01-02
。該無音期間T01-02
,係不是實際的舞台表演中的曲間,而是帶有較其更長的餘裕而被設置。是以利用該無音期間T01-02
的方式,來調整實際的舞台表演中的曲間。細節將於後述。
於圖3中以斜線表示的表示樂曲之配置期間的資訊,是作為上述的時間序列配置資訊而被使用。圖4係為本實施形態所述之時間序列配置資訊的資料結構的圖示。如圖4所示,本實施形態所述之時間序列配置資訊係含有:“設置清單No”、“開始時序”、“內容ID”、“內容長度”之資訊。
“設置清單No”,係為表示舞台表演中的樂曲之順序的值。“開始時序”,係表示於時間序列中各個樂曲之開始時序的值。“內容ID”,係為用來特定各個樂曲的資訊,係會使用對DAW終端410或背景影像終端420的操作員連同時間序列配置資訊而一併被提供的樣本資料之檔名或曲名等。
“內容長度”,係為表示各個樂曲之長度的值,係為表示圖3所示的斜線範圍的從左端到右端為止之期間的值。此外,如圖4所示,“開始時序”或“內容長度”等的時間,係為表示時序的資訊也就是時間碼,是如“01:00:0* **/60”所示,表示時分秒與畫格數之形式的資訊。該形式,係就隨應於影像的畫格速率,而以畫格單位來表示時間序列之影像或聲音而言,是有效果的。
本實施形態所述之編輯軟體終端100,係以60fps之畫格速率來製作/編輯影像。因此,以“01:00:0* **/60”之形式而被表示的時間資訊的“**/60”的分子的部分,係取0~59之值,一旦到了60就會變回0而秒數會增加1。換言之,“**/60”之部分係為,將1秒之間的時序依照畫格速率而加以表示的值。
由於含有如此的資訊,因此藉由將時間序列配置資訊做共享,就可把如圖3的GUI所示的藉由編輯軟體終端100之軟體所被製作的影像之時間碼,與其他操作員做共享。其結果為,對於藉由影像播放器401將影像檔案記憶媒體110中所被記憶之影像檔案進行再生而被平行輸出的時間碼,可使得DAW終端410或背景影像終端420中所被再生的聲音或影像之時間碼,能夠對應之。
此外,如上述,圖3所示的無音期間T01-02
,並非實際的舞台表演中的曲間。因此,將藉由編輯軟體所編輯過的影像以影像檔案方式進行寫出,並儲存至影像檔案記憶媒體110之際,必須按照設置清單中所含之每一樂曲而指定所寫出的期間。圖5係為用來指定如此期間所需之影像寫出指定資訊之例子的圖示。
如圖5所示,本實施形態所述之影像寫出指定資訊係含有:“設置清單No”、“開始時序”、“指定長度”之資訊。“設置清單No”係為和圖4中所說明的“設置清單No”相同的值。“開始時序”,係為指定各個設置清單No所對應之樂曲進行寫出的期間之開始時序的值,是對應於圖3所示的時間序列。“內容長度”,係為表示將各個設置清單No所對應之樂曲進行寫出的期間之長度的值,是與“開始時序”同樣地對應於圖3所示的時間序列。
圖6係為如圖5所示的影像寫出指定資訊所致之寫出期間之指定的概念性圖示。如圖3中所說明,Setn
之尾端tnED
與下一曲之開端tn+1OP
之期間,係為編輯軟體上的空間期間Tn-n+1
。對此,於圖5中所說明的寫出指定資訊中,Setn+1
之“開始時序”係被指定成,較下一曲之開端tn+1OP
還早了期間T’n-n+1
的t’n+1OP
。藉此,Setn+1
之樂曲,係作為在影像或聲音實際開始的時序也就是tn+1OP
之前包含期間T’n-n+1
部分之期間的影像檔案,而被寫出。
如此一來,編輯軟體終端100,係將於上述的時間序列配置資訊之時間序列中以“開始時序”所被指定之時序到以“指定長度”所被指定之期間的影像,當作設置清單中所含之各樂曲之影像檔案而進行寫出。此時,編輯軟體終端100,係在按照檔名順序而自動連續進行再生的情況下,則是以使得各影像檔案會按照設置清單之順序而被再生的方式,來賦予檔名。
其結果為,如圖7所示,在影像檔案記憶媒體110中,影像檔案會以依照設置清單之檔名,而被寫出。如此,一旦影像檔案記憶媒體110中所被儲存之影像檔案,藉由影像播放器401而依照檔名之順序而被再生,則如圖8所示般地,關於圖6所示的Setn
之樂曲與Setn+1
之樂曲,期間T’n-n+1
就會是實際的曲間。亦即,於寫出指定資訊中,藉由調整期間T’n-n+1
,就可調整舞台表演當日的曲間。
圖9係為影像檔案記憶媒體110中所被儲存之影像檔案的資料結構的圖示。影像檔案記憶媒體110中所被儲存之影像檔案,係依照所定之畫格速率而按時間序列地含有“影像”、“聲音”及“時間碼”。如上述,本實施形態所述之畫格速率係為60fps。此外,如上述,影像檔案記憶媒體110中所被儲存的影像檔案中所含之“聲音”,並非在實際的舞台表演上提供給聽眾的,而是在確認影像之際的暫時性之資料。於圖9的例子中,“時間碼”是作為與影像建立關連的時間資訊而被使用。
接著,針對控制伺服器200的功能,參照圖10來加以說明。如圖10所示,控制伺服器200係含有控制部210、網路I/F220及專用I/F230。又,控制部210係含有控制應用程式211及網路控制部212。
網路I/F220,係為讓控制伺服器200透過網路而與其他機器進行通訊所需之介面,是使用Ethernet(註冊商標)等之介面。專用I/F230係為用來讓控制伺服器200與控制盒300或影像播放器401進行訊號交換所需之專用的介面。
控制應用程式211,係透過專用I/F230而受理來自控制盒300的控制訊號。又,控制應用程式211,係透過專用I/F230而向影像播放器401發送控制訊號。於圖10中,控制盒300及影像播放器401是被連接至單一之專用I/F230而圖示,但也會有各自被連接至個別之專用I/F的情況。
控制部210係藉由軟體與硬體之組合而被構成,實現控制伺服器200的主要功能。控制應用程式211,係為提供控制伺服器200之主要功能的構成,係控制影像播放器401。
例如,操作員在操作控制盒300以操作影像播放器401的情況下,控制盒300係將操作員之操作所相應之操作訊號,透過專用I/F230而發送至控制應用程式211。控制應用程式211,係隨應於從控制盒300所接收到的操作訊號,而將用來使影像播放器401動作所需之控制訊號,透過專用I/F230而發送至影像播放器401。
又,本實施形態所述之編輯軟體終端100,係除了將用來儲存至影像檔案記憶媒體110所需之影像檔案進行編輯、製作的功能以外,還具有透過編輯軟體之GUI來操作影像播放器401的功能。控制應用程式211係為此而具有仲介控制訊號的功能。
例如,在圖3所說明的編輯軟體終端100的編輯軟體之GUI中,時間線上已被指定之時序上的畫格的影像或聲音之波形,係被顯示於GUI上。藉此,操作員係可容易地確認任意時序上的影像。亦即,編輯軟體終端100是成為影像配置控制部而發揮功能。
如此任意時序已被指定之狀態下一旦影像播放器401上的再生被指示,則編輯軟體終端100係透過網路A而對控制伺服器200發送控制訊號。此時,編輯軟體終端100所發送的控制訊號中,除了含有表示命令影像播放器401上的再生的識別元,還含有表示所被指定之時序的時間碼。該時間碼係對應於圖9中所說明的時間碼。
在控制伺服器200中,係透過網路I/F220、網路控制部212,控制應用程式211係將從編輯軟體終端100所被發送之控制訊號,予以接收。控制應用程式211,係基於控制訊號中所含之識別元而解譯成這是要送往影像播放器401之再生命令,連同上述的時間碼而將再生命令一併透過專用I/F230而發送至影像播放器401。
於影像播放器401中,係基於從控制伺服器200所接收到的控制訊號,首先以所被指定之時間碼作為檢索鍵而將影像檔案記憶媒體110中所被記憶之影像檔案進行檢索。如圖4等所說明,影像檔案記憶媒體110中所被記憶之影像檔案中所含之時間碼,係為全樂曲是按時間序列而被排列之狀態的時間碼。
因此,於編輯軟體終端100中所被選擇的任意之時序的時間碼,係只對應於影像檔案記憶媒體110中所被記憶之複數個影像檔案之中的某1個。影像播放器401,作為該檢索之結果是將含有檢索鍵之時間碼的影像檔案予以抽出,從已被指定之時間碼之時序起,將影像檔案進行再生。
藉由如此的構成,透過編輯軟體終端100就可視覺性地確認各樂曲的時序,可於任意的時序上,令影像播放器401再生樂曲。如此的構成,係例如在舞台表演之彩排等中,係為有效。於彩排中,除了有跑完全樂曲而進行測試的情況之外,也還會有只需要對特定樂曲的任意時序進行測試的情況。在如此的情況下,藉由如此的構成就可有效率地進行彩排。
又,透過如此的控制伺服器200之構成,係因應影像播放器401的介面之限制而被採用。像是影像播放器401而動作的機器,在從外部進行控制的情況下,會使用被設在影像播放器401中的外部控制用之介面。
然而,外部控制用之I/F係只支援1對1之連接,像是本實施形態般地能夠直接受理來自控制盒300及編輯軟體終端100雙方之控制的構成,通常都沒有支援。藉由將控制伺服器200與影像播放器401做連接,讓控制伺服器200受理來自複數個機器之命令,就可避免此種限制。
如此一來,影像播放器401係將影像檔案記憶媒體110中所被儲存之影像檔案,基於來自控制伺服器200之控制訊號而進行再生,並將影像訊號輸出至影像切換器500。影像播放器401所致之影像訊號之輸出,係可使用例如HDMI(High-Definition Multimedia Interface)訊號等之一般的影像訊號。
又,影像播放器401,係與因為影像檔案的再生而對影像切換器500所輸出的影像訊號平行地,將作為現在影像訊號而被輸出的畫格所對應之時間碼,當作同步訊號而對fps轉換器402進行輸出。影像畫格與時間碼的對應關係是如同圖9中所說明。
此外,影像播放器401所致之同步訊號對fps轉換器402之輸出,係除了只將時間碼予以抽出而輸出的態樣以外,亦可為,單純將影像訊號對影像切換器500與fps轉換器402之二系統平行地進行輸出的態樣。如此的態樣,係只有在例如影像播放器401是具備二系統的HDMI輸出下,才可實現。
fps轉換器402,係將從影像播放器401所被輸出的同步訊號的畫格速率,轉換成後段的機器所對應的形式而輸出至LTC轉換器403。如上述,本實施形態所述之影像檔案的畫格速率係為60fps,fps轉換器402係將其轉換成30fps。
圖10係為,將圖9所示的影像檔案之畫格速率轉換成30fps之結果之例子的圖示。如圖10所示,藉由fps轉換器將60fps轉換成30fps,影像畫格係為每2畫格就被抽略1畫格。又,“時間碼”係為時分秒以下但以“**/60”之形式而被表示者,是被轉換成“**/30”之形式。
如圖10所示,即使在同步訊號之畫格速率已被轉換後,各個畫格中的時間碼於1秒之間所表示的時序,係在轉換前與轉換後仍為相同。因此,各個影像畫格所對應之正確的時間碼會被傳達給後段的機器,藉由DAW終端410而被再生的聲音或藉由背景影像終端420而被再生的背景影像,就會依照同步訊號而與藉由影像播放器401而被再生的影像取得同步。
fps轉換器402的宗旨雖然是將同步訊號之畫格速率進行轉換,但如上述,於本實施形態中被供給至fps轉換器402的訊號,係為HDMI訊號等之影像訊號。因此,本實施形態所述之fps轉換器402係只要是單純具有將所被供給之影像訊號之畫格速率進行轉換之功能的機器即可。藉由如此的構成,就可藉由既存之機器的功能,來實現本實施形態所述之構成。
LTC轉換器403係基於從fps轉換器402所被輸入的畫格速率轉換後的同步訊號,而生成LTC訊號,並輸出至DAW終端410或背景影像終端420。將以時間碼為內容的同步訊號轉換成LTC訊號的處理,是藉由使用既存之處理即可容易實現,但於本實施形態中則是如上述般地,使用既存產品之功能來加以實現。
接著,關於DAW終端410的功能,參照圖12來加以說明。如圖12所示,本實施形態所述之DAW終端410,係除了圖2中所說明的LCD60、操作部70以外,還含有控制部411、聲音I/F412及LTC I/F413。又,控制部411係含有:操作控制部414、顯示控制部415、DAW應用程式416、聲音I/F控制部417及LTC處理部418。
聲音I/F412係為,DAW終端410藉由DAW應用程式416之功能而將聲音進行再生之際,用來將聲音訊號予以輸出的硬體。作為聲音I/F412係可使用RCA纜線、迷你纜線、麥克風纜線、XLR纜線等所對應之端子的一般的聲音介面。
LTC I/F413係為具備,用來將從LTC轉換器403所被輸入的LTC訊號予以接收所需之端子的硬體。作為LTC I/F412係可使用具備有D-sub端子或同軸端子、XLR纜線等,於LTC訊號中所被使用的一般的端子的介面。
控制部411,係藉由軟體與硬體之組合而被構成,係為控制DAW終端410全體的控制部。操作控制部414,係將使用者對操作部70所做的操作內容之訊號加以取得,並傳達給DAW應用程式416等的DAW終端410中所動作的軟體模組。顯示控制部415,係令DAW終端410的OS或DAW應用程式416等,於DAW終端410中動作之軟體的GUI(Graphical User Interface),被顯示於LCD60。
DAW應用程式416,係為關於聲音而提供各種功能的軟體,於本實施形態中,除了於舞台表演中提供給聽眾的聲音以外,還會進行各種聲音的再生處理。尤其是,本實施形態所述之DAW應用程式416,係與從LTC處理部418所被輸入的MTC(MIDI Time Code)取得同步而將聲音進行再生。藉此,與影像播放器401中所被再生之影像取得同步而藉由DAW終端410將聲音進行再生,就可對舞台表演的聽眾,使影像與聲音取得同步而做提供。
聲音I/F控制部417,係隨應於DAW應用程式416所做的聲音的再生處理,而控制聲音I/F412使其輸出聲音訊號。聲音I/F控制部417,係以用來控制被構成為輸出聲音訊號之硬體的聲音I/F所需之驅動軟體的方式,而被構成。
LTC處理部418,係將從LTC轉換器403被輸入至LTC I/F413的LTC訊號加以取得,並轉換成用來向DAW應用程式416傳達同步時序所需之訊號也就是MTC訊號。又,本實施形態所述之LTC處理部418係含有,在所被輸入的LTC訊號中混入雜訊等的情況等,訊號發生非意圖之變化的情況下,用來忽視其影響所需之功能。關於如此的功能,參照圖13、圖14來加以說明。
圖13係為LTC處理部418在動作之際所暫時記憶之資訊的圖示。本實施形態所述之LTC處理部418,係在處理之際會使用“fps設定值”、“輸出值”、“轉換值”之資訊。“fps設定值”,係為LTC處理部418動作之際的畫格速率所被預先設定的值,是對應於已被fps轉換器402所轉換後的畫格速率。如上述,本實施形態所述之“fps設定值”係為「30fps」。
“輸出值”,係為LTC處理部418對DAW應用程式416所輸出的MTC之值。“輸出值”,係除了作為對DAW應用程式416的MTC之輸出值而被使用以外,在LTC處理部418進行處理之中在確認前畫格的MTC之輸出值之際,也會被使用。
“轉換值”係為,LTC處理部418將透過LTC I/F413所接收到的LTC轉換成MTC的轉換結果之值。“轉換值”,係除了作為從LTC所被轉換後的MTC之記憶值而被使用以外,在LTC處理部418進行處理之中在確認前畫格的MTC之轉換值之際,也會被使用。圖13所示的各資訊係被記憶在,RAM20內所被確保的記憶領域中。
圖14係為本實施形態所述之LTC處理部418之動作的流程圖。如圖13所示,LTC處理部418,係將被輸入至LTC I/F413的LTC訊號予以接收,並將該訊號轉換成MTC(S1401)。然後,LTC處理部418,係參照圖13中所說明的作為“輸出值”而被儲存的前畫格之MTC輸出值,確認於S1401中所得之轉換值是否表示前次輸出值的下一畫格(S1402)。
如圖4等中所說明,本實施形態所述之時間碼係為時分秒+畫格數之形式。因此,作為S1402之處理,可以直接進行畫格是否正在按時間序列而前進之確認。
另一方面,例如在時間碼是到小數點以下之位數而以秒數而被表示之形式的情況下,LTC處理部418,作為S1402之處理,是基於“fps設定值”而求出1畫格份之想定的變化值,基於該值與前次輸出值而算出所被想定之時間碼並與轉換值進行比較,以進行S1402之判斷。
此處所想定之變化值,係為相當於“fps設定值”之1畫格份的秒數。此情況下,S1402中的判斷並不一定要嚴謹判定為完全一致,只要容許某種程度之誤差而判斷是否落在想定之範圍內即可。無論如何,S1402之處理,係只要偵測所被輸入之LTC訊號是否發生了與連續的時間序列之變化不同之變化即可,可隨應於時間碼之資訊形式而被適宜執行。
此外,如圖11中所說明,本實施形態所述之LTC處理部418中所被輸入的LTC訊號,係從60fps被轉換成30fps,結果變成時分秒+畫格數之形式,畫格數的部分係為“**/30”之形式。因此,在本實施形態所述之S1402中,LTC處理部418係判斷,畫格數的分子的部分是否為前次輸出值+1。
該判斷之結果,在MTC之值是表示前次的下一畫格的情況下(S1402/YES),則LTC處理部418,係將用來判定曲間的時間碼之跳過所需之曲間判定計數器予以重置(S1403),將藉由S1401之轉換處理所得到的MTC當作“轉換值”、“輸出值”而加以記憶,並且將“輸出值”通知給DAW應用程式416(S1404),重複S1401起之處理。
另一方面,在MTC之值並非表示前次的下一畫格的情況下(S1402/NO),則接下來,LTC處理部418,係參照圖13中所說明的作為“轉換值”而被儲存的前畫格的MTC轉換值,確認S1401中所得到的轉換值是否表示前次轉換值的下一畫格(S1405)。S1405之處理,係將與S1402之處理相同的處理,藉由進行與前次轉換值之比較而為之,隨應於時間碼之形式而被適宜執行,這點也是同樣如此。
其判斷之結果,若MTC之值是表示了前次轉換值的下一畫格的情況下(S1405/YES),則LTC處理部418係將曲間判定計數器予以增值(S1406)。LTC處理部418,係一旦將曲間判定計數器之值予以增值,就將該值與預先決定的閾值,進行比較(S1407)。
其結果為,在曲間判定計數器之值是未滿閾值的情況下(S1407/YES),LTC處理部418係判定為,於S1402中所被判定出來的MTC的想定外之變化,仍只是暫時性非意圖的變化而已。然後,LTC處理部418,係將藉由S1401之轉換處理所得到的MTC當作“轉換值”而加以記憶,同時,將前畫格的MTC的作為“輸出值”而被記憶的值的表示其下一畫格之值,當作新的“輸出值”而加以記憶,將該“輸出值”通知給DAW應用程式416(S1408),重複S1401起之處理。
另一方面,在曲間判定計數器之值為閾值以上的情況下(S1407/NO),LTC處理部418係判定為,於S1402中所被判定出來的MTC的想定外之變化,係為曲間所致之正當的變化,而將曲間判定計數器予以重置(S1403)之後,進行S1404之處理,重複S1401起之處理。
又,S1405中的判定之結果,MTC之值並非表示前次轉換值的下一畫格之值的情況下(S1405/NO),LTC處理部418係判斷為LTC訊號是不規則的變化而將曲間判定計數器予以重置(S1409),進行S1408之處理然後重複S1401起之處理。
LTC處理部418,係將圖14所示的處理,以“fps設定值”中所被設定的畫格速率,重複進行。於本實施形態中,是先藉由fps轉換器402把同步訊號之畫格速率轉換成30fps之後,藉由LTC轉換器403而輸出30fps的LTC訊號。對應於此,對LTC處理部418,係預先設定了30fps之畫格速率,以約0.033秒週期重複S1401~S1409之循環。
因此,圖14的S1407中的判斷係等同於,LTC處理部418所接收到的LTC訊號所表示的時間戳記是發生了非預期的變化之後,於該變化後的值中,基於fps而被想定的變化量之變化,是否持續所定畫格數之判斷。該所定之畫格數係為S1407中的閾值;作為該閾值,係基於環境中所被想定的雜訊之位準、和於圖8中作為T’n-n+1
而被表示的實際的曲間之值,而做適宜設定,例如在1秒份且為30fps的情況下,係為30。
圖15係為,如圖8中所說明的,在設置清單中為連續的樂曲被連續再生的情況下的曲間的畫格之變化與MTC所示的時間戳記之變化的圖示。如圖6中所說明,於編輯軟體終端100中被配置在一連串之時間序列上而被製作、編輯的影像檔案,係在作為各個樂曲的個別之影像檔案的方式而被寫出之際,在樂曲間帶有餘裕而隔著空白期間所被配置的部分,係被時間性地裁剪而被寫出。因此,於圖15中,如畫格「N+3」與「N+4」之時間戳記所示,在樂曲間,時間戳記之變化是呈非線性。
為了使DAW應用程式416能夠追隨如此的變化,雖然單純地依照被輸入至LTC處理部418的LTC訊號而生成MTC來使DAW應用程式416動作就不會有問題,但仍會有對屬於類比訊號的LTC訊號重疊了非意圖之雜訊,其所代表的時間戳記會變成非意圖之值的情況。為了忽視如此的雜訊之影響,必須像是圖14的S1407般地帶有某種程度之閾值來做判定。
此外,從圖15所示的畫格N+3變化至N+4的情況下,藉由進行如S1406的判定,LTC處理部418不會立刻輸出N+4所對應之時間戳記,藉由S1407之處理,係將N+3所對應之時間戳記加上30fps之1畫格份的時間碼,予以輸出。如此的處理在跨越29畫格而持續進行後,到了第30畫格,亦即到了N+33之畫格,才會把MTC轉換結果的時間碼,予以輸出。
30fps下的30畫格係為1秒。亦即,S1407之閾值為30的情況下,在如圖15所示的曲間之處理中,對應於下一曲的MTC之輸出,就會延遲約1秒。關於該延遲,是藉由如圖8中所說明的曲間之期間T’n-n+1
,而被吸收。
此外,本實施形態所述之LTC處理部418,係藉由使用圖13中所說明的“fps設定值”,就可用上述的30畫格程度之延遲,盡早同步於LTC訊號而將MTC予以輸出。對此,畫格速率未被預先設定的情況下,LTC處理部418就會先觀察所定期間的LTC訊號之變化,然後判斷訊號之畫格速率。此情況下,在畫格速率的判定上,一般是需要數秒。
其後,圖13所示的處理就被開始,然後LTC處理部418才終於開始輸出MTC。因此,該數秒之間,影像播放器401係將影像檔案進行再生而影像會被顯示於顯示裝置510,無論同步訊號是否有被輸出,DAW應用程式416都不會動作而聲音不會被再生。相對於此,本實施形態所述之LTC處理部418,係藉由使用“fps設定值”,就可排除上記的數秒之延遲,在為了對應圖14中所說明的LTC訊號之跳過所需之數畫格中,就可將同步於LTC訊號的MTC予以輸出。
如此,一旦LTC處理部418輸出MTC,則DAW應用程式416係將藉由所被輸入之MTC而被指定之時間戳記所相應之聲音,進行再生。藉由DAW應用程式416所做的聲音的再生,聲音I/F412就會依照聲音I/F控制部417所做的控制,而將聲音訊號予以輸出。
圖16係為DAW應用程式416的GUI之例子的圖示。DAW應用程式416,為將關於聲音的功能加以整合而成的軟體,如圖16所示,係有複數個聲音訊軌是按時間序列配置。又,如圖16所示,本實施形態所述之DAW應用程式416,係藉由將從編輯軟體終端100所被共享的時間序列配置資料予以匯入,而將時間序列配置資料中樂曲所被配置的期間,做視覺性顯示。於圖16中,在時間序列配置資料中有被配置樂曲的期間,是以網點的範圍來加以表示。
藉由如此的功能,DAW應用程式416的操作員,係就可對應於時間序列配置資料之時間戳記而將聲音進行製作/編輯。藉此,於DAW應用程式416中所被製作/編輯的聲音,係成為與圖4中所說明的時間序列配置資料之時間碼相對應的狀態。如此的構成中,DAW應用程式416係與從LTC處理部418所被輸入的MTC取得同步而將聲音進行再生,藉此,所被再生的聲音就會與影像播放器401所再生的影像同步。
此外,本實施形態所述之聲音切換器600、PA系統610係隨應於DAW終端410的聲音訊軌而具有複數個聲道,可隨應於聲道,而對揚聲器611或現場樂團用耳返612等之輸出目標,個別地輸出聲音。如圖16中所說明,於DAW應用程式416中,複數個聲音訊軌是與時間線建立關連。該複數個聲音訊軌之中的1個,係為於舞台表演中實際演湊樂器的演奏者用來聽取節奏所需之時脈音。該時脈音,係在聲音切換器600、PA系統610的聲道之中,只會在現場樂團用耳返612所對應的聲道,會被輸出。
DAW終端410係於同步系統400中主掌聲音,如圖16所示,依照時間序列配置資訊而將聲音與時間碼建立關連而記憶,可依照LTC訊號而將已被建立關連的聲音進行同步輸出。相對於此,背景影像終端420,係於同步系統400中主掌背景影像。
因此,取代DAW終端410的聲音,可依照LTC訊號而將已被建立關連的背景影像進行同步輸出。其功能構成係於圖12中所說明的DAW終端410的構成之中,把DAW應用程式416取代成關於背景影像的功能,把聲音I/F控制部417及聲音I/F412取代成關於影像輸出的功能以外,其餘皆為相同,因此省略詳細的說明。
如以上說明,本實施形態所述之同步系統400,係以圖4中所說明的時間序列配置資訊為前提。然後,藉由影像播放器401而被再生的影像檔案,係影像檔案記憶媒體110中,時間序列配置資訊所示的時間碼與影像畫格是被建立關連而記憶。又,於DAW終端410中,時間序列配置資訊所示的時間碼與聲音是被建立關連而記憶。又,於背景影像終端420中,時間序列配置資訊所示的時間碼與背景影像是被建立關連而記憶。
然後,DAW終端410或背景影像終端420,係與影像播放器401隨應於影像之再生而輸出的同步訊號取得同步而將聲音或背景影像進行再生。此時,就不需要手動所致之檔案的選擇等之繁瑣的操作。藉由如此的構成,在影像所致之舞台表演的提供之際,即使所被再生的影像是被分成複數個檔案而被準備的情況下,仍可不需要繁瑣的機制或操作而可容易使其他要素與影像取得同步。本實施形態所述之影像舞台表演系統1係由圖1所示的全部要素所構成,但同步系統400a及影像檔案記憶媒體110a係為作為影像舞台表演系統的最基本構成。
此外,於本實施形態中,是以fps轉換器402將同步訊號之畫格速率進行轉換,LTC轉換器403將同步訊號轉換成LTC訊號的情況為例,來做說明。亦即,fps轉換器402及LTC轉換器403是作為同步訊號轉換部而發揮功能。這是用來將影像播放器401所輸出的同步訊號,轉換成DAW終端410所支援的形式也就是LTC訊號所需之構成。藉由如此的構成,以介面為首的訊號處理系統,就不需要設置特別的功能,可以使用既存的機制。
又,於本實施形態所述之時間序列配置資訊中,係按照於舞台表演中所被演出的設置清單之順序,而將樂曲予以配置。藉此,於圖3或圖16所示的GUI中,樂曲是以按照設置清單中所含之順序而被配置的狀態而被顯示,可更直覺地進行編輯或管理。
然而,即使時間序列配置資訊中的樂曲的配置順序是與設置清單的順序為不同的態樣,於編輯軟體終端100、DAW終端410、背景影像終端420中只要依照共通之時間序列配置資訊而製作各個要素,影像、聲音、背景影像就會變成彼此對應而被同步再生。因此,即使在影像檔案記憶媒體110中儲存了影像檔案之後,藉由調整影像播放器401中的影像檔案之再生順序,就可容易地變更設置清單之順序。
影像播放器401中的影像檔案的再生順序之調整,係例如在影像播放器401是依照影像檔案之檔名而按照順序地將影像檔案進行再生的構成中,藉由變更影像檔案記憶媒體110中所被記憶之影像檔案的檔名,就可進行。
又,於上記實施形態中,作為用來使其與藉由影像播放器401而被再生的影像取得同步所需之其他要素,是以藉由DAW終端410而被再生的聲音、或藉由背景影像終端420而被再生的背景影像為例而做了說明。亦即,DAW終端410或背景影像終端420是作為同步要素再生部而發揮功能。然而這僅為一例,於舞台表演只要是需要對影像取得同步的要素,則都可同樣地適用。作為其他要素係為例如:灑紙片等之特殊效果、照明效果、攝影機運鏡等。
又,於本實施形態所述之影像檔案,係以於舞台表演中所被演出的設置清單中所包含的樂曲的影像為例子而做說明。然而,藉由影像的再生而提供給聽眾的舞台表演中,也可將樂曲與樂曲之間的MC(主持人評論),藉由影像而提供。因此,影像檔案記憶媒體110中所被記憶的影像檔案中,係不只包含樂曲之影像,也包含MC之影像。在如此的情況下,於DAW終端410或背景影像終端420中,對應於MC的聲音或背景影像係按照時間序列配置資訊而被製作/編輯。
又,於上記實施形態中,係如圖1中所說明,作為影像切換器500、聲音切換器600及影像切換器700,是個別設置有用來切換主要系統與備援系統的切換部的情況為例子來做說明。除此以外,亦可藉由將影像播放器401、DAW終端410及背景影像終端420所輸出的訊號全部予以接受並做切換的單一之切換部,來進行切換。
1:影像舞台表演系統
10:CPU
20:RAM
30:ROM
40:HDD
50:I/F
60:LCD
70:操作部
80:匯流排
100:編輯軟體終端
110,110a,110b:影像檔案記憶媒體
200:控制伺服器
210,411:控制部
211:控制應用程式
212:網路控制部
220:網路I/F
230:專用I/F
300:控制盒
400,400a,400b:同步系統
401:影像播放器
402:fps轉換器
403:LTC轉換器
410:DAW終端
412:聲音I/F
413:LTC I/F
414:操作控制部
415:顯示控制部
416:DAW應用程式
417:聲音I/F控制部
418:LTC處理部
420:背景影像終端
500,700:影像切換器
510,710:顯示裝置
600:聲音切換器
610:PA系統
611:揚聲器
612:現場樂團用耳返
[圖1]本發明的實施形態所述之影像舞台表演控制系統的全體構成的圖示。
[圖2]本發明的實施形態所述之系統中所含之資訊機器的硬體構成的圖示。
[圖3]本發明的實施形態所述之影像編輯軟體的GUI之例子的圖示。
[圖4]本發明的實施形態所述之時間序列配置資訊的資料結構的圖示。
[圖5]本發明的實施形態所述之影像寫出指定資訊之例子的圖示。
[圖6]本發明的實施形態所述之影像寫出指定資訊之內容的概念性圖示。
[圖7]本發明的實施形態所述之影像檔案記憶媒體中所被記憶之影像檔案群之例子的圖示。
[圖8]本發明的實施形態所述之影像檔案群被再生之際的曲間的概念性圖示。
[圖9]本發明的實施形態所述之影像檔案記憶媒體中所被記憶的影像檔案的資料結構的概念性圖示。
[圖10]本發明的實施形態所述之控制伺服器的功能構成的區塊圖。
[圖11]本發明的實施形態所述之藉由fps器而被進行了fps轉換的影像檔案的概念性圖示。
[圖12]本發明的實施形態所述之DAW終端的功能構成的區塊圖。
[圖13]本發明的實施形態所述之LTC處理部所記憶並利用的資訊的圖示。
[圖14]本發明的實施形態所述之LTC處理部所致之LTC處理的流程圖。
[圖15]本發明的實施形態所述之LTC處理部中,在設置清單中的曲間之時序上所被輸入的LTC訊號的內容之例子的圖示。
[圖16]本發明的實施形態所述之DAW應用程式的GUI之例子的圖示。
1:影像舞台表演系統
100:編輯軟體終端
110a,110b:影像檔案記憶媒體
200:控制伺服器
300:控制盒
400a,400b:同步系統
401:影像播放器
402:fps轉換器
403:LTC轉換機
410:DAW終端
420:背景影像終端
500,700:影像切換器
510,710:顯示裝置
600:聲音切換器
610:PA系統
611:揚聲器
612:現場樂團用耳返
A:網路
Claims (11)
- 一種影像舞台表演系統,係為藉由影像的再生而對聽眾提供舞台表演的影像舞台表演系統,其特徵為,含有:影像檔案記憶媒體,係將於舞台表演中所被再生之影像被分割成複數個影像檔案而加以記憶;和影像再生部,係將前記影像檔案記憶媒體中所被記憶之複數個影像檔案以所定之順序進行再生,並且將影像之再生所相應之同步訊號予以輸出;和同步要素再生部,係將要與被前記影像再生部所再生之影像取得同步的同步再生要素,依照前記同步訊號進行再生;前記影像檔案記憶媒體,係以影像與時間資訊是依照時間序列配置資訊而被建立關連的狀態,而將前記影像檔案加以記憶,其中,該時間序列配置資訊係表示,於前記舞台表演中所被再生之影像是按時間序列而被配置之狀態;前記影像再生部所輸出的同步訊號係含有:與正被再生之影像所建立關連的前記時間資訊;前記同步要素再生部,係依照前記時間序列配置資訊而將前記同步再生要素與時間資訊建立關連而記憶,藉此,依照前記同步訊號而被再生的同步再生要素,係與被前記影像再生部所再生之影像取得同步。
- 如請求項1所記載之影像舞台表演系統,其中,前記時間序列配置資訊係為,表示於前記舞台表演中所被再生之影像是依照於前記舞台表演中所被再生之順序而按時間序列而被配置之狀態的資訊。
- 如請求項2所記載之影像舞台表演系統,其中,前記時間序列配置資訊係為,表示於前記舞台表演中所被再生之影像是按照於前記舞台表演中所被再生之順序而被按時間序列配置,同時,各影像間是設有所定之空間期間而被配置之狀態的資訊;前記影像檔案記憶媒體所記憶的影像檔案係為,於前記時間序列配置資訊的時間序列上藉由前記影像所存在的期間分別被選擇而被生成的個別之影像檔案。
- 如請求項3所記載之影像舞台表演系統,其中,前記同步要素再生部,係在被輸入的前記同步訊號所示的時間資訊是設成與連續的時間序列之變化不同之變化的情況下,將對變化前的時間資訊加入了時間序列之變化值而成的時間資訊當作同步訊號而將前記同步再生要素進行再生;在被輸入的前記同步訊號所示的時間資訊是設成與連續的時間序列之變化不同之變化後,變化後的時間資訊是持續所定期間而呈連續的時間序列之變化的情況下,將前記變化後的時間資訊當作同步訊號而將前記同步再生要素 進行再生。
- 如請求項1所記載之影像舞台表演系統,其中,含有:同步訊號轉換部,係將前記影像再生部所輸出的前記同步訊號,轉換成前記同步要素再生部所對應之形式。
- 如請求項5所記載之影像舞台表演系統,其中,前記同步訊號轉換部,係將前記影像再生部所輸出的同步訊號,轉換成表示時間的聲音訊號。
- 如請求項1所記載之影像舞台表演系統,其中,前記同步要素再生部,係依照事前決定的畫格速率而解譯前記同步訊號。
- 如請求項1所記載之影像舞台表演系統,其中,具有影像再生控制部,其係具有:從外部來控制前記影像再生部的功能及從複數個機器受理用來操作前記影像再生部所需之操作訊號的功能。
- 如請求項8所記載之影像舞台表演系統,其中,含有影像配置控制部,其係含有:對應於前記時間序列配置資訊而將於前記舞台表演中所被再生之影像是按時間序列而被配置之狀態做視覺性顯示,並且,指定時間序列上的任意之時序而命令前記影像再生部進行影像再生的功能;前記影像再生部,係透過前記影像再生控制部而取得已被指定了前記時間 序列上的任意之時序的影像之再生命令;在前記影像檔案記憶媒體中所被記憶的前記影像檔案之中,將含有已被指定之前記時序所對應之時間資訊所被建立關連之影像的影像檔案,從已被指定之前記時序起進行再生。
- 如請求項1所記載之影像舞台表演系統,其中,藉由前記影像檔案記憶媒體、前記影像再生部及前記同步要素再生部而被構成的將前記影像及前記同步再生要素進行再生的構成,是具有複數系統;含有:切換部,係將從前記複數系統之各者所被輸出之影像訊號及同步再生要素之訊號之任1系統,加以選擇並輸出;前記切換部,係在主系統為正常動作的情況下而正在常時輸出中的訊號發生了中斷的情況下,切換成副系統所輸出之訊號。
- 一種影像舞台表演之提供方法,係為藉由影像的再生而對聽眾提供舞台表演的影像舞台表演之提供方法,其特徵為,將於舞台表演中所被再生之影像分割成複數個影像檔案而記憶至記憶媒體;將前記記憶媒體中所被記憶之複數個影像檔案以所定之順序進行再生,並且將影像之再生所相應之同步訊號予以輸出; 將要與所被再生之影像取得同步的同步再生要素,依照前記同步訊號進行再生;前記記憶媒體,係以影像與時間資訊是依照時間序列配置資訊而被建立關連的狀態,而將前記影像檔案加以記憶,其中,該時間序列配置資訊係表示,前記所有影像是按時間序列而被配置之狀態;伴隨前記影像之再生而輸出的同步訊號係含有:與正被再生之影像所建立關連的前記時間資訊;前記同步再生要素,係依照前記時間序列配置資訊而與時間資訊建立關連而被記憶,藉此,依照前記同步訊號而被再生的同步再生要素,係與所被再生的前記影像取得同步。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2020/028610 WO2022024163A1 (ja) | 2020-07-25 | 2020-07-25 | 映像ステージパフォーマンスシステムおよび映像ステージパフォーマンスの提供方法 |
WOPCT/JP2020/028610 | 2020-07-25 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW202205265A TW202205265A (zh) | 2022-02-01 |
TWI777529B true TWI777529B (zh) | 2022-09-11 |
Family
ID=77057455
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW110115264A TWI777529B (zh) | 2020-07-25 | 2021-04-28 | 影像舞台表演系統及影像舞台表演之提供方法 |
Country Status (3)
Country | Link |
---|---|
JP (1) | JP6913874B1 (zh) |
TW (1) | TWI777529B (zh) |
WO (1) | WO2022024163A1 (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007052395A1 (ja) * | 2005-10-31 | 2007-05-10 | Sharp Kabushiki Kaisha | 視聴環境制御システム |
TW201330620A (zh) * | 2011-09-18 | 2013-07-16 | Touchtunes Music Corp | 具有卡拉ok及/或照相亭特徵的數位點唱機裝置以及與其相關聯的方法 |
WO2019208067A1 (ja) * | 2018-04-24 | 2019-10-31 | KARASAWA Masuo | 任意信号挿入方法及び任意信号挿入システム |
-
2020
- 2020-07-25 WO PCT/JP2020/028610 patent/WO2022024163A1/ja active Application Filing
- 2020-07-25 JP JP2021518009A patent/JP6913874B1/ja active Active
-
2021
- 2021-04-28 TW TW110115264A patent/TWI777529B/zh active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007052395A1 (ja) * | 2005-10-31 | 2007-05-10 | Sharp Kabushiki Kaisha | 視聴環境制御システム |
TW201330620A (zh) * | 2011-09-18 | 2013-07-16 | Touchtunes Music Corp | 具有卡拉ok及/或照相亭特徵的數位點唱機裝置以及與其相關聯的方法 |
WO2019208067A1 (ja) * | 2018-04-24 | 2019-10-31 | KARASAWA Masuo | 任意信号挿入方法及び任意信号挿入システム |
Also Published As
Publication number | Publication date |
---|---|
TW202205265A (zh) | 2022-02-01 |
JP6913874B1 (ja) | 2021-08-04 |
JPWO2022024163A1 (zh) | 2022-02-03 |
WO2022024163A1 (ja) | 2022-02-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10546612B2 (en) | Systems, methods, and computer program products for automated real-time execution of live inserts of repurposed stored content distribution | |
CN101692693B (zh) | 一种多功能一体化演播室***和演播方法 | |
RU2564681C2 (ru) | Способы и системы синхронизации и переключения для системы адаптивного звука | |
JP3234948B2 (ja) | 多言語特性を有するビデオ信号を符号化する方法およびそのための装置 | |
US5801685A (en) | Automatic editing of recorded video elements sychronized with a script text read or displayed | |
US7627808B2 (en) | Computer media synchronization player | |
US9818448B1 (en) | Media editing with linked time-based metadata | |
US20090129753A1 (en) | Digital presentation apparatus and methods | |
JP2007221247A (ja) | 映像処理装置及びタイムコードの付加方法 | |
CN101594470B (zh) | 电视新闻演播室动态录播*** | |
US10373647B2 (en) | Recording system and method for multi-track recording | |
JP3062080B2 (ja) | 映像素材登録システム、映像素材オンエアシステム及び番組送出管理システム | |
TWI777529B (zh) | 影像舞台表演系統及影像舞台表演之提供方法 | |
US20060008246A1 (en) | Reproducing apparatus and superimposing method | |
CA3159507A1 (en) | Distributed network recording system with true audio to video frame syncchronization | |
US11910050B2 (en) | Distributed network recording system with single user control | |
CN201222768Y (zh) | 动态录播*** | |
JP4503609B2 (ja) | 制作自動制御のためのマクロ要素の構築 | |
JP4016251B2 (ja) | コンテンツ運用管理システム | |
JPWO2003065311A1 (ja) | データ生成装置、データ再生装置、データ処理システムおよびそれらの方法 | |
KR100603173B1 (ko) | 편집장치및편집방법 | |
Frank | A Framework for Flexible ILDA Digital Network (IDN) Audio Streaming | |
JP4288802B2 (ja) | 記録再生装置及び記録再生タイミングの調整方法 | |
KR20000016595A (ko) | 편집 시스템 및 편집 방법 | |
JP2006148644A (ja) | 放送素材のプレビュー方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
GD4A | Issue of patent certificate for granted invention patent |