TW201032577A - Reproduction device, reproduction method, and program for stereoscopic reproduction - Google Patents

Reproduction device, reproduction method, and program for stereoscopic reproduction Download PDF

Info

Publication number
TW201032577A
TW201032577A TW098138975A TW98138975A TW201032577A TW 201032577 A TW201032577 A TW 201032577A TW 098138975 A TW098138975 A TW 098138975A TW 98138975 A TW98138975 A TW 98138975A TW 201032577 A TW201032577 A TW 201032577A
Authority
TW
Taiwan
Prior art keywords
plane
image
video
offset
data
Prior art date
Application number
TW098138975A
Other languages
English (en)
Other versions
TWI361614B (zh
Inventor
Ken Yamashita
Germano Leichsenring
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Publication of TW201032577A publication Critical patent/TW201032577A/zh
Application granted granted Critical
Publication of TWI361614B publication Critical patent/TWI361614B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/139Format conversion, e.g. of frame-rate or size
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/156Mixing image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/161Encoding, multiplexing or demultiplexing different image signal components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/172Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183On-screen display [OSD] information, e.g. subtitles or menus

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Television Signal Processing For Recording (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Description

201032577 六、發明說明: 【發明所屬之技^軒領域】 發明領域 本發明係屬於立體視覺再生之技術領域的發明。 發明背景 立體視覺再生技術係指藉由導入使左眼與右眼觀看不 同圖畫的機制,利用其兩眼間之視差而類似做出立體影像 的技術。 現狀下,立體視覺再生技術的應用係以應用在劇院等 - 為主流,但今後亦可期待於家庭設置用之顯示器或再生裝 置,欣賞立體視覺再生的利用形態急速普及。 用以讓使用者收視立體視覺圖像之顯示器(立體視覺 顯不器)包括各種方式。例如經常使用的方式之—有利用快 門眼鏡的方式。該方式係藉由眼鏡,交替且高速地遮住收 φ 視者左眼與右眼的視野,與該眼鏡的動作同步,顯示器之 顯示圖像亦高速更新為左眼用·右眼用。如此,結果藉由 快門眼鏡,於顯示器顯示之左眼用圖像僅有左眼看到,反 之’右眼用圖像僅有右眼看到。 若欲讓收視者觀看採用與一般平面影像同等之訊框率 所立體化的影像,於再生裝置方面,須再生左眼、右眼分 別看到的2個動態圖像,於顯示器方面則需要一般的2倍反 應性能。例如為了顯示一秒60畫格的視訊,最少須進行1种 120畫格的切換。家庭設置用再生裝置之先行技術有以下專 201032577 利文獻1所記栽的技術,立體視覺再生之先行技術有以下專 利文獻2所§己載的技術。 先行技術文獻 專利文獻 專利文獻1 :國際公開第2005/119675號公報 專利文獻2:國際公開第2008/0192067號公報 【明内穷3 發明概要 考慮在光碟片等記錄媒體記錄可實現立體視覺之電影 作品並發行的情況時,會有如何實現諸如動態圖像中合成 有字幕· GUI等圖形之合成影像之立體視覺的爭議。 第1種方法係事先準備左眼用、右眼用之視訊串流,並 事先個別準備相對應之左眼用字幕與右眼用字幕,使其各 自疊合而顯示的方法。 第2種方法係係如專利文獻2,從丨個視訊申流及對應於 其之深度(Depth)資訊,對視訊帶來立體效果,並於其上疊 合字幕物件的方法。該專利文獻2係設定字幕與視訊重疊部 为之景深成為零視差(Zero paranax),亦即消除景深而顯 不’藉此讓使用者感覺不到字幕與視訊之景深感差異。 第3種方法係對於預先準備之左眼用及右眼用視訊串 流’準備1個字幕物件’重疊已依據深度資訊而藉由平面移 位(plane shift)加上立體效果者的方法。 於第1種方法’不僅是視訊串流’字幕· GUI用之圖形 串流亦須製作左右雙方的串流,因此編輯的負擔甚為龐 201032577 大。相對於此’第2種方法無須做出字幕顯示用之左右圖形 串流,可減輕編輯的負擔,但關於字幕與串流重疊的部分, 由於喪失景深感,因此觀看效果不甚良好。 於第3種藉由平面移位的方法’無須針對字幕· GUI用 之圖形串流編製左右雙方的串流,又,關於字幕.GUI與動 態圖像重疊的部分,亦不會喪失景深感,因此為最理想的 方法。然而,平面移位係於執行放大或縮小顯示中晝面之 縮放功能時,產生其弊病。 藉由再生應可從左視角看到的動態圖像、及應可從右 視角看到的動態圖像,以實現視訊串流之立體視覺時,即 便施行縮放,但由於不會過度放大或縮小應可從左視角看 到的動態圖像、及應可從右視角看到的動態圖像,因此立 體視覺再生時不會出現障礙。 然而’由於圖形係由左眼用與右眼用所共用,因此文 字雖藉由縮放而縮小,但文字的位置仍維持與縮放前相 同,可保持字幕文字之景《。如此-來,產生視訊的景 深感已減輕但字幕仍維持原狀的狀態,於縮放時,視訊與 字幕· GUI之立體感差距變強烈。 於縮放前後,若左視角之字幕與右視角之字幕的間隔 維持原樣,僅視訊之景深感改變,則動態圖像之跳出程度 與字幕之跳心度相同,與㈣前相比,字幕在縮放後會 對於視訊平面大幅移位。如此—來,動態圖像與字幕之立 體感差距變強烈’唯恐雙眼無法適應。對於收視者而言, 雙眼疲累極端地增加,因此會有從保護消費者的觀點考量 201032577 不適宜的問題。 話雖如此,但若於採用平面移位之再生裝置,林 合成有字幕的狀態下之縮放,則不會產生如上述之^ 然而’目前的再生裝置係於例如细全晝面再生動態圖像 中,進行呼叫選單的操作時,執行顯示全畫面的選單且八 已縮小縮放之視訊顯示於其上的處理。此係由於藉由^ 理,可不妨礙視訊的收視而擴大選單的視野。由於伴= 視訊縮放之GUI處理會鼓選單的視野,鋪制者的 性’因此縱使為了實現立體視覺’省略伴隨有視訊縮 ⑽處理㈣味從目前柄片再生裝置的枝料步對於 產業界而言決非有益的想法。 ; 本發明之目的在於提供一種再生裝置,係實現伴隨有 視訊縮放之GUI處理,同時謀求降低臨場感而可遵 保護者。 買香 用以欲解決課題之手段 用以解決上述課題之本發明一實施態樣之再生裝置, 係實現立體視覺再生者,且具備: 視訊解碼器,係解碼視訊串流轉得視紐框者; 平面記憶體,係儲存由特定縱長像素數X橫寬像素數所 組成的複數像素資料構成之圖形資料者; 偏移保持和係保持偏移者,而前述偏移係表示實現 立體視覺時’應令像素的座標分職右方及左方移動多少 之基準者;及 移位引擎,係令構成平面記憶體中之圖形資料之各像 201032577 素資料之座標,往水平方向軸Μ移減之像素數者; 及 合成部,係於視訊訊框,合成像素資料之座標已移動 之圖形資料者; 前述視訊訊框之比例已被變更的情況下,由前述移位 引擎所執行的像素資料之座標之移動量,係根據於前述偏 移乘以縮放倍率後之值。 發明效果 依據上述構成,於本發明之立體視覺視訊再生裝置, 藉由在附字幕視訊之縮放時,簡字幕之移位量,於進行 伴隨有縮放之⑽處理時,可保持視訊與字幕之畫面構成, 能夠防止立體感差距變強烈。藉此會減輕雙眼疲累,並且 可進行更自㈣顯示’因此可謀求完善的消#者保護。 雖為自願性,但於上述課題解決手段施行如以下的變 更’可發揮進一步效果。 亦可實現運算之表格化,係利用表從平面偏移轉換為 座標值。藉由如此,即便於機器f源少的終端,仍可變更 縮放時之字幕的景深。 進而言之,於附字幕視訊之縮放時,調整視訊平面之 移位量亦可。藉由視訊平面之移位,可防止立體感差距變 強烈,減輕雙眼疲累’並且進行更自然的顯示。 進而吕之’於附予幕視訊之縮放時,以訊框為單位, 逐次猶微調整字幕之移位量亦可^藉此,可防止立體感差 距變強烈,減輕雙眼疲累’並且進行更自然的顯示。 201032577 進而言之,於附字幕視訊之縮放時,設定字幕顯示在 一定時間内無效,於已經過一定時間的時點使其顯示亦 可。藉此,於使用者雙眼習慣立體感差距的狀態下顯示字 幕,可防止立體感差距變強烈,減輕雙眼疲累,並且進行 更自然的顯示。 圖式簡單說明 第1圖係表示關於記錄媒體、再生裝置之使用行為之形 態之一例之圖。 第2圖係表示BD-ROM100之内部構成之一例之圖。 第3圖係表示BD-J物件之内部構成之一例之圖。 第4圖係表示再生裝置之内部構成之一例之圖。 第5圖係表示2D顯示模式、3D顯示模式之切換之一例 之圖。 第6圖係表示於3D顯示模式下,各平面之立體模式 (stereo mode)全開啟的情況與立體模式全關閉的情況下之 合成處理之一例之圖。 第7圖係表示於所有平面為立體模式開啟(ON)的情況 下,疊合背景平面11、視訊平面、影像平面8、互動圖形平 面10之一例之圖。 第8圖係表示於所有平面為立體模式關閉(OFF)的情況 下,疊合背景平面11、視訊平面、影像平面8、互動圖形平 面10之一例之圖。 第9圖係表示每平面之合成結果之一例之圖。 第10圖係表示以3D用顯示器觀看所有平面為立體模式 201032577 開啟時之影像輪出的情況下之一例之圖。 第11圖係表示以液晶眼鏡500,觀看視訊平面為立體模 式開啟’而其以外之平面全設為立體模式關閉時之影像輸 出的情況下所呈現的立體視覺影像之一例之圖。 第12(a)、(b)圖係表示已往右方移位之左移位圖形平 面、已往左方移位之左移位圖形平面之一例之圖。 第13(a)〜(c)圖係用以說明平面偏移之符號為正(左視 ^ 角用之圖形影像往右方挪移,右視角用之圖形影像往左方 挪移)的情況下,像看似較顯示晝面位於面前之原理之圖。 第14(a)〜(c)圖係用以說明平面偏移之符號為正(左視 - 角用之圖形影像往左方挪移,右視角用之圖形影像往右方 » 挪移)的情況下,像看似較顯示畫面位於深處之原理之圖。 第15(a)、(b)圖係表示正與負之平面偏移之觀看效果之 差異之一例之圖。 第16(a)圖係用以說明步驟S7〇4b之具體處理之一例之 # 圖,第16(b)圖係用以說明步驟S706b之具體處理之一例之 圖。 第17圖係表示對於動態圖像進行縮放的情況下,由使 者所收視的立體視覺圖像之一例之圖。 第18(a)〜(c)圖係表示對於動態圖像進行縮放的情況 下,如何決定平面移位之平面偏移為宜。 第19圖係表示於影像平面之平面移位,適用與縮放前 動態圖像之合成所用之平面偏移的情況下所顯示之立體 視覺圖像之一例之圖。 201032577 第20圖係表示於影像平面之平面移位,適用與縮放前 之動態圖像之合成所用之平面偏移的情況下所顯示之立體 視覺圖像之一例之圖。 第21圖係表示本實施形態1之再生裝置200之平面移位 引擎20之内部構成之一例之圖。 第22(a)〜(c)圖係表示1/1、1/2、1/4之3個縮放因子 (Factor),及適用各縮放因子的情況下之包含字幕· GUI之 圖形之合成圖像之一例之圖。 第23(a)圖係用以說明步驟S806b之具體處理之一例之 圖,第23(b)圖係用以說明步驟S808b之具體處理之一例之 圖。 第24(a)、(b)圖係表示1/1、1/2、1/4之3個縮放因子 (Factor),及適用各縮放因子的情況下之包含字幕圖形之合 成圖像之一例之圖。 第25(a)圖係用以說明步驟S706a之具體處理之一例之 圖,第25(b)圖係用以說明步驟S808a之具體處理之一例之 圖。 第26(a)、(b)圖係表示影像平面8之内部構成之一例之 圖。 第27(a)〜(c)圖係表示進行右方移位、左方移位後之前 景區域之像素資料及背景區域之像素資料之一例之圖。 第28(a)、(b)係表示互動圖形平面1〇之内部構成之一例 之圖。 第29(a)〜(c)圖係表示進行右方移位、左方移位後之前 201032577 景區域之像素資料及背景區域之像素資料之一例之圖。 第30(a)〜(c)圖係表示影像平面8之平面移位之處理程 序之一例之圖。 第31(a)〜(c)圖係表示互動圖形平面10之平面移位之 處理程序之一例之圖。 第3 2圖係表示儲存於圖形平面之像素資料之一例之 圖。 第33(a)、(b)圖係表示進行移位後之圖形平面之儲存内 容之一例之圖。 第34圖係表示BD-J平台部之内部構成之一例之圖。 第35圖係表示顯示模式記憶部29之記憶内容之一例之 圖。 第36圖係表示標題切換時之顯示模式設定之處理程序 之一例之流程圖。 第37圖係表示標題内顯示模式設定之處理程序之一例 之流程圖。 第38圖係表示BD-J模式之播放串列再生之主要程序之 一例之流程圖。 第39圖係表示根據播放項目資訊之再生程序之一例之 流程圖。 第40圖係表示3DAV串流之3D顯示之處理程序之一例 之流程圖。 第41圖係表示3D顯示模式時之左眼用處理之程序之一 例之流程圖。 Π 201032577 第42圖係表示右眼用處理之處理程序之一例之流程 圖。 第43(a)圖係用以說明步驟S702、步驟S804a之具體處理 之一例之圖,第43(b)圖係用以說明步驟S804b之具體處理之 一例之圖。 第44(a)圖係用以說明步驟S704a之具體處理之一例之 圖,第44(b)圖係用以說明步驟S806a之具體處理之一例之 圖。 第4 5圖係用以說明實施形態2之步驟S 804b之具體處理 之一例之圖。 第46圖係表示第2實施形態之再生裝置之平面移位引 擎20之内部構成之一例之方塊圖。 第47(a)圖係用以說明實施形態2之步驟S702之具體處 理之一例之圖,第47(b)圖係用以說明步驟S804a之具體處理 之一例之圖。 第48(a)、(b)圖係表示意圖令已進行縮放之動態圖像及 圖形之座標,移動特定像素數之狀況之一例之圖。 第49圖係表示第3實施形態之再生裝置之平面移位引 擎20之内部構成之一例之方塊圖。 第50圖係表示3DAV串流之3D顯示之處理程序之一例 之流程圖。 第51圖係表示影像平面之平面移位之處理程序之一例 之流程圖。 第52圖係表示於更新完畢訊框i更新作“1”、“2”、“3” 201032577 的情況下,平面偏移如何變化之一例之圖。 第53圖係表示與平面偏移之設定相關的部分之構成之 一例之圖。 第54圖係表示再生裝置之硬體構成之一例之圖。 t實施方式】 用以實施本發明之形態 一面參考圖式,—面說明關於具備上述課題解決手段 之S己錄媒體及再生裳置之實施形態。 第1圖係表示關於記錄媒體、再生裝置之使用行為之形 態之一例之圖。如本圖所示,作為記錄媒體之一例之 BD-ROM100、再生裝置2〇〇係與遙控器3〇〇、電視400及液 晶眼鏡500 —同構成家庭劇院系統,並供使用者來使用。 BD-ROM100係對上述家庭劇院系統供給例如電影作 品。 再生裝置200係與電視4〇〇連接,並再生BD-ROM100。 如此而再生之再生影像存在有2〇影像、3D影像^ 2D影像係 指將例如包含顯示裝置之顯示畫面之平面,掌握作為χ_γ 平面,而以位於該Χ-Υ平面上之顯示畫面之顯示位置之像素 所表現的圖像,亦稱為平面視覺圖像。 相對而言,3D影像係指設定與上述掌握作為χ_γ平面 之平面呈正交之直線為軸(本實施形態中,將垂直於χ_Υ平 面之直線定義作為軸(Ζ軸))’藉由於顯示裝置之顯示查面中 之Χ-Υ平面上之像素,採用本實施形態所說明的構成,以使 得從人的雙眼看似立體,或看似較顯示畫面值於面前戋果 13 201032577 處之影像。 3D影像係例如事先於可經由後述第4圖所記載的虛擬 檔案系統而讀出之記錄媒體(例如BD-ROM100或後述第4圖 所示之區域儲存區lc,在此為了簡化說明而以BD-ROM100 為例來說明),記錄對應於應於左眼收視之左視角影像與應 於右眼收視之右視角影像之資料(串流資料),當應於左眼收 視之左視角影像與應於右眼收視之右視角影像在兩眼視差
的程度下’其為觀看效果不同的影像時,若重複僅讓左眼 觀看左視角影像、僅讓右眼觀看右視角影像的動作,則可 讓使用者觀看到對人的雙眼而言具有景深的立體影像。然 而’於左視角影像與右視角影像巾财—方利用於再生的 情況下’對人的雙眼而言僅可看作平_影像。例如若欲 讓左眼及右眼馳看左視角㈣像,贴視角的影像對人 的雙眼而言僅可看作平面的影像。 逄控器300係從使用者,受理對於經階層化之⑽的 作之機器’為了受理該操作,遙控器刚具備:選單鍵,
叫出構成⑽之選單者;箭頭鍵,齡構成選單之⑽元 之焦點移動者;決定鍵,係對於構成選單之GUUt件進行 定操作者;返賴,係㈣使得纟節^ 位選單者;及數字鍵。 疋平叫更 電視400係顯示電影作〇 等’藉此向㈣提供對話;作•影:或:;選單 之顯不畫面係表示縮放視訊而 視400 例。該電視400的畫面中,右 以全畫面化之顯示 右+部係顯示由電影作品的導演 14 201032577 所描述的導演講評cml。 電視400的畫面中,下半部包含受理跳到下一段、跳到 前一段之按鈕構件bnl、受理選單呼叫之按鈕構件bn2、受 理返回操作之按紐構件bn3及受理網路連接之按鈕構件 bn4,並包含用以顯示現標題號碼及現章節號碼之指示器 irl。關於該等按紐構件係可藉由遙控器3〇〇操作。 液晶眼鏡500係由液晶快門及控制部所構成,利用使用 者兩眼的視差來實現立體視覺。液晶眼鏡5〇〇之液晶快門係 利用液晶透鏡的快門,前述液晶透鏡具有光的穿透率藉由 改變施加電壓而變化的性質。液晶眼鏡5〇〇之控制部係接受 從再生裝置送出的右視角用圖像與左視角用圖像之輸出切 換之同步訊號,按照該同步訊號進行第i狀態、第2狀態的 切換。 第1狀態係指調節施加電壓,以使得對應於右視角之液 晶透鏡不透光,並調節施加電壓,以使得對應於左視角之 液晶透鏡透光之狀態,該狀態下,成為左視角用圖像被供 作左眼收視’右視角用圖像被供作右眼收視之狀態。 第2狀態係指調節施加電壓,以使得對應於右視角之液 晶透鏡透光,並調節施加電壓,以使得對應於左視角之液 晶透鏡不透光之狀態,該狀態下,成為右視角用圖像被供 作右眼收視’右視角用圖像被供作左眼收視之狀態。 一般而言’右視角用圖像與左視角用圖像係起因於其 攝影位置的差距,從右視角看到的像與從左視角看到的 像,其觀看效果有些許差距的圖像。 15 201032577 藉由將該像的觀看效果之差距程度,設定為分別從人 的左眼/右眼看到的像之差距程度(亦即視差程度)’可利用 之,藉以將從人的雙眼看到的像辨識為立體。因此,若液 晶眼鏡500令如以上之第1狀態與第2狀態的切換,同步於右 視角用圖像與左視角用圖像之輸出之切換時序,則使用者 產生平面顯示看似立體的錯覺。接著,說明關於顯示左視 角影像、右視角影像時之時間間隔。 具體而言’就平面顯示的圖像而言,於右視角用圖像 與左視角用圖像,具有其程度與相當於人的視差之觀看效 果差距相當的差距,以短時間間隔切換顯示該等圖像,藉 此看似彷彿進行立體顯示。 該短時間間隔若其程度是藉由上述切換顯示,讓人產 生看似立體的錯覺的時間即可。 以上係關於家庭劇院系統的說明。 接下來’說明關於以再生裝置2〇〇為對象之記錄媒體。 藉由再生裝置200所再生的對象為bd-R〇M100。第2圖係表 示BD-ROM100之内部構成之一例之圖。 於本圖之第4層表示記錄媒體之一例之bd_r〇Mi〇〇, 於第3層表示BD-ROM100上之軌道。本圖之軌道係將從 BD-ROM100之内周遍及外周形成為螺旋狀之軌道,往橫向 拉長而描繪。該軌道係由引入區域、卷(v〇lume)區域及引出 區域所組成。又,引入區域之内側具有稱為BCA(Burst Cutting Area:刻盤區),僅能以驅動程式讀出之特別區域。 由於該區域無法從應用程式讀出,因此經常利用在例如著 201032577 作權保護技術等。 本圖之卷區域具有檔案系統層、應用層之層模型,於 標案系統層係讀㈣統資訊為開職記錄有影像資料等 應用資料。檔案系統係指UDF4ISO9660等,可使用目錄、 檔案構造,讀出與一般的PC同樣地記錄之邏輯資料,可讀 出255字的檔案名、目錄名。若利用目錄構造來表現 BD-ROM之應用層格式(應用格式),則為圖中之第丨層。於 該第1層中,BD-ROM係於R0〇t(根)目錄之下,具有 CERTIFICATE(憑證)目錄及BDMV目錄。 於CERTIFICATE(憑證)目錄底下,存在有碟片之根證 書的檔案加卩.出8(^0〇1.(;奶)。卿(1丨似〇(^(^為數位證書, 係於執行利用Java(註冊商標)虛擬機器,進行動態情境控制 之Java(註冊商標)應用程式時,用於確認應用程式是否遭竄 改、及進行應用程式之身份確認的過程(以下稱為簽名驗證) 者。 BDMV目錄係記錄有BD_r0m丨00所處理的Av内容或 管理資訊等資料之目錄,於BDMV目錄底下存在有稱為 PLAYLIST(播放串列)目錄、cupiNF(剪輯資訊)目錄、 STREAM(串流)目錄、Bdj〇目錄、JAR目錄、META目錄之 6個子目錄,並配置有INDEX BDMv與MovieObject.bdmv 兩種檔案。 STREAM(串流)目錄即儲存有作為傳輸_流主體的檔 案之目錄’存在有被賦予副檔名m2ts之檔案(00001 m2ts)。 於PLAYLIST(播放串列)目錄,存在有被賦予副檔名 201032577 mpls之樓案(00001.mpls)。 於CLIPINF(剪輯資訊)目錄,存在有被賦予副檔名Μ} 之檔案(〇〇〇〇l.clpi)。 Pl 於BDJO目錄,存在有被賦予副檔名 (XXXXX.bdjo)。 /、 於JAR目錄,存在有被賦予副檔名jar之檔案 (YYYYY.jar)。 、 於ΜΕΤΑ檔案,存在有XML檔案(ZZZZZ.xmi)。 以下說明關於該等檔案。 <m2ts構案 > · 首先說明關於被賦予副稽名m2ts之檔案。被賦予副樓 名m2ts之槽案係MPEG-TS(TransportStream :傳輸串流)形式 、 之數位AV串流,藉由將視訊串流、1個以上之音訊串流、 圖形串流進行多工而獲得。分別而言,視訊串流表示電影 的動態影像部分,音訊串流表示電影的聲音部分。僅包含 2D用串流之傳輸串流稱為“2D串流”,包含3D用串流之傳輪 串流稱為“3D串流”。 〇 3D串流的情況下,於m2ts中可放入左眼用與右眼用雙 方的資料,對於左眼用與右眼用可個別準備m2ts。為了減 少使用在串流的容量,宜使用諸如左視角視訊串流與右視 角視訊串流相互參考的編解碼器(例如MPEG-4 AVC MVC)。以該類編解碼器所壓縮編碼的視訊串流稱為MVC 視訊串流。 <播放串列資訊> 18 201032577 被賦予副檔名“mpls”之檔案係儲存有PlayList(播放串 列)(PL)資訊之檔案。播放串列資訊係參考AV剪輯而定義播 放串列之資訊。 於BD-ROM100上,存在有識別再生對象之串流為2D 用亦或3D用之次元識別旗標,於本實施形態中,於播放串 列(PL)資訊嵌入字元識別旗標。 於本實施形態中,可從BD-ROM100上之播放串列(PL) 之構成格式,特定出再生對象之串流中是否存在有3D用串 流0 播放資訊包含MainPath(主路徑)資訊、Subpath(子路徑) 資訊、PlayListMark(播放串列標記)資訊。 1) MainPath(主路徑)資訊係於AV串流之再生時間軸 中’定義1組以上成為In_Time(進入時間)的時點與成為 Out_Time(退出時間)的時點之組配,藉此定義邏輯式再生 區間之資訊’並具有串流號碼表(STN_table),於受到多工 而成為AV串流之基本串流中,規定許可何者之再生、不許 可何者之再生。 2) PlayListMark(播放串列標記)資訊包含於Ιη_τίιηε(進 入時間)資訊與Out—Time(退出時間)資訊之組配所指定的 AV串流之一部分中,成為章節的時點之指定。 3) Subpath(子路徑)資訊係由1個以上之SubplayItem(子 播放項目)資訊所構成;SubPlayltem(子播放項目)資訊包 含:應與前述AV串流同步再生之基本串流之指定,及該基 本串流之再生時間轴上之In_Time(進入時間)資訊與 19 201032577
Out_Time(退出時間)資訊之組配。再生控制用之Java(TM) 應用程式可藉由命令Java(TM)虛擬機器,生成再生該播放 串列資訊之JMF播放器實例以使^再生開始。JMF(Java Media Frame work)播放器實例係指以JMF播放器類別為基 礎,於虛擬機器之堆積記憶體(heap mem〇ry)上所生成的實 際資料。 進而έ之,作為用語定義,2D播放串列僅包含2£)再生 用之串流,3D播放串列除了 2D播放串列外,還包含31)立體 視覺用之串流。 參 被賦予副檔名“dpi”之檔案係丨對丨地對應於Av剪輯之 各勢輯的剪輯資訊。因其為管理資訊,故剪輯資訊具有AV 剪輯中串流之編碼形式、訊框率、位元率、解像度等資訊, 或表示GOP之開頭位置之Ερ—咖卩。以上的剪輯資訊及播放 串列資訊分類為“靜態情境”。 <BD-J物件> 接下來說明關於附有副檔名BDJ〇的檔案。附有副檔名 BDJO的槽案係儲存有BD撕件的稽案。bd_職件係藉㈣ Θ 於利用播放牟列資訊所定義的AV剪輯串、與應用程式建立 關聯來定義標題的資訊。BD·〗物件表應用程式管理表” 及對於播放串狀參考值”。“對於齡串狀參考值,,係 表示在"亥才不題開始時’應同時再生之播放串列資訊。應用 狄表係羅列出指定以該標題作為生存區間之應用程 式的資訊。 於應用程式管理表中,應用程式詳細資訊係針對每一 20 201032577 應用程式’儲存有表示顧程式名稱之文字串、表示與應 用程式相對應之圖示(Ie(m)所在之圖示指示器。圖示指示器 係藉由位址來指示Java(註冊商標)内所含的圖示。 儲存於第2圖中BDMV目錄底下之JAR目錄之java(註 冊商標)歸檔财(YYYY.jar),係相當於該Java(註冊商標) 應用程式的實體。 應用程式為例如java(註冊商標)應用程式,由載入至虛 擬機器之堆積區域(亦稱為工作記憶體⑷個以上的▲程 式所組成。按照BD-J物件内之應用程式管理表進行應用程 式訊號化(applicati〇n Signaling)、管理生存區間,因此稱為 BD-J應用程式。BrM應用程式係以提升互動性作為目的, 為了使BD-J應用程式動作,於再生裝置之平台定義有Ap工, 能夠發行以縮放的尺寸(以下稱為縮放因子)作為輸入資訊 之縮放命令。除此之外,使用者亦可直接藉由嵌入於機器 内之常駐應用程式來發行訊號化命令。訊號化命令的發行 時序自由決定,若可能於視訊串列再生中發行時,則於其 以外的時序發行。 在儲存於ΜΕΤΑ目錄之元檔案(zzZZZ.xml)中,儲存關 於存入碟片中之電影作品之各種資訊。儲存於元標案的資 訊包括碟片之碟片名及圖像、碟片由何人製作的資訊、關 於各標題的標題名等。以上是關於BD_R〇M1〇〇的說明。元 槽案並非必需檔案,亦有未儲存該檔案的BD-ROM。 以上是關於BD-ROM100的說明。接下來說明關於bd-J 物件。第3圖係表示BD-J物件之内部構成之一例之圖。如本 21 201032577 圖所不’BD-J物件係由「應用程式管理表」、「⑽管理表」、 「播放串列管理表」所構成。 以下說明關於該等構成要素。 應用程式管理表(AMT)」係令再生裝置,進行以標 題作為生存區間之應用程式訊號化的表。拉出線bjl係將應 用程式*g理表之内部構成予以特寫而表示。如該拉出線所 不’應用程式管理表包含:『應用程式識別符』,係於對應 於BD-J物件之標題成為現標題時,特定出應令其動作之應 用程式者;及『控制碼』。控制碼係於設定為自動執行 @ (AutoRun)時,表示將該應用程式載入至堆積記憶體,然後 自動啟動之意旨,並於設定為現狀(Present)時’表示將該應 用程式載入至堆積記憶體,然後應等待來自其他應用程式 的呼叫才啟動之意旨。 ' 「GUI管理表(GMT)」係動作中之應用程式進行gui時 之管理表,其包含:執行GUI顯示時之解像度或用於GUI 之字型資料;及使用者對於GUI進行選單呼叫、標題呼叫 時’規定是否將該等呼叫予以遮罩之遮罩旗標。拉出線bj2 ® 係將GUI官理表之内部構成予以特寫而表示。如該拉出線 bj2所示’ GUI管理表可設定為HD3D—1920x1080、 HD3D_1280x720、HD_1920xl080、HD_1280x720、 QHD960x540、SD、SD 50HZ—720x576、SD_60HZ_720x480 之任一者。 「播放串列管理表(PLMT)」包含對應於BD-J物件之標 題成為現標題時,應自動地再生之播放串列之指定。拉出 22 201032577 線bj4係將自動再生播放串列之内部構成予以特寫而表 示。如拉出線bj4所示’指定自動再生播放串列的資訊可指 疋3D播放串列192〇xl〇8〇、3D播放串列128〇><72〇、2〇播放 串列1920x1080、2D播玫串列128〇χ72〇、2〇播放串列 720x576、2D播放 _ 列720x480。 詳細說明再生裝置之構成要素。第4圖係表示再生裴置 之内部構成的構成之一例之圖。如本圖所示,再生裝置係 由BD驅動器la、區域儲存區lb、網路介面沁、區域儲存區 '讀取緩衝區2a、2b、虛擬檔案系統3、解多工器4、視 訊解碼器5a、5b、視訊平面6、影像解碼器7a、几、影像記 憶體7c、7d、影像平面8、音訊解碼器9、互動圖形平面1〇、 背景平面11、暫存器套組12、靜態情境記憶體13、再生控 制引擎14、縮放引擎15、合成部16、HDMI發送接收部17 ' 顯示功能旗標保持部18、左右處理記憶部19、平面移位引 擎20、偏移設定部21、BD_j平台a、轉譯引擎(rendedng engine)22a、動態情境記憶體23、模式管理模組24、HDMV 模組25、UO檢測模組26、靜止圖記憶體27a '靜止圖解碼 器27b、顯示模式設定初始顯示設定部28及顯示模式記憶部 29所構成。 本實施形態中,於BD-ROM100儲存有檔案構造如第2 圖所示之資料’經由後述之第4圖所記載的虛擬檔案系統3 從後述虛擬的BD-ROM(虛擬包)讀出左眼用視訊_流、右眼 用視訊串流、字幕串流及圖形串流。在此為了簡化說明, 以左眼用視訊串流、右眼用視訊串流記錄於BD-ROM為例 23 201032577 來說明。 又,關於字幕串流、圖形串流,左眼用/右眼用的串流 分別記錄於BD-ROM100,或左右共用1個字幕串流、圖形 串流均可。此情況下,如後述藉由給予偏移,經由液晶眼 鏡500看到的字幕、圖形雖為平面的像,但可使其看似位於 從顯示畫面跳出的位置,亦或看似較顯示畫面位於深處。 記錄於該BD-ROM100之左眼用視訊串流、右眼用視訊 串流分別輸入於再生裝置200而再生的影像,係指在人的視 差的程度下觀看效果(例如觀看角度)不同的影像,用以再生 此類影像之資料預先作為視訊串流記錄於B D - ROΜ10 0。 本實施形態中,宜預先於1個串流檔案,嵌入右眼用視 訊串流與左眼用視訊串流、字幕串流、圖形争流。此係為 了儘量壓低記憶體或缺乏圖形的機器資源之機器(例如C Ε 機器)所必需的運算量。 (BD驅動器la) BD驅動器la具備例如半導體雷射(不圖示)、準直透鏡 (不圖示)、分光器(不圖示)、物鏡(不圖示)、聚光透鏡(不圖 示)及具有光檢測器(不圖示)之光學頭(不圖示)。從半導體雷 射射出之光束通過準直透鏡、分光器、物鏡而聚光於光碟 片之資訊面。被聚光的光束在光碟片上反射/繞射’通過物 鏡、分光器、聚光透鏡而聚光於光檢測器。與由光檢測器 所聚光的光之光量相應而生成的訊號,係對應於從 BD-ROM所讀出的資料。 (網路介面lb) 201032577 網路介面lb係用以與再生裝置之外部進行通訊,可在 能夠以網際網路存取之伺服器存取,亦或在由區域網路所 連接的伺服器存取。例如用於下載公開於網際網路上之 BD-ROM追加内容,亦或與内容指定之網際網路上之飼服 器之間進行通訊’藉此可利用網路功能再生内容。bD_rom 追加功能係指裝入於BD驅動器la之原始的BD-ROM100所 無的内容,例如追加的副聲、字幕、特別收錄影像、應用 程式等《可從BD_j平台控制網路介面lb,將公開於網際網 路上之追加内容下載至區域儲存區lc。 (區域儲存區lc) 區域儲存區lc具備内建媒體、可移除媒體,用於保存 下載的追加内容或應用程式所使用的資料。追加内容之保 存區域依每BD-ROM而區分,而應用程式可使用於保持資 料之區域依每應用程式而區分。又,如何合併下載的追加 内容與裴入於BD驅動器la上之BD-ROM的資料,記載有合 併規則之合併管理資訊亦保存於該内建媒體、可移除媒體。 内建媒體係指例如内建於再生裝置之硬碟驅動器、記 憶體等可寫入之記錄媒體。 可移除媒體係指例如具有可搬動性之記錄媒體,適宜 為SD卡等具有可搬送性之半導體記憶卡。 以可移除媒體為半導體記憶卡時為例來說明,再生裝 置具備:插槽(不圖示)’係用以裝入可移除媒體者;及介面 (例如記憶卡I/F)’係用以讀取裝入於插槽之可移除媒體 者;當半導體記憶體裝入於插槽時,可移除媒體與再生裝 25 201032577 置會電連接,可利用介面(例如記憶卡I/F),將記錄於半導 體記憶體之資料轉換為電子訊號而讀出。 (讀取緩衝區2a) 讀取緩衝區2a係用以暫且儲存構成延伸區之來源封 包,調整傳輸速度後再傳輸至解多工器4的緩衝區,而該延 伸區構成從BD駆動器ia所讀出的左視角串流。 (讀取緩衝區2b) 讀取緩衝區2 b仙以暫且儲存構成延伸區之來源封
包調整傳輸速度後再傳輸至解多工器*的緩衝區,而前述 延伸區構成從BD驅動器la所讀出的右視角串流。 (虛擬檔案系統3) 虛擬檔案系統3建構虛擬的BD_R〇M(虛擬包),其係] 據例如與追加内容1下載至區域儲存die之合併管理: § —儲存於區域儲存區之追加内容與裝入的 -ROM.
彳後而獲得。為了建構虛擬包,虛擬權案系統3: 读古心成及更新應用程式關聯建立資訊之應用程式關] 、!。應用程式關聯建立資訊係指依據BD_R〇M碟 上之負讯、及麻田 區之資訊對^ ^所設錢輕資訊,來將區域儲」 從HDMV模式動从 貝巩 主體之BD_j平台,a主體之指令解譯器或BD-J模式動- BD-ROM。虛擬=,能夠不區別而參考虛擬包與原· 料與區域料^再生中,再生裳置利用bd_rqm上之 (解多工器4) <資料雙方來進行再生控制。 26 201032577 解多工器4係由例如來源封包解封包處理器(s〇_ packetde-paeketizer)、PID較器所構成,受理對應於應再 生之串"IL(串抓包3於已建構之虛擬包(褒入的bd_r〇m及 對應於裝人的BD-ROM之區域儲存區上之資料)中)之封包 識別符的W,執行根據該當封包朗符之封包渡波。封 包滤波時,依據左右處理記憶部19的旗標,於左視角視訊 串流、右視角視訊串流中,抽出對應於顯示方式旗標之視 訊串流,並傳輸至視訊解碼器5&、視訊解碼器5b。解多工 器4係從串流的標頭資訊,進行左眼用視訊訊框與右眼用視 訊訊框的分類。 從再生對象之串流分離後的串流為字幕串流的情況 下,解多工器4係於影像記憶體寫入分離後的字幕串流。例 如3D字幕串流(左視角用字幕串流、右視角用字幕串流)包 含於串流中的情況下’於影像記憶體7(:寫入左視角用字幕 串流,於影像記憶體7d寫入右視角用字幕串流。 又’例如字幕串流為2D的字幕串流(為了平面顯示所使 用的字幕串流)包含於串流中的情況下,於影像記憶體7c寫 入2D字幕串流。 (視訊解碼器5a) 視訊解碼器5a係將輪出自解多工器4之TS封包譯碼,於 左視角視訊平面6(第4圖之視訊平面6中以符號(L)表示)寫 入非壓縮形式的圖。 (視訊解碼器5b) 現訊解碼器5b係將輸出自解多工器4之右視角視訊封 27 201032577 包譯碼,並將TS封包譯碼,於右視角視訊平面6(第4圖之視 訊平面6中以符號(R)表示)寫入非壓縮形式的圖。 (視訊平面6) 視訊平面6係例如能夠儲存與1920x2160(1280x1440) 解像度相應之圖資料之平面記憶體,具有左眼用平面及右 眼用平面,而前述左眼用平面(第4圖之視訊平面6中以符號 (L)表示)具有1920x1080(1280x720)解像度,前述右眼用平 面(第4圖之視訊平面6中以符號(R)表示)具有 1920x1080(1280x720)解像度。 〇 (影像解碼器7a、b) 影像解碼器7a、b係將構成輸出自解多工器4並寫入於 影像記憶體7c、7d之字幕串流之TS封包譯碼,於圖形平面 8a寫入非壓縮形式之圖形字幕。由影像解碼器7&、b所解碼 - 的“字幕串流’’係表示藉由變動長度編碼所壓縮的字幕之資 料,由表示Y值、Cr值、Cb值、α值之畫素碼及該晝素碼之 變動長度所定義。 (影像平面8) Θ 影像平面8係可儲存按照例如192〇X1 〇80( 1280 X 720)解 像度解碼字幕串流所獲得的圖形資料(例如字幕資料)之圖 形平面,具有左眼用平面及右眼用平面,而前述左眼用平 面(第4圖之影像平面8中以符號(l)表示)具有可儲存具 1920x1080(1280x720)解像度之資料之記憶區域,前述右眼 用平面(第4圖之影像平面8中以符號(r)表示)具有可儲存具 192〇χ 1080(1280x720)解像度之資料之記憶區域。 28 201032577 (音訊解碼器9) 音訊解碼器9係將輸出自解多工器4之音訊訊框譯碼, 並輸出非壓縮形式之音訊資料。 (互動圖形平面10) 互動圖形平面10係具有一記憶區域之圖形平面,前述 記憶區域可儲存BD-J應用程式按照例如 1920x1080(1280x720)解像度’並利用轉譯弓丨擎22a所描繪的 # 圖形資料;且具有左眼用平面及右眼用平面,而前述左眼 用平面(第4圖之互動圖形平面10中附有符號具有可儲 存具例如1920x1080(1280x720)解像度之資料之記憶區 域,前述右眼用平面(第4圖之互動圖形平面10中附有符號 (R))具有可儲存具1920x1080(1280x720)解像度之資料之記 憶區域。 儲存於互動圖形平面10之“圖形資料,,係各個像素由r 值G值、B值、α值所定義的圖形。寫入於互動圖形平面 鲁 〇之圖开ν係具有主要為了構成GUI而使用之目的之影像或 ^面物件㈣㈣。雖在表現畫素㈣料上有差異,但影像 貢料及圖形資料係由所謂圖像資料的表現來涵蓋。本申請 案作為,象之圖像平面包括影像平面8、互動圖形平面1〇兩 種類’早純稱為“圖形平面,,時,則指影像平面8、互動圖形 平面10雙方或任一者。 (背景平面11) 彦厅、平面11係可按照例如1920x 1080(1280x720)解像 度健存應作為背景圖之靜止圖資料之平面記憶體,具體 201032577 而言具有左眼用平面及右眼用平面,而前述左眼用平面(第 4圖之背景平面11中附有符號(L))具有1920x1080(1280x720) 的解像度,前述右眼用平面(第4圖之背景平面丨丨中附有符 號(R))具有 1920x1080(1280x720)的解像度。 (暫存器套组12) 暫存器套組12為暫存器的集合,其包含:再生狀態暫 存器,係儲存播放串列之再生狀態者;再生設定暫存器, 係儲存表示再生裝置之組態之組態資訊;及泛用暫存器, 係儲存内容所利用的任意資訊。播放串列之再生狀態係表 現利用播放串列所記載的各種^資料資訊中之何個資 料、再生播放串列之何位置(時刻)等狀態。 播放清單的再生狀態變化時,再生控制引擎14會對於 PSR套組12儲存其内容。又,可按照來自HDMV模式動作主 體之指令解譯器或BD-j模式動作主體之Java平台所執行的 應用程式之指示,儲存應用程式所指定的值,亦或對應用 程式交付已儲存的值。 (靜態情境記憶體13) 靜態情境記憶體13係用以事先儲存現播放串列資訊或 現播放剪輯資訊之記憶體。現播放串列資訊係指可從 BD-ROM或内建媒體驅動器、可移除媒體驅動器存取之複 數播放串列>訊中,成為現在處理對象之資訊。現播玫串 列資訊係指可從BD-ROM或内建媒體驅動器、可移除媒體 驅動器存取之複數播放串列資訊中,成為現在處理對象之 資訊。 30 201032577 (再生控制引擎14) 再生控制引擎U係因應來自HDMV模式動 令解譯器或BD-J模式動作主體^Java平台之函數主體之指 行AV再生功能、播放串列之再生功能。Av再生了 Η,執 自DVD播放器、⑶播放器之功能群,其為再生門:係承襲 停止、暫時停止、暫時停止解除、靜止圖功能2、再生 指定再生速度之快轉、立即指定再生速度之㈣^ :即 換、副影像切換、角度切換等處理。播放串列再=切 指該AV再生功能中,按照構成麟放串列之㈣放功能係 訊、現剪輯資訊來進行再生開始或再生停止。 串歹 發生碟片(例如BD_R〇M1〇〇)***的事件時,由 制引擎戰行的再生處理所作為對象之缝㈣^生控 列,係記載於BD-ROM上之現情境之自動再生播= (Aut〇Starplaylist)。辦列再生有時以使用者操作(例如成 生按钮)料觸發而開始,㈣亦鱗端㈣某些事 觸發而自動開始。 乍為 (縮放引擎15) 縮放引擎I5可進行位於影像平面8或視訊平面$之影像 之縮小、放大及等倍的控制。於影像資料、圖資料被ζ石馬 的時點,若於平面移位引擎20内已設定有值,則縮放弓^擎 I5視為縮放正在發生,於視訊平面儲存已解碼的視訊資料
前、於影像平面儲存已解碼的圖形前,透過縮放引擎⑸ 縮放進行。 I 縮放因子(Factor)為例如水平像素數的倍率及/或垂直 31 201032577 像素數的倍率,舉例來說,對於基本解像度為1920xi〇8〇 畫素(pixel)之圖形資料,指定有“1/2”縮放因子的情況下, 圖形資料之解像度縮小至(1920χ〇·5)χ(1080χ〇.5)像素,亦即 960x540畫素。诸如縮放因子為1/2 ’不僅可設定1以下的 值,亦可設定1以上的值,該情況係施以放大處理。 (合成部16) 合成部16係合成互動圖形平面1〇、影像平面8'視訊平 面6、背景平面11之儲存内容。
互動圖形平面10、影像平面8、視訊平面6與背景平面 11為各別的層構成,必定從下開始,進行依背景平面u、 視说平面6、影像平面8、互動圖形平面的順序所儲存的資 料之合成(疊合)。設想再生内容顯示作為影像平面之資料之 字幕、作為互動圖形平面10之資料之p〇p_Up(彈跳式)選單 (圖形)、GUI圖形之資料的情況下,合成部必定於視訊平面 6之資料(視訊)上,疊合影像平面8之資料(字幕),於影像平 面8上,疊合互動圖形平面10之資料。總言之,即便視訊平 面為立體視覺的内容’無景深的字幕或Ρ〇Ρ·υρ選單(彈跳式 選單)、GUI重疊於立體視覺視訊時,須優先顯示影像(字 幕、POP-UP選單、GUI等圖像)。進行縮放時,此亦同理。 (HDMI發送接收部17) HDMI發送接收部17包含例如遵循HDMI規格(hdmi : High Definition Multimedia Interface(高解析多媒體介面)) 的介面,以遵循HDMI規格的方式’與跟再生裝置建立HDMi 連接之裝置(本例為電視400)進行發送接收,經由hdmi發 32 201032577 送接收部17 ’將儲存於視訊之圖資料、及由音 解碼的非壓縮音訊資料傳送至電視4⑽。電視 所 如=否支援立體視覺顯示之資訊、關於可進奸= 不的解像度之資訊、關於可進行立體顯㈣解像度之資 訊’當從再生展置經由刪_收部】7發出要求時,電 視4 0 〇對再生裝置送回被要求的必需資訊(例如關於是否支 ^立體視覺顯示之資訊、關於可進行平面顯示的解像度之
資訊、關於可進行立體顯示的解像度之資訊)。如此,藉經 由HDM!發送接收部n,可從電視_取得電視彻是否支援 立體視覺顯示之資訊。 (顯示功能旗標保持部i 8) 顯不功能旗標料部18贿3D顯示功能旗標,其係表 示再生裝置可否進行3D顯示的區別。 (左右處理記憶部19) 左右處理記憶部19係記憶現在的輸出處理為左視角用 輸出亦或為右視角輸出。左右處理記憶部19之旗標係表 不’對於與第lgj所示再生裝置連接之顯示裝置(第丨圖之例 為電視為左視角視角亦或為右視角輸出 。在進行左 視角輸出的期間’左右處理記憶部19之旗標設定為表示左 視角輸出之旗標。又’在進行右視角輸出的期間,左右處 理記憶部19之旗標設定為表示右視角輸出之旗標。 (平面移位引擎20) 平面移位引擎20同時具備保存平面偏移的區域,於左 右處理記憶部19判斷現在的處理對象為左眼影像亦或為右 33 201032577 眼影像後,利用保存的平面偏移來計算影像平面之橫軸移 位量(表示要將顯示於顯示畫面上的像,從基準位置往顯示 畫面的水平方向挪移多少程度的量)並予以移位。藉由調節 顯不字幕(圖形)之移位量,可使得經由液晶眼鏡500所看到 的平面字幕(圖形),看似較顯示畫面的位置顯示於面前/深 處。所謂移位量係用以調節從顯示畫面,看似位於面前或 看似位於深處達多少程度的量。 總言之,藉由變更字幕/圖形之橫軸挪移幅度而變更景 深。例如可獲得令左眼用字幕與右眼用字幕往一定方向分 開越遠,以顯示如同更加位於面前,令左眼用字幕與右眼 用字幕往相反方向分開越遠’以顯示如同更加位於深處之 視覺效果。 依移位量不同,有時對於顯示器之解像度及尺寸而 言’影像平面的變位過大’雙眼無法適應而出現影像看似 雙重影像的現象。該情況下’依據記載於平面偏移的值來 組合顯示器之解像度與尺寸之資訊,調整為字幕•圖像不 會顯示在過於面前。例如再生裝置200同時具備可設定平面 偏移的設定功能時,平面移位引擎20保存利用設定功能所 設定的值。 (偏移設定部21) 偏移設定部21係於後述平面移位引擎2〇之偏移值保存 部41,設定當有偏移的更新要求時所應更新之偏移。 具體而言,藉由以下動作進行設定,即(a)載入記憶於 後述顯示模式記憶部29之影像平面設定之偏移值、互動圖 201032577 形平面設定之偏移值而設定;(b)解多工器4取得保持在輸入 於解多工器4之串流之標頭區域的影像平面之偏移值,設定 從解多工器4獲得之上述偏移的值;(c)載入&u〇檢測模組 26送來的影像平面之偏移值、互動圖形平面之偏移值而設 定;及(d)載入現播放_列資訊所含之影像平面之偏移值、 互動圖形平面之偏移值而設定等動作。 偏移設定部21係於有來自使用者或來自應用程式的平 面偏移之更新要求時,暫時保存其值的模組。平面偏移係 例如以-63〜63表現景深的整數(63為最面前,_63為最深 處)’將其轉換為表示最終移位幅度之像素座標。 (BD-J平台 22) BD-J平台22為BD-J模式動作主體之java平台,完整安 裝有 JaVa2MiCr〇一Edition(J2ME) Personal Basis Profile(PBP 1.0)及Globally Executable MHP specification(GEM1.0.2) for package medis targets ’從存在於jar歸檔檔案讀出位元組 碼,並儲存於堆積記憶體,藉此啟動用程式。然後, 將構成BD-J應用程式之位元組碼、構成系統應用程式之位 元組碼轉換為原生碼’並令MPU執行。BD-J平台22在被 BD-J應用程式要求縮放時,於後述第21圖所示之平面移位 引擎20之縮放因子保存部42,儲存被給予作為引數之縮放 因子。 (轉譯引擎22a) 轉譯引擎(rendering engine)22a具備 Java2D、OPEN-GL 等類之基礎軟體,於BD_j模式下,按照來自BD-J平台22之 201032577 Λ ;動圖形平面10寫入圖形或文字串又,於肋MV 、式下轉譯引擎以轉譯從對應於字幕之串流(字幕事流) 以外之圖形串流所擷取的圖形資料(例如對應於輸入按鈕 之圖形資料)’並寫人於互動圖形平面1〇。 (動態情境記憶體23) 動態情境記憶體23係事先儲存現動態情境,以供 HDMV模式動作主體之助财模組、BD j模式動作主體之 Java平台進行處理之記憶體。現動態情境係指記錄於 BD-ROM或⑽記憶體、可移除記憶體之ΐη&χ _、购 ⑩ 物件、電影物件巾絲現在執行對象者。 (模式管理模組24) 模式管理模組24係保持從BD_R〇M1〇〇或區域儲純 — lc(第4圖例中為㈣媒體、可移除媒體驅動器)所讀 - 出的Index,bdmV,並進行模式管理及分支管理。由模式管 理模組24所執行的模式管理係指模組分配,其係令b 台22、HDMV25之某一方執行動態情境。 (HDMV模組 25) ◎ HDMV模組25係HDMV模組動作主體之DVD虛擬播放 器,其為HDMV模叙執行主體。本餘具備指令解譯器, 解讀並執行構成電影物件之導航指令,藉此執行Η〇游之 控制。導航指令採用與DVD_vide〇相似的語法描述,因此 藉由執行該導航指令,可實現類似DVD_Vide〇之再生控制。 (UO檢測模組26) UO檢測模組26受理對於GUI之使用者操作。藉由該 36 201032577 GUI所又理的使用者操作中’包括記錄洲D-RQM之標題中 選擇何者之標題選擇、字幕選擇及聲音選擇。特別是作為 立體視覺再生所特有的使用者操作而受理立體視覺影像之 豕深感層級。例如受理景深感為遠、普通、近等3個層級, 或諸如景深感為多少em、多少mm,亦藉由數值輸入來受理 景深感層級。 又’ UO檢測模組26係於藉由操作附屬於遙控器或機器 的按叙等,來纽敎影像平Φ的職之命令時,機器内 模組會直接發行縮放命令。 (靜止囷記憶體27a) 靜止圖記憶體27a儲存從BD-ROM或已建構的虛擬包 取出作為背景圖的靜止圖資料。 (靜止圖解碼器27b) 靜止圖解碼器27b係解碼被讀出至靜止圖記憶體27a之 靜止圖資料,於背景平面11寫入非壓縮之背景圖資料。 (顯示模式設定初始顯示設定部28) 顯示模式設定初始顯示設定部28係根據提供給BD-J平 台部之現標題之BD-J物件,進行顯示模式、解像度之設定。 (顯示模式記憶體29) 顯示模式記憶體29係記憶顯示模式為2D亦或3D之何 者、及立體模式為開啟或關閉之何者。再生裝置在作為3D 顯示功能旗標設定為可進行3D顯示時,保存於顯示模式記 憶體29之終端設定之顯示模式可切換為2d、3D之某一者。 以下,顯示模式表示作“3D”的狀態稱為“3D顯示模式,,,顯 201032577 示模式表示作“2D”的狀態稱為“2D顯示模式”。 說明關於該顯示模式的詳細内容。再生裝置為3D顯示 模式時,各平面採取立體模式開啟狀態、立體模式關閉狀 態之某一狀態。立體模式開啟與關閉的差異亦是平面合成 方法的差異。 以視訊串流為例來說明,“立體模式開啟”係指一3D顯 示模式,其係再生裝置進行分別利用觀看效果(例如觀看角 度)不同的2個影像(例如在視差程度下,觀看角度不同的左 視角用影像與右視角用影像)來顯示的合成。 “立體模式關閉”係指一3D顯示模式,其係再生裝置進 行利用1個影像(例如左視角用影像與右視角用影像之某一 方影像,在此以左視角用影像為例來說明)提供給左眼/右眼 的合成。總言之,以兩眼收視的情況下為無立體感的影像 (平面影像)。 其中,例如於圖形平面8,藉由利用平面偏移而往水平 方向的移位,可使得儲存於圖形平面並顯示之平面的圖形 平面資料(字幕資料),看似較顯示畫面位於面前或深處。就 記憶於視訊平面之視訊資料、記憶於互動圖形平面之互動 圖形資料及記憶於背景平面11之背景圖資料而言,若在“立 體模式關閉”的情況下調節偏移,此亦同理可套用。 如以上所說明,於“3D顯示模式”下有“立體模式開啟” 及“立體模式關閉”兩種模式,於“3D顯示模式”下之“立體 模式開啟”,利用左視角用資料及右視角用資料(例如從左 眼看到的像與從右眼看到的像,係觀看角度不同的像),將 201032577 儲存於左視角用平面與右視角用平面,並按照同 h又.4不所儲存的像,藉此可顯示具立體感的像。 =於“3D顯示模式,,下之“立體模式賴”,僅利用左 ? 資料及右視角用資料中之某_方資料(本實施形態 左眼用轉),將其分賴存於左視肖用平面與右視 角用平面,並調節平面偏移,藉此可使得平面的像,顯示 如較顯示畫面位於面前或深處。 馨 〜本實^形態中,構成如“立體模式開啟,,、“立體模式關 閉可於每平面(亦即視訊平面6、圖形平面8、互動圖形平 面10、背景平面11之每平面)設定。 • 又,2D顯不模式”係指一般的顯示,亦即於顯示與顯 . *晝面的位置相對應的像。此情死下,構成如預先決定在 預认中所利用的解碼器、平面,利用該解碼器、平面來顯 示合成圖像。 例如2D顯示模式”的情況下,構成如合成以下資料: φ 視訊解碼器5a寫入於左眼用視訊平面(第4圖所示之視訊平 面6中以符號(L)表示)之2D視訊資料;影像解碼器7a寫入於 左眼用平面(第4圖所示之影像平面8中以符號(L)表示)之2D 圖形資料(字幕資料);BD-J應用程式利用轉譯引擎22a,寫 入於左眼用平面(第4圖之互動圖形平面1〇中附有符號(L)) 之2D互動圖形;及靜止圖解碼器27b寫入於左眼用平面(第4 圖之背景平面11中附有符號(L))之2D靜止圖資料。 此時,合成順序係從下開始’依2D靜止圖資料、2D視 訊資料、2D圖形資料(字幕資料)、2D互動圖形的順序合成。 39 201032577 顯示模式設定初始顯示設定部2 8係根據提供給B D - J平 台部之現標題之BD-J物件,進行顯示模式、解像度之設定。 說明對各平面記憶體的寫入,會因該顯示模式的設定 而如何變化。 (對視訊平面6的寫入)
一開始先說明關於視訊平面6。於視訊資料之顯示模式 為3D顯示模式,且立體模式開啟的情況下,視訊解碼器5a 解碼左視角用視訊串流,並寫入於左眼用平面(第5圖所示 之視訊平面6中以符號(L)表示),並且視訊解碼器5b解碼右 視角用視訊串流,並寫入於右眼用平面(第5圖所示之視訊 平面6中以符號(R)表示)。
又,於視§fl資料之顯示模式為3D顯不模式,且立體模 式關閉的情況下,視訊解碼器5a解碼例如左視角用視訊串 流,並寫入於左眼用平面(第5圖所示之視訊平面6中以符號 (L)表示)及右眼用平面(第5圖所示之視訊平面6中以符號(R) 表示)。 又’視訊資料之顯示模式為2D顯示模式的情況下,構 成如例如解多工器4將2D視訊串流送給視訊解碼器5a,視訊 解碼器5a在左眼用視訊平面(第5圖所示之視訊平面6中以 符號(L)表示)寫入經解碼之2d視訊資料。 以上係關於視訊平面6的說明。 接下來說明關於影像平面8的詳細。 (對影像平面8的寫入) 例如字幕資料之顯示模式為3D顯示模式,且立體模式 40 201032577 開啟的情況下’影像解碼盜7a解碼記憶於影像記愫體7C之 左視角用字幕串流’並寫入於左眼用平面(第5圖所示之影 像平面8中以符號(L)表示),並且影像解碼器7b解碼記憶於 影像記憶體7d之右視角用字幕串流,並寫入於右眼用平面 (第5圖所示之影像平面8中以符號(R)表示)。
又,於字幕資料之顯示模式為3D顯示模式,且立體模 式關閉的情況下,影像解碼器7a解碼記憶於影像記,障體7c 之左視角用字幕串流,並寫入於左眼用平面(第5圖所示之 影像平面8中以符號(L)表示)及右眼用平面(第5圖所示之影 像平面8中以符號(R)表示)。 於上述例中,於字幕資料之顯示模式為3D顯示模式, 且立體模式關閉的情況下,解碼左視角用字幕串流,並寫 入於左眼用平面及右眼用平面,但於記錄在記錄媒體之字 幕串流為左右共用相同字幕串流的構成時,載人該共用的 字幕串流,並寫人於左眼用平面及右眼用平面即可。 又子幕負料之顯示模式為2D顯示模式的情況下,解 多工益4係構成如於影像記憶體儲存2D字幕争流,影像解 碼器7a係構成如解㈣存於影像記憶敍之字幕串流, 並寫入於左眼用平面(第5圖所示之影像平面8中以符 表示)。 。接下來說明關於互動圖 以上係關於影像平面8的說明 形平面10之儲存内容。 (對互動圖形平面1〇的寫入) 互動圖形之顯示模式為例如3D顯示模式,且立體模式 41 201032577 開啟的情況,係意味於BD-J應用程式中,嵌入有描繪從左 眼看到的互動圖形(左眼用互動圖形)、從右眼看到且與左眼 用互動圖形不同之互動圖形(右眼用互動圖形)之程式。 藉由該描繪程式所描繪的左眼用互動圖形及右眼用互 動圖形,係看似立體圖形之觀看角度互異的圖形。 左眼用互動圖形及右眼用互動圖形供作顯示時,BD-J 應用程式係利用轉譯引擎22a,於左眼用平面(第4圖之互動 圖形平面10中附有符號(L))寫入左視角用互動圖形,於右眼 用平面(第4圖之互動圖形平面10中附有符號(R))寫入右視 角用互動圖形。 又,於互動圖形之顯示模式為例如3D顯示模式,且立 體模式關閉的情況下,BD-J應用程式係利用轉譯引擎22a, 於互動圖形平面10之附有符號(L)、符號(R)的平面,分別寫 入左視角用互動圖形。 於互動圖形之顯示模式為2D顯示模式的情況下,BD-J 應用程式係利用轉譯引擎22a,於互動圖形平面10(更具體 而言為互動圖形平面10之附有符號(L)的平面)寫入2D互動 圖形。 以上係關於互動圖形平面10的說明。接下來說明關於 與顯示模式相應之背景平面11之儲存内容。 (對背景平面11的寫入) 背景圖之顯示模式為例如3D顯示模式,且立體模式開 啟的情況下,靜止圖解碼器27b解碼儲存於靜止圖記憶體 27a之左視角用靜止圖資料、右視角用靜止圖資料,分別於 201032577 左眼用平面(第4圖所示之背景平面u中附有符號([))寫入 左視角用靜止圖資料’於右眼用平面(第4圖所示之背景、, 面11中附有符號(R))寫入右視角用靜止圖資料。 ’、平 背景圖之顯示模式為例如3D顯示模式,且立體模式關 的情況下,靜止圖解碼器27b解碼儲存於靜止圖記憶體 27a之3D背景圖(左視角用靜止圖資料、右視角用靜止圖資 料)中之左視角用靜止圖資料,並寫入於左眼用平面(第4 = 所示之背景平面11中附有符號(L))及右眼用平面(第4圖所 示之背景平面11中附有符號(R))。背景圖之顯示模式為例如 2D顯示模式的情況下,靜止圖解碼器27b解碼儲存於靜止圖 記憶體27a之2D靜止圖資料,並寫入於左眼用平面(第4圖所 示之背景平面11中附有符號(L))。 以上係關於與顯示模式相應之背景平面11之儲存内容 的說明。 接著說明關於本實施形態之2D顯示模式、3D顯示模式 切換的詳細。 第5圖係表示2D顯示模式、3D顯示模式之切換之圖。 於本圖左側,表示2D顯示模式時之輸出模型。於左側的平 面構成中,以各1個視訊平面6、影像平面8(圖中的“副標題 (Subtitle)”)'互動圖形平面1〇、背景平面11及輸出所構成。 故’ 2D顯示模式時,左視角及右視角係利用共通平面, 結果看到完全相同的輸出。 於本圖右側,表示3D顯示模式時之輸出模型。再生裝 置為3D顯示模式時,視訊平面6、影像平面8(圖中的“副標 43 201032577 題(Sub她),’)、互動圖形平面10分別區分為左視角用與右視 角用,於其等儲存有應再生的圖資料(picture data)、圖形資 料(graphics data) ° 故,3D顯不換式時,個別存在有左視角與右視角輸出, 可對左眼與錢提供不同影像,顧其懸,可引發晝面 内的立體物彷彿跳出到面前的3〇效果。
第6圖係表示於3D顯示模式下,各平面之立體模式 (stereo mode)全開啟的情況與立體模式全關_情況下之 合成處理之一例之圖。 於第6圖表示令各平面統一立體模式的情況下之例但 可於每平面變更立體模式之開啟/關閉。 左側係表示在3D顯示模式下,各平面之立體模式全開 啟的情況下之平面構成,右側係表示在3〇顯示模式下,各 平面之立體模式全關閉的情況下之平面構成。 第1層表示背景平面11及其合成前之輸出。
第2層表示視訊串流、視訊平面6及其合成前之輪出。 第3層表示影像平面8及其合成前之輸出。 第4層表示互動圖形平面10及其合成前之輸出。 立體模式開啟時’背景平面係以附有(L)的區域所示 左眼用背景平面,使用於左視角用背景資料之寫入, 有(R)的區域所示之右眼用背景平面被寫入右視角用背 資料,分別於左眼用/右眼用合成時使用。背景平面 體模式關閉時,藉由應用程式,分別於背景平面11之附 (L)、(R)的區域寫入左視角用背景資料,因此右視角用背 44 201032577 資料不會影響顯示。 立體模式開啟時,視訊串流中之左眼用視訊之圖資料 儲存於左視角用之視訊平面。又,視訊串流中之右眼用視 °凡之圖資料儲存於右視角用之視訊平面。視訊平面之立體 模式關閉時,左眼用視訊之圖資料儲存於左視角用視訊平 面與右視角用視訊平面雙方。 立體模式開啟時,影像平面係於附有(L)的區域所示之 左眼用影像平面,寫入有左視角用影像資料,於附有汛)的 區域所示之右眼用影像平面,寫入有右視角用影像資料, 分別於左眼用/右眼用合成時使用。 影像平面8之立體模式關閉時,對應於右視角用影像資 料之字幕圖形不會影響顯示。又,立體模式關閉時,影像 平面8的内容為已往右方或左方移位的内容(圖中之左移 位)。 立體模式開啟時,互動圖形平面10係於附有(L)的區域 所示之左眼用互動圖形平面,寫入有左視角用互動圖形, 於附有(R)的區域所示之右眼用互動圖形平面,寫入有右視 角用互動圖形,分別於左眼用/右眼用合成時使用。 互動圖形平面1〇之立體模式關閉時,來自應用程式之 右邊用互動圖形不會影響顯示。又,立體模式關閉時’互 動圖形平面10的内容為已往右方或左方移位的内容(圖中 之左移位;)。 第7圖係表示於顯示模式為3D,所有平面為立體模式開 啟(ON)的情況下’如何疊合背景平面η、視訊平面、影像 201032577 平面8、互動圖形平面10。於立體模式下,可知作為左視角 依序合成左視角背景平面u4、從視訊串流讀出的左視角視 訊u3、影像平面8之左視角圖形U2及互動圖形平面1〇之左視 角圖形ul。 又,可知作為右視角依序合成右視角背景平面U8、從 視訊串流讀出的右視角視訊u 7、影像平面8之右視角圖形u 6 及互動圖形平面10之右視角圖形u5。 第8圖係表示於顯示模式為3D,所有平面為立體模式關 閉(OFF)的情況下,如何疊合背景平面n、視訊平面、影像 @ 平面8、互動圖形平面10。於立體模式關閉時,可知作為左 視角依序合成左視角背景平面料、從視訊串流讀出的左視 角視訊r2、將影像平面8之左視角圖形往一定水平方向(圖中 為右)移位後之左移位圖形r3、及將互動圖形平面1〇之左視 - 角圖形往一定水平方向(圖中為右)移位後之左移位圖形Η。 可知作為右視角依序合成右視角背景平面r8、從視訊 串流讀出的左視角視制、將影像平面8之左視角圖形往與 左視角相反的方向(圖中為左)移位後之左移位圖形r7'及將 © 互動圖形平面10之左視角圖形往與左視角相反的方向(圖 中為左)移位後之左移位圖形r5。 接著,說明關於本實施形態之立體模式切換的詳細。 第9圖係表示每平面之合成結果。 6L、6R係表示視訊平面之一例。從女性臉部所朝方向 的差異’可窺知左視角用串流與右視角用串流是從不同角 度拍攝。而且,圖9中人物的臉部所朝方向或位置的偏離為 46 201032577 模式性表現’並非表現用以實現立體視覺再生之正破臉部 所朝方向或位置。不配戴液晶眼鏡500 ’以肉眼觀看電視4〇〇 的顯示畫面時,該從不同角度拍攝的影像看似彷彿疊合顯 示0 影像平面8中之“I love you”的字’係字幕資料由影像解 碼器解碼後之影像。 受理互動圖形平面10之前後跳躍播放的操作之GUI元 件,係BD-J應用程式描繪於互動圖形平面10之圖形圖像。 6LL為合成後之輸出左視角,6RR為合成後所輸出的輸 出右視角。於6LL之左視角用’可知“I love you”字幕往右偏 離而合成。又,於6RR之右視角影像,“I love you”字幕往 左偏離而合成。 第10圖係表示以3D用顯示器觀看所有平面為立體模式 開啟時之影像輸出的情況下之一例。 右視角及左視角用影像係透過例如液晶眼睛5〇〇而受 到濾光,於左右眼放映出不同影像。在此應注意點不僅在 於視訊串流影像重疊有左右圖像而立體化,而且受理“工 love you”字幕或前後跳躍播放的操作之GUI元件亦於左眼 與右眼不同。如此,可知於預先準備左眼用與右眼用雙方 内容的情況下’藉由設定立體模式開啟,而成為自然地維 持視訊、字幕或GUI元件全部的景深之構成。 第11圖係表示以液晶眼鏡5〇〇 ’觀看視訊平面為立體模 式開啟’而其以外之平面全設為立體模式關閉時之影像輪 出的情況下所呈現的立體視覺影像之一例之圖。關於未準 47 201032577 備左眼用及右眼用雙方字幕或GUI之碟片(以2D為前提所 做出的過去的内容,碟片容量不足而未準備的碟片等),不 得不令圖形平面之立體模式關閉。由於圖11之視訊平面為 立體模式開啟,因此可窺知分別從左視角用串流與右視角 用串流所再生的像,係再生攝影對象相同、從不同角度拍 攝者之影像。另,影像平面8及互動圖形平面10係立體模式 關閉,於視訊平面合成往右方及左方移位相同字幕串流、 相同GUI圖像者,即便僅存在單眼用的字幕· GUI,仍可顯 示於立體視訊的面前,可減低收視者雙眼的疲勞程度。 (用以實現立體視覺效果的控制) 說明關於為了實現立體視覺效果而挪移圖形平面的方 向。 平面移位引擎20所移位的方向係依為使圖形平面具有 較顯示晝面位於深處的立體感,或為使其具有較顯示畫面 位於面前的立體感而不同。 於本實施形態,前提係以將左視角用影像往右方挪 移,亦即使其具有從畫面跳出的立體感。 原本像素資料的座標、與已往右方或左方移位的情況 下之各像素資料的座標之差分,稱為“移位量”或“移位 數”。該移位量係於立體視覺下,應藉由景深值算出,而前 述景深值係指要使寫入於影像平面8之字幕、或寫入於互動 圖形平面10之圖形圖像,顯示成較顯示晝面位於面前或深 處達多少程度。又,於立體視覺再生中,可從能夠採用作 為兩眼視差之某些參數來導出。 201032577 又,僅以如上述之移位量,用以使圖形平面内之像素 資料往左右移動之參數,稱為“平面偏移,,。相對於移位量 為純量,平面偏移係具有正負極性及大小的向量,其指出 使像素資料的練,從_般狀態(料看似顯祕顯示畫面 上之狀態)往顯示晝面之水平方向(例如右方及左方)之何方 向移動多少。於以下說明中,平面移位係按照該平面偏移 而執行。平面偏移包括於移位量附有正負符號者,亦包括 Φ 藉由某些函數式施以計算,然後採用作為移位量者。 接下來,說明關於平面偏移之正負的含意。 圖形平面之平面偏移係表示將儲存於右視角圖形平面 - t像讀料之座標、續雜左視角®形平面之像素資料 之座標’挪移多少像素之像素數。 欲使圖形平面的影像具有從晝面跳出的效果時,於平 面合成前,以平面偏移所示之移位量的份量,將左視角用 圖形平面往右側移位。然後,以平面偏移所示之移位量的 _ 份量,將右視角用圖形平面往左側移位。於本實施形態中, 平面偏移的符號為“正號”時會帶來跳出效果。 欲使圖形平面的影像具有顯示於晝面深處的效果時, 於平面合成前,以平面偏移所示之移位量的份量,將左視 角用圖形平面往左側移位。然後,以平面偏移所示之移位 量的份量,將右視角用圖形平面往右側移位。於本實施形 態中’平面偏移的錢為‘‘負號”時會帶來顯示於深處的效 果0 平面偏移為“。’’時’意味不進行圖形平面的移位,亦即 49 201032577 以一般狀態(看似顯示於顯示畫面上之狀態)顯示。 第12圖係表示於顯示模式為3D,各平面之立體模式關 閉的情況下,儲存於背景平面之背景圖像之平面偏移為 “〇,,,儲存於視訊平面之視訊之平面偏移為“0,,,影像平面 之平面偏移為不同於“0’’的值時,已往右方移位之左移位左 視角圖形平面、已往左方移位之左移位右視角圖形平面之 圖。 如本圖(a)所示,於影像平面8 ’右方移位後之圖形平面 係於左側追加有透明區域,右側端部被剪下。同樣地,於 _ 互動圖形平面1〇,右方移位後之圖形平面係於左側追加有 透明區域,右侧端部被剪下。 同樣地,如(b)所示,於影像平面8,左方移位後之圖形 ' 平面係於右側追加有透明區域,左側端部被剪下。同樣地, 於互動圖形平面10,左方移位後之圖形平面係於右側追加 有透明區域,左侧端部被剪下。
於立體模式關閉時所執行的平面移位,係產生使得影 像平面或互動圖形平面内之圖形看⑽顯示晝面位於面 Q 剛’亦或看似較顯示畫面位於深處之視覺效果。說明關於 以該平面移位為前提的原理。 (利用平面移位之立體視覺的原理) 第13圖係用以說明平面偏移之符號為正(左視角用 =形影像奸方挪移,右視角狀圖形影像往左方挪移)的 月況下’像看似較顯示畫面位於面前之原理之圖。 本圖中,以剧响* 一 Λ圓圈表示者係顯示於顯示畫面上之像。 50 201032577 首先,無平面偏移時,由於右眼看到的像與左眼看到 的像均位於相同位置,因此利用兩眼觀看該像時之焦點位 置係位於顯示畫面上(第13(a)圖)。結果所顯示的像位於顯 示畫面上。 另,於3D顯示模式之立體模式關閉的情況下,左眼看 ^的像比平面偏移為〇時,看似位於右側位置而移位顯示。 • 匕時,使得右眼完全未能藉由液晶眼鏡5〇〇觀看。另,右眼 肴到的像比平面偏移為〇時,看似位於左侧位置而移位顯 此時’使得左眼完全未能藉由液晶眼鏡5〇〇觀看(第丨3(b) 圖)。 s 人會利用兩眼對準焦點,辨識如像位於該焦點 。 此,若藉由液晶眼鏡500,以短時間間隔交替切換左眼看 ^像的狀態與右眼看到像的狀態,則人的兩眼欲將焦點位 5對準在較顯示畫面位於面前的位置,結果引起錯覺如 • 5像較顯示晝面位於面前之焦點位置(第13(C)圖)。 圖第14圖係用以說明平面偏移之符號為負(左視角用之 情%影像往左轉移,純肖肖之^形縣往;έ:方挪移)的 兄下,像看似較顯示畫面位於深處之原理之圖。 膂第14圖中,以圓圈表示者係顯示於顯示畫面上之像。 岣^先’、無平面偏移時,由於右眼看躺像與左眼看到的像 俊於;相同位置因此利用兩眼觀看該像時之焦點位置係 貝不畫面上(第14⑷圖)。結果所顯示的像位於顯示畫 另’於3D顯示模式之立體模式關閉的情況下左眼看 5Ϊ 201032577 到的像比平面偏移為〇時,看似位於左側位置而移位顯示。 此時,使得右眼完全未能藉由液晶眼鏡500觀看。另,右眼 看到的像比平面偏移為0時,看似位於右側位置而移位顯 示。此時’使得左眼完全未能藉由液晶眼鏡500觀看(第14(b) 圖)。 若藉由液晶眼鏡500 ’以短時間間隔交替切換左眼看到 像的狀態與右眼看到像的狀態,則人的兩眼欲將焦點位置 對準在較顯示畫面位於深處的位置,結果引起錯覺如同 像車父顯示晝面位於深處的位置(第14(c)圖)。 參 以上說明係說明關於寫入於圖形平面之圖形影像,但 關於互動圖形平面、視訊平面及背景平面’若適當上述偏 移的概念,當然亦同理可套用。 产 (跳出程度/景深的營造方式) - 第15圖係表示正與負之平面偏移之觀看效果之差異之 一例之圖。 於同圖(a)、(b)中,面前側係表示於右視角輪出時利 用已移位之移位後圖形平面所輸㈣右視Μ圖形影像。 〇 深處侧係表示於左視角輸出時,利用已移位之移位後圖形 平面所輸出的左視角用圖形影像。 本圖⑷係表示平面偏移之符號為正(左視角用圖形影 像往右方挪移,右視角用圖形影像往左方挪移)的情況。當 平面偏移為正值時’如第13圖所示,左视角輪出二字: 較右視角輸出時,看似位於右側位置。總言之,幸3輳點(焦 點位置)來到較螢幕位於面前,因此字幕亦看似在面前/ 52 201032577 本圖⑻係表示平面偏移之符號為 負的情況。若為負 ^如第14圖所不’左視角輸出時之字幕較右視角輪出時, 似位於左側位置。總言之,輕輪點(焦點位置)去 位於深處,因此字幕亦看似在深處。 螢幕 以上結束說明關於藉由切換平面偏移的正與負,來變 化字幕較齡4㈣位置跳K往喊去之方法。 從以上說明可知,藉由平面移位之平面偏移,平面的 镰 W像看似較顯不晝面顯示於面前或顯示於深處。然而,平 面移位作為對象的字幕圖形之大小並非被固定化,為了提 升對居性,一般隨著動態圖像之放大縮小等處理而變動。 ' 於一般再生中,以全尺度顯示動態圖像,以對應於全 尺寸的動態圖像之尺寸顯示字幕圖形,相對於此,切換為 選單畫面時’縮小顯示動態圖像,並且將字幕圖形變更成 與縮小後之動態圖像的大小相應之尺寸而顯示,並且於選 單畫面須顯示所必需的GUI。說明關於如此對於動態圖像進 φ 行對話性實現用的縮放時,如何決定平面移位之平面偏 移。第17圖係表示對於動態圖像進行縮放的情況下,由使 用者所收視的立體視覺圖像。 於顯示模式為3D,視訊平面之立體模式開啟的情況 下’可知若針對動態圖像,進行縮放因子“1/2”的縮放’則 橫寬、縱寬成為1/2,最終會立體顯示具有1/4面積之動態圖 像。 此時’於顯示模式為3D,視訊平面之立體模式開啟的 情況下,藉由左視角用視訊串流與右視角用視訊串流所再 201032577 生的像分別為觀看角度不同的像,因此若藉由縮放因子進 行縮放,立體顯示所造成的跳出程度亦因應縮放因子而動 態地變化。 然而,於顯示模式為3D,影像平面之立體模式關閉的 情況下,藉由縮放因子進行影像平面之字幕縮放時,若於 影像平面,平面偏移設定為不是“0”的值,則該平面偏移不 會因縮放而動態地變化,因此於合成圖像中,字幕的跳出 感強烈,收視者察覺到不調和感。 此點在於顯示模式為3D,互動圖形平面之立體模式開 啟的情況下,同理亦可套用。 利用簡單的例子來說明。 第18圖係用以說明於顯示模式為3D,視訊平面之立體 模式開啟,及顯示模式為3D,影像平面之立體模式關閉的 情況下,若未因應視訊的縮放而改變影像平面之平面偏 移,會引起何種現象的圖。 於圖中,圓形所示者係表示從X-Z平面,觀看藉由左視 角用視訊串流及右視角用視訊串流所再生、由人的雙眼所 看到的虛擬立體像時之一例,此例中,立體的像係較顯示 畫面顯示於面前。 又,虛擬地看到字幕的位置,係假定調節影像平面之 偏移,以使其較虛擬的立體像看似位於面前的位置。 第18(a)圖係表示全尺度顯示時的情況,第18(b)圖係表 示縮小顯示視訊時的情況。縮小顯示視訊的情況下,視訊 之跳出程度係因應縮小程度而動態地變化。然而,虛擬地 201032577 看到字幕的位置係藉由影像平面之偏移所給予的固定值, 由於偏移不會因縮小處理而變化’因此若未因應縮放而改 變影像平面之偏移’則字幕的位置看似格外跳出。 第19圖係模式性地表示第18圖所示之跳出程度之一 例。 本實施形態之再生裝置係著眼於此技術性課題’並提 供解決課題的構成。 φ 具體而言,本實施形態之再生裝置之特徵在於,因應 視訊的縮放而動態地調整影像平面之偏移。具體而言,如 第1听)圖所示縮小顯示視訊時,藉由調整(此例為縮小)影 ' I平面之偏移,使得虛擬地看到字幕的位置更加接近顯示 畫面侧。 第I9圖係表示未進行本實施形態的處理時,亦即於動 態圖像縮小時’將内容或由使用者敎之縮放前平面偏 移,直接適用於平面偏移的情況下所顯示之立體視覺圖像。 • ”相對而言,若將對於用在與縮放前動態圖像之合成之 平面偏移D,細縮放因子後之平面偏移£,適用於影像平 Z之平面移位,由於對於具有影像平面之像素跳出程度之 含意之平面偏移D,乘以縮放因子,因此跳出程度變小。如 來’可使字幕拉近至受到縮放的人物像附近。藉由如 ^於文到縮放之人物像附近存在有字幕,消除人物像與 子幕之跳出程度的不平衡感。 目第2〇圖係表示已進行本實施形態之處理的情況下,亦 Pe^影像平面之平面移位’適用乘以縮放倍率後之平面 55 201032577 偏移的情況下所顯示之立體視覺圖像。 第20圖係與第19圖不同,在被縮放之人物像附近存在 有字幕,消除人物像與字幕之跳出程度之不平衡感。 如以上,消除不平衡感須於平面移位引擎内,設置 考慮縮放因子,算出最佳平面偏移的機制。第21圖之平面 偏移係如此嵌入有考慮縮放因子,算出最佳平面偏移的機 制。以下一面參考第2丨圖,一面說明關於平面移位引擎。 第21圖係表示本實施形態之再生裝置2〇〇之平面移位 引擎20之内部構成之―例之圖。如本圖所示,平面移㈣ φ 擎20係由偏移值保存部41、職因子保存部42、平面偏移 運算部43及移位部44所構成。 (偏移值保存部41) · 偏移值保存部41係儲存來自偏移設定部以之内容,或 由使用者指定之偏移值。 (縮放因子保存部42) 縮放因子保存部42係保存縮放前的倍率資訊。例如未 縮放時為“r…半時為1/2,放大至2倍時為“2”等,保持該 © 類值。 (平面偏移運算部43) 平面偏移運算部43係依據保存於偏移值保存部Μ之偏 移值,並考慮縮放或晝面尺寸,執行將移位部Μ所進行的 移,之移位量’轉換為畫素單位之計算。若以具體實作例 ,縮放因子才曰疋為1/2”的情況下,獲得對於保存於偏 移值保存部41之偏移值,乘以保存於縮放®子保存部42之 56 201032577 縮放倍率後的值,將其作為新的“平面偏移E”。 (運算結果的處理) 接著,說明關於運算結果中小數點以下的處理。由平 面偏移運算部43所進行的運算係伴隨有與縮放因子的乘 算,此情況下,小數點以下數值的處理遂構成問題。由於 移位量係以數目與像素數相應的份量進行移位,因此移位 量須為整數。平面偏移運算部43進行運算時,運算垆果出 現小數點以下數值時,將該小數點以下數值進位到下一整 數。此係意味例如由平面偏移運算部43所進行的運算結果 為“3.2”時,運算結果決定為“4”。 如此,將運算結果中小數點以下部分,進位到下一整 數的運算,稱為“Ceil(向上取整)運算,^本實施形態中,執 行伴隨有與縮放因子之乘算的運算時,對於其運算結果執 行Ceil運算,將運算結果中小數點以下部分,進位到下一整 數。 (解像度維持要求的影響) 接著,敘述關於來自應用程式之解像度維持要求的影 響。即便是縮放時之KEEP—RESOLUTION(維持解析度)設 定時,平面偏移運算部43仍執行與縮放因子相應的移位量 之計算。KEEP—RESOLUTION設定係指在縮放命令時不 進行互動圖形平面之放大/縮小而僅對視訊平面進行放大/ 縮小的功能。藉由如此,於KEEp_RES〇LUTI〇N時,可與 視訊之景深同步變更字幕之景深。 (移位部44) 57 201032577 移位部44係依據平面偏移運算部43所計算的值,進行 影像平面往橫軸的移位。 第22圖係表示1/1、1/2、1/4之3個縮放因子,及適用各 縮放因子的情況下之包含字幕· GUI之圖形之合成圖像之 圖。 面前表示縮放因子=1/1之L圖像、R圖像之組配,正中 央表示縮放因子=1/2之L圖像、R圖像之組配,最後面表示 縮放因子=1/4之L圖像、R圖像之組配。 表示例如設定縮放因子=1/2、1/4的情況下,於顯示畫 ❿ 面左上的位置,顯示已進行縮放之合成圖像時之例。 可知於縮放因子= 1/2時,縱像素數及橫像素數成為 1/2,於畫面左端縮小地顯示。可知於縮放因子=ι/4時縱 像素數及橫像素數成為1/4,於晝面左端縮小地顯示。 · 於第22圖,合成有字幕.GUI之動態圖像成為縮放的對 象,而於伴隨有縮放的GUI處理中,GUI供作依據全畫面顯 示所進行的顯示,GUI之全畫面顯示中,合成圖像配置於左 上區域。GUI主要在左上區域所顯示的字幕·動態圖像之合 Ο 成圖像之顯示部分以外的部分描繪時,〇1;1成為從縮放對象 除外的構成’僅有字幕與視訊合成的合成圖像成為縮放的 對象。 又,作為BD-J應用程式所描繪的互動圖形資料之一 例,來說明GUI,但除了 GUI以外,BD_j應用程式所描繪的 互動圖形資料亦包含與動態圖像連動之動晝(animati〇n)等 類之圖形圖像。 58 201032577 於此類情況下,若BD-J應用程式所描繪的互動圖形資 料亦與字幕、動態圖像同樣地作為縮放的對象,則構成如 與字幕•動態圖像之縮小連動而縮小亦可。此情況下,於 第22圖之黑色部分會顯示儲存於背景平面之背景資料。 於第22圖之右眼圖像、左眼圖像,與縮放前之合成構 成相比,可理解縮放後因應視訊平面的尺寸而調整字幕之 移位量。藉此防止立體感的差距變強烈,減輕雙眼疲累, 並且吁進行更自然的顯示。 第24圖係表示1/卜1/2、1/4之3個縮放因子,及適用各 縮放因子的情況下之視訊與字幕圖形之合成圖像之圖。 縮放因子為1/1時,不存在GUI,若縮放因子為=1/2, 可知顯示有GUI。電視400的畫面中,右半部係顯示由電影 作品的導演所描述的導演講Rcnil ;電視4〇〇的畫面中,下 半部包含受理跳到下一段、跳到前一段之按鈕構件bn卜受 理選單呼叫之按鈕構件bn2、受理返回操作之按鈕構件 及受理網路連接之按鈕構件bn4。該等係與圖丨所示者相同。 縮放的對象若是合成有字幕圖形之動態圖像,則平面 移位的對象僅有影像平面,平面偏移E之算出對象亦僅有影 像平面之平面偏移E。 Μ上係關於平面移位引擎2〇的說明。接下來說明關於 作,平面移位的對象之影像平面的詳細。首先利用第26圖 來説明影像平面之一般構成’接著說明於該影像平面,如 何進行像素移動。 第26圖係表不影像平面8之内部構成之一例。解像度設 59 201032577 定為1920x1080時,如同圖(a)所示,影像平面8係由橫寬 1920χ縱長1080之8位元長之記憶元件所組成。此係意味於 1920x1080的解像度,可儲存每1像素8位元之晝素碼之記憶 體配置。記憶於記憶元件之8位元之畫素碼係藉由利用色彩 查找表之色彩轉換’轉換為Y值、Cr值、Cb值。該色彩查 找表中之畫素碼與Y值、Cr值、Cb值之對應關係,係由字 幕資料内之色盤定義區段所規定。 同圖(b)係表示儲存於影像平面8之像素資料。如本圖所 示,儲存於影像平面8之圖形資料係由相當於前景部分(構 成字幕“I Love”的部分)之像素資料、相當於背景部分之像 素資料所構成。在此,於相纽背景部分之記憶元件,儲 存有表示透明色之晝素碼,於此部分,在與視訊平面合成 時’視訊平面之動態圖像看似透明。$,於相當於前景部 分之記憶元件,儲存有表示透明色以外之畫素碼藉由該 透明色以外之Y、Cr、Cb值來描繪字幕。藉由合成部。進 仃平面合成時’於㈣於透霄素㈣分 方位置之職於背景平面 財幕位於下 相.w 圖像切存於視訊平面之 合成。透明’藉㈣透明部分的存在而可進行平面 第27圖係表示進行右方移位、左 之像素資料及背景區域之傻去^ 位後之刖尽&域 料,、貝料。(a)為移位前之像素資 竹(b)為右方移位後之像素資斜。产a 素,可知字' ’ 匕,若移位量為15像 J知子幕文字“Ϊ 1〇Ve卿” 到。⑷為左方移位後無法從I面看 像素貝枓。在此,若移位量為15像 201032577 素,可知接續於字幕文字“I love”之字幕文字 “you” 中之 “〇” 的文字會出現。 以上為影像平面8之内部構成及其移位前後之像素資 料配置的說明。接著,說明關於互動圖形平面1〇之内部構 成及其移位前後之像素資料配置。 第28圖係表示互動圖形平面10之内部構成。解像度設 定為1920x1080時,如(a)所示,互動圖形平面10係由橫寬 1920x縱長1〇80之32位元長之記憶元件所組成。互動圖形平 面1〇具有於192〇χ1080的解像度’可儲存每1像素32位元之 R、G、B、α值之記憶體配置。記憶於記憶元件之32位元之 R、G、Β、α值係由8位元之R值、8位元之g值、8位元之Β 值、8位元之透明度α所構成。 (b)係表示儲存於互動圖形平面1〇之像素資料。如本圖 所示,儲存於互動圖形平面10之圖形資料係由相當於前景 部分(受理往前後章節之跳躍播放操作2GUI)2像素資 料、相當於背景部分之像素資料所構成。在此,於相當於 背景部分之記憶元件,儲存有表示透明色之〇6值,於此部 分’在與視訊平面合成時,影像平面之字幕或視訊平面之 動態圖像看似透明。另,於相當於前景部分之記憶元件, 儲存有表示透明色以外之R' G、B值,藉由該透明色以外 之R、<3、B值來描緣圖形。 藉由合成部15進行平面合成時,於相當於透明像素的 部分,背景平面、視訊平面、影像平面8的内容看似透明、, 藉由該透明部分的存在而可進行平面合成。 61 201032577 以上結相於右方純、左方純後 素貧料及背景區域之像素資料的說明。 找之像 之像tr表料行右方純、左村錢之前景區域 辛資料2#景£域之像m本_為移位前之像 素貝枓’(_右方移倾之像素資料。此情況下可知受 理在前後章節之跳躍播放操作之Gui往右方移動。本圖(〇 為左方移位後之像素資料。可知受理往前後章節之跳躍 放操作之GUI往左方移動。
第圖係表示影像平面8之平面移位之處理程序之圖。 ⑷係表示從影像平面8所生成之左方移位後之圖形平 面、及右方移位後之圖形平面。 ㈨係表示右方移位。如本_示,往水平方向右 移位方法係如下叫)、(1_2)、(1··進行。(m)剪下影像 平面8之右端區域。(1_2)僅以平面偏移E所示之移位量,如 上述往右、朝水平方向挪移存在於影像平面8之像素資料 位置。(1-3).於影像平面8之最左端追加透明區域。 的
(c)係表示左方移位。如本圖所示,往水平方向左方 移位方法係如下㈤)、(2_2)、(2_3)而進行。(21).剪下影^ 平面8之左端區域。(2·2).僅以平面偏移E所示之移位 里’如 上述往左、朝水平方向挪移存在於影像平面8之像素資料的 位置。(2-3).於影像平面8之右端追加透明區域。 接下來說明關於平面偏移之正負的含意。 於3D顯示模式中,且影像平面8之立體模式關閉的情況 下,再生裝置係根據平面偏移E所示之移位量,如下處理平 62 201032577 面後進行合成。 平面偏移E設定為正號時,於合成平面前,僅以平面偏 移E所示之移位量,將左視角用之影像平面8往右移位。然 後,僅以平面偏移E所示之移位量,將右視角用之影像平面 8往左移位。 平面偏移E設定為負號時,於合成平面前,僅以平面偏 移E所示之移位量,將左視角用之影像平面8往左移位。然 φ 後,僅以平面偏移E所示之移位量,將右視角用之影像平面 8往右移位。 第31圖係表示互動圖形平面1〇之平面移位之處理程序 . 之圖。 . (a)係表示從互動圖形平面10所生成之左方移位後之圖 形平面、及右方移位後之圖形平面。 (b)係表示右方移位。如本圖所示,往水平方向右方之 移位方法係如下(1_1) ' (1-2)、U-3)而進行。(1-1).剪下互動 • 圖形平面之右端區域。㈣.僅以平面偏移E所示之移位 量’如上述往右、朝水平方向挪移存在於互動圖形平面之 像素貝料的位置。(1_3).於互動圖形平面之最左端追加透明 區域。 ⑷係表示左方移位。如本圖所示,往水平方向左方之 移位方法係如下㈣、㈣,3)而進行。㈣·剪下互動 圖形平面之左端區域。 (2-2).僅以平面偏移E所示之移位量,如上述往左、朝 水平方向挪移互動圖形平面之各像素資料的位置。㈣於 201032577 動圖形平面之右端追加透明區域。 說明關於平面移位時,從右端或左端剪下的區域、追 加於右端或左端之區域的大小。如上述移位之平面偏移係 相應於右眼與左眼之視差的值。此係由於從背景平面之端 部剪下的區域、追加於背景平面之端部之透明區域的橫寬 像素數,須為相當於平面偏移E之像素數。 故’從背景平面之端部剪下的區域之橫寬像素數,係 相當於平面偏移E之移位量之像素數。又,透明區域之縱長 像素數係表不背景平面之高度之像素數。 同樣地,追加於背景平面之端部之透明區域之橫寬像 她’係相當於平面偏移£之移位量之像素數。又該透明 &域之縱長像餘絲示f景平面之高度 以上結束關於影像平面8、互動圖形平面⑺之平面移位 IS意序的說明。接著說明關於平面偏移所具有符號之
於_不棋式為3D 圃形平面
τ » ^ 棋式關閉的情ί
Λ #’Τ4鮮吨進行合成 千面偏移Esx疋為正號時,於合成平 移£所示之移位量,將左視自 ,,僅以平面^ ㈣菫將左視角用之圖形平面往 後,僅以平面偏移E所示之移位量,將 ,, 往左移位。 錢_之圖形平a 千面偏移E設定為負號時,於合成平面前,僅 移E所示之移位量’將左視角用之圖形平面 後,僅以平面偏移E所示之移位量 。‘= 石硯角用之圖形平, 64 201032577 往右移位。 (圖形平面之記憶元件之像素資料的移動) 以下表示藉由如上述之移位,圖形平面之記憶元件之 像素Η料如何移動。圖形資料係由1920xl〇8〇、1280x720 等類解像度之像素資料所構成。 第32圖係表示儲存於圖形平面之像素資料之圖。本圖 中,四角框係記憶32位元或8位元之資訊之記憶元件,其係 _ 於撕1^記憶空間中,0001、0002、0003、0004、07A5、 07A6、07A7、〇7A8、07A9、〇7AA、〇7AB等類之 16進位數 值連續分配給該等記憶元件之位址。又,記憶元件中之 - (〇,〇)、(1,〇)、(2,〇)、(3,〇)、(1916,0)、(1919,0)、(1918,0)、 (1919,嘴_值,絲祕記憶元件儲射何座標之像素 資料。 在此,存在於座標(〇,〇)之像素資料儲存於位址〇〇〇1之 記憶元件’存在於座標⑽之像素資料儲存於位址_2之 Φ °己隐疋件’存在於座標(1919,〇)之像素資料儲存於位址07A8 之《己隱7L件’存在於座標㈣之像素資料儲存於位址〇彻 之記憶元件。總言之,以構成圖形之複數線成為連續位址 之方式儲存圖形資料。藉由如此,對於被附有該等連續位 址之記憶元件,依次進行DMA傳輪,可突發地讀出 素資料。 第33圖係表示進行移位後之圖形平面之儲存内容。 同圖⑷係表示平面偏移E設定為“3”之已往右方移位之 圖形平面。由於平面偏移,3”,因此可知於位址咖4之 65 201032577 記憶元件’儲存有圖形平面座標系統中座標(〇,〇)之像素資 料’於位址0005之記憶元件,儲存有圖形平面座標系統中 座標(1,〇)之像素資料,於位址〇〇〇6之記憶元件,儲存有圖 形平面座標系統中座標(2,〇)之像素資料。 又’於位址07AC之記憶元件,儲存有圖形平面座標系 統中座標(0,丨)之像素資料,於位址07AD之記憶元件,儲存 有圖形平面座標系統中座標(Μ)之像素資料,於位址〇7八£ 之記憶元件’儲存有圖形平面座標系統中座標(2,i)之像素 資料。 同圖(b)係表示平面偏移e設定為“3”之已往左方移位之 圖形平面。由於平面偏移E為“3”,因此可知於位址〇〇〇1之 β己憶元件’儲存有圖形平面座標系統中座標(3,〇)之像素資 料,於位址0002之記憶元件,儲存有圖形平面座標系統中 座標(4,0)之像素資料,於位址〇〇〇3之記憶元件,儲存有圖 形平面座標系統中座標(5,〇)之像素資料。 又,於位址07Α9之記憶元件,儲存有圖形平面座標系 統中座標(3,1)之像素資料,於位址〇7八八之記憶元件,儲存 有圖形平面座標系統中座標(4,1)之像素資料,於位址07ΑΒ 之§己憶元件,儲存有圖形平面座標系統中座標(5,丨)之像素 資料。 如以上,可知已移位之圖形平面係圖形平面之各像素 資料的座標,從原本座標往右方、左方僅挪移平面偏移E 所示之像素數。 藉由令配置有構成圖形資料之各像素資料之記憶元件 201032577 的位址,僅有特定位址變化,可實現圖形平面之移位。當 然實際上即使不令配置有像素資料之記憶元件的位址變 化’右疋與其等價的處理,仍可實現圖形平面的移位。 以上結束關於已進行移位後之圖形平面之儲存内容的 說明。 如上述’平面移位係於記憶體中,利用令像素座標如 何移動之控制來實現,亦即藉由再生裝置之嵌人式軟體來 實現。相對而言,從BD_ROM供給之再生控綱程式係以 如上述之Java語言所描述的位元組碼應用程式,因此該位 元組碼應用程式之執行主體存在於再生裝置静以下說明 關於執行位元組碼應用程式之主體,即BD_砰台部22之内 部構成。 -第34圖係表示BD-J平台部之内部構成之圖。如本圖所 不,BD-J平台22係由堆積記憶體31、位元組碼解譯器32、 中"軟體33、類別載人器34、應用程式管理員%所構成。 (堆積記憶體31) 堆積記憶體31係-堆疊區域,配置有系統應用程式之 位元组碼、BD_J應用程式之位元組碼、系統應用程式所利 用的系統參數、BD-〗應用程式所利用的應用程式參數。 (位元組碼解譯器32) 位το組碼解譯㈣係將料於_記㈣31之構成 BD-J應祕狀位元M、構成系統剌程狀位元組 碼’轉換為原生碼並令MPU執行。 (中介軟體33) 67 201032577 中介軟體33係嵌入式軟體用之作業系統,由核心軟體 (kernel)、裝置驅動程式所構成。核心軟體係因應來自BD_j 應用私式之應用転式程式化介面(Αρι)的呼叫,將再生裝置 所特有的功月b k供給BD-J應用程式。又,藉由中斷訊號來 實現啟動中斷處理程式部等硬體控制。 (類別載入器34) 類別載入器34為系統應用程式之一,從存在於JAR歸檔 程式之類別檔案讀出位元組碼,並儲存於堆積記憶體31, 藉此執行BD-J應用程式的載入。 (應用程式管理員35) 應用程式管理員35為系統應用程式之一,根據BD-J物 件内之應用程式管理表,啟動BD-J應用程式或結束BD-J應 用程式等,進行BD-J應用程式之應用程式訊號化。 以上結束關於BD-J平台部之内部構成的說明。 於上述層模型中,顯示模式設定初始顯示設定部28係 存在於平台部之低位層,根據提供給BD-J平台部之現標題 之BD-J物件’進行顯示模式、解像度的設定。 (顯示模式記憶部29之内部構成) 由於顯示模式記憶部2 9係可從以上層模型參考的構 造,因此顯示模式記憶部29可透過API來參考,且為可闡明 背景平面11、視訊平面6、影像平面8、互動圖形平面10之 各狀態或設定的構造。以下一面參考第35圖,一面說明關 於顯示模式記憶部29之構成。 第35圖係表示顯示模式記憶部29之記憶内容。 201032577 本圖中,顯示模式記憶部29除了保存表示再生裝置為 2D模式或3D模式之顯示模式狀態的資訊外,還保存背景平 面11設定、視訊平面設定、影像平面設定、互動圖形平面 没定。作為各平面之設定項目而保存有「解像度(圖中: γγχζζ)」、立體模式(圖中:開啟或關閉)、three_d的設 定(圖中:開啟或關閉)。關於影像平面8設定及互動圖形平 面10設定’除了以上設定項目外,還可於“_63”至“+63,,的範 圍内設定平面偏移。 如本圖所示,若將影像平面設定之平面偏移與互動圖 形平面设定之平面偏移設定為不同值,看似顯示有字幕圖 形與GUI之Z轴上的位置會成為不同的位置。此情況下,第 21圖之偏移值保存部係保存影像平面設定之平面偏移與互 動圖形平面設定之平面偏移兩者的構成。 說明關於顯示模式記憶部29所支援的解像度。 再生裝置為2D顯示模式時,作為初始顯示設定,背景 平面11、視訊平面6、影像平面8、互動圖形平面1〇係支援 1920x1080、1280x720、720x576、720x480畫素之解像度。 以上結束關於顯示模式記憶部2 9之記憶内容的說明。 (顯示模式設定初始顯示設定部2 8之實作) 說明關於顯示模式設定初始顯示設定部28之實作。即 便於選擇1個標題,對應於該標題之BD-J物件在再生裝置成 為有效的期間内,仍可能由於動作中的應用程式因應使用 者操作而呼叫JMF播放器實例,從而開始再生新的播放串 列。當如此開始再生新的播放串列時,須於標題内重新設 201032577 定顯示模式。 作為顯示模式設定初始顯示設定部28的功能,須支援 標題變化時之標題間顯示模式設定、標題内播放串列變化 時之顯示模式設定、及應用程式明示地叫出ApI而設定時之 顯示模式設定。具體而言,製作令1^1*11執行如以下流程圖 所示之處理程序的程式,並藉由嵌入於再生裝置而可實作。 第36圖係表示標題切換時之顯示模式設定之處理程序 之一例之流程圖。本流程圖係因應步驟S21、步驟S22、步 驟S23、步驟S26之判斷結果’選擇性地執行步驟S24、步驟 S25、步驟S27的處理。 步驟S21係自動再生播放串列是否存在的判斷,步驟 S22係前顯示模式是否為3D的判斷。步驟S23係選擇的標題 之自動再生播放串列為1920x1080之3D播放串列,亦或為 1280x720之3D播放串列的判斷。 自動再生播放串列不存在的情況下,於步驟S26,判斷 BD-J物件之預設解像度是否為HD3D_1920xl080、 HD3D_1280x720,若判斷是(Yes),於步驟S25,將顯示模 式設定為3D ’並因應BD-J物件之預設解像度而設定為 1920x1080或1280x720。若判斷否(No),於步驟S27,將顯 示模式設定為2D ’將解像度設定為BD-J物件之預設解像 度0 自動再生播放串列不存在的情況下,於步驟S22,判斷 前顯示模式是否為2D,或於步驟S23,播放串列為3D播放 串列,判斷其解像度是否為192(^1〇80、1280x720。若步驟 70 201032577 S22、步驟S23之任一者為否,則於步驟S24,將顯示模式設 定為2D,將解像度設定為自動再生播放串列之解像度。 步驟S22判斷是,步驟S23亦判斷是的情況下,於步驟 S25,將顯示模式設定為3D,因應自動再生播放串列的解像 度,將解像度設定為1920x1080或1280x720。 以上結束關於標題間顯示模式設定之處理程序的說 明。 第37圖係表示標題内顯示模式設定之處理程序之流程 圖。本流程圖串聯地連接步驟S31、步驟S32兩個步驟。首 先,標題内顯示模式設定係從播放串列之再生要求開始。 於受理播放串列再生要求的時點,步驟S31進行現在的狀態 是否為3D的判斷,若為2D,於步驟S34,將顯示模式設定 為2D,。步驟S32係判斷再生要求之播放串列是否為3D播 放串列,若為3D播放串列,則移到步驟S33,將顯示模式設 定為3D ’若為2D播放串列,則移到步驟S34,將顯示模式 設定為2D。 以上結束關於標題内顯示模式設定之處理程序的說 明。 (再生控制引擎14之實作) 再生控制引擎14係於因某些要因而選擇現播放串列 時’進行該現播放串列之再生,具體而言須實現於靜態情 境記憶體13讀出對應於現播放串列之播放串列資訊,將受 到該播放串列資訊之播放項目資訊所參考的31)串列、2D串 流供作再生的處理,具體而言,須製作如以下流程圖所示 71 201032577 之處理程序的程式,嵌入於再生裝置,並令MPU執行。 第38圖係表示BD-J模式之播放串列再生之主要程序之 流程圖。 步驟S40係藉由與選擇的標題相關聯之BD_j物件所示 之自動再生播放串列之設定、或JMF播放器實例之生成, 是否已設定現播放串列號碼的判斷,若已設定,於步驟 S41 ’在情境記憶體載入由現播放串列號碼所指示的播放串 列資訊槽案,於步驟S42,若於播放串列資訊存在有平面偏 移,平面則偏移設定部設定作為平_面移4立引擎2〇之平面偏 魯 移值。然後,於步驟S43進行標題内顯示模式設定。 於步驟S44,將已載入之播放串列資訊中最初的播放項 目號瑪,設定為現播放項目號碼。於步驟S45,於現播放串 列資訊被許可再生之PES串流中,選擇現串流。 - 於步驟S46,根據播放項目資訊決定要使用的串流號 毛馬。 於步驟S47,進行由步驟S43所判斷的顯示模式為2〇或 3〇的判斷。若為3D,於步驟S49,執行3D顯示模式時之3D ^ 視訊串流的再生。若為2D,則移到步驟S48。 步驟S48係由現串流號碼所指示的視訊串流及字幕串 流為2D或3D的判斷。於步驟S48判斷為21)時,於步驟851, 執行2D顯示模式之2DAV串流的再生。判斷為3D時,於步 驟S50,執行2D顯示模式之3D視訊串流的再生。最後於到 達本圖“結束”的時點,開始播放串列的再生。 第39圖係表示根據播放項目資訊之再生程序之流程 72 201032577 圖 於步驟S60,於平面移位引擎20,設定嵌入於視訊串流 之平面偏移D,於步驟S61,利用對應於左視角串流之封包 ID之分錄圖,將現piayitem.In_Time及現PlayItem.Out_Time 轉換為 Start_SPN[i]及End_SPN[i]。 將利用對應於右視角串流之封包ID[j]之分錄圖[j]所特 定的 SubPlayltemln—Time、SubPlayItemOut_Time,轉換為 Start_SPN[j]、End_SPN[j](步驟 S62)。 特定出屬於用以將封包ID[i]之TS封包[i],從 Start—SPN[i]讀出至End—SPN[i]之讀出範圍[i]之延伸區(步 驟S63),特定出屬於用以將封包ID⑴之TS封包⑴,從 Start一SPN[j]讀出至End_SPN[j]之讀出範圍之延伸區(步驟 S64)。然後,於步驟S65,依位址的升順,將屬於讀出範圍 [1]、[j]之延伸區排序,於步驟S66,指示驅動程式利用已排 序的位址,連續讀出屬於讀出範圍⑴、⑴之延伸區。 以上結束關於再生控制引擎14的說明。 第40圖係表示3DAV串流之3D顯示之處理程序之流程 圖。本流程圖係執行由步驟S602〜步驟S606所組成的環 路。該環路係繼續依次執行左眼用處理(步驟S6〇2)、右眼用 處理(步驟S603)的處理,直到訊樞輸出斷絕為止(於步驟 S606為否)。 而且’從現播放串列資訊擷取平面偏移D並保存於平面 移位引擎的處理,已經於第38圖之步驟S42中進行。 本環路中,步驟S604係平面偏移D是否設定於偏移值保 73 201032577 存部41之判斷,若未設定,則跳過步驟S6〇5,若有設定, 則執行步驟S605。步驟S605係利用保存於偏移值保存部4ι 之平面偏移D,於平面移位引擎2G,藉由仙圖所示之偏移 運算部43進行偏移運算,叹新平面偏抑的處理。 (顯示模式為3D時之3D視訊串流之處理程序) 現在顯示模式為3D顯示模式,再生對象為犯播放串列 及3D串㈣,執行第4ig〜第42圖的處理程序。 第41圖係例如第40圖所示之步驟S602(左眼用處理)之
具體-例’詳言之係顯示模式為3辦之左賴處理之程序 之流程圖。 第41圖之步驟S701〜步驟S7〇7為左眼用處理。 首先於步驟S7(U,合成部16取得寫入於使用在左視 角之左視角背景平面u(第4圖所示之附有“(L),,符號的區 •於左㈣背景平面’儲存有藉由BD领雜式之描繪 命令,域過靜止圖解竭扣b而描繪之背景資料。
著利用視訊解竭器Sa,解碼左視角用視訊串流, f入於視訊平面6(第4圖附有(L))後,合成即取得寫入於 可述視訊平面6(第4圖所示之附有(l)符號的區域)之左視角 用視訊資料(步驟S7〇2)。 錢’於㈣S703’合柄⑽触於顯㈣式㈣ 二敌t像平面"又足之立體模式開啟或關閉(以下,立體本 成 %為立體模式之旗標確認)。立體名 式關閉時’於影像平面8 _ , _ (第4圖所示之附有符號(L)的區域 寫入由影像解碼器7a 鮮馬的左視角影像後,藉由平面老 74 201032577 位引擎20施以左眼用移位處理(步驟87〇如)。 立體模式開啟時,於影像平面8(第4圖所示之附有符號 ⑹的區域)寫入由影像解碼器%所解碼的左視角影像,而關 於寫入於影像平面8(第4圖所示之附有符號(L)的區域)之左 視角影像’不施以左眼用移位處理。此係由於立體模式開 啟時,觀看角度與左視角影像不同之右視角影像會經由影 像解碼盗7b而寫入於影像平面(第4圖所示之附有符號⑻的 φ 區域)(步驟S704b)。 藉由步驟S7〇4a或步驟S704b,於影像平面8之附有符號 ⑹之區域,儲存有已儲存在影像記憶體7之左眼用影像資 • 料、並由影像解碼器7a所解碼者。 • 》#著,於步驟S7〇5,合成部15確認位於顯示模式記憶 部29之互動圖形平面設定之立體模式的旗標。立體模式關 閉時’ BD_I應用程式係利用轉譯引擎仏,於左眼用平面(於 第4圖之互動圖形平面10中附有符號⑽寫入左視角用互動 • 圖形’從左眼用平面(於第4圖之互動圖形平面1〇中附有符 錄))取得左視角用互動圖形,對於取得的左視㈣互動圖 形’平面移位”2〇施以左眼用移位處理(步驟S·)。 ,立體模式開啟時,BD-J應用程式係利用轉譯引擎瓜, ^左眼用平面(於第4圖之互動圖形平面lQ中附有符號(l)) =入左視角用互動圖形。其後’為了進行顯示,於左眼用 1 (;第4圖之互動圖形平面1〇中附有符號([))取得左視 角用互動圖形,但對於取得的左視角用互動圖形不施以左 眼用移位處理(步驟S706b)。 75 201032577 於步驟S706a、步驟S706b,在已取得左視角互動圖形 之左視角互動圖形平面,儲存有在BD-J模式時,藉由BD-J 應用程式之描繪命令,並透過轉譯引擎22a而描繪的資料。 又,於HDMV模式時,於左視角互動圖形平面,儲存 有從字幕串流以外的圖形串流所擷取的圖形資料之解碼結 果。 於步驟S707,依序合成步驟S701之寫入於背景平面η 之附有(L)符號的區域之背景資料、步驟S7〇2之寫入於視訊 平面之附有(L)符號的區域之視訊資料、步驟S7〇4之寫入於 影像平面之附有(L)符號的區域之字幕資料、及步驟57〇6之 寫入於互動圖形平面之附有(L)符號的區域之GUI資料,並 作為左視角而輸出至顯示器。 於步驟S703、S705判斷立體模式關閉時,於相對應之 平面已被施以移位處理的資料係成為合成對象。然後,於 顯示器輸出的時序’轉換左右處理記憶部的旗標。再者, S701〜S7〇7之各處理係施以左眼用處理,但現在的處理是 否為左眼用處理’則藉由參考左右處理記憶部來判斷。 接著,於完成S701〜S707之左眼用處理後,進行右眼 用處理。 第42圖係例如第40圖所示之步驟右眼用處理)之 具體一例,詳言之係顯示模式為3〇時之右眼用處理之程序 之流程圖。第42圖之步驟S801〜步驟88〇7為右眼用處理。 於步驟S801,合成部15確§忍位於顯示模式纪慎部μ之背景 平面設定之立體模式的旗標。立體模式關閉時,於背景平 76 201032577 面11之附有(R)的區域,寫入左視角用背景資料,從背景平 面11之附有(R)的區域取得背景資料(步驟S8〇2a)。立體模式 開啟時,於背景平面11之附有的區域,寫入右視角用背 景資料,從背景平面11之附有(R)的區域取得右视角用背景 資料(步驟S802b)。 接著,於步驟S803,合成部15確認位於顯示楔式記情 部29之視訊平面設定之立體模式的旗標。立體模式關閉 時,利用視訊解碼器5a解碼左視角用視訊串流,並寫入於 視訊平面6(第4圖附有(R))後,合成部15從前述视訊平面 6(第4圖附有(R)),取得左視角用視訊資料(步驟S8〇如)。立 體模式開啟時,利用視訊解碼器5a解碼右視角用視訊串 流,並寫入於視訊平面6(第4圖附有(R))後,合成部15從前 述視訊平面6(第4圖附有(R)),取得右視角用視訊資料(步驟 S804b)。 然後,於步驟S805,合成部15確認位於顯示模式記憶 部29之影像平面設定之立體模式的旗標。立體模式關閉 時,於影像平面8(附有符號(R))寫入由影像解碼器%所解碼 的左視角影像。其後,對於寫入於影像平面8之附有符號 的區域之左視角影像,平面移位引擎2〇施以右眼用移位處 理(步驟S806a)。立體模式開啟時,於影像平面8(第4圖所示 之附有符號(R)的區域)寫入由影像解碼器7a所解碼的右視 角影像,但不施以移位處理。此係由於立體模式開啟時, 觀看角度與左視角影像不同之右視角影像會經由影像解碼 器7b而寫人於影像平面8(第4圖所示之附有符號(r)的區 77 201032577 域)(步驟S806b^ 在以步驟S806a、步驟S806b所取得的影像平面,儲存 有已儲存在影像記憶體7之字幕資料、並由影像解碼器7(第 4圖之影像解碼器乃或几)所解碼者。 接著,於步驟S807 ’合成部15確認位於顯示模式記憶 部29之互動圖形平面設定之立體模式的旗標。立體模式關 閉時,BD-J應用程式係利用轉譯引擎22a,於右眼用平面(於 第4圖之互動圖形平面10中附有符號(R)的區域)寫入左視角 用互動圖形。然後,對於寫入於右眼用平面(於第4圖之互 動圖形平面10中附有符號(R)的區域)之左視角用互動圖 形,平面移位引擎20施以右眼用移位處理(步驟S808a)。 立體模式開啟時,BD-J應用程式係利用轉譯引擎22a, 於右眼用平面(於第4圖之互動圖形平面10中附有符號(r)的 區域)寫入右視角用互動圖形,但平面移位引擎2〇不對於寫 入於右眼用平面(於第4圖之互動圖形平面1〇中附有符號(R) 的區域)之右視角用互動圖形,施以移位處理(步驟S808b)。 於步驟S809,依序合成步驟S802之寫入於背景平面 11(附有符號(R)的區域)之背景資料、步驟S804之寫入於視 訊平面6(附有(R)符號的區域)之視訊資料、步驟S806之寫入 於影像平面8(附有(R)符號的區域)之影像資料、及步驟S808 之寫入於互動圖形平面之GUI資料。 於步驟S805、S807,立體模式關閉時,於相對應之平 面已被施以移位處理的資料係成為合成對象。然後,於步 驟S806b、步驟S808b,將合成結果作為右視角而輸出至顯 78 201032577 示器。最後於步驟S809,在顯示器輸出的時序,轉換左右 處理記憶部的旗標。再者,S801〜S809之各處理係施以右 眼用處理,但現在的處理是否為右眼用處理的判斷,則藉 由參考左右處理記憶部19來進行。 只要訊框輸出繼續’則重複第4〇圖所示之S6〇2、s6〇3、 S604、S605(於S604為是的情況)的處理(s6〇6)。 以上結束關於顯示模式為3D時之串流處理的說明。 再者,再生裝置從AV串流之標頭區域取得平面偏移d 的方法,且進行每訊框更新的實作時,於步驟別〇1的時點, 須藉由偏移設定部21,將平面移位引擎2〇之偏移更新成與 下一訊框對應的值。 第43(a)圖係用以說明第41圖所示之步驟S702、第42圖 所示之步驟S804a之具體一例之流程圖。 首先,利用視訊解碼器5&解碼右視角用視訊串流,並 輸出視訊資料(步驟S2〇i)。 接著,判斷縮放因子是否非為“丨”丨步驟S2〇2)。 該判斷係藉由參考例如從BIM平台22所指㈣縮放因 子,藉由根據參考的值進行判斷而實現。 本實施形態中,參考平面移位引擎20内之縮放因子保 存部42之縮放因子值即可,但並無限定於此的必要,構成 如於縮^丨擎15内具備縮放因子保存部(未圖示),保存從 BDJ平。22所和疋的縮放因子,或於平面移位引擎2〇内, 將縮放因子保存部42設置於再生裝置内且設置於平面移位 引擎20外側’可參考縮放將15、平面移㈣擎μ在再生 79 201032577 裝置内’且設置於平面移位引擎20外側之縮放因子保存部 42之縮放因子均可。 接著,於步驟S202,判斷縮放因子非“1”時(於步驟82〇2 判斷為“是”時),將已解碼之視訊資料之水平畫素數(顯示畫 面之水平方向之像素數)及垂直畫素數(顯示畫面之垂直方 向之畫素數),轉換為與縮放因子相應之水平畫素數、垂t 畫素數(亦即放大/縮小處理),於視訊平面6寫入已轉換的水 平畫素數、垂直畫素數之視訊資料,以使其顯示於顯示畫 面之特定位置(步驟S203)。 _ 在此,相異點在於步驟S702之具體處理中,步驟S2〇3 係於視訊平面6之附有符號(L)的區域寫入,相對於此,步 驟S804a之具體處理中,步驟S203係於視訊平面6之附有符 號(R)的區域寫入。 · 例如縮放因子為1/2的情況下,例如第22圖所示,意味 以視訊資料顯示於顯示晝面左上的方式於視訊平面寫入, 縮放因子為1M的情況下,例如第22圖所示,意味以視訊資 料顯不於顯不晝面左上的方式於視訊平面寫入。又,於上 述說明中係轉換為垂直畫素數’以顯示於顯示晝面特定位 置之方式,於視訊平面寫入已轉換之水平畫素數、垂直書 素數之視訊資料,但亦可按照來自BD-J應用程式之指示決 定顯示位置。 又,於上述處理中,放大/縮小的處理應用習知技術即 〇 於步驟S202,判斷縮放因子為“1”時(於步驟82〇2判斷 80 201032577 為“否’’時)’利用視訊解碼器城碼左視角用視訊串流,並 於視訊平面6寫人已解碼的視訊資料(步驟S204)。 在此,相異點在於步驟S702之具體處理中,步驟麵 係於視訊平面6之附有符號(L)的區域寫人,相對於此,步 驟S804a之具體處理中,步驟S2Q4係於視訊平面^附有符 號(R)的區域寫入。 步驟S204係例如縮放因子為1/1的情況,例如第22圖所 示’意味以視訊資料在顯示畫面進行全畫面顯示的方式於 視訊平面寫入。 第43(b)圖係用以說明第42圖所示之步驟s難之具體 一例之流程圖。 首先,利用視訊解喝器5b解碼右視角用視訊串流並 輸出視訊資料(步驟S201b)。 接著,判斷縮放因子是否非為“丨”(步驟S2〇2)。 於步驟S2G2,判斷縮放因子非“〗,,時(於步卿搬判斷 為“是,,時)’將已解碼之視訊資料之水平畫素數(料畫面之 水平方向之像素數)及垂直畫素數(顯示畫面之垂直方向之 畫素數)’轉換為與縮放因子相應之水平畫素數、垂直晝素 數(亦即放大/縮小處理)’於視訊平面6(附有符號⑻的區域) 寫入已轉換的水平畫素數、垂直畫素數之視訊資料,以使 其顯示於顯示畫面之特定位置(步驟S2〇3b)。 於步驟S202,判斷縮放因子為“丨,,時(於步驟幻〇2判斷 為“否”時)’利用視訊解碼器5a解碼右視角用視訊串流,並 於視訊平面6(附有符號(R)的區域)寫入已解碼的視訊資料 81 201032577 (步驟S204b)。 第16(a)圖係用以說明第41圖所示之步驟S7〇4b之具體 -例之流程圖。於圖中,首先利用影像解碼㈣解瑪錢 角用字幕串流(步驟S201C)。 接著,判斷縮放因子是否非為“1”(步驟S2〇2)。 接著,於步驟S202,判斷縮放因子非“!,,時(於步驟“的 判斷為“是”時),將已解碼之影像資料之水平晝素數(顯示畫 面之水平方向之像素數)及垂直畫素數(顯示畫面之垂直方 向之畫素數)’轉換為與縮放因子相應之水平晝素數、垂直 畫素數(亦即放大/縮小處理)’於影像平面8(第4圖之附有(L) 的區域)寫入已轉換的水平畫素數、垂直畫素數之影像資 料,以使其顯示於顯示晝面之特定位置(步驟S203c)。 例如縮放因子為1/2的情況下,例如第22(b)圖之左側圖 所示’意味使視訊資料靠顯示晝面左上時,以字幕採相對 應的大小顯示的方式,於影像平面寫入字幕資料。縮放因 子為1/4的情況下’例如第22(a)圖之左側圖所示,意味使視 訊資料靠顯示畫面左上時,以字幕採相對應的大小顯示的 方式,於影像平面寫入字幕資料。又,於上述說明中係轉 換為垂直畫素數,以顯示於顯示畫面特定位置之方式,於 影像平面寫入已轉換之水平畫素數、垂直畫素數之視訊資 料’但亦可按照來自BD-J應用程式之指示決定字幕資料之 顯示位置。 除此之外,於上述處理中,放大/縮小的處理應用習知 技術亦可。 201032577 於步驟S202,判斷縮放因子為“丨,,時(於步驟^⑽判斷 為“否,,B夺),利用視訊解碼器5a解碼左視角用字幕串流並 於影像平面8(第4圖之附有(L)的區域)寫入已解碼的字幕資 料(步驟S204c) ° 例如縮放因子為1/1的情況,例如第22(c)圖之左側圖所 示’意味視訊資料在顯示畫面進行全晝面顯示時,於影像 平面8寫入大小相對應的字幕資料。 第23(a)圖係用以說明第42圖所示之步驟S8〇6b之具體 一例之流程圖。於圖中’首先利用影像解碼器7b解碼右視 角用視訊串流(步驟S201e)。 接著,判斷縮放因子是否非為“1”(步驟S202)。 於步驟S202,判斷縮放因子非“ 1 ”時(於步驟s2〇2判斷 為“是”時)’將已解碼之影像資料之水平畫素數(顯示畫面之 水平方向之像素數)及垂直畫素數(顯示畫面之垂直方向之 畫素數),轉換為與縮放因子相應之水平畫素數、垂直晝素 數(亦即放大/縮小處理),於影像平面8(第4圖之附有(R)的區 域)寫入已轉換的水平畫素數、垂直畫素數之影像資料,以 使其顯示於顯示畫面之特定位置(步驟S203e)。 例如縮放因子為1/2的情況下,例如第22(b)圖之右側圖 所示,使視訊資料靠顯示畫面左上時,應使得字幕以相對 應的大小顯示而於影像平面寫入字幕資料。縮放因子為1/4 的情況下,例如第22(a)圖之右側圖所示,使視訊資料靠顯 示晝面左上而顯示時’以字幕採相同大小顯示的方式,於 影像平面寫入字幕資料。 201032577 一 ;上述5兒明中係轉換為垂直畫素數,以顯示於顯 、畫面特疋位置之方式,於影像平面寫人已轉換之水平畫 、 直晝素數之視訊資料,但亦可按照來自BD-J應用 程式之指示決定字幕資料之顯示位置。 ;—述處理中,放大/縮小的處理應用習知技術即可。 接著於步驟S202,判斷縮放因子為“i,,時(於步驟S2〇2 斷為否時)’於影像平面8(第4圖之附有(R)的區域),寫
已利用々像解碼|| 7_碼之右視角用字幕串流之字幕資 料(步驟S204e)。 _ ^如縮放因子為1Λ的情況,例如第邱)圖之右側所 、,思味視„孔貝料在顯示晝面進行全畫面顯示時,於影像 平面8寫人大小相對應的字幕資料。 第0)圖係用以說明第41圖所示之步驟請仙之具體 —例之流程圖。於圖中 (步驟S201d)。 首先生成左視角用互動圖形資料
左視角用互動圖形資料的生成若按照例如BD-J應用程 式所含的描繪程式生成即可。更詳細而言,按照程式碼, 镥由計算算出各像素的值,或於經由虛賴㈣統而讀取 =擬卿-職_初咖或區域儲存區⑷,預先記 ^相對應之左視角用咖圖形圖像資料,BN應用程式讀 该左視諫PEG圖形圖像資料的構成均可。此時左視 角用JPEG圖形圖像資料被編碼而記錄的情況下藉由未圖 不之解碼器或影像解碼器7a解碼後再讀取即可。 接著’判斷互動圖形平面之縮放因子是否非為“Γ,(步驟 84 201032577 S202)。 於步驟S202,判斷縮放因子非“1”時(於步驟S202判斷 為“是”時),將已生成的互動圖形資料之水平畫素數(顯示畫 面之水平方向之像素數)及垂直畫素數(顯示畫面之垂直方 向之晝素數),轉換為與縮放因子相應之水平畫素數、垂直 晝素數(亦即放大/縮小處理),於互動圖形平面10(第4圖之 附有(L)的區域)寫入互動圖形資料,以使得轉換後的水平晝 素數、垂直畫素數之互動圖形資料顯示於顯示晝面之特定 位置(步驟S203d)。 例如縮放因子為1/2的情況下,以對應於GUI元件之圖 形資料縮小為1/2而顯示的方式,於互動圖形平面寫入,縮 放因子為1/4的情況下,以對應於GUI元件之圖形資料縮小 為1/4而顯示的方式,於互動圖形平面寫入。 又,於上述說明中係轉換為垂直畫素數,按照來自BD-J 應用程式之指示,將已轉換之水平畫素數、垂直畫素數之 • 視訊資料決定互動圖形資料之顯示位置,或因應特定縮小 率,預先決定互動圖形資料之顯示位置均可。 於上述處理中,放大/縮小的處理應用習知技術即可。 又,接著於步驟S202,判斷縮放因子為“1”時(於步驟 S202判斷為“否”時),於互動圖形平面10(第4圖之附有(L) 的區域),寫入已生成的互動圖形資料(步驟S204d)。 例如縮放因子為1 /1的情況,對應於例如藉由全畫面顯 示來顯示互動圖形資料的情況。 但若不考慮互動圖形平面之縮放因子(亦即互動圖形 85 201032577 平面之縮放因子始終设為〗),則於步驟之後進行步驟 S204d,步驟S2〇2'步驟S2〇3d刪除即可。 例如互動圖形圖像是軸於GUI元件之圖形圖像時,亦 可於步驟S203d之處理中,以顯示畫面中顯示已縮小的視 A ·字幕之合成圖像的部分以外,相當於⑽元件之互動圖 形圖像進行全畫面顯示的方式,於互動圖形平面叫附有符 號(L)的區域)寫入互動圖形資料而構成。 具體而言,於第24(b)圖中,在作為縮放因子為m、字 幕與視訊合成圖像可從左眼看到的圖像而顯示之狀態下 (第24(b)圖之左側)’若受理例如切換為選單畫面之輸入, 則如第24(b)圖所示,視訊與字幕之合成圖像之縮放因子成 為1/2’顯示於顯示畫面左上,並且對應於圖形圖像之⑽ 圖像、導演講評等類資料寫人於互動圖形平面(附有符號(l) 的區域)’寫入於該互動圖形平面(附有符號(L)的區域)之圖 像進-步被合成而成為左眼用合成圖像(參考第24(&)圖之 左側圖。 第23⑻圖係用以說明第42圖所示之步驟⑽此之具體 —例之流程圖。於圖中,首先生成右視角用互動圖形資料 (步驟S201f)。 右視角用互動圖形資料的生成若按照例如B D _】應用程 式所含__式生成即可。更詳細而言,按照程式碼, 藉由計算算出各像素的值,或祕由虛擬檔㈣統而讀取 之虛擬的BD-R〇M(BD-ROM100或區域儲存區lc),預先記 錄相對應之左視角用JPEG圖形圖像資料,ΒΙΜ應用程式讀 201032577 取該左視角用JPEG圖形圖像資料的構成均可。此時,右視 角用JPEG®形圖像資料被編碼而記錄的情況下,藉由未圖 示之解碼器或影像解碼器7b解碼後再讀取即可。 接著,判斷互動圖形平面之縮放因子是否非為1,,(步驟 S202)。於步驟S202,判斷縮放因子非“丨,,時(於步驟S2〇2判 斷為“是”時)’將已生成的互動圖形資料之水平畫素數(顯示 畫面之水平方向之像素數)及垂直畫素數(顯示畫面之垂直 方向之晝素數)’轉換為與縮放因子相應之水平畫素數、垂 直畫素數(亦即放大/縮小處理),於互動圖形平面1〇(第4圖 之附有(R)的區域)寫入互動圖形資料,以使得轉換後的水平 畫素數、垂直畫素數之互動圖形資料顯示於顯示畫面之特 定位置(步驟S203f)。 例如縮放因子為1/2的情況下,以對應於GUI元件之圖 形資料縮小為1/2而顯示的方式,於互動圖形平面寫入,縮 放因子為1/4的情況下,以對應於GUI元件之圖形資料縮小 為1/4而顯示的方式,於互動圖形平面寫入。 又,於上述說明中係轉換為垂直畫素數,按照來自BD-J 應用程式之指示,將已轉換之水平畫素數、垂直畫素數之 視訊資料決定互動圖形資料之顯示位置,或因應特定縮小 率,預先決定互動圖形資料之顯示位置均可。 於上述處理中,放大/縮小的處理應用習知技術即可。 又,接著於步驟S202,判斷縮放因子為“1”時(於步驟 S202判斷為“否,,時),於互動圖形平面1〇(第4圖之附有(R) 的區域),寫入已生成的互動圖形資料(步驟S204f)。 87 201032577 例如縮放因子為1/1的情況,對應於例如藉由全晝面顯 示來顯示互動圖形資料的情況。 值若不考慮互動圖形平面之縮放因子(亦即互動圖形 平面之縮放因子始終設為1),則於步驟S201f之後進行步驟 S204f ’步驟S2〇2、步驟s2〇3f刪除即可。 例如互動圖形圖像是對應於GUI元件之圖形圖像時,亦 可於步驟S203f之處理中,以顯示晝面中顯示已縮小的視 成予幕之合成圖像的部分以外,相當於GUI元件之互動圖 形圖像進行全畫面顯示的方式,於互動圖形平面10(附有符 號(R)的區域)寫入互動圖形資料而構成。 具體而言’於第24(b)圖中,在作為縮放因子為I/!、字 幕與視訊合成圖像可從右眼看到的圖像而顯示之狀態下 (第24(b)圖之右側),若受理例如切換為選單畫面之輸入, 則如第24(b)圖所示,視訊與字幕之合成圖像之縮放因子成 為1/2,顯示於顯示晝面左上,並且對應於圖形圖像之 圖像、導演講評等類資料寫入於互動圖形平面(附有符號(R) 的區域),寫入於該互動圖形平面(附有符號(R)的區域)之圖 像進一步被合成而成為右眼用合成圖像(參考第24(幻圖之 右側圖。 第44(a)圖係用以說明第41圖所示之步驟S7〇4a之具體 一例之流程圖。 首先,利用影像解碼器7a解碼左視角用字幕串流,並 輸出字幕資料(步驟S406)。 於步驟S406,說明解碼左視角用字幕串流之構成,但 88 201032577 作為字幕串流’於左右顯示共用相同字幕串流之構成時, 載入左右顯示所共用的字幕串流即可。 判斷縮放因子是否非為“1”(步驟S4〇7)。該判斷係藉由 參考例如從BD-J平台22所指定的縮放因子,藉由根據參考 的值進行判斷而實現。 本實施形態中’參考平面移位引擎2〇内之儲存於縮放 因子保存部42之縮放因子值即可,但並無限定於此的必 要’構成如於縮放引擎15内具備縮放因子保存部(未圖示), 保存從BD-J平台22所指定的縮放因子,或於平面移位引擎 20内’將放因子保存部42設置於再生裝置内且設置於平 面移位引擎20外側,可參考縮放引擎15、平面移位引擎2〇 在再生裝置内,且設置於平面移位引擎2〇外侧之縮放因子 保存部42之縮放因子均可。 於步驟S407 ’判斷縮放因子非“1”時(於步驟s4〇7判斷 為“是”時),將已解碼之字幕資料之水平畫素數(顯示畫面之 水平方向之像素數)及垂直晝素數(顯示畫面之垂直方向之 畫素數),轉換為與縮放因子相應之水平畫素數、垂直畫素 數(亦即放大/縮小處理)’於影像平面8(第4圖之附有(L)的區 域)寫入已轉換的水平畫素數、垂直畫素數之影像資料,以 使其顯示於顯示畫面之特定位置(步驟S408)。 例如縮放因子為1/2的情況下,例如第22(b)圖之左側圖 所示,意味使視訊資料靠顯示晝面左上時,以字幕採相對 應的大小顯示的方式’於影像平面寫入字幕資料;縮放因 子為1M的情況下,例如第22(a)圖之左側圖所示,意味使視 201032577 訊資料靠顯示畫面左上時以字幕採相對應的大小顯示的 方式κ象平面寫入字幕資料。又,於上述說明中係轉 換為垂直畫素數,以顯示於顯示畫面特定位置之方式,於 汾像平面寫入已轉換之水平畫素數、垂直晝素數之字幕資 料’但亦可按照來自BIM應用程式之指示決㈣幕資料之 顯示位置。 又於上述處理令,放大/縮小的處理應用習知技術即 uj* 0 接著’參考保存於平面移位引擎20之偏移值保存部“ Φ 之偏移值、於步驟_所參考的縮放因子,針對儲存於影 像平面8(_體而&為第4圖中附有(L)的區域)之字幕資料進 灯左眼用移位處理。此係相當於利用與進行運算(偏移保存 P的值(偏移值)〈缩放因子)的結果(小數點以下進位)相冑 . 伤量之移位量’來進行移位處理(步驟s彻)。 接者,於步驟以07,判斷縮放因子為“1”時(於步驟S202 判斷為“否”時),利用影像解碼H7a解碼左視角用字幕串 流,並於影像平面8(第4圖之附有(L)的區域)寫入已解碼的 Θ 字幕資料(步驟S401)。 —例如縮放因子為171的情況,例如第22⑷圖之左側所 不’視訊資料在顯示晝面進行全畫面顯示時,於影像平面 8(第4圖之附有(L)的區域)寫入大小相對應的字幕資料。 接著’參考保存於平面移位引擎20之偏移值保存部41 之偏移值’針對儲存於影像平面8(具體而言為第中附有 (L)的區域)之子幕資料進行左眼用移位處理 。由於縮放因子 90 201032577 為1故此係相當於步驟8衝的運算 值)χ縮放因子)中之縮的值(偏移 相當於偏移值的份量移位(步情運算,亦㈣ 利用影像解碼,7a解碼左視角用字幕串流並 輸出子幕賢料(步驟S406)。
接著’判斷縮朗子是否料“1”(步卿407b)。 該判斷係藉由參考例如從ΒΙΜ平台22所指定的縮放因 子,藉由根據參考的值進行判斷而實現。 本實施形態中,參考平面移位引擎2〇内之儲存於縮放 因子保存部42之縮放因子值即可,但並無限定於此的必 要,構成如於縮放引擎15内具備縮放因子保存部(未圖示), 保存從BD-J平台22所指定的縮放因子,或於平面移位引擎 20内,將縮放因子保存部42設置於再生裝置内且設置於平 面移位引擎20外側,可參考縮放引擎15、平面移位引擎2〇 在再生裝置内’且設置於平面移位引擎20外側之縮放因子 保存部42之縮放因子均可。 於步驟S407b,判斷縮放因子非“1”時(於步驟54〇715判 斷為“是,,時),將已解碼之字幕資料之水平畫素數(顯示畫面 之水平方向之像素數)及垂直晝素數(顯示畫面之垂直方向 之晝素數),轉換為與縮放因子相應之水平畫素數、垂直畫 素數(亦即放大/縮小處理),於影像平面8(第4圖之附有(R) 的區域)寫入已轉換的水平畫素數、垂直晝素數之影像資 91 201032577 料’以使其顯示於顯示畫面之特定位置(步驟S408b)。 例如縮放因子為1/2的情況下,例如第22(b)圖之右側圖 所示,使視訊資料靠顯示畫面左上時,以字幕採相同的大 小顯示的方式,於影像平面寫入字幕資料;縮放因子為1/4 的情況下,例如第22(&)圖之右側圖所示,使視訊資料靠顯 不晝面左上時’以字幕採相對應的大小顯示的方式,於影 像平面寫入字幕資料。又,於上述說明中係轉換為垂直畫 素數,以顯示於顯示畫面特定位置之方式,於影像平面寫 入已轉換之水平畫素數、垂直畫素數之視訊資料,但亦可 0 按照來自BD-I應用程式之指示決定字幕資料之顯示位置。 又,於上述處理中,放大/縮小的處理應用習知技術即 可。 .
接著,參考保存於平面移位引擎20之偏移值保存部41 <偏移值、於步驟S4_所參考的縮放因子,針對儲存於影 象平面8(具體而言為第4財附有⑻的區域)之字幕資料進 ^眼用移位處理。此係相當於利用與進行運算(偏移保存 =值(偏移值),縮放因子)的結果(小數點以下進位2 之移位量’來進行移位處理(步驟S409b)。 S•判斷為‘:否,,::,縮放因… 电★ ’、、'否時)’利用影像解碼器7a解碼左視角月 的二;:(=Γ㈣有(_域)〜 示,因子為1/1的情況’例如第22(c)圖之右 D V在顯示畫面進行全畫面顯示時,於影像 92 201032577 寫入大小相對應的字幕資料。 接著’參考保存於平面移位引擎2〇之偏移值保存部Μ 之偏移值’針對儲存於影像平面8(具體而言為第4圖中附有 (R)的區域)之字幕資料進行移位處理。由於縮放因子為!, 故此係相當於步驟S_的運算(偏移保存部的值(偏移值), 縮放因子)中之縮放因子值為!的情況下之運算(步驟 S411b)。 第25⑷圖係用以說明第41圖所示之步驟π·之具體 -例之流程圖。於圖中,首先生成左視“互動圖形資料 (步驟S421c)。在關於步驟8201(1之說明中,已經說明左視角 用互動圖形資料的生成,故在此省略詳細說明。 但由於為立體模式關閉的狀態,因此若是除了預先對 應於GUI元件之左視角用JPEG圖形圖像資料以外,共用對 應於GUI元件之相同JPEG圖形圖像資料作為左視角用/右 視角用JPEG圖形圖像資料的構成,則步驟S421會載入該共 用的JPEG圖形圖像資料。 接著,判斷縮放因子是否非為“1”(步驟S422)。於步驟 S202的說明中,已經說明判斷的具體例,故在此省略詳細 說明。 接著,於步驟S422,判斷縮放因子非“1”時(於步驟S422 判斷為“是’,時),將已生成的互動圖形資料之水平畫素數(顯 示畫面之水平方向之像素數)及垂直晝素數(顯示畫面之垂 直方向之畫素數),轉換為與縮放因子相應之水平畫素數、 垂直畫素數(亦即放大/縮小處理),於互動圖形平面10(第4 93 201032577 圖之附有(L)的區域)寫入轉換後的水平晝素數、垂直畫素數 之互動圖形資料,以使其顯示於顯示畫面之特定位置(步驟 S423c)。 於步驟S203d的說明中,已經說明該具體例,故在此省 略詳細說明。 參考保存於平面移位引擎20之偏移值保存部41之偏移 值、於步驟S423c所參考的縮放因子,針對儲存於互動圖形 平面10 (具體而言為第4圖巾附有(L)的區域)之互動圖形資 料進仃左㈣移位處理。此係相當於利用與進行運算(偏移 ® 保存部的值(偏錄)x縮制子)的結果(小數點以下進位) 相當份量之移位量,來進行移位處理(步驟S424c)。 接著’於步驟S422,判斷縮放因子為“丨,,時(於步驟§422 ' 判斷為“否,,時),於互動圖形平面1〇(第4圖之附有⑹的區 、 域)’寫入已生成的互動圖形資料(步驟S425c)。
接著’參考保存於平面移位引擎2〇之偏移值保存純 之偏移值,針對儲存於互動圖形平面10(具體而言為第4圖 中附有(L)的區域)之互動圖形資料進行左眼祕位處理。由 Q 於縮放因子為卜故此仙#於步驟S424e的運 部的值(偏移值)x較因子)巾之縮放因子值為1的情況下: 運算亦即進行與偏移值的值相應之移位處理(步驟S426C)。 但若不考慮互動圖形平面之縮放因子(亦即互動圖形 平面之縮放因子始終設為丨),則於步驟s42恤之後進行+ 驟S425e,於其後進行步,步驟54也、步驟吻= 步驟S424c刪除即可。 94 201032577 例如互動圖形圖像是對應於GUI元件之圖形圖像時,可 採用於步驟S203d之處理中,以顯示晝面中顯示已縮小的視 訊·字幕之合成圖像的部分以外,相當於〇111元件之互動圖 形圖像進行全畫面顯示的方式,於互動圖形平面1〇(附有符 號(L)的區域)寫入互動圖形資料而構成。 具體而言,於第24(b)圖中,在作為縮放因子為1Λ、字 幕與視訊合成圖像可從左眼看到的圖像而顯示之狀態下 (第24(b)圖之左側),若受理例如切換為選單畫面之輸入, 則如第24(b)圖之左側所示,視訊與字幕之合成圖像之縮放 因子成為1/2 ’顯示於顯示畫面左上,並且對應於圖形圖像 之GUI圖像、導演講評等類資料寫入於互動圖形平面(附有 符號(L)的區域),寫入於該互動圖形平面(附有符號(L)的區 域)之圖像進一步被合成而成為左眼用合成圖像(參考第 24(a)圖之左側圖)。 第25(b)圖係用以說明第42圖所示之步驟S808a之具體 處理之一例之流程圖。於圖中’與附在用以說明步驟S706a 之具體動作之一例的圖之符號相同者’係同一符號或相當 於其,故在此省略詳細說明。總言之’在此省略步驟S421c、 步驟S422的說明。 接著,於步驟S422,判斷縮放因子非“1”時(於步驟S422 判斷為“是”時),將已生成的互動圖形資料之水平畫素數(顯 示畫面之水平方向之像素數)及垂直畫素數(顯示晝面之垂 直方向之畫素數),轉換為與縮放因子相應之水平畫素數、 垂直畫素數(亦即放大/縮小處理)’於互動圖形平面10(第4 95 201032577 圖之附有(R)的區域)寫入轉換後的水平畫素數、垂直畫素數 動圖形負料,以使其顯示於顯示畫面之特定位步 S423d)。 接著’參考保存於平面移位引擎Μ之偏移值保存部心 之偏移值、於步驟_所參考的縮放因子’針對館存於互 動圖形平面10(具體而言為第4圖中附有(R)的區域)之互動 圖形資料進行右眼用移位處理。此係相當於利用與進行運 算(偏移保存部的值(偏移值)x縮放因子)的結果(小數點以 下進位)相备伤量之偏移量,來進行移位處理(步驟S424d)。 ® 接著,於步驟S422,判斷縮放因子為“丨,,時(於步驟8422 判斷為“否”時),於互動圖形平面1〇(第4圖之附有⑻的區 戈)寫入已生成的左視角用互動圖形資料(步驟S425dp 接著,參考保存於平面移位引擎2〇之偏移值保存部41 - 之偏移值’針對儲存於互動圖形平面1〇(具體而言為第4圖 中附有(R)的區域)之互動圖形資料進行右眼用移位處理。由 於縮放因子為1 ’故此係相當於步驟S424e的運算(偏移保存
部的值(偏移值)x職因子)巾之賴因子值為丨的情況下之 Q 運算,亦即以相當於偏移值的份量進行移位處理(步驟 S426d)。 以上流程圖係每當顯示時’即進行移動量的計算,但 藉由應用程式進行縮放的情況下,於該呼叫時更新平面偏 移E,將偏移值保存部之平面偏移置換為新的平面偏移,這 樣可減少移位4算出_計算次數,故較為合理。 為了實現此類處理,須於再生裝置之BD_j平台22具備 96 201032577 縮放API。縮放API係例如從應用程式指定引數並叫出,作 為引數係指定例如縮放因子。 若縮放API從應用程式叫出縮放因子作為引數,則BjXj 平台22係更新例如保存於縮放因子保存部之縮放因子。 又,藉由進行如上述之實作,即便於正在輸出處理中 有縮放命令到來,仍不立即進行根據縮放因子更新的處 理,可保證右眼與左眼之挪移幅度必定同步^ (第2實施形態) 9 本實施形態並非如第1實施形態,令字幕資料、互動圖 形資料之串流追隨視訊串流的景深,而是敘述關於令視訊 - 串流追隨字幕.GUI的景深,藉此減低附字幕視訊在縮放時 . 對收視者雙眼造成的疲勞度之變形例。 於縮放中,為了使字幕或圖形與動態圖像之位置關係 不會變得不自然,執行視訊平面之平面移位時,須考慮圖 形平面之平面偏移為何種值,計算視訊平面用的平面偏移。 • 為了實現此類構成,於本實施形態中,可載入例如記 錄於顯示模式記憶部29之影像平面設定之偏移值,並將該 偏移值利用於視訊之偏移而構成,以及平面移位引擎2〇利 用儲存於視訊平面6之視訊資料來進行右眼用移位 眼用移位處理。 進一步於第4圖中,須於平面移位引擎2〇,追加計算該 視訊平面用之平面偏移的構成要素。於第邮圖表示追加有 該構成要素之平面移位引擎2〇之内部構成。 於第Θ施形態,保存於偏移保存部之平面偏移稱為 97 201032577 平面偏移E ,用以算出縮放之平面偏移稱為平面偏移e, 而於本實施形態,為了視訊平面之平面移位而使用的實參 數稱為“平面偏移V”。 第46圖係表示第2實施形態之再生裝置之平面移位引 擎20之内部構成之方塊^可知於心實施形態所示之第μ 圖之平面移位引擎20之内部構成,追加有視訊平面偏移運 算部45。 視訊平面偏移運算部45係計算附字幕視訊在縮放時之 視訊平面之平面偏移V之模組。 _ 第1實施形態之平面移位僅針對圖形平面,而於本實施 形態,視訊平面亦為平面移位的對象,因此需要視訊平面 用之平面移位處理程序。然後,第47圖之流程圖係考絲 ' 像平面之平面移位後之視訊平面之平面偏移的處理程序。 · 第47(a)圖係用以說明第41圖所示之步驟S7〇2之具體一 例之流程圖。 於圖中,附有與附在第43(a)圖之符號相同之符號者, 係同一符號或相當於其,故在此省略重複說明。 ◎ 於步驟S202,判斷縮放因子非“(,,時(於步驟咖判斷 為“是”時),執行步驟S203。 接著’利用影像平面用之平面偏移D,執行以下數式的 汁异,算出視讯平面用像素之平面偏移V。 (數式) 視訊平面用像素之平面偏移v=Ceil(D_(縮放因子, 然後,根據藉由上述數式所獲得的視訊平面之平面偏 98 201032577 移v,進行左眼用視訊之移位處理(步驟S2〇5e)。 關於移位處理’於利用第3〇圖或第31圖的說明中,出 現互動圖形平面«彡像平φ之纽讀為視訊平面,將平面 偏移E改讀為平面偏移V即可。 又,接著於步驟S202,判斷縮放因子為“i,,時(於步驟 S202判斷為“否”時),執行步驟82〇4。 由於縮放因子為“1”,因此於上述數式中,若於縮放因 子代入“1”,則平面偏移V成為0 ,故於縮放因子為“丨,,時, 不進行視訊之偏移處理。 第47(b)圖係用以說明第42圖所示之步驟S804a之具體 一例之流程圖。 於圖中,附有與附在第43(a)圖、第47(a)圖之符號相同 之符號者,係同一符號或相當於其,故在此省略重複說明。 於步驟S202,判斷縮放因子非“1”時(於步驟S202判斷 為“是”時)’將已解碼之視訊資料之水平畫素數(顯示畫面之 水平方向之像素數)及垂直畫素數(顯示畫面之垂直方向之 畫素數),轉換為與縮放因子相應之水平畫素數、垂直畫素 數(亦即放大/縮小處理),於視訊平面6(附有符號的區域) 寫入已轉換的水平晝素數、垂直畫素數之視訊資料,以使 其顯示於顯示晝面之特定位置(步驟S2〇3f)。 接著,利用影像平面用之平面偏移D,執行以下數式的 計算,算出視訊平面用之平面偏移V。 (數式) 視訊平面用之平面偏移V=Ceil(D_(縮放因子xD)) 201032577 然後’根據藉由上述數式所獲得的視訊平面之平面偏 移V,進行右眼用視訊之移位處理(步驟S205f)。 又’接著於梦驟82〇2 ’判斷縮放因子為“〗,,時(於步驟 S2〇2判斷為“否,,時),於視訊平面6(附有符號的區域), 寫入已利用視訊解碼器5a解碼左視角用視訊亊流後之視訊 資料(步驟S204f)。 第45圖係用以說明第42圖所示之步驟S804b之一例之 流程圖。於圖中’附有與附在第43(b)圖之符號相同之符號 者,係同—符號或相當於其,故在此省略重複說明。 © 於圖中,於步·驟S202b,判斷縮放因子非“丨”時(於步驟 S202b判斷為“是”時),執行步驟§2〇313。 接著,利用影像平面用之平面偏移D,執行以下數式的 叶算’算出視訊平面用之平面偏移V。 * (數式) 硯訊平面用之平面偏移V=Ceil(D-(縮放因子xD)) 然後,根據藉由上述數式所獲得的視訊平面之平面偏 移v,進行右眼用視訊之移位處理(步驟S2〇5g)。 馨 又,接著於步驟S202b,判斷縮放因子為‘ ⑽b判斷為“否,,時),執行步驟82_。 時(於4 如此,於右眼用處理、左眼用處理中,藉由對視訊平 ^給予偏移’未必要進行雜平面、互動_平面之移位 理亦可,因此即便未因應視訊的縮放而改變影像平面、 互動圖形平面之偏移,仍會改變視訊的偏移,因此可令視 訊争流追隨字幕•⑽的景深,可減低附字幕視訊在較時 100 201032577 對收視者雙眼造成的疲勞度。 於右眼用處理、左眼用處理中,對視訊平面給予偏移 時上述處理並非不進行影像平面、互動圖形平面之移位 處理。 於如上述之流程圖中,由於就視訊平面用算出平面偏 移,因此本實施形態係於視訊平面及影像平面雙方執行平 面移位。在此’-面參考第48圖,一面具體說明在對於圖 • 形平面執行平面移位的情況、與對於視訊平面及圖形平面 執订平面移位的情況下’字幕與動態圖像雙方的位置關係 如何變化。 ’ 說明關於適用視訊平面及圖形平面雙方移位的狀況。 , 第48(a)圖係表不意圖令已進行縮放之動態圖像及圖形 中之圖形的座標,僅以特定像素數移動的狀況。此係表示 不進行本實施形態而進行縮放時之輸出畫面。本圖中,平 面偏移設定為-4G’因此可知於左視角時,各像素的座標如 • 9RR所不’僅往右方移動40像素,於右視角時,各像素的 座標如9LL所示,僅往左方移動4〇像素。 若於已施以縮放之視訊上,具有與縮放前同樣的移位 幅度(40畫素)字幕合成於動態圖像,則相較於職前影像的 情況,由於字幕的位置大幅偏離,因此未能保持視訊與字 幕的構成如此一來,由於立體感的差距變強烈唯恐雙 眼無法適應。 因此’平面偏移運算部43係進行上述計算,算出視訊 平面之移位量。 101 201032577 具體的平面偏移為-40像素,縮放因子為1/2。將該等適 用於上述數式而算出視訊平面之移位量時,依據以下計 算’視訊平面之平面偏移算出為“_20”。 V=D-(縮放因子xD)=-40-(1/2x-40)=-20 關於視訊平面而言,由於視訊平面用之實參數,即平 面偏移V算出為-20,因此於左視角時,視訊平面之各像素 的座標往右方僅移動20像素,於右視角時,往左方僅移動 20像素。於動態圖像及圖形已施以縮放的情況時,已施以 縮放的視訊僅移位20像素,於其上合成僅移位40像素之字 幕。 視訊平面與圖形平面的相對性變化量,係於左視角的 情況下往右方20像素,於右視角的情況下往左方2〇像素, 因此與同圖(a)比較,視訊平面及圖形平面之座標變化量抑 制在較小。 藉由如此,可知於同圖(b),縮放後之輸出影像14LL與 MRR保持縮放前之視訊與字幕之構成比率。藉此防止立體 感的差距變強烈,減輕雙眼疲累,並且可進行更自然的顯 © 示0 如以上,若依據本實施形態,藉由平面偏移,可防止 隨著視訊縮小,因左眼與右眼的視差自然縮窄而造成景深 感減輕。 (第3實施形態) 本實施形態為第1實施形態的延伸例。進行縮放時,若 放大•縮小率高’景深感的變更在縮放前後會大為不同。 102 201032577 於第1實施形.態’進行縮放時,於縮放要求後之下_訊樞, 反映出與縮放因子相應的景深變更。若影像的景深感突然 大為不同,會導致使用者雙眼疲勞。於本實施形態係敎述 關於-變形例’其目的在於有縮放要求時,不會於下―訊 框-次變更景深,藉由逐次稱微變更景深,以減輕使用者 雙眼疲勞。 為了逐次稍微變更景深,須於平面移位引擎20内,事 φ 絲持初始的平面偏移與最終的平面偏移雙方,於景深變 更處理中途,須再計算中途階段的平面偏移。若加入此等 變更,平面移位弓丨擎2〇之内部構成係如第49圖所示。 . 帛49圖係'表示第3實施形態之再生裝置之平面移位引 $2G之内部構成之方塊圖。其揭示有-構成,係從第1實施 形態所不之第4圖的平面移位引擎2〇之内部構成,進一步包 含平面偏移值保存部41、前資訊保存部41a及後資訊保存部 41b。又,亦追加有訊框計數器部私,於訊框計數器部如追 φ 加有甙框更新跨距保存部46a及更新完畢訊框數保存部 46b。以下說明關於在本實施形態新追加的構成要素。 (前資訊保存部41a) 刖資訊保存部41a係保存從偏移設定部21所指示的平 面偏移D作為縮放前的平面偏移。 (後資訊保存部4lb) 後資訊保存部41b係保持縮放完成後的平面偏移E,亦 即保持對平面偏移D乘以縮放因子後所得之值。又,於偏移 值保存部,當對平面偏移D乘以縮放因子後所得之值被更新 103 201032577 時,更新後的偏移儲存於後資訊保存部4ib。 上述更新的時序係於縮放命令(例如從BD-J應用程 式,依據縮放命令縮小顯示視訊、字幕的情況等)發行時, 在更新縮放因子保存部42的值之後進行。 (平面偏移運算部43) 平面偏移運算部43係將保存於前資訊保存部4la之平 面偏移所示之平面偏移D、及保存於後資訊保存部41b之平 面偏移E,分別轉換為像素座標。然後,計算該2個像素座 標的差分,獲得縮放時所必需的平面偏移,以訊框更新跨 · 距保存部46a的值除以更新完畢訊框數保存部46b的值。 然後,以訊框更新跨距保存部46a之訊框更新跨距,除 以更新完畢訊框數保存部46b之更新完畢訊框數,最後對除 , 完的值乘以上述運算所得的平面偏移。 - 於第1實施形態,從偏移設定部21供給的平面偏移稱為 “平面偏移D” ’因應縮放所算出的平面偏移稱為“平面偏移 E” ’而於本實施形態,在已經過訊框丨的時點,為了影像平 面的移位而利用的平面偏移稱為平面偏移P(i)。 ® 訊框(i)之平面偏移P(i)的計算係利用如下數式。 (數式) ‘‘平面偏移P(i)=(縮放完成前的平面偏移D-縮放完成後 的平面偏移)x(更新完畢訊框數訊框更新跨距)’’。 又,平面偏移P⑴為小數點以下的數字時,設為將小數 點第1位的值進位後的整數值。 (移位部44) 104 201032577 移位邛44係於進行右眼用處理時,較畫面往面前跳出 的情況則往左移位,往深處拉入的情況則往右移位。進行 左眼用處理時,較畫面往面前跳出的情況則往右移位,往 深處拉入的情況則往左移位。 (訊框計數器部46) 訊框計數器部46係兼具於縮放要求後,以訊框為單 位,從保存於前資訊保存部4la的值逼近後資訊保存部4ib 的功能。 具體而言,訊框計數器部46具有:訊框更新跨距保存 部46a,係保持訊框更新跨距者,而前述訊框更新跨距表示 使用多少訊框,從保存於前資訊保存部4ia的值逼近後資訊 保存部41b ;及更新完畢訊框數保存部46b,係保存在縮放 要求後進行過多少次之訊框處理者。 訊框更新跨距保存部46a的值係由再生裝置的製造者 設定於再生裝置的值,不會更新。 更新完畢訊框數保存部46b低於訊框更新跨距保存部 46a的值時’更新完畢訊框數保存部46b的值僅遞增1。 以上係關於平面移位引擎之内部構成的說明。接下 來,說明關於第3實施形態之平面移位引擎之内部構成。 更新完畢訊框數係隨著再生對象之視訊訊框變化而更 新,因此於再生裝置實作本實施形態的處理時,須於第1實 施形態所示之3DAV串流之再生處理之處理程序,追加關於 更新完畢訊框數的處理。該類關於更新完畢訊框數的處 理,包括重設更新完畢訊框數的處理、遞增更新完畢訊框 105 201032577 數的處理。若追加該等關於更新完畢訊框數的處理,3DAV 串流之30顯示之處理程序係如第5〇圖。 第5 〇圖係表示3 DAV串流之3 D顯示之處理程序之流程 圖。 於第50圖,應注意追加有步驟S6n至步驟S6M,此係 從第40圖的變更點。 本圖中附有與附在第40圖之符號相同之符號者,係與 第40圖同一符號或相當於其。 本流程圖係執行包含步驟S602、S603、S613、S614、 ⑩ S615、S616、S617及S606的步驟。 於上述步驟中,繼續依次執行左眼用處理(步驟S602)、 右眼用處理(步驟S603)的處理,直到訊框輸出斷絕為止(於 . 步驟S606為否)。於本環路之左眼用處理,令影像平面之各 像素的座標僅移動對應於訊框i之像素之移位量P(i)。又, 於右眼用處理,令影像平面之各像素的座標僅移動對應於 讯框1之像素之移位量p(i)。此時,對應於左眼用處理之移 位量Ρ(ι)與對應於右眼用處理之移位量p⑴的大小相同,而 〇 移位的方向互異。 首先’將更新完畢訊框數i設為〇(步驟S617)。 接著進行左眼用處理(步驟S602)。 此時,於左眼用處理中,影像平面偏移(移位量)的算出 係利用P(i) ’而前述p(i)是利用後述縮放前的平面偏移D、 縮放完成後的平面偏移E'更新完畢訊框數的數目i及更新 跨距所算出。 106 201032577 接著進行右眼用處理(步驟S603)。 此時,於右眼用處理中,影像平面偏移(移位量)的算出 係利用上述P(i)。 步驟S613係更新元畢訊框數丨是否小於訊框更新跨距 的判斷;若小於,則於步驟S614遞增更新完畢訊框數i。若 等於或大於(亦即於步驟S613判斷為否時),前進至步驟 S606。 於步驟S606,判斷是否有下一訊框。 無下一訊框時,亦即於步驟S606判斷為否時,結束 3DAV串流之3D顯示處理。 有下一訊框時,亦即於步驟S6〇6判斷為是時,於步驟 S602、S603的處理中,利用更新完畢訊框數再次計算p(i)。 到更新完畢訊框數i達到更新跨距為止,每當步驟S613 進行判斷時,即逐次增加1 ,達到更新跨距以後,由於不執 行步驟S614,因此更新完畢訊框數丨達到更新跨距以後,其 值為固定。 更新完畢訊框數i係隨著視訊争流進行再生而更新,平 面偏移E亦伴隨於其而更新’因此每當更新完畢訊框數更新 時,須執行本實施形態之平面移位。第51圖絲示隨著該 更新兀畢訊框數的更新而重新進行平面偏移的計算,然後 根據再异的平面偏移執行平台的程序。 第51圖係表不影像平面之平面移位之處理程序之流程 圖。 於第51圖’影像平面之平面移位之處理程序係左眼用 201032577 處理與右眼用處理甚多相互共通的部分,因此利用共通的 流程圖來説明。其中’進行左眼用移位處理時,儲存於影 像平面之附有符號(L)的區域之字幕資料為移位處理的對 象,進行右眼用移位處理時,儲存於影像平面之附有符號 (R)的區域之字幕資料為移位處理的對象。 取得影像平面,於影像平面寫入已解碼的影像(步驟 S901)。 然後,藉由以下計算,算出訊框i之平面偏移p(i)。
平面偏移P(i): 平面偏移P(i)=(縮放完成前的平面偏移〇_縮放完成後 的平面偏移E)x(更新完畢訊框訊框更新跨距) 根據如此所算出的平面偏移P(i),移位影像平面之畫素 座標(步驟S904)。其中,步驟沾〇4進行左眼用移位處理時 所移位的方向、與進行右眼用移位處理時所移位的方向互 為相反方向。 每當-循環第51圖的環路時,更新完畢訊框靖由步驟
S809遞增’由於根據該更新完畢訊框i算出平面偏移p⑴, 因此更新完畢訊框i越A,平面偏移p⑴越大幅變化。然後, 可知當更新完畢訊框i相訊框更新跨距時,更新完畢訊框 i重設為“0”。 〇王 如上述’可知更新完畢訊框鳴隨著視訊串流進行再 而更新,平面偏移P⑴亦伴隨於其而更新。第52圖係表示 更新完畢訊框數及平面偏移p(i)之時間性變動。以下—承 雜第52圖的具體例’―面說明關於平面偏移P⑴之時間伯 108 201032577 位。 第52圖係表示於更新完畢訊框i更新作 “1,,、“2”、 的情況下,平面偏移P(i)會如何變化。於本圖中,於右斜方 '^繪有時間轴’於該時間轴上描述訊框〇、1、2、3。然後, 該訊框〇、1、2、3之影像平面的内容繪於該時間軸上。 各訊框上之數式係表示用以識別訊框〇、1、2、3之更 新完畢訊框i取定為值“1”、“2”、“3,,”時,平面偏移p⑴會 成為何種數值。 於此具體例’假疋-40及-20的值保存於前資訊保存部與 後資訊保存部。·4〇為平面偏移D,_2()為平面偏移加以晝素 變更運算後之平面偏移P(i)。本例係跨越3訊框逐漸變更景 深的設定,於訊框更新跨距保存部4如保存有值“3”。於更 新完畢訊框數健料b料有“丨”。㈣驗命令後進行 第1訊框的處理。該儲存值係隨著訊框的經過而遞增為 3。然後,從縮放命令要求縮放因子為“ 1 /2,,,因此 於縮放因子保存部41設定有1/2的值。 於此具體例,從平面移位引擎的資訊' 前資訊保存部 與後資訊鱗部的差分,判_舰3訊框來移動·2〇畫素。 (訊框1) .若將更新完畢純卜T刺於上述數式,更新完畢訊 忙1肢更新跨距為“ 1/3”,訊框p⑴之像素平面偏移卩⑴係 藉由(4〇 (1/2x_4〇)x1/3)的計算而算出為“_?,,。因此,於訊 框1 ’在左視角時,影像平面往右方僅移位7像素,在右視 角時’影像平面往左方僅移位7像素。 109 201032577 (訊框2) 於訊框2,若將更新完畢訊框i=“2”適用於上述數式, 更新完畢訊框訊框更新跨距為“2/3”,訊框p(i)之像素平面 偏移P(2)係藉由(_4〇-(l/2x-40)><2/3)的計算而算出為 “_14”。因此,於訊框2,在左視角時,影像平面往右方僅移 位14像素,在右視角時,影像平面往左方僅移位14像素。 (訊框3) 於訊框3,若將更新完畢訊框i=“3”適用於上述數式’ 更新完畢訊框h訊框更新跨距為“3/3”,訊框P(i)之像素平面 ❹ 偏移P(3)係藉由(-40-(l/2x-40)x3/3)的計算而算出為 “-20”。因此,於訊框3 ’在左視角時,影像平面往右方僅移 位20像素,在右視角時,影像平面往左方僅移位2〇像素。 . 於此具體例,令各訊框移動相當於_2〇像素之1/3之移位 、 數(7畫素),於第3訊框進行-20畫素的移位,第4訊框以後, 維持第3訊框之移位數,狀態繼續下去。該繼續係維持到步 驟S606判斷無下一訊框為止。 如以上,若依據本實施形態,藉由不急遽改變縮放時 之字幕的景深轉換’逐次稍微變更景深,可減輕使用者雙 眼的疲勞。 (第4實施形態) 爭面移位引擎20進行平面移位時之移位量,須根據立 體視覺用的某些參數來算出。該移位量算出用的參數宜採 用嵌入於MVC(MultiView Codec :多視角編解碼器)視訊串 流之立體視覺用平面偏移。但不限於此,宜事先使其吁透 110 201032577 過内容提供者經由bd-rom供給再生裝置之各種資訊要 素,提供給平面移位引擎20。 一面參考第53圖,一面說明關於平面偏移之設定處理。 第53圖係表示與平面偏移之設定相關的部分之構成。 平面偏移的提供方式有以下(AA)〜(FF)的變化。 (AA)BD-J應用程式可藉由言史定偏移值(setOffsetValue) 的方法(method),更新顯示模式記憶部29内之平面設定之平 面偏移。 上述平面偏移可藉由BD-J應用程式,利用取得偏移值 (getOffsetValue)方法來取得。 BD-J應用程式呼叫API而嵌入平面偏移的情況下,自由 度雖高’但即時性不佳。平面移位引擎利用由BD-J應用程 式所指定的偏移的情況下,從BD-J應用程式指定的平面偏 移儲存於顯示模式記憶部29(例如影像平面設定之平面偏 移、互動圖形平面設定之平面偏移),由偏移設定部21讀出 並設定於平面移位引擎20内之偏移值保存部41。由平面移 位引擎所進行往水平方向的移位,係因應平面偏移而於合 成時自動進行。 說明關於設定時期。 若於應用程式啟動後,變更影像平面8及互動圖形平面 10之景深之API隨時可從已啟動的應用程式叫出,除此之 外,於例如視訊停止中亦可能叫出。然而,藉由控制於平 面移位引擎20儲存顯示模式記憶部29内之平面偏移的時 序,可保證平面偏移之挪移幅度必定同步。 m 201032577 具體而言,於BD-J應用程式叫出set〇ffset()的時點,不 更新平面移位引擎20之平面偏移,於丨訊框份之左視角與右 視角雙方輸出完成的時點,確認顯示模式記憶部29内之平 面偏移是否已更新,並伴隨於其而更新平面移位引擎2〇之 偏移。藉由如此,可保證圖形平面之挪移幅度必定同步。 當然於左視角及右視角之挪移幅度不同步時,會成為非内 容製作者所意圖的顯示,對收視者提供不愉快的輸出影像。 (BB)載入BD-ROM時,或載入BD-ROM且已建構虛擬 包時,從儲存於BD-ROM或虛擬包所指定的目錄之元檔案 ❹ (ZZZZZ.xml) ’讀出平面偏移’更新平面移位引擎2〇之平面 偏移。 (CC)開始MVC視訊串流之讀出及解碼時,將嵌入於構 · 成MVC視訊串流之各PES封包之標頭區域之平面偏移,作 - 為平面移位引擎20之平面偏移而設定於讀取緩衝區28内。 宜於1訊框份之左視角與右視角雙方輸出完成的時點,將對 應於現在處理中之訊框之偏移,作為平面移位引擎2〇之平 面偏移而設定於讀取緩衝區28。 於MVC視訊串流嵌入平面偏移時,可從串流任意地挪 移,因此即時性高,但編輯時耗費人力。 (DD)開始傳輸串流之讀出及解碼時,將嵌入於傳輸串 流封包之標頭區域之平面偏移,作為平面移位引擎2〇之平 面偏移而更新。宜於1訊框份之左視角與右視角雙方輸出完 成的時點’將對應於現在處理中之訊框之偏移,作為平面 移位引擎20之平面偏移而設定於讀取緩衝區28。 112 201032577 嵌入於串流内時,可從串流任意地挪移,因此即時性 高,但編輯時耗費人力。 (EE)現播放串流已決定而載入播放串列資訊時,於平 面移位引擎2 0内設定該播放串列資訊的偏移作為平面偏 移。利用播放串列資訊時,在編輯方面的自由度高,但若 與在_流嵌入偏移的情況相比,一旦設定偏移後,不甚能 細短再度更新偏移的偏移更新時間間隔,即時性稍微不佳。 (FF)UO檢測模組26受理藉由附屬於遙控器或機器的按 鈕等之操作,來變更影像平面8及互動圖形平面之景深層級 之使用者操作時,亦即受理景深感為“遠”、“普通,,、“近,, 等3個層級時,或藉由諸如景深感為“幾em”、“幾111〇1,,之數 值輸入而受理景深感層級時,可利用此來更新平面移位引 擎20之平面偏移。藉由該更新,可與遙控器之右箭頭鍵按 下相應而增大平面偏移,亦或與左箭頭鍵相應而縮小平面 偏移。如此,可藉由右箭頭鍵、左箭頭鍵的按下次數使 得圖形在面前看到或在深處看到,操作性提升。 影像平面8及互動圖形平面1〇之移位量係經過以上過 程並根據平面移位引擎2〇之平面偏移進行計算處理而獲 得。 於MVC視訊串流内嵌入有平面偏移時,平面偏移運算 部43係在對則訊框之左視角用輸出與右視角用輸出完成 =點’根據儲存於平面移位引_内之平面偏移計算圖 :二之移位量。此係由於平面偏移儲存於廳c視訊串流 時,平面偏移可能依每訊框而變化。 113 201032577 以上係關於設定平面偏移之各種案例的說明。接下 來3兒明關於由使用者操作或應用程式所提供的值。 從使用者操作或應用程式所提供的值並非移位量本 幻如會給予從現狀下設定於平面移位弓丨擎的值之納 :值此情况下執行平面偏移計算。例如當右箭頭鍵按3 次,或數值鍵按下“3”的值時,對設定於裝置内之平面偏移 加算該值,平面移位引擎2〇根據加算後的值計算平面偏 移。若為“+,’的值’例如挪移幅度更縮小,使其看似在深處, 若為的值,例如增加挪移幅度,使其看似在面前。 _ 接者s兒明關於景深的變更。 如上述,將字幕、GUI等圖形往橫軸移位時,藉由變更 字幕、GUI等圖形之橫轴挪移幅度來變更景深。例如若越將 - 左視角字幕與右視角字幕往-定方向靠近,則會進行_ - 近畫面的顯示,越往相反方向分開,會獲得越從畫面遠離 的視覺效果。然而,平面偏移與跳出程度的相關性大為受 到電視的英吋數、3D眼鏡之液晶特性所影響,因此實現該 視覺效果時,預先於終端内設定係數,於移位利用對平面 © 偏移乘以該係數後的值。如此,藉由乘以係數,可根據電 視或再生裝置、3D眼鏡的特性來調整立體視覺影像之跳出 程度。 (第5實施形態) 於本發明形態,說明到目前為止的實施形態所描述的 再生裝置利用何種硬體構成。 第54圖係表示再生裝置之内部構成之圖。於本圖中, 114 201032577 構成再生裝置之主要零件為前端部1(M、祕LS、記憶 裝置103、後端部104、非揮發性記憶體⑽、主微電腦1〇6 及網路I/F107。 前端部1G1為資料輪人源。前端部⑻包含例如前圖所 示之BD驅動器la、區域儲存區ic。 系統LSI1G2係由邏輯元件所構成,構成再生裝置的核 〜。其構成要素至少包括解多工器4、視訊解碼器5a、b、 影像解碼器7a、b、音訊解碼器9、再生狀態/設定暫存器(psR) 套組12、再生控制引擎14、合成部15、平面移位引擎2〇, 嵌入於該系統LSI之内部。 記憶裝置103係由SDRAM等記憶體元件的陣列所構 成。記憶裝置103包含例如讀取緩衝區2a、讀取緩衝區2b、 動態情境記憶體23、靜態情境記憶體13、圖形平面6、8、 視訊平面10及背景平面11。 ,後端部104係再生裝置内部與其他裝置之連接介面包 含HDMI發送接收部17。 非揮發性記憶體105係可讀寫的記憶媒體,且係即便未 供給電源,仍可保持記錄内容之的媒體,利用在記錄於後 述之顯示模式s己憶部29之顯示模式的備份。該非揮發性記 憶體105可利用例如快閃記憶體、FeRAM等。 主微電腦106係由R〇M、RAM、CPU所組成的微電腦 系統,於ROM記錄有控制再生裝置的程式,r〇Mr的程式 載入於cpu ’程式與硬體資源協力動作,藉此實現hdmv 模組24、BD-J平台22、模式管理模組24、UO檢測模組26及 115 201032577 再生控制引擎14的功能。
以下說明關於系統LSI。系統LSI係指於高密度基板上 安裝裸晶並封裝後之積體電路。藉由於高密度基板上安裝 複數個裸晶並封裝,以使得複數個裸晶彷彿具有如1個LSI 的外形構造者,亦包含於系統LSI(此類LSI稱為多晶片模 組)。 在此,若著眼於封裝體的種類,系統LSI包括QFp(四方 平整陣列)、PGA(插針柵陣列)等種類。QFp係於封裝體的 四側面裝有插針的系統LSI<>PGA係於底面整面裝有許多插 © 針的系統LSI。 該等插針擔任與其他電路的介面之功能角色。由於系 統LSI的插針存在有此類介面的魏角色,因此藉由於系統 LSI之該等插針連接其他電路,***⑶會發揮作為再线 * 置200之核心的功能角色。 該系統LSI當然可嵌入於再生裝置2〇〇,除此之外還可 嵌入於τν或遊戲機、個人電腦、單波段(〇ne_seg)行動電話 等處理影像再生之各種機器’可多方擴展本發明的用途。 ® 系統LSI的架構宜遵循uniphier架構。 遵循Uniphier架構之系統LSI係由以下電路區塊所構 成。
•資料並行處理器DDP 此係複數個要素處理器進行同—動作之simd型處理 益,以1個命令使⑽於各要素處理器之運算器同時動作, 藉此謀求對於構成圖之複數像素的解碼處理並行化。 116 201032577
•命令並行處理器IPP 此係由命令RAM、命令快取、 組成的「區域記憶體控制器,、命2
進行複數應用程式之並行執行之「虛擬多處理器單元立 所構成。 ^ J • MPU區塊 ❿ 、資料RAM及資料快取
此係由ARM核、外部匯流排介面(匯流排控制單元: BCU)、DMA控制器、計時器、向量中斷控制器等類周邊電 路、UART、GPIO(通用型輸出入)、同步序列介面等周邊介 面所構成。 •串流I/O區塊 此係經由USB介面或ATA封包介面,與連接於外部匯流 排上之驅動裝置、硬碟驅動裝置、SD記憶卡驅動裝置進行 資料輸出入。 • AVI/O區塊 此係由音訊輸出入、視訊輸出入、〇SD控制器所構成, 與電視、AV放大器進行資料輸出入。 .記憶體控制區塊 此係實現讀寫經由外部匯流排所連接的SD_R〇M之區 塊’由控制各區塊間之内部連接之内部匯流排連接部、與 連接於系統LSI外部之SD_R〇M進行資料傳輸之存取控制 部、調整來自各區塊<SD_R〇M之存取要求之存取排程部 所組成。 201032577 具體的生產程序細節如下。首先,依據各實施形態所 示之構成圖,製作應作為系統LSI的部分之電路圖,利用電 路元件或IC、LSI,將構成圖之構成要素具體化。 如此將各構成要素具體化,規定連接電路元件或IC、 LSI間之匯流排或其周邊電路、與外部的介面等。進一步亦 規定連接線、電源線、接地線、時脈訊號線等。在進行該 規定時,考慮LSI的規格’調整各構成要素之動作時序,亦 或-面於各構成要素加人調整,諸如確保所需的頻帶寬 等,一面完成電路圖。 @ 當電路圖完成時,進行實作設計。實作設計係基板佈 局的製作作業’其決定於基板上的何處,配置藉由電路設 計所製作的電路圖上之零件(電路元件或IC、LSI),或者決 、 定於基板上,如何將電路圖上之連接線進行配線。 如此進行實作設計,當基板上的佈局確定時,將實作 設計結果轉換為CAM資料,輸出至NC工作機等設備^ 工作機係依據該CAM資料進行SoC構裝或SiP構裝。
SoC(System on chip :系統單晶片)構造係指於淛晶片上, 懸 焊燒複數電路的技術。SiP(System in Package :系統級封求 體)係指以樹脂等將複數晶片製成1個封裝體的技術。經過 以上過程,本發明之系統L SI可依據各實施形態所示之再生 裝置200之内部構成圖來做出。 再者,如上述製作的積體電路係依積體度的差異,有 時亦稱呼為1C、LSI、超級LSI、超大型LSI。 利用FPGA實現系統LSI的情況下,許多邏輯元件配置 118 201032577 成格子狀,根據記載於LUT(LookUpTable:查找表)之輸出 入組合,連接縱•橫的配線,藉此可完成各實施形態所示 之硬體構成。LUT記憶於SRAM,該SRAM的内容會由於斷 電而消滅,因此利用該FPGA時,須按照組態資訊的定義, 於SRAM寫入各實施形態所示之硬體構成。 本實施形態係於對應於中介軟體與系統LSI之硬體、系 統LSI以外之硬體、對於中介軟體之介面部分、中介軟體與 ^ 系統LSI之介面部分、對於中介軟體與系統LSI以外之所需 硬體之介面部分、及使用者介面部分實現,將該等嵌入而 構成再生裝置時,藉由其等聯合進行動作而提供特有的功 * 能。 - 藉由適當定義對於中介軟體的介面、及中介軟體與系 統LSI的介面,可分別獨立地並行開發再生裝置之使用者介 面部分、中介軟體部分、系統LSI部分,可效率更良好地開 發。再者,各介面的切割方法有各種切割方法。 (備註) 以上說明關於在本申請案的申請時點,申請人所得知 的最佳實施形態,而以下所示之技術性主題可加以進一步 改良或實施變更。按照各實施形態所示而實施,或施行該 等之改良•變更,兩者可任意決定,應留意此係交付實施 者的主觀判斷。 (次元識別旗標之嵌入方式) 於BD-ROM上’存在識別再生對象之_流為2d用或 用之-人几識別旗標’第j實施形態係於播放_列叫資訊嵌 201032577 入次元識別旗標,但不限於此,若是作為可特定串流主體 及其串流2D用或3D用的資訊而記錄之資訊,則於BD-ROM 上,採其他形式記錄亦可。 (視訊平面6之物理形態) 第4圖所示之視訊平面6所含之左眼用平面、右眼用平 面,係例示物理上分離的記憶體,但未必要限定於此’例 如於1個記憶體設置左眼用平面的區域、右眼用平面的區 域,寫入對應於該區域之視訊資料的構成亦可。 (影像平面8之物理形態) ® 第4圖所示之影像平面8所含之左眼用平面、右眼用平 面,係例示物理上分離的記憶體,但未必要限定於此,例 如於1個記憶體設置左眼用平面的區域、右眼用平面的區 域,寫入對應於該區域之圖形資料的構成亦可。 · (互動圖形平面10之物理形態) 於第4圖係表示互動圖形平面1 〇之左眼用區域(附有符 號(L))與右眼用區域(附有符號(R)),預先設置於1個平面區 域内的例,但未必要限定於此,例如採用物理上分離互動 〇 圖形平面10之左眼用區域(附有符號(L))、右眼用區域(符號 (R))的形態亦可。 (偏移調整的方法) 利用第7〜8圖的說明係以立體模式為關閉狀態下,不 調整背景與視訊的偏移(亦即偏移為0,更具體而言,顯示 於顯示晝面的位置)之例為題材。此係為了簡化上述說明。 因此未必要限定於上述說明,例如亦可調整偏移以顯示如 120 201032577 視訊較圖形影像(字幕)位於深處,且背景資料較視訊位於深 處。 (背景平面11、影像平面8、互動圖形平面10所應支援的解 像度) 再生裝置為3D顯示模式時’背景平面丨丨、影像平面8、 互動圖形平面係除了支援2D顯示模式的解像度以外,亦可 支援1920x2160或1280x1440畫素的解像度。該情況下, 1920x2160或1280x1440晝素的長寬比為16/18的長寬比,上 半部利用作左眼用區域,下半部利用作右眼用區域。 (設定平面偏移的對象) 平面偏移具有例如影像平面用與互動圖形平面用之2 個移位量,因應進行平面移位的對象來區分使用該2個移位 里亦可。再生裝置未兼具設定功能的情況下,於預設指定 〇。該情況下,於顯不晝面的位置顯示字幕、^以等圖形, 無從顯示畫面跳出的效果。 (從合成部所進行的合成中除外) 依2D靜止圖資料、2D視訊資料、2d圖形資料(字幕資 料)、2D互動圖形的順序合成時,若視訊資料為全畫面顯 示,則扣靜止圖資料亦可從合成處理中除外。 (顯示模式記憶部29之旗標保持的變化) 顯示模式記憶部29之表示扣顯示模式或3D顯示模式 的旗標,以再生狀態暫存器12保存,亦或以顯示模式記憶 部29及再生狀態保存器12雙方保存均可。 (運算之表格化) 121 201032577 可思慮各種從平面偏移對像素座標之轉換算法,但宜 使用取決於顯示對象之顯示器的尺寸或解像度、或者顯示 對象之視訊尺寸之算法。 又,缺乏機器資源之再生裝置不採用藉由轉換算法的 運算,使其具有縮放對應表,按照該表從偏移轉換為像素 座標亦可。具體而言,將縮放因子的倍率限定為數個模式, 預先具有寫有對應於各縮放因子之像素座標的表,將對應 於縮放因子指定時之像素座標送回移位部28_d即可。 作為平面偏移的具體值,亦可設為5〇像素、3〇像素、 25像素之3階段值。然後,關於縮放因子,亦可設為2倍、 1/2倍、1/4倍之3階段值。藉由將平面偏移或縮放因子限定 為該等值,運算算法變得單純,藉由上述運算的表格化, 可簡化平面偏移運算部43的實作。 (雙重化) 圖的構成圖具有視訊解碼器、視訊平面、影像平面加 算器各1個,但各部分具有各2個,平行地處理左眼用影像 與右眼用影像亦可。 (再利用) 保存有已施以解碼及縮放之影像平面時,亦可將其再 利用。但再利用後’須將已移位的影像平面復原。 (2D的畫素) 進一步而言’採用輸入2D視訊争流及其2D串流之每訊 框之各畫面畫素之景深的方式時,從每訊框之各畫面畫素 之景深,擷取位於最面前的畫素之景深而利用作為平面偏 122 201032577 移亦可。 (同步) 為了使左眼與右眼同步’亦可另外設置旗標 ,僅於已 施行左眼魏放處_情況時,進行錄用縮放處理。 (因子的變化) 作為縮放因子,柯㈣指定完成後之像素座 標。例如直接指定如橫的長度為1000、縱的長度為25〇。 縮放因子為具體的晝素數時,宜計算縮放前與縮放後 之橫軸比率’將其乘算於平面偏移,藉此獲得新的影像偏 移。 (顯示時期) 於本實施形態的構成,雖可於縮放命令接收後,令景 深逐次稍微變更,但亦可事先將字幕顯示設為無效,於經 過一定訊框後,以從後資訊保持部的值一次算出之移位像 素座標來顯示。該方法並不計算與訊框相應之挪移幅度, 於更新完畢訊框數保存部的值達到訊框更新跨距保存部的 值的時點,移位可於後資訊保持部計算之畫素移位幅度。 藉由如此,在使用者對於縮放後之視訊串流之景深變更, 雙眼已習慣的狀態下顯示字幕,因此進一步吸收立體感的 差距,帶來減輕使用者雙眼疲累的效果。 (串流之記錄態樣) 配置於BD-ROM上之串流各別記錄有右眼用串流、左 眼用串流,或嵌入於1個串流檔案均可。 (立體視覺方式) 201032577 為了令左右影像在時間轴方向上交替地顯示,相對於 例如一般的2次元電影是於1秒顯示24張影像,第1實施形態 作為5兒明前提之視差圖像方式係左右影像加總起來,須於1 秒顯示48張影像。因此,該方式適於一 畫面的重寫較快之 顯不裝置。利用該視差圖像之立體視覺已經一般性地使用 於遊樂園的遊樂器具等,技術上亦已確立,因此可謂最接 近在家庭内實用化的技術。除此之外,利用視差圖像之立 體視覺用的方法亦已提案2色分離方式等各種技術。本實施 形4已利用繼時分離方式或偏光眼鏡方式為例來說明,但 只要利用視差圖像均可,不限定於該等2方式。 關於顯示裝置3〇〇,不僅止於柱狀透鏡,亦可使用具同 樣功能的裝置’例如液晶元件。又’對左眼用像素設置縱 偏光濾'光器’對右眼用像素設置橫偏光濾光器,收視者利 用左眼用設有縱偏光濾光器、右眼用設有橫偏光濾光器之 偏光眼鏡,觀看顯示裝置的晝面,藉此實現立體視覺。 (影像資料) 各實施形態所示之影像資料宜為簡報圖形 (Presentation Graphics)串流。 簡報圖形串流(PG串流)係為了表示電影字幕等應與圖 形縝密地同步之圖形之圖形串流,存在有關於複數語言的 串流,諸如英語、日語、法語。 PG 串流係由PCS(Presentation Control Segment:簡報控 制區段)、PDS(Pallette Define Segment :色盤定義區段)、 WDS(Window Define Segment:視窗定義區段)、〇DS(Object 124 201032577
Define Segment :物件定義區段)之一連串功能區段所組 成。ODS(Object Define Segment :物件定義區段)係定義利 用像素碼及其變動長度而予以變動長度壓縮之圖形物件之 功能區段。PDS(Palette Define Segment :色盤定義區段)係 規定各像素碼與亮度(Y)、紅色差(Cr)、藍色差(Cb)、透明 度(ot值)之對應關係之功能區段。pcS(Presentation Control Segment :簡報控制區段)係規定圖形串流之顯示單位(顯示 組)的詳細’並且規定利用圖形物件之畫面構成之功能區 段。該畫面構成包括Cut-In/〇ut(切入/切出)、Fade-In/Out(淡 入/淡出)、Color Change(色彩改變)、Scroll(捲動)、 Wipe-In/Out(擦入/擦出),藉伴隨有pcs之晝面構成,可實 現逐漸抹除某字幕並同時顯示下一字幕之顯示效果。 於圖形串流的再生中,圖形解碼器係藉由同時執行如 下處理之管線(pipeline)來實現如上述縝密的同步,前述處 理包含:解碼屬於某顯示單位(顯示組)之ODS,於物件緩衝 區寫入圖形物件之處理;及從物件缓衝區對於平面記憶 體’寫入藉由解碼屬於先前的顯示單位(顯示組)之ODS而獲 得之圖形物件之處理。藉由實現利用管線所進行的解碼動 作,以實現與動態圖像之缜密同步,因此簡報圖形串流的 用途不限定於諸如字幕的文字再生。顯示電影作品的代言 角色,使其與動態圖像同步並同時令其動作等,若是需要 縝密同步之圖形再生,均可採用作為利用簡報圖形串流之 再生對象。 雖未受到多工而成為傳輪串流檔案,表現字幕的串流 125 201032577 除了 PG串流外’還包括文本字幕(textST)串流。textST串流 係以角色碼表現字幕内容的串流。該pG串流與textST串流 的組配係於BD-ROM規格中稱為“PGTextST串流’,。由於文 本字幕(textST)串流未受到多工而成為AV串流,因此其再生 時,須早於再生文本字幕串流主體及用於展開文本之字 型’事先預载入於記憶體。又,文本字幕串流中可正常顯 示何種語言,係於BD-ROM裝置中,設定在就每語言碼所 設定的能力旗標。另,藉由簡報圖形串流所進行的字幕再 生不須參考能力旗標。簡報圖形串流之字幕若展開經變動 長度壓縮的字幕即足以再生。 利用簡報圖形串流的再生對象亦可為因應裝置側之言五 言設定而選擇的字幕圖形。藉此,於現在的DVD,能夠以 因應裝置側之語言設定而顯示的字幕圖形,來實現使用如 於動態圖像主體表現的文字的顯示效果,實用上的價值$ 大。
利用簡報圖形串流之再生對象亦可為因應裝置側之_ 示器設定而選擇的字幕圖形。總言之,寬螢幕、全景掃# (Pan & Scan)、信箱模式(Letter Box)用等類之各種顯示模式 用之圖形記錄於BD-ROM,裝置側係因應連接於本身的電 視之設定’選擇該等之任一者而顯示。此情況下,對於如 此所顯示的字幕圖形,施以根據簡報圖形争流之顯示效 果,因此觀感變佳。藉此,能夠以因應裝置侧之顯示器& 定而顯示的字幕,來實現使用如於動態圖像主體表現的文 字的顯示效果’實用上的價值甚大。又,簡報圖形串流實 126 201032577 現卡拉OK亦可,然後於此情況下,簡報圖形串流亦可實現 因應歌曲的進行而改變字幕色彩之顯示效果。 (程式的實施形態) 各實施形態所示之應用程式可如以下編寫。首先,最 初軟體開發者利用程式化語言,撰寫實現各流程圖或功能 性構成要素之來源程式。軟體開發者在撰寫時,按照程式 化語言的句法,並利用類別構造體或變數、排列變數、外
部函數的呼叫,撰寫使得各流程圖或功能性構成要素具體 化的來源程式。 撰寫的來源程式係作為樓案而給予編譯器。編譯器翻 譯該等來源程式而生成物件程式。 由編譯器所進行的翻譯係由句法解析、最佳化、資源 刀配竭生成等類過程所組成。於句法解析中,進行來源 程式之字句解析、句法解析及含意解析,將來源程式轉換 為中間程式。於最佳化中,對於中間程式進行基本區塊化、 控制流程解析、資料流程解析的作業。於資源分配中,為 了謀求對於目標處理H之命令設定的配合,將中間程式中 =變數分配給目標處理器之處理器所具有的暫存器或記憶 體。於竭生成中,將中間程式内之各中間
碼’獲得物件喊。 A A 在此所生成的物件程式係由1個以上之程式碼所構 程式碼係令電腦執行各實施形態所示之流程圖 各種種類,諸如處理器之原=各㈣。在此’程式碼有 器之原生碼、JAVA位元組碼。藉由程 127 201032577 式碼實現各步驟時’存在有各種態樣。可利用外部函數實 現各步驟時’呼叫該外部函數之♦叫文即為程式碼。又, 實見1個步驟之程式竭有時亦歸屬於不同的物件程式。於命 7種類^:到限制之RISC處理器,亦可藉由組合算術運算命 令或邏輯運算命令、分支命令等,來實現流程圖之各步驟。 當物件程式生成時,程式設計師對於該等啟動鏈接 器。鏈接n係將該等物件程式或相關聯的程式庫分派給記 憶體空間’將該等結合為丨個而生成載人模組。如此所生成 的載入模組係以電腦讀取為前提,令電腦執行各流程圖所 示之處理程序或功能性構成要素之處理程序。於電腦可讀 取的記錄媒體記錄該程式,並提供給使用者亦可。 (記錄媒體的變化) 各實施形態之記錄媒體包含光碟片、半導體記憶卡 等、封裝媒體全部。本實施形態之記錄媒體係以事先記錄 有所需資料之光碟片(例如BD-ROM ' DVD-ROM等既有的 可讀取光碟片)為例來說明’但未必要限定於此,本發明的 實施亦可於能夠利用具有對光碟片寫入功能之終端裝置 (例如於再生裝置嵌入上述功能,或與再生裝置為不同的裝 置均可)來寫入的光碟片(例如BD-RE、DVD-RAM等既有的 可寫入光碟片)’記錄經由放送或網路而發送、包含本發明 實施所需資料之3D内容,並將該已記錄的光碟片適用於本 發明之再生裝置。 (視訊解碼器的構成) 於各實施形態,說明視訊解碼器分別存在有左眼用之 128 201032577 視訊解碼器5a、右眼用之視訊解碼器外,但使該等成為一 體亦可。 (半導體δ己憶卡記錄裝置及再生裝置之實施形態) 說明關於在半導體記憶體記錄各實施形態所說明的資 料構造之記錄裝置、及予以再生之再生裝置之實施形態。 首先’作為前提技術,說明關於記錄於BD-R〇m的資 料之著作權保護機制。 s己錄於BD-ROM的資料中’從例如著作權保護、資料 隱密性提升的觀點考量,會有資料的一部分已因應需要而 加密的情況。 例如記錄於BD-ROM的資料中,已加密的資料為例如 對應於視訊串流的資料、對應於音訊串流的資料、或對應 於包含該等之串流的資料。 以下說明關於記錄於BD-ROM之資料中已加密資料之 解讀。 於半導體記憶卡再生裝置中,對應於用以解讀 BD-ROM内已加密資料所需的金鑰之資料(例如裝置密 鑰),預先記憶於再生裝置。 另,於BD-ROM ’記錄有對應於用以解讀已加密資料 所需的金鑰之資料(例如對應於上述裝置金鑰之MKB(媒體 密鑰區塊))、及加密用以解讀已加密資料之金鑰本身之資料 (例如對應於上述裝置密鑰及MKB之加密標題密鑰”在 此,裝置密鑰、MKB及加密標題密鑰係成對,進一步亦與 寫入於BD-ROM上之一般無法複製的區域(稱為BCA的區 129 201032577 域)之識別符(例如卷ro)被賦予對應。該組合若不正確,則 無法解讀密碼。僅在組合正確時’可導出密碼解讀所需的 金鑰(例如依據上述裝置密鑰、MKB及卷ID,解碼加密標題 密鑰所獲得的標題密鑰)’利用該密碼解讀所必需的金錄, 可解讀已加密的資料。 於再生裝置再生已裝入的BD-ROM時,若於再生裝置 内未有例如BD-ROM内之加密標題密鑰、MKB成對(或相對 應)之裝置密鑰,則已加密的資料不會再生。此係由於解讀 已加密資料所需的金鑰(標題密鑰)係金鑰本身被加密(加密 標題密鑰)而記錄於BD-ROM上,若MKB與裝置密鑰的組合 不正確,則無法導出解讀密碼所需的金鎗。 反言之,若加密標題密鑰、MKB、裝置密鑰及卷1〇的 組合正確,例如依據上述密碼解讀所需的金鑰(裝置密鑰、 MBK及卷ID),解碼加密標題密鑰,利用所獲得的標題密 鑰,於解碼器解碼視訊串流,於音訊解碼器解碼音訊串流, 再生褒置構成如上。 以上係記錄於BD-ROM之資料之著作權保護機制,該 機制未必限定於BD-ROM,例如於適用在可載入/寫入之半 導體記憶體(例如SD卡等具有可搬運性之半導體記憶卡)的 情況下亦可實施。 說明關於半導體記憶卡再生裝置之再生程序。光碟片 係構成例如經由光碟片驅動器讀出資料,相對於此,於使 用半導體記憶卡的情況下,構成如經由用以讀出半導體記 憶卡内資料之I/F而讀出資料即可。 130 201032577 更詳言之’當於再生裝置的插槽(未圖示)***半導體記 憶卡時,經由半導體記憶卡I/F,再生裝置與半導體記憶卡 會電連接。記錄於半導體記憶卡之資料係構成如經由半導 體記憶卡I/F而讀出即可。 產業之可利用性 於再生立體視覺視訊串流之再生機器中,就於立體視 覺視訊串流上疊合字幕或圖形之裝置而言,本發明係可適 用於在立體視覺視訊串流疊合有字幕的狀態下進行縮放之 立體視覺視訊再生裝置。 I:圖式簡單說明3 第1圖係表示關於記錄媒體、再生裝置之使用行為之形 態之一例之圖。 第2圖係表示BD-ROM1 〇〇之内部構成之一例之圖。 第3圖係表示BD-J物件之内部構成之一例之圖。 第4圖係表示再生裝置之内部構成之一例之圖。 第5圖係表示2D顯示模式、3D顯示模式之切換之一例 之圖。 第6圖係表示於3D顯示模式下,各平面之立體模式 (stereo mode)全開啟的情況與立體模式全關閉的情況下之 合成處理之一例之圖。 第7圖係表示於所有平面為立體模式開啟(ON)的情況 下,疊合背景平面11、視訊平面、影像平面8、互動圖形平 面10之一例之圖。 第8圖係表示於所有平面為立體模式關閉(OFF)的情況 131 201032577 下’豐合背景平面n、視訊平面、影像平面8、互動圖 面10之一例之圖。 第9圖係表示每平面之合成結果之一例之圖。 第10圖係表示以3D用顯示器觀看所有平面為立體模 開啟時之影像輸出的情況下之_例之圖。 、' 第11圖係表示以液晶眼鏡500,觀看視訊平面為立體模 式開啟,而其以外之平面全設為立賴式_時之影像輪 出的情況下所呈現的立體視覺影像之一例之圖。
第:2(a)、(b)圖係表示已往右方移位之左移位圖形平 面、已往左方移位之左移位圖形平面之—例之圖。 第13(a)〜(e)圖係用以說明平面偏移之符號為正(左視 角用之圖形影像往右方挪移,右視角用影像往左方 挪移)的情況下’像看似較顯示晝面位於面前之原理之圖。 第Η⑷〜⑷圖係用以說明平面偏移之符號為 角用之圖形影像往左方挪移’右視角用之圖形 挪移)的情況下,像看似較顯示畫面位於深處之原
第15(a)、(b)圖係表示正與負之平面偏如理之圖c 差異之一例之圖。 覯看效果4 第l6(a)圖係用以說明步驟S7〇4b之具體處 圖,第16(b)圖係用以說明步驟S7〇6b之具體===一 第17圖係表示對於動_像進行縮放的 用者所收視的立體視覺圖像之—例之圖。 下,由4 第_〜⑷圖係表示對於動態圖像進行縮效 132 201032577 下,如何蚊平面移位之平面偏移為宜。 第19圖係表示於影像平面之平面移位,適用與縮放卞 之動態圖像之合成所帛> 、、” 刖 視覺圖像之H千面偏移的情況下所顯示之立體 第2〇圖係表示於影像平面之平面移位’適用與縮放前 之動態圖像之合成所用之平面偏移的情況下 視覺圖像之一例之圖。 體 第21圖係表示本實施形態 引擎20之内部構成之—例之圖。 G之千面移位 第22⑷〜⑷圖係表示1/1、Μ,之3個縮放因子 (Factor),及適用各縮放因子的情況下之包含字幕· G 圖形之合成圖像之一例之圖。 第23⑷圖係用以說明步驟s_之具體處理之—例之 圖,第23_係用以說明步驟S8_之具體處理之—例之 圖。 第24(a)、(b)圖係表示"卜㈣…個縮放因子 (F鄭)’及綱㈣放因子的情況下之包含字幕圖形之合 成圖像之一例之圖。 口 第25⑷圖係用以說明步驟W之具體處理之一例之 圖’第25(__以朗_s_a之具財理之一例之 圖。 第26⑷、刚係表示影像平面8之内部構成之一例之 圖。 第27⑷〜剛係表示進行右方移位、左方移位後之前 Ϊ33 201032577 景區域之像素資料及背景區域之像素資料之一例之圖。 第28(a)、(b)係表示互動圖形平面10之内部構成之一例 之圖。 第29(a)〜(c)圖係表示進行右方移位、左方移位後之前 景區域之像素資料及背景區域之像素資料之一例之圖。 第30(a)〜(c)圖係表示影像平面8之平面移位之處理程 序之一例之圖。 第31(a)〜(c)圖係表示互動圖形平面10之平面移位之 φ 處理程序之一例之圖。 第32圖係表示儲存於圖形平面之像素資料之一例之 圖。 . 第33(a)、(b)圖係表示進行移位後之圖形平面之儲存内 容之一例之圖。 第34圖係表示BD-J平台部之内部構成之一例之圖。 第3 5圖係表示顯示模式記憶部2 9之記憶内容之一例之 圖。 ❿ 第36圖係表示標題切換時之顯示模式設定之處理程序 之一例之流程圖。 第37圖係表示標題内顯示模式設定之處理程序之一例 之流程圖。 第38圖係表示BD-J模式之播放串列再生之主要程序之 一例之流程圖。 第39圖係表示根據播放項目資訊之再生程序之一例之 流程圖。 134 201032577 第4 0圖係表示3 D AV串流之3 D顯示之處理程序之一例 之流程圖。 第41圖係表示3D顯示模式時之左眼用處理之程序之一 例之流程圖。 第42圖係表示右眼用處理之處理程序之一例之流程 圖。 第43(a)圖係用以說明步驟S702、步驟S804a之具體處理 之一例之圖,第43(b)圖係用以說明步驟S804b之具體處理之 一例之圖。 第44(a)圖係用以說明步驟S704a之具體處理之一例之 圖,第44(b)圖係用以說明步驟S806a之具體處理之一例之 圖。 第45圖係用以說明實施形態2之步驟S804b之具體處理 之一例之圖。 第46圖係表示第2實施形態之再生裝置之平面移位引 擎20之内部構成之一例之方塊圖。 第47(a)圖係用以說明實施形態2之步驟S702之具體處 理之一例之圖,第47(b)圖係用以說明步驟S804a之具體處理 之一例之圖。 第48(a)、(b)圖係表示意圖令已進行縮放之動態圖像及 圖形之座標,移動特定像素數之狀況之一例之圖。 第49圖係表示第3實施形態之再生裝置之平面移位引 擎20之内部構成之一例之方塊圖。 第5 0圖係表示3 D AV串流之3 D顯示之處理程序之一例 201032577 之流程圖。 第51圖係表示影像平面之平面移位之處理程序之一例 之流程圖。 第52圖係表示於更新完畢訊框i更新作“1”、“2”、“3” 的情況下,平面偏移如何變化之一例之圖。 第53圖係表示與平面偏移之設定相關的部分之構成之 一例之圖。 第54圖係表示再生裝置之硬體構成之一例之圖。 【主要元件符號說明】 100...BD-ROM 8…影像平面 200...再生裝置 9…音訊解碼器 300...遙控器 10…互動圖形平面 400...電視 11…背景平面 500...液晶眼鏡 12…暫存器套組 la...BD.驅動器 13···靜態情境記憶體 lb...區域儲存區 14…再生控制引擎 lc...網路介面 15…縮放引擎 2a、2b…讀取緩衝區 16…合成部 3…虛擬檔案系統 17··_ΗΟΜΙ發送接收部 4·.·解多工器 18…顯示功能旗標保持部 5a、b…視訊解碼器 19…左右處理記憶部 6···視訊平面 20…平面移位引擎 7a、b…影像解碼器 21…偏移設定部 7c、d…影像記憶體 22-..BD-J 平台 136 201032577 22a···轉譯引擎 23…動態情境記憶體 24…模式管理模組 25···ΗϋΜν 模組 26…UO檢測模組 27a···靜止圖記憶體 27b…靜止圖解碼器 28…顯示模式設定初始顯示設 定部 29…顯示模式記憶部

Claims (1)

  1. 201032577 七 、申請專利範圍: —種再生裝置’係實現立體視覺再生者, 其特徵在於具 視訊解碼n ’係解碼視訊串流而獲得視訊訊框者; 平面記憶體,係储存由特定縱長像素數讀寬像素 所組成的複數像素資料構成之圖形資料者; 偏移保持部’係鋪偏移者,而前述偏移絲示實 ,立體視覺時,應令像素的錢分職右方及左方移動 夕少之基準者;及 移㈣擎,係令構成平面記龍巾之_資料之各 =料之座標’往水平方向移動與偏移相應之像素數 合成部’胁視龍框,合成料資狀座標 動之圖形資料者; ^ 當前料訊赌之關已被變㈣,㈣述移 =所執行的像«料之座標移動量,係根據於前述偏移 乘以縮放倍率後之值。 如申請專利範圍第丨項之再生裝置,其中, —當前述縮放倍率小於1時,前述像素之移動量,俗 則述偏移與水平方向之縮放倍率之 ’、 eL 人鼻結果中,將小翁 點以下之數值進位後之像素數。 3.如申請專利範圍第1項之再生裝置,其中, 寫入於前述平面記憶體之圖形值 寫入; ㈣係藉由應用程式所 138 2〇1〇32577 前述縮放倍率係從應用程式指定。 4·如申請專利範圍第1項之再生裝置,其中, 寫入料述平面記憶體之圖形係構成受理使 麵作之圖形化使用者介面; 前述縮放倍率係由使用者操作所指定。 5·如申請專利範圍第1項之再生裝置,其θ中,
    用以算出像素移動量之乘算,係即便有保持前述平 圖形資料之解像度之解析度維持模式的要 6.如申請專利範圍第1項之再生裝置,其中, 曰别述純引擎具#配表,邮配表替複數移動 I之各移動量與從應用程式所要求的縮放倍率賦 應而表示者; 且’移動量之轉,係祕配麵記狀複數移動 I ’讀出與從應用程式所指定的縮放倍率對應之移動 量而進行。 7‘如申請專利範圍第1項之再生裝置,其中, 前述移位引擎具備: 前資訊保存部,係保存縮放前之偏移作為前資訊 者; 後資訊保存部,係保存縮放完成後之像素之移動 量’即於偏移乘崎放倍率後之像素數作為後資訊者; 及 訊框计數器,係隨著訊框處理之經過,而更新表示 139 201032577 從縮放要求發生已經過幾訊框之更新完畢訊框丨者; 以前述乘算所求出的圖形資料之像素資料之移動 里,係於縮放命令發生後已經過訊框N之時點之移動量 D(N); 且利用4 >訊、後資訊、藉由前述乘算所獲得的 移動量D(N)及由訊框計數器所更新的訊框數丨,算出從 縮放要求之發生時點起已經過訊框i(i$N)之時點之像 素移動量D⑴。 8·如申請專利範圍第7項之再生裝置,其中, ❹ 前述訊框計數器具備: 机框更新跨距保持部,係保持表示歷經幾訊框進行 移位之訊框更新跨距者; 更新完畢訊框i越接近前述訊框更新跨距保持部所 - 保持之訊框更新跨距’則像素移動量p⑴亦連動而變更。 9·如申請專利範圍第7項之再生裝置,其中, 前述訊框計數器具備: 訊框更新_簡部,係㈣表錢喊赌崎 ❹ 移位之訊框更新跨距者; 於訊框1達到前述訊框更新跨距保持部所保持之訊 框更新跨距前,僅輸出視訊平面,而於更新完畢訊框i 已達=訊框更新跨距之時點,令圖像資料之座標移動- 移動lD(N)’使平面記憶體之像素與構成視訊訊框之各 像素合成。 10*如申請專利範圍第1項之再生裝置,其中, 140 201032577
    月】述平面憶趙係儲存圖形資料之圖形平面; 连—步具備視訊平面,該視訊平面係 暖得的視訊訊框之平面記憶體; 係於對視訊平面之視訊訊框施行縮 前述再生裝置進—步 儲存藉由解碼器所獲得的 前述移位引擎: 放時,不僅可今 不僅可令圖形平面所保持之圖形資料移動,還可 令構成視訊訊框之像素資料的座標移動; 在前述平面移位㈣移動視訊平面之視訊訊框之 象素貝料時’視$平面之像素資料移動量與圖形平面之 象素資料移動量之相對值,係根據於前述偏移乘以水平 方向之變更後縮放倍率後之像素數之值。 如申明專利圍第11項之再生裝置,其中, 前述視訊平面之圖像資料之座標平面偏移V係根據 以下數式算出; 座標平面偏移V=D-(FactorxD) D :圖形平面之偏移 Factor :縮放因子。 種再生方法,狀電腦上實現立體視覺再生者,其特 201032577 徵為具備: 解碼步驟’係解碼視訊串流而獲得視訊訊框者·, 寫㈣係'於電腦之平面記憶體,寫入由特定縱 素數&寬像素數所喊的複數像素資料構成之圖 形資料者; 得步驟係、取得偏移者,而該偏移係表示實現立 覺時應 像素的座標分別往右方及左方移動 之基準者;及 ❹ 移位步驟’係、令構成平面記憶體中之圖形資料之各 像素=之:標’分別往右方及左方移動與偏移相應之 合成步驟’係'於藉由解碼所獲得的視訊訊框,合成 素資料之座標已移動之圖形資料者; 被變更時,_位步 乘以L 標㈣量,雜據於前述偏移 Φ 14 —水平方向之變更後紐倍率後之值。 .2程式’係令電腦實現立體視覺再 電腦執行以下步驟: 料徵為7 1步驟’係解碼視訊争流而獲得視訊訊框者. 長像橫I,係於電腦之平面記憶體,寫入由特定縱 形資料者.、料數所組成的複數像素資料構成之圖 m見::步:’係取得偏移者’而該偏移係表示實現立 .應令像素的座標分别往右方及左方移動多少 142 201032577 之基準者;及 移位步驟,係令構成平面記憶體中之圖形資料之各 像素資料之座標,往水平方向移動與偏移相應之像素數 者;及 合成步驟,係於藉由解碼所獲得的視訊訊框,合成 像素資料之座標已移動之圖形資料者;
    當前述視訊訊框之比例已被變更時,由前述移位步驟所執 行的像素資料之座標移動量,係根據於前述偏移乘以一縮 放倍率後之值。
TW098138975A 2008-11-18 2009-11-17 Reproduction device, reproduction method, and program for stereoscopic reproduction TW201032577A (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008294500 2008-11-18

Publications (2)

Publication Number Publication Date
TW201032577A true TW201032577A (en) 2010-09-01
TWI361614B TWI361614B (zh) 2012-04-01

Family

ID=42197989

Family Applications (2)

Application Number Title Priority Date Filing Date
TW098138975A TW201032577A (en) 2008-11-18 2009-11-17 Reproduction device, reproduction method, and program for stereoscopic reproduction
TW100125613A TW201145979A (en) 2008-11-18 2009-11-17 Reproduction device, reproduction method, and program for stereoscopic reproduction

Family Applications After (1)

Application Number Title Priority Date Filing Date
TW100125613A TW201145979A (en) 2008-11-18 2009-11-17 Reproduction device, reproduction method, and program for stereoscopic reproduction

Country Status (9)

Country Link
US (2) US8301013B2 (zh)
EP (1) EP2348746B1 (zh)
JP (2) JP4772163B2 (zh)
CN (1) CN102210156B (zh)
BR (1) BRPI0922046A2 (zh)
ES (1) ES2537073T3 (zh)
RU (1) RU2512135C2 (zh)
TW (2) TW201032577A (zh)
WO (1) WO2010058546A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI456976B (zh) * 2010-09-16 2014-10-11 Japan Display West Inc 影像處理裝置及方法,及立體影像顯示裝置
US8873879B2 (en) 2010-11-15 2014-10-28 National Institute Of Japan Science And Technology Agency Illusion image generating apparatus, medium, image data, illusion image generating method, printing medium manufacturing method, and program
TWI482484B (zh) * 2011-06-17 2015-04-21 Wistron Corp 立體顯示系統及其方法
TWI492610B (zh) * 2011-03-10 2015-07-11 Realtek Semiconductor Corp 影像控制裝置
TWI496106B (zh) * 2011-07-07 2015-08-11 Htc Corp 界面顯示系統與方法
TWI607654B (zh) * 2011-07-01 2017-12-01 杜比實驗室特許公司 用於增強3d音頻編輯與呈現之設備、方法及非暫態媒體
US12047768B2 (en) 2023-05-01 2024-07-23 Dolby Laboratories Licensing Corporation System and tools for enhanced 3D audio authoring and rendering

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8301013B2 (en) * 2008-11-18 2012-10-30 Panasonic Corporation Reproduction device, reproduction method, and program for stereoscopic reproduction
US8335425B2 (en) * 2008-11-18 2012-12-18 Panasonic Corporation Playback apparatus, playback method, and program for performing stereoscopic playback
JP4998650B2 (ja) * 2009-04-03 2012-08-15 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム
JP4915458B2 (ja) 2009-04-03 2012-04-11 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム
JP4985807B2 (ja) 2009-04-15 2012-07-25 ソニー株式会社 再生装置および再生方法
DE102010009291A1 (de) 2010-02-25 2011-08-25 Expert Treuhand GmbH, 20459 Verfahren und Vorrichtung für ein anatomie-adaptiertes pseudoholographisches Display
WO2011118215A1 (ja) * 2010-03-24 2011-09-29 パナソニック株式会社 映像処理装置
JP4787369B1 (ja) * 2010-03-30 2011-10-05 富士フイルム株式会社 画像処理装置および方法並びにプログラム
JP2011216937A (ja) * 2010-03-31 2011-10-27 Hitachi Consumer Electronics Co Ltd 立体画像表示装置
US8982151B2 (en) * 2010-06-14 2015-03-17 Microsoft Technology Licensing, Llc Independently processing planes of display data
JP5505637B2 (ja) * 2010-06-24 2014-05-28 ソニー株式会社 立体表示装置および立体表示装置の表示方法
US20110316972A1 (en) * 2010-06-29 2011-12-29 Broadcom Corporation Displaying graphics with three dimensional video
JP2012023648A (ja) * 2010-07-16 2012-02-02 Sony Corp 再生装置、再生方法、およびプログラム
US10194132B2 (en) * 2010-08-03 2019-01-29 Sony Corporation Establishing z-axis location of graphics plane in 3D video display
US8605136B2 (en) * 2010-08-10 2013-12-10 Sony Corporation 2D to 3D user interface content data conversion
WO2012044128A2 (ko) * 2010-10-01 2012-04-05 삼성전자 주식회사 디스플레이 장치 및 신호 처리 장치와, 그 방법들
KR101817171B1 (ko) * 2010-10-14 2018-01-11 톰슨 라이센싱 3d 비디오 시스템을 위한 원격 제어 디바이스
US8537201B2 (en) * 2010-10-18 2013-09-17 Silicon Image, Inc. Combining video data streams of differing dimensionality for concurrent display
CN103262547B (zh) * 2010-12-03 2016-01-20 皇家飞利浦电子股份有限公司 3d图像数据的转移
CN103262552A (zh) * 2010-12-10 2013-08-21 富士通株式会社 立体动态图像生成装置、立体动态图像生成方法以及立体动态图像生成程序
WO2012117729A1 (ja) 2011-03-03 2012-09-07 パナソニック株式会社 追体験映像を提供することができる映像提供装置、映像提供方法、映像提供プログラム
JP2012186652A (ja) * 2011-03-04 2012-09-27 Toshiba Corp 電子機器、画像処理方法及び画像処理プログラム
CN102905143B (zh) * 2011-07-28 2015-04-15 瑞昱半导体股份有限公司 2d转3d图像转换装置及其方法
US20130307930A1 (en) * 2011-11-15 2013-11-21 Mediatek Singapore Pte. Ltd. Stereoscopic image processing apparatus and method thereof
TWI489418B (zh) * 2011-12-30 2015-06-21 Nat Univ Chung Cheng Parallax Estimation Depth Generation
JP5319796B2 (ja) * 2012-01-12 2013-10-16 株式会社東芝 情報処理装置および表示制御方法
JP6307213B2 (ja) * 2012-05-14 2018-04-04 サターン ライセンシング エルエルシーSaturn Licensing LLC 画像処理装置、画像処理方法およびプログラム
TWI555400B (zh) * 2012-05-17 2016-10-21 晨星半導體股份有限公司 應用於顯示裝置的字幕控制方法與元件
EP2887653A4 (en) * 2012-08-17 2016-03-30 Nec Corp PORTABLE TERMINAL DEVICE AND PROGRAM
TWI559255B (zh) * 2012-09-28 2016-11-21 Japan Science & Tech Agency Visual illusion analysis device, visual illusion adding image generating device, visual illusion analysis method, visual illusion adding image generation method, and program
KR101946455B1 (ko) * 2013-03-14 2019-02-11 삼성전자주식회사 시스템 온-칩 및 이의 동작 방법
KR20140120000A (ko) * 2013-04-01 2014-10-13 한국전자통신연구원 3차원공간의 분석을 통한 입체영상 자막 생성 장치 및 방법
WO2014186346A1 (en) * 2013-05-13 2014-11-20 Mango Languages Method and system for motion picture assisted foreign language learning
US20140347350A1 (en) * 2013-05-23 2014-11-27 Htc Corporation Image Processing Method and Image Processing System for Generating 3D Images
WO2015019656A1 (ja) * 2013-08-06 2015-02-12 株式会社ソニー・コンピュータエンタテインメント 3次元画像生成装置、3次元画像生成方法、プログラム及び情報記憶媒体
JP6129759B2 (ja) * 2014-02-03 2017-05-17 満男 江口 Simd型超並列演算処理装置向け超解像処理方法、装置、プログラム及び記憶媒体
CN104038827B (zh) 2014-06-06 2018-02-02 小米科技有限责任公司 多媒体播放方法及装置
AU2016308731A1 (en) 2015-08-18 2018-03-15 Magic Leap, Inc. Virtual and augmented reality systems and methods
WO2018003669A1 (ja) 2016-06-27 2018-01-04 ローム株式会社 タイミングコントローラ、それを用いた電子機器、車載用ディスプレイ装置、医療用ディスプレイ装置
US10958890B2 (en) * 2017-03-31 2021-03-23 Samsung Electronics Co., Ltd. Method and apparatus for rendering timed text and graphics in virtual reality video
KR102448340B1 (ko) * 2017-12-20 2022-09-28 삼성전자주식회사 디스플레이 구동 회로에 저장된 좌표 정보에 기반하여, 콘텐트의 표시 위치를 이동하기 위한 전자 장치 및 방법
US10735649B2 (en) 2018-02-22 2020-08-04 Magic Leap, Inc. Virtual and augmented reality systems and methods using display system control information embedded in image data
CN108900904B (zh) * 2018-07-27 2021-10-15 北京市商汤科技开发有限公司 视频处理方法及装置、电子设备和存储介质
CN111193919B (zh) * 2018-11-15 2023-01-13 中兴通讯股份有限公司 一种3d显示方法、装置、设备及计算机可读介质
CN109561263A (zh) * 2018-11-23 2019-04-02 重庆爱奇艺智能科技有限公司 在vr设备的3d视频中实现3d字幕效果
KR102582160B1 (ko) * 2018-12-26 2023-09-22 엘지디스플레이 주식회사 유기 발광 다이오드 디스플레이 장치
JP7105210B2 (ja) 2019-03-26 2022-07-22 富士フイルム株式会社 画像処理方法、プログラム、及び画像処理システム
CN117009016A (zh) * 2023-07-12 2023-11-07 江西科骏实业有限公司 显示模式切换方法、***、终端设备以及存储介质

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2100324C (en) * 1992-08-06 2004-09-28 Christoph Eisenbarth Method and apparatus for determining mis-registration
JPH08249493A (ja) 1995-03-09 1996-09-27 Sony Corp 立体映像装置
US5784097A (en) * 1995-03-29 1998-07-21 Sanyo Electric Co., Ltd. Three-dimensional image display device
US6175575B1 (en) * 1997-09-26 2001-01-16 Lucent Technologies Inc. Internet service via ISDN
JPH11113028A (ja) * 1997-09-30 1999-04-23 Toshiba Corp 3次元映像表示装置
JP3639108B2 (ja) * 1998-03-31 2005-04-20 株式会社ソニー・コンピュータエンタテインメント 描画装置および描画方法、並びに提供媒体
JP4006105B2 (ja) 1998-08-25 2007-11-14 キヤノン株式会社 画像処理装置およびその方法
US20030043918A1 (en) 1999-12-20 2003-03-06 Jiang Hong H. Method and apparatus for performing video image decoding
KR100641848B1 (ko) * 2000-11-02 2006-11-02 유겐가이샤 후지야마 디지탈 영상 콘텐츠의 배신 시스템 및 재생 방법 및 그 재생 프로그램을 기록한 기록 매체
JP3826039B2 (ja) * 2002-01-22 2006-09-27 キヤノン株式会社 信号処理装置
RU2225593C2 (ru) * 2002-04-10 2004-03-10 Федеральное государственное унитарное предприятие "Научно-производственное предприятие "Рубин" Фотограмметрическое рабочее место
US7804995B2 (en) * 2002-07-02 2010-09-28 Reald Inc. Stereoscopic format converter
CN1703915A (zh) * 2002-09-27 2005-11-30 夏普株式会社 3-d图像显示单元,3-d图像记录装置和3-d图像记录方法
AU2002355052A1 (en) * 2002-11-28 2004-06-18 Seijiro Tomita Three-dimensional image signal producing circuit and three-dimensional image display apparatus
EP1578142B1 (en) * 2002-12-16 2014-10-08 Sanyo Electric Co., Ltd. Stereoscopic video creating device and stereoscopic video distributing method
JP2004248212A (ja) 2003-02-17 2004-09-02 Kazunari Era 立体視画像表示装置
JP2004274125A (ja) * 2003-03-05 2004-09-30 Sony Corp 画像処理装置および方法
US7417664B2 (en) * 2003-03-20 2008-08-26 Seijiro Tomita Stereoscopic image picking up and display system based upon optical axes cross-point information
US20040213542A1 (en) * 2003-04-22 2004-10-28 Hiroshi Hamasaka Apparatus and method to reproduce multimedia content for a multitude of resolution displays
JP2005004341A (ja) 2003-06-10 2005-01-06 Sanyo Electric Co Ltd 画像表示装置およびコンピュータに画像表示機能を付与するプログラム
WO2004107764A1 (ja) * 2003-05-27 2004-12-09 Sanyo Electric Co., Ltd. 画像表示装置及びプログラム
JP2005073049A (ja) * 2003-08-26 2005-03-17 Sharp Corp 立体映像再生装置および立体映像再生方法
CN1938774B (zh) * 2004-06-03 2010-04-21 松下电器产业株式会社 再现设备及方法
EP1875440B1 (en) 2005-04-19 2008-12-03 Koninklijke Philips Electronics N.V. Depth perception
JP4491035B2 (ja) * 2006-03-24 2010-06-30 パナソニック株式会社 再生装置、デバッグ装置、システムlsi、プログラム
US20090284584A1 (en) * 2006-04-07 2009-11-19 Sharp Kabushiki Kaisha Image processing device
US8358332B2 (en) * 2007-07-23 2013-01-22 Disney Enterprises, Inc. Generation of three-dimensional movies with improved depth control
JP2009135686A (ja) * 2007-11-29 2009-06-18 Mitsubishi Electric Corp 立体映像記録方法、立体映像記録媒体、立体映像再生方法、立体映像記録装置、立体映像再生装置
GB0806183D0 (en) * 2008-04-04 2008-05-14 Picsel Res Ltd Presentation of objects in 3D displays
CN102150434A (zh) * 2008-09-18 2011-08-10 松下电器产业株式会社 立体视觉再现影像内容的再现装置、再现方法及再现程序
EP2326101B1 (en) * 2008-09-18 2015-02-25 Panasonic Corporation Stereoscopic video reproduction device and stereoscopic video display device
WO2010052857A1 (ja) * 2008-11-06 2010-05-14 パナソニック株式会社 再生装置、再生方法、再生プログラム、及び集積回路
US8301013B2 (en) * 2008-11-18 2012-10-30 Panasonic Corporation Reproduction device, reproduction method, and program for stereoscopic reproduction
US8335425B2 (en) * 2008-11-18 2012-12-18 Panasonic Corporation Playback apparatus, playback method, and program for performing stereoscopic playback
MX2011008609A (es) * 2009-02-17 2011-09-09 Koninklije Philips Electronics N V Combinar datos de imagen tridimensional y graficos.
JP4919122B2 (ja) * 2009-04-03 2012-04-18 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム
WO2010143439A1 (ja) * 2009-06-12 2010-12-16 パナソニック株式会社 再生装置、集積回路、記録媒体
US8164619B2 (en) * 2009-09-25 2012-04-24 Panasonic Corporation Recording medium, playback device, and integrated circuit
US20110080462A1 (en) * 2009-10-02 2011-04-07 Panasonic Corporation Playback device, integrated circuit, playback method, and program for stereoscopic video playback
US9066076B2 (en) * 2009-10-30 2015-06-23 Mitsubishi Electric Corporation Video display control method and apparatus
US9030533B2 (en) * 2009-11-06 2015-05-12 Sony Corporation Stereoscopic overlay offset creation and editing

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI456976B (zh) * 2010-09-16 2014-10-11 Japan Display West Inc 影像處理裝置及方法,及立體影像顯示裝置
US9418452B2 (en) 2010-11-15 2016-08-16 National Institute Of Japan Science And Technology Agency Print medium displaying illusion image and non-transitory computer-readable recording medium holding illusion image data
US8873879B2 (en) 2010-11-15 2014-10-28 National Institute Of Japan Science And Technology Agency Illusion image generating apparatus, medium, image data, illusion image generating method, printing medium manufacturing method, and program
TWI492610B (zh) * 2011-03-10 2015-07-11 Realtek Semiconductor Corp 影像控制裝置
US9426454B2 (en) 2011-06-17 2016-08-23 Wistron Corp. 3D display system and method thereof
TWI482484B (zh) * 2011-06-17 2015-04-21 Wistron Corp 立體顯示系統及其方法
TWI607654B (zh) * 2011-07-01 2017-12-01 杜比實驗室特許公司 用於增強3d音頻編輯與呈現之設備、方法及非暫態媒體
US9838826B2 (en) 2011-07-01 2017-12-05 Dolby Laboratories Licensing Corporation System and tools for enhanced 3D audio authoring and rendering
US10244343B2 (en) 2011-07-01 2019-03-26 Dolby Laboratories Licensing Corporation System and tools for enhanced 3D audio authoring and rendering
US10609506B2 (en) 2011-07-01 2020-03-31 Dolby Laboratories Licensing Corporation System and tools for enhanced 3D audio authoring and rendering
US11057731B2 (en) 2011-07-01 2021-07-06 Dolby Laboratories Licensing Corporation System and tools for enhanced 3D audio authoring and rendering
US11641562B2 (en) 2011-07-01 2023-05-02 Dolby Laboratories Licensing Corporation System and tools for enhanced 3D audio authoring and rendering
TWI496106B (zh) * 2011-07-07 2015-08-11 Htc Corp 界面顯示系統與方法
US12047768B2 (en) 2023-05-01 2024-07-23 Dolby Laboratories Licensing Corporation System and tools for enhanced 3D audio authoring and rendering

Also Published As

Publication number Publication date
CN102210156A (zh) 2011-10-05
TW201145979A (en) 2011-12-16
JP4772163B2 (ja) 2011-09-14
JPWO2010058546A1 (ja) 2012-04-19
ES2537073T3 (es) 2015-06-02
WO2010058546A1 (ja) 2010-05-27
EP2348746A1 (en) 2011-07-27
US20130021435A1 (en) 2013-01-24
JP2011239373A (ja) 2011-11-24
RU2512135C2 (ru) 2014-04-10
EP2348746B1 (en) 2015-03-11
EP2348746A4 (en) 2013-03-06
TWI361614B (zh) 2012-04-01
JP5341946B2 (ja) 2013-11-13
BRPI0922046A2 (pt) 2019-09-24
US8301013B2 (en) 2012-10-30
CN102210156B (zh) 2013-12-18
US20110211815A1 (en) 2011-09-01
RU2011118876A (ru) 2012-12-27

Similar Documents

Publication Publication Date Title
TWI361614B (zh)
JP4792127B2 (ja) 立体視再生が可能な再生装置、再生方法、プログラム
JP5632291B2 (ja) 特殊再生を考慮した再生装置、集積回路、再生方法
JP5357317B2 (ja) 立体視映像再生装置
EP2400772B1 (en) Playback device, playback method, and program
US8165458B2 (en) Playback device, playback method, playback program, and integrated circuit
JP5457513B2 (ja) 立体視映像を再生することができる再生装置
TW201123841A (en) Recording medium, playback device, integrated circuit
JPWO2010038409A1 (ja) 再生装置、記録媒体、及び集積回路
US8437603B2 (en) Recording medium, reproduction device, integrated circuit, reproduction method, and program
JPWO2010032403A1 (ja) 映像コンテンツを立体視再生する再生装置、再生方法、および再生プログラム
US20100303437A1 (en) Recording medium, playback device, integrated circuit, playback method, and program