JP4048220B2 - 再生装置,集積回路,プログラム,再生方法、記録媒体再生システム - Google Patents
再生装置,集積回路,プログラム,再生方法、記録媒体再生システム Download PDFInfo
- Publication number
- JP4048220B2 JP4048220B2 JP2006283107A JP2006283107A JP4048220B2 JP 4048220 B2 JP4048220 B2 JP 4048220B2 JP 2006283107 A JP2006283107 A JP 2006283107A JP 2006283107 A JP2006283107 A JP 2006283107A JP 4048220 B2 JP4048220 B2 JP 4048220B2
- Authority
- JP
- Japan
- Prior art keywords
- graphics
- buffer
- control information
- packet
- button
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
- H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
- H04N9/8227—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
- G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
- G11B27/30—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
- G11B27/3027—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording used signal is digitally coded
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
- G11B27/30—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
- G11B27/3027—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording used signal is digitally coded
- G11B27/3036—Time code signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/84—Television signal recording using optical recording
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/84—Television signal recording using optical recording
- H04N5/85—Television signal recording using optical recording on discs or drums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
- H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
- H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B2220/00—Record carriers by type
- G11B2220/20—Disc-shaped record carriers
- G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
- G11B2220/2537—Optical discs
- G11B2220/2541—Blu-ray discs; Blue laser DVR discs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/78—Television signal recording using magnetic recording
- H04N5/782—Television signal recording using magnetic recording on tape
- H04N5/783—Adaptations for reproducing at a rate different from the recording rate
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
- H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
- Television Signal Processing For Recording (AREA)
- Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
- Management Or Editing Of Information On Record Carriers (AREA)
- Processing Or Creating Images (AREA)
- Signal Processing Not Specific To The Method Of Recording And Reproducing (AREA)
- Optical Recording Or Reproduction (AREA)
- Transition And Organic Metals Composition Catalysts For Addition Polymerization (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Studio Circuits (AREA)
- Input Circuits Of Receivers And Coupling Of Receivers And Audio Equipment (AREA)
- Holo Graphy (AREA)
Description
"Digital Video Broadcasting(DVB) Subtitling systems;Final draft ETSI EN 300 743"ETSI STANDARDS,EUROPEAN TELECOMMUNICATION STANDARDS INSTITUTE,SOPHIA-ANTIPO,FR
一方、ETSI EN 300 743標準規格に規定されているのは、PTSで示される時点にデコードを行い、即表示するという再生制御である。これをBD-ROMに応用しようとすると、再生装置においては、表示時点の直前において膨大なデコード負荷が集中することになる。かかる集中があると、再生装置のハードウェア・ソフトウェアの能力を高いレベルに設定することがグラフィクス表示の必須の条件になってしまう。かかる条件が必須になることは、再生装置の製造コストの高騰化を招き、再生装置の普及を阻害する。
グラフィクスストリームは、複数パケットからなるパケット列であり、パケットには、グラフィクスデータを格納したデータパケットと、制御情報を格納した制御パケットとがあり、前記グラフィクスデコーダは、動画ストリームの現在の再生時点が、グラフィクスデータを格納したパケットのデコードタイムスタンプに示される時点に達すれば、グラフィクスデータのデコードを開始し、同パケットのプレゼンテーションタイムスタンプの値に示される時点に達すれば、グラフィクスデータのデコードを終了するプロセッサと、制御パケットのプレゼンテーションタイムスタンプに従い、デコードされたグラフィクスデータを、動画ストリームに合成して表示させるコントローラと、圧縮状態のグラフィクスデータを格納するコーデッドデータバッファと、プロセッサのデコードにより得られた非圧縮状態のグラフィクスデータを格納するオブジェクトバッファとを備え、再生装置は、オブジェクトバッファに格納された非圧縮状態のグラフィクスデータのうち、表示に供されるべきものを格納するグラフィックスプレーンを備え、
前記コントローラは、メモリ管理の始まりである旨を示すタイプ情報が制御情報に含まれているか否かを判定し、メモリ管理の始まりである旨を示すタイプ情報が制御情報に含まれているか否かを判定し、含まれている場合、動画ストリームの現在の再生時点が、制御パケットのデコードタイムスタンプの値に到達した段階で、コーデッドデータバッファ、オブジェクトバッファ、グラフィックスプレーンをクリアすることでメモリ管理を開始して、制御パケットから制御情報を読み出すことを特徴としている。
BD-ROMのデコーダモデルを想定する場合、本発明の実施には更なる構成要件が必要となる。ここでBD-ROMのデコーダモデルにおいてグラフィクスのデコード主体(プロセッサ)は、グラフィクスのアップデートの制御主体(コントローラ)と別々の構成要素になっている。デコード主体と、アップデート制御の主体とを別々に設けておくのは、グラフィクスが字幕である場合、グラフィクスを徐々に表示したり、消したりするような高度なアップデートを実行するためである。アップデートの制御主体がデコード主体とは別であると、プロセッサ−コントローラ間の密なる連携が重要になる。何故なら、プロセッサがグラフィクスデータのデコードを完了した後、コントローラが遅滞なくアップデートを実行せねばならないからである。
デコード終了時刻は、データパケットのプレゼンテーションタイムスタンプに示されており、制御パケットのプレゼンテーションタイムスタンプは、デコード終了時刻に所定の期間を足し合わせた時刻を示しているので、コントローラはプレゼンテーションタイムスタンプを参照しさえすれば、たとえプロセッサからグラフィクスデータのデコード完了の通知を受けなくても、適切なタイミングで、アップデートを実行することができる。かかるアップデートの実行により、再生装置における実装がどのようなものであろうと、動画の表示レートと同期したアップデートを保障することができる。
AVClip(XXX.M2TS)は、MPEG-TS(Transport Stream)形式のデジタルストリームであり、ビデオストリーム、1つ以上のオーディオストリーム、プレゼンテーショングラフィクスストリームを多重化することで得られる。ビデオストリームは映画の動画部分を、オーディオストリームは映画の音声部分を、プレゼンテーショングラフィクスストリームは、映画の字幕をそれぞれ示している。図3は、AVClipがどのように構成されているかを模式的に示す図である。
続いてプレゼンテーショングラフィクスストリームについて説明する。図4(a)は、プレゼンテーショングラフィクスストリームの構成を示す図である。第1段目は、AVClipを構成するTSパケット列を示す。第2段目は、グラフィクスストリームを構成するPESパケット列を示す。第2段目におけるPESパケット列は、第1段目におけるTSパケットのうち、所定のPIDをもつTSパケットからペイロードを取り出して、連結することにより構成される。
第2段目のDisplay Set(DSと略す)とは、グラフィクスストリームを構成する複数機能セグメントのうち、一画面分のグラフィクスを構成するものの集合をいう。図中の破線は、第3段目の機能セグメントが、どのDSに帰属しているかという帰属関係を示す。PCS-WDS-PDS-ODS-ENDという一連の機能セグメントが、1つのDSを構成していることがわかる。再生装置は、このDSを構成する複数機能セグメントをBD-ROMから読み出せば、一画面分のグラフィクスを構成することができる。
『Acquisition Point』は、”表示リフレッシュ”という表示効果をもたらすDisplay Setであり、先行するEpoch Startと全く同じDisplay Setをいう。Acquisition PointたるDSは、Epochの開始時点ではないが、次の画面合成に必要な全ての機能セグメントを含んでいるので、Acquisition PointたるDSから頭出しを行えば、グラフィックス表示を確実に実現することができる。つまりAcquisition PointたるDSは、Epochの途中からの画面構成を可能するという役割をもつ。
続いてDefinition Segment(ODS,WDS,PDS)について説明する。
『window_definition_segment』は、グラフィックスプレーンの矩形領域を定義するための機能セグメントである。Epochでは、クリア及び再描画が、グラフィックスプレーンにおけるある矩形領域内で行われている場合のみ、メモリ管理に連続性が生ずることは既に述べている。このグラフィックスプレーンにおける矩形領域は”window”と呼ばれ、このWDSで定義される。図8(a)は、WDSのデータ構造を示す図である。本図に示すようにWDSは、グラフィックスプレーンにおいてウィンドゥを一意に識別する『window_id』と、グラフィックスプレーンにおける左上画素の水平位置を示す『window_horizontal_position』と、グラフィックスプレーンにおける左上画素の垂直位置を示す『window_vertical_position』と、グラフィックスプレーンにおけるウィンドゥの横幅を示す『window_width』と、グラフィックスプレーンにおける縦幅を示す『window_height』とを用いて表現される。
window_horizontal_positionは、グラフィックスプレーンにおける左上画素の水平アドレスであるので、0〜video_width-1の値をとり、window_vertical_positionは、グラフィックスプレーンにおける左上画素の垂直アドレスであるので0〜video_height-1の値をとる。
WDSのwindow_horizontal_position、window_vertical_position、window_width、window_heightにより、グラフィックスプレーンの何処にウィンドゥを配置するか、ウィンドゥの大きさをどれだけにするかをEpoch毎に規定することができる。そのため、あるEpochに属するピクチャが表示されている期間において、ピクチャ内の絵柄の邪魔にならないように、ピクチャ上の余白にあたる位置に、ウィンドゥが現れるようオーサリング時に調整しておくことができる。これによりグラフィクスによる字幕表示を見易くすることができる。WDSはEpoch毎に定義可能なので、ピクチャの絵柄に時間的な変動があっても、その変動に応じて、グラフィクスを見易く表示することができる。そのため、結果として、字幕を映像本体に組み込むのと同じレベルにまで映画作品の品質を高めることができる。
PCSは、対話的な画面を構成する機能セグメントである。PCSは、図8(b)に示すデータ構造で構成される。本図に示すようにPCSは、『segment_type』と、『segment_length』と、『composition_number』と、『composition_state』と、『pallet_update_flag』と、『pallet_id』と、『composition_object(1)〜(m)』とから構成される。
『composition_state』は、本PCSから始まるDisplay Setが、Normal Caseであるか、ACquisition Pointであるか、Epoch Startであるかを示す。
『pallet_id』は、PalletOnly Displey Updateに用いられるべきパレットを示す。
『window_id』は、本PCSにおいて、グラフィクスオブジェクトに割り当てられるべきウィンドゥを示す。1つのウィンドゥには最大2つのグラフィクスオブジェクトが割り当てられる。
『object_vertical_position』は、グラフィックスプレーンにおける左上画素の垂直位置を示す。
『cropping_rectangle情報(1)(2)・・・・・(n)』は、『object_cropped_flag』が1に設定されている場合に有効となる情報要素である。破線wd2は、任意のcropping_rectangle情報(i)の内部構成をクローズアップしている。この破線に示すようにcropping_rectangle情報(i)は、『object_cropping_horizontal_position』、『object_cropping_vertical_address』、『object_cropping_width』、『object_cropping_height』からなる。
『object_cropping_vertical_address』は、グラフィックスプレーンにおけるクロップ矩形の左上画素の垂直位置を示す。
『object_cropping_height』は、グラフィックスプレーンにおけるクロップ矩形の縦幅を示す。
以上がPCSのデータ構造である。続いてPCSの具体的な記述について説明する。この具体例は、図6に示した字幕の表示、つまり動画の再生進行に伴い、三回のグラフィックスプレーンへの書き込みで『ほんとは』『ウソだった』『あなたが』というように徐々に表示させるというものである。図9は、かかる字幕表示を実現するための記述例である。本図におけるEpochは、DS1(Epoch Start)、DS2(Normal Case)、DS3(Normal Case)を有する。DS1は、字幕の表示枠となるwindowを定義するWDS、台詞『ほんとは ウソだった あなたが』を表すODS、1つ目のPCSを備える。DS2(Normal Case)は、2つ目のPCSを有する。DS3(Normal Case)は3つ目のPCSを有する。
図10において、WDSのwindow_horizontal_position、window_vertical_positionは、グラフィックスプレーンにおけるウィンドゥの左上座標LP1を、window_width,window_heightは、ウィンドゥの表示枠の横幅、縦幅を示す。
先ず初めにCut-In/Outの記述作法について説明する。図13は、時間軸に沿った連続写真的な表記で、Cut-In/Outを実行する際のDisplay Setの記述例を示す図である。
本図におけるwindow(x,y,u.v)におけるx,yは、window_vertical_position、window_horizontal_positionの値であり、u,vは、window_width、window_heightの値を示す。また本図のCropping Rectangle(a,b,c,d)におけるa,bは、object_cropping_vertical_position、object_cropping_horizontal_positionの値であり、c,dはobject_cropping_width、object_cropping_heightの値である。本図の再生時間軸の時点t11,t12,t13には、DS11,DS12,DS13が存在している。
時点t12に存在しているDS12は、Composition_StateがNormal Caseであり、オブジェクトバッファの(0,0)から横600×縦400の範囲でクロップを行い(Cropping Rectangle#0(0,0,600,400))、クロップされたグラフィクスオブジェクトをグラフィックスプレーンの座標(0,0)に配置する(on window(0,0))という手順を示すPCS#1を含む。
以上のDisplay Setにより、t11では字幕「Credit:」は非表示になっているが、t12で表示され、t13で再び非表示になる。これによりCut-In/Cut-Outという表示効果が実現される。
時点t21に存在するDS21は、Composition_StateがEpoch Startに設定され、オブジェクトバッファの(0,0)から横600×縦400の範囲でクロップを行い(Cropping Rectangle#0(0,0,600,400))、クロップされたグラフィクスオブジェクトをグラフィックスプレーンの座標(0,0)に配置する(on window(0,0))という手順を示すPCS#0、グラフィックスプレーンの(100,100)の位置に、横700×縦500のwindowを宣言するWDS#0、PDS#0、字幕「Fin」を表すODS#0、ENDを有する。
時点t23に存在しているDS23は、Composition_StateがNormal CaseであるPCS#3と,PDS#2と,ENDとを含む。このPDS#2は、PDS#0と同じ色彩の赤色差、青色差を示しておりながら、低い輝度値をもっているものとする。
これら一連のDisplay Setは、1つ前のDisplay Setと異なるPDSを指定しているため、Epoch内の複数PCSにおいて表示されるグラフィクスオブジェクトは、徐々に輝度値が高められたり、弱められることになる。これによりFade-In/Outという表示効果の実現が可能になる。
AVClip再生時間軸の時点t31に存在するDS31は、Composition_StateがEpoch Startに設定され、Object_Cropped_Flagが0(No Cropping Rectangle Visible)に設定されたPCS#0、グラフィックスプレーンの(100,100)の位置に、横700×縦500のwindowを宣言するWDS#0、PDS#0、字幕「Credit: Company」を表すODS#0、ENDを有する。
本図の時点t51に存在するDS51は、Composition_StateがEpoch Startに設定され、Object_Cropped_Flagが0(No Cropping Rectangle Visible)に設定されたPCS#0、グラフィックスプレーンの(100,100)の位置に、横700×縦500のwindowを宣言するWDS#0、PDS#0、字幕「Fin」を表すODS#0、ENDを有する。
このようにPCSの記述次第でCut-In/Out,Fade-In/Out,Wipe-In/Out,Scrollというような多様な表示効果を実現することができるので、字幕描画に様々な工夫を凝らすことができる。
ウィンドゥサイズ×フレームレート≒Rc/2
を満たす必要がある。このフレームレートが29.97であるなら、
Rcは、ウィンドゥサイズ×2×29.97になる。
字幕の表示にあたっては、グラフィックスプレーン全体に対し、最低でも25%〜33%程度の大きさが必要となる。ここでグラフィックスプレーンの総画素数は1920×1080であり、一画素当たりのインデックスのビット長を8ビットとすると、グラフィックスプレーンの総容量は2Mバイト(≒1920×1080×8)になる。
この25%〜33%という大きさであれば、256Mbpsという転送レートで字幕の表示を行っている限り、如何なる表示効果を実現する場合であっても、動画との同期を維持することができる。
Epochにおいてウィンドゥの位置、範囲を一貫させておくのは以下の理由による。ウィンドゥの位置・範囲を変えれば、グラフィックスプレーンに対する書込先アドレスを変えねばならず、オーバーヘッドが発生するので、かかるオーバーヘッドによりオブジェクトバッファからグラフィックスプレーンへの転送レートが低下するからである。
ウィンドゥにおけるグラフィクスオブジェクトの数に制限がないと、グラフィクス転送にあたって発生するオーバーヘッド数が未知数になり、転送負荷の増減が激しくなる。一方、ウィンドゥにおけるグラフィクスの個数が2つまでであると、最悪4つのオーバーヘッドが発生すると見込んで転送レートを設定すればよいので、ミニマムスタンダードたる転送レートを数値化し易くなる。
DTSは、ODSのデコードを開始すべき時間を90KHzの時間精度で示しており、PTSはデコード終了時刻を示す。
ODSのデコードは、瞬時には完了せず、時間的な長さをもっている。このデコード期間の開始点・終了点を明らかにしたいとの要望から、ODSについてのDTS、PTSはデコード開始時刻、デコード終了時刻を示している。
DSnに属する任意のODSjのデコード開始時刻は、90KHzの時間精度でDTS(DSn[ODS])に示されるので、これにデコードを要する最長時間を加えた時刻が、Display SetのODSjのデコード終了時刻になる。
この最長時間を90KHzの時間精度に変換し、ODSjのDTSに加算することにより、PTSで示されるべきデコード終了時刻(90KHz)は算出される。
DSnに属するODSjのPTSを、数式で表すと、以下の式のようになる。
PTS(DS[ODSj])=DTS(DSn[ODSj])+90,000×(SIZE(DSn[ODSj])//Rd)
そして互いに隣接する2つのODS(ODSj,ODSj+1)との間では、以下の関係を満たす必要がある。
PTS(DSn[ODSj])≦DTS(DSn[ODSj+1])
続いてPCSのDTS、PTSの設定について説明する。
DTS(DSn[PCS])≦DTS(DSn[ODS1])
DTS(DSn[PCS])≦PTS(DSn[PDS1])
そしてDSnにおけるPCSのPTSは、以下の数式から算出される。
PTS(DSn[PCS])≧DTS(DSn[PCS])+decodeduration(DSn)
ここでdecodeduration(DSn)は、PCSのアップデートに用いられる全グラフィクスオブジェクトのデコード時間である。このデコード時間は、固定値ではない。しかし各再生装置の状態や再生装置の実装により変動するものでもない。本DSn.PCSnの画面合成に用いられるオブジェクトをDSn.PCSn.OBJ[j]とした場合、decodeduration(DSn)は、ウィンドゥクリアに要する時間(i)、DSn.PCSn.OBJのデコード期間(ii)、DSn.PCSn.OBJの書き込みに要する時間(iii)により変動を受ける値になる。Rd,Rcさえ予め定められていれば、どのような実装の再生装置であっても、同じ値になる。そのためオーサリング時にあたっては、これらの期間の長さを算出して、この値からPTSを計算している。
図20のステップS2は、DSnのPCSにおけるcomposition_stateがEpoch Startかどうかにより、処理を切り換えるif文である。もしcomposition_stateがEpoch Startであるなら(図18のDSn.PCS.composition_state==EPOCH_START、ステップS2=Yes)、グラフィックスプレーンのクリアに要する時間をinitialize_durationに設定する(ステップS3)。
このWAIT関数においてcurrent_durationとは、呼出元のdecode_durationが設定される。object_define_ready_timeは、Display Setのグラフィクスオブジェクト[i]のPTSが設定される変数である。
current_timeとは、DSnのPCSのDTSに、current_durationを足した値が設定される変数である。このcurrent_timeよりobject_define_ready_timeが大きい場合(ステップS7がYes、if(current_time < object_define_ready_time))、戻り値たるwait_durationは、object_define_ready_timeとcurrent_timeとの差分が設定されることになる(ステップS8、wait_duration += object_define_ready_time - current_time)。以上がWait関数である。ステップS6においてdecode_durationには、このwait関数の戻り値と、window再描画に必要な時間を足し合わせた時間(90,000*(SIZE(DSn.WDS.WIN[0]))//256,000,000)が設定されることになる。
図21(a)は、1つのwindowに1つのODSが存在するケースを想定した図である。図21(b)(c)は、図18で引用した各数値の時間的な前後関係を示すタイミングチャートである。本チャートには3つの段があり、これらの段のうち、”グラフィックスプレーンアクセス”の段、”ODSデコード”の段は、再生時にパラレルになされる2つの処理を示す。上述したアルゴリズムは、これらの2つの処理のパラレル実行を想定している。
一方、デコード期間(2)は、ODSのDTSからPTSまでに示される期間を意味する。 これらクリア期間(1)〜書き込み期間(3)は、クリアすべき範囲、デコードすべきODSのサイズ、グラフィックスプレーンに書き込むべきグラフィクスオブジェクトのサイズにより変化し得る。本図では、説明の簡略化のため、ODSのデコード期間(2)の始点は、クリア期間(1)の始点と同一であると仮定している。
図21(c)は、クリア期間(1)が長くなるケースであり、Decode_Durationはクリア期間(1)+書き込み期間(3)の期間がDecode_Durationになる。
図22(a)〜(c)は、1つのwindowに2つのODSが存在するケースを想定した図である。本図(b)(c)におけるデコード期間(2)は、2つのグラフィクスのデコードに要する期間の総和を意味する。グラフィクス書込期間(3)も、2つのグラフィクスをグラフィックスプレーンに書き込む期間の総和を意味する。
ODSが2つになっているものの、図21と同様に考えればDecode_Durationを算出することができる。2つのODSをデコードするためのデコード期間(2)が長い場合は、図22(b)に示すようにDecode_Durationはデコード期間(2)+書き込み期間(3)に算出されることになる。
図23(a)は、2つのwindowのそれぞれに、ODSが1つずつ存在するケースを想定している。この場合でもクリア期間(1)が、2つのODSをデコードするための総デコード期間(2)よリ長い場合、Decode_Durationはクリア期間(1)+書き込み期間(3)になる。問題は、クリア期間(1)がデコード期間(2)より短くなるケースである。この場合デコード期間(2)の経過を待たずに、1つ目のwindowへの書き込みは可能になる。そのためクリア期間(1)+書き込み期間(3)、デコード期間(2)+書き込み期間(3)の長さにはならない。ここで1つ目のODSのデコードに要する期間を書込期間(31)、2つ目のODSのデコードに要する期間を書込期間(32)とする。図23(b)は、デコード期間(2)がクリア期間(1)+書込期間(31)より長くなるケースを示す。この場合Decode_Durationは、デコード期間(2)+書込期間(32)になる。
グラフィックスプレーンのサイズは、プレーヤモデルから予め判明しており、またwindowのサイズ、ODSのサイズ、個数もオーサリングの段階で判明しているので、これらからDecode_Durationがクリア期間(1)+書き込み期間(3)、デコード期間(2)+書き込み期間(3)、デコード期間(2)+書込期間(32)、クリア期間(1)+書込期間(31)+書込期間(32)のどれかになる。こうしたDecode_Duration算出を基にPCSのPTSを設定すれば、ピクチャデータとの同期表示を高い時間精度で実現することができる。このような高精度な同期制御は、windowを定義し、クリア・再描画する範囲を、このwindowに限定することで成り立っているので、オーサリングの環境に、このwindowの概念を導入したことの意義は大きい。
続いてDSnにおけるWDSのDTS、PTSの設定について説明する。WDSのDTSは、以下の数式を満たすように設定すればよい。
DTS(DSn[WDS])≧DTS(DSn[PCS])
一方、DSnにおけるWDSのPTSは、グラフィックスプレーンに対する書き込みを開始すべきデッドラインを示す。グラフィックスプレーンへの書き込みは、ウィンドゥだけで足りるので、PCSのPTSに示される時刻から、WDSの書き込みに要する期間を差し引けば、グラフィックスプレーンへの書き込みを開始すべき時刻は定まる。WDSの総サイズをΣSIZE(WDS.WIN[i])とすれば、これのクリア及び再描画に要する時間は、『ΣSIZE(WDS.WIN[i])//256,000,000』になる。そして、これを90.000KHzの時間精度で表現すると『90000×ΣSIZE(WDS.WIN[i])//256,000,000』になる。
PTS(DSn[WDS])=PTS(DSn[PCS])-90000×ΣSIZE(WDS.WIN[i])//256,000,000
このWDSに示されるPTSはデッドラインなので、これより早い時点からグラフィックスプレーンの書き込みを開始してもよい。つまり図23に示すように、2つのウィンドゥのうち、1つのウィンドゥに表示させるべきODSのデコードが完了したなら、その時点からデコードにより得られたグラフィクスオブジェクトの書き込みを開始してもよい。
以上が再生時間軸に対するDisplay Setの割り当てについての説明である。
Display Setに対するDTS、PTSの設定について、図24〜図25の具体例を交えながら説明する。図24は、4回のグラフィックスプレーンへの書き込みにより字幕を表示することを想定した具体例である。この具体例は、2つの字幕『what is blu-ray』、『blu-ray is everywhere』を1つずつ表示させるというアップデートを想定している。図24は、本具体例が想定しているアップデートの、時間的変遷がどのようなものであるかを示す図である。時点t1では『what』までを表示し、続く時点t2では『what is』まで、時点t3では『what is blu-ray』全体を表示させる。字幕の全貌を明らかにした上で時点t4において別の字幕『blu-ray is everywhere』を表示させるのである。
DS2は、時点t2におけるアップデートを制御するPCS1.2と、ENDとからなる。DS3は、時点t3におけるアップデートを制御するPCS1.3と、ENDとからなる。DS4は、時点t2のアップデートを制御するためのPCS2と、色変換のためのPDS2と、字幕『blu-ray is everywhere』に相当するODS2と、ENDとからなる。
このタイミングチャートの再生時間軸は、図24の再生時間軸と同じものである。このタイミングチャートにおいて、PTS(PCS1.1)、PTS(PCS1.2)、PTS(PCS1.3)、PTS(PCS2)は、それぞれ『what』の表示時点t1,『what is』の表示時点t2,『what is blu-ray』の表示時点t3,『blu-ray is everywhere』の表示時点t4を示すよう設定される。これは、それぞれの字幕の表示時点において各PCSに記述された制御(Cropなど)を実行する必要があるからである。
図25(b)では、時点t4より手前の時点t5を示すよう、PTS(ODS2)は設定されており、時点t1より手前の時点t0を示すよう、PTS(ODS1)は設定されている。DTS(ODS1),DTS(ODS2)は、PTS(ODS1)及びPTS(ODS2)の時点からデコード期間を差し引いた時点を示すよう設定されている。DTS(ODS)は、数式PTS(DS[ODSj])=DTS(DSn[ODSj])+90,000×(SIZE(DSn[ODSj])//Rd)を満たすよう設定する必要があるからである。図25(b)では、時点t5より手前の時点t0を示すよう、PTS(ODS2)は設定されており、時点t0より手前の時点を示すよう、PTS(ODS1)は設定されている。
ODS1のPTS値、ODS2のDTS値、PCS1.2、PCS1.3、PCS2のPTS値は、PTS(ODS1)=DTS(ODS2)=PTS(PCS1.2)=PTS(PCS1.3)=DTS(PCS2)の関係を満たすよう、何れも時点t0に設定されている。
Read Buffer2は、FIFOメモリであり、BD-ROMから読み出されたTSパケットが先入れ先出し式に格納される。
PIDフィルタ3は、Read Buffer2から出力される複数TSパケットに対してフィルタリングを施す。PIDフィルタ3によるフィルタリングは、TSパケットのうち、所望のPIDをもつもののみをTransport Buffer4a,b,cに書き込むことでなされる。PIDフィルタ3によるフィルタリングでは、バッファリングは必要ではない。従って、PIDフィルタ3に入力されたTSパケットは、時間遅延なく、Transport Buffer4a,b,cに書き込まれる。
周辺回路4dは、Transport Buffer4a,b,cから読み出されたTSパケットを、機能セグメントに変換する処理を行うワイアロジックである。変換により得られた機能セグメントはCoded Data Buffer13に格納される。
ビデオプレーン6は、動画用のプレーンメモリである。
オーディオデコーダ7は、PIDフィルタ3から出力されたTSパケットを復号して、非圧縮形式のオーディオデータを出力する。
CLUT部9は、グラフィクスプレーン8に格納された非圧縮グラフィクスにおけるインデックスカラーを、PDSに示されるY,Cr,Cb値に基づき変換する。
加算器10は、CLUT部9により色変換された非圧縮グラフィクスに、PDSに示されるT値(透過率)を乗じて、ビデオプレーン6に格納された非圧縮状態のピクチャデータと画素毎に加算し、合成画像を得て出力する。
Graphical Controller17は、Composition Buffer16に配置されたPCSを解読して、PCSに基づく制御をする。この制御の実行タイミングは、PCSに付加されたPTSの値に基づく。以上が再生装置の構成要素である。
続いて、PIDフィルタ3、Transport Buffer4a,b,c、グラフィクスプレーン8、CLUT部9、Coded Data Buffer13〜Graphical Controller17を構成するための、転送レート、バッファサイズの推奨値について説明する。図27は、書込レートRx,Rc,Rd、グラフィクスプレーン8、Coded Data Buffer13、Object Buffer15、Composition Buffer16のサイズを示す図である。
Stream Graphics Processor14−Object Buffer15間の転送レートRd(Pixel Decoding Rate)は、Rcとは異なり、ビデオフレームの周期によるアップデートは要求されずRcの1/2,1/4でよい。故に128Mbps,64Mbpsになる。
この図に示す転送レート、バッファ規模はあくまでもミニマムスタンダードであり、これより大きい値での実装を否定している訳ではない。
図28は、再生装置によるパイプライン処理を示すタイミングチャートである。第5段目は、BD-ROMにおけるDisplay Setを示し、第4段目は、Coded Data Buffer13へのPCS、WDS、PDS、ODSの読出期間を示す。第3段目は、Stream Graphics Processor14による各ODSのデコード期間を、第2段目はComposition Buffer16の格納内容を、第1段目はGraphical Controller17の処理内容を示す。
図28では、グラフィックスプレーンのクリアが、ODSのデコードより早く終わる場合を想定したが、図29は、ODSのデコードが、グラフィックスプレーンのクリアより早く終わる場合を想定したパイプライン処理を示すタイミングチャートである。この場合、ODSのデコードが完了した段階では、グラフィックスプレーンへの書き込みを実行することができず、グラフィックスプレーンのクリアが完了した時点で、デコードにより得られたグラフィクスをグラフィックスプレーンに書き込むことができる。
第3段目は、Coded Dataバッファ13における占有量の時間的遷移を示す。本図に示すようにCoded Dataバッファ13の時間的遷移は、ODSが格納されることによる単調増加Vf1,Vf2と、格納されたODSが順次Stream Graphicsプロセッサ14により取り出されることによる単調減少Vg1,Vg2とを含む。単調増加Vf1,Vf2の傾きは、Transportバッファ4a,b,cからCoded Dataバッファ13への出力レートRxに基づき、単調減少Vg1,Vg2の傾きは、Stream Graphicsプロセッサ14によるデコードであり、瞬時に実行される。つまりODSに対するデコードは瞬時に行われ、Stream Graphicsプロセッサ14は、デコードにより得られた非圧縮グラフィクスを保持する。Stream Graphicsプロセッサ14からObject Buffer15への伝送路の書込レートは128Mbpsであるため、この書込レートにより、Object Buffer15の占有量は増加する。
このバッファ状態の遷移は、DTS、PTSに示される値を書き換えることで、調整することが可能なので、再生装置側のデコーダのスペックを越えるような復号負荷の発生を回避したり、再生にあたってのバッファオーバーフローの回避することができる。そのため再生装置の開発にあたってのハードウェア、ソフトウェアの実装が簡易になる。
図31は、機能セグメントのロード処理の処理手順を示すフローチャートである。本フローチャートにおいてSegmentKとは、AVClipの再生時において、読み出されたSegment(PCS,WDS,PDS,ODS)のそれぞれを意味する変数であり、無視フラグは、このSegmentKを無視するかロードするかを切り換えるフラグである。本フローチャートは、無視フラグを0に初期化した上で、ステップS21〜S24、ステップS27〜S31の処理を全てのSegmentKについて繰り返すループ構造を有している(ステップS25、ステップS26)。
ステップS22は、無視フラグが1かどうかの判定である。無視フラグが0であるならステップS23に移行し、1であるならステップS24に移行する。無視フラグが1であれば(ステップS22でYes)、ステップS23においてSegmentKをCoded Data Buffer13にロードする。
このように、SegmentKが無視されるか、ロードされるかは、無視フラグの設定により決まる。ステップS27〜S31、S34、S35は、この無視フラグを設定する処理である。
ステップS28は、先行するDSがグラフィクスデコーダ12内のどれかのバッファ(Coded Data Buffer13、Stream Graphicsプロセッサ14、Object Buffer15、Composition Buffer16)に存在するかどうかの判定であり、ステップS27がYesである場合に実行される。グラフィクスデコーダ12内にDSが存在しないケースとは、頭出しがなされたケースをいう。この場合、Acquisition PointたるDSから、表示を開始せねばならないので、ステップS30に移行する(ステップS28でNo)。
グラフィクスデコーダ12内にDSが存在するケースとは、通常再生がなされたケースをいう。この場合、ステップS29に移行する(ステップS28でYes)。ステップS29は、無視フラグを1に設定し、ステップS22に移行する。
ステップS31は、PCSにおけるComposition_stateがNormal Caseであるか否かの判定である。もしNormal Caseであるなら、ステップS34に移行する。SegmentKがEpoch Startであるなら、ステップS30において無視フラグを0に設定する。 ステップS34は、ステップS28と同じであり、先行するDSがグラフィクスデコーダ12内に存在するかどうかの判定を行う。もし存在するなら、無視フラグを0に設定する(ステップS30)。存在しないなら、元々、対話画面を構成する充分な機能セグメントが得られないため、無視フラグを1に設定する(ステップS35)。かかるフラグ設定により、先行するDSがグラフィクスデコーダ12に存在しない場合、Normal Caseを構成する機能セグメントは無視されることになる。
かかる3つのDSが、動画と多重化されているAVClipにおいて、ピクチャデータpt10からの頭出しが矢印am1に示すように行われたものとする。この場合、頭出し位置に最も近いDS10が、図31のフローチャートの対象となる。ステップS27においてComposition_stateはAcquisition Pointと判定されるが、先行するDSはCoded Data Buffer13上に存在しないため、無視フラグは0に設定され、このDS10が図33の矢印md1に示すように再生装置のCoded Data Buffer13にロードされる。一方、頭出し位置がDS10の存在位置より後である場合(図32の矢印am2)、DS20は、Normal CaseのDisplay Setであり、先行するDS20はCoded Data Buffer13に存在しないので、このDisplay Setは、無視されることになる(図33の矢印md2)。
ステップS41〜ステップS44は、本フローチャートのメインルーチンであり、ステップS41〜ステップS44に規定した何れかの事象の成立を待つ。
ステップS41は、現在の再生時点がPCSのPTS時刻になっているか否かの判定であり、もしなっていれば、ステップS45〜ステップS53の処理を行う。
次に図37を参照して、ステップS42、ステップS54〜ステップS59について説明する。
その後、グラフィクスプレーン8におけるグラフィクスオブジェクトの色変換をCLUT部に行わせて、動画像と合成する(ステップS62)。
ステップS43は、現在の再生時点がODSのPTSであるか否かの判定であり、もしODSのPTSであるなら、ステップS63においてウィンドゥが2つであるか否かを判定し、もし1つであれば、メインルーチンにリターンする。ウィンドゥが2つであるなら、ステップS64〜ステップS66を行う。ステップS64は、object_crop_flagが0を示しているか否かの判定であり、もし示しているなら、グラフィクスオブジェクトを非表示とする(ステップS65)。
DSnに属する各PDSは、PCSがComposition Buffer16にロードされる時点(DTS(DSn[PCS]))から、最初のODSのデコード開始時点(DTS(DSn[ODS1]))までに、CLUT部9において、有効になればよい。このことからDSnに属する各PDS(PDS1〜PDSlast)のPTS値は、以下の関係を満たす値に、設定されねばならない。
DTS(DSn[PCS])≦PTS(DSn[PDS1])
PTS(DSn[PDSj])≦PTS(DSn[PDSj+1])≦PTS(DSn[PDSlast])
PTS(DSn[PDSlast])≦DTS(DSn[ODS1])
尚、PDSにおいてDTSは再生時に参照されないが、MPEG2規格を満たすため、PDSのDTSは、そのPTSと同じ値に設定される。
以上の関係を満たすようDTS、PDSが設定された場合、再生装置のパイプラインにおいてこれらDTS、PTSがどのような役割をもつかについて説明する。図39はPDSにおけるPTSに基づく、再生装置におけるパイプラインを示す図である。この図39は、図28をベースにして作図されている。図39において第1段目は、CLUT部9へのPDS設定を示している。以降の段は、図28の第1〜第5段目と同じである。PDS1〜lastのCLUT部9への設定は、ODS1のデコード開始と同時になされる(矢印up2,up3)。
PTS(DSn[END]) = PTS(DSn[ODSlast])
DSn,DSn+1に属するPCSとの関係で考えれば、DSnにおけるPCSは、最初のODS(ODS1)のロード時刻以前に、Composition Buffer16にロードされるから、ENDのPTSは、DSnに属するPCSのロード時刻(DTS(DSn[PCS]))以降、DSn+1に属するPCSのロード時刻(DTS(DSn+1[PCS]))以前でなければならない。そのためENDのPTSは、以下の式の関係を満たす必要がある。
DTS(DSn[PCS])≦PTS(DSn[END])≦DTS(DSn+1[PCS])
一方、最初のODS(ODS1)のロード時刻は、最後のPDS(PDSlast)のロード時刻以前であるから、ENDのPTS(PTS(DSn[END]))は、DSnに属するPDSのロード時刻以降(PTS(DSn[PDSlast]))でなければならない。そのためENDのPTSは、以下の式の関係を満たす必要がある。
PTS(DSn[PDSlast])≦PTS(DSn[END])
続いて再生装置のパイプラインにおいて、ENDのPTSが、どのような意味合いをなすのかについて説明する。図40は、再生装置のパイプライン動作時における、ENDの意味合いを示す図である。本図は、図28の第2段目以降をベースに作図しており、第2段以降の意味合いは図28と同一である。また本図では、DSn,DSn+1という2つのDisplay Setを描いている。DSnにおいてODSlastになるのは、A-ODSsの最後のODSnであるので、ENDのPTSは、このODSnのPTSを示すよう設定されている。そして、このENDのPTSに示される時点は、DSn+1のPCSのDTSにより示される時点より早いものになっている。
尚、ENDにおいてDTSは再生時に参照されないが、MPEG2規格を満たすため、PDSのDTSは、そのPTSと同じ値に設定される。
以上のように本実施形態によれば、グラフィックスプレーンの一部をグラフィクスの表示のためのウィンドゥとして指定するので、再生装置は、プレーン全体のグラフィクス描画を行う必要はない。グラフィックスプレーンの25%〜33%など、ある限られた大きさのウィンドゥに対してのみ、グラフィクス描画を行えばよい。グラフィックスプレーンのうち、ウィンドゥ以外の部分の描画を省くことができるので、再生装置側のソフトウェアの負担は遥かに軽くなる。
同期保証が容易になるので、高い解像度での字幕表示を多くの再生装置において実現することができる。
第1実施形態は、専ら、字幕として表示されるためのグラフィクスについて説明した。これに対し第2実施形態は、対話的に表示されるグラフィクスについての実施形態する。
本発明に係る記録媒体の実施行為のうち、生産行為についての形態について説明する。第2実施形態に係る記録媒体も、第1実施形態同様、BD-ROMの応用層に対する改良により実施することができる。図41は、第2実施形態に係るAVClipがどのように構成されているかを模式的に示す図である。
MoveUpキーは、対話画面においてあるボタンがセレクテッド状態である場合、このボタンより上にあるボタンをセレクテッド状態に設定するためのキーである。MoveDownキーは、このボタンより下にあるボタンをセレクテッド状態に設定するためのキー、MoveRightキーは、このボタンより右にあるボタンをセレクテッド状態に設定するためのキー、MoveLeftキーは、このボタンより左にあるボタンをセレクテッド状態に設定するためのキーである。
『composition_state』は、本ICSから始まるDSが、Normal Caseであるか、Acquisition Pointであるか、Epoch Startであるかを示す。
『command_update_flag』は、本ICS内のボタンコマンドは、前のICSから変化しているかを否かを示す。例えば、あるICSが属するDSが、Acquisition Pointであれば、このICSは、原則1つ前のICSと同じ内容になる。しかしcommand_update_flagをオンに設定しておけば、1つ前のICSと違うボタンコマンドをICSに設定しておくことができる。本フラグは、グラフィックスオブジェクトは流用するが、コマンドは変更したい場合に有効となる。
『Selection_Time_out_PTS』は、有効なボタン選択期間の終了時点を記述する。Selection_Time_out_PTSの時点において、Default_activated_button_numberにより特定されるボタンがアクティベートされる。Selection_Time_out_PTSは、Composition_timeout_PTSの時間と等しいかそれより短い。Selection_Time_out_PTSはビデオフレームの時間精度で記述される。
『animation_frame_rate_code』は、アニメーション型ボタンに適用すべきフレームレートを記述する。アニメーションフレームレートは、本フィールドの値を用いて、ビデオフレームレートを割ることにより与えられる。本フィールドが00なら、各ボタンのグラフィクスオブジェクトを定義するODSのうち、Start_Object_id_xxxにて特定されるもののみが表示され、アニメーションされない。
『button_number』は、ボタンiを、ICSにおいて一意に識別する数値である。
『auto_action_flag』は、ボタンiを自動的にアクティブ状態にするかどうかを示す。auto_action_flagがオン(ビット値1)に設定されれば、ボタンiは、セレクテッド状態になる代わりにアクティブ状態になる。auto_action_flagがオフ(ビット値0)に設定されれば、ボタンiは、選択されたとしてもセレクテッド状態になるにすぎない。
『upper_button_number』は、ボタンiがセレクテッド状態である場合においてMOVEUPキーが押下された場合、ボタンiの代わりに、セレクテッド状態にすべきボタンの番号を示す。もしこのフィールドにボタンiの番号が設定されていれば、MOVEUPキーの押下は無視される。
『end_object_id_normal』は、ノーマル状態のボタンiをアニメーションで描画する場合、アニメーションを構成する複数ODSに付加された連番たる『object_ID』のうち、最後の番号がこのend_object_id_normalに記述される。このEnd_object_id_normalに示されるIDが、start_object_id_normalに示されるIDと同じである場合、このIDにて示されるグラフィックスオブジェクトの静止画が、ボタンiの絵柄になる。
『start_object_id_selected』は、セレクテッド状態のボタンiをアニメーションで描画する場合、アニメーションを構成する複数ODSに付加された連番のうち、最初の番号がこのstart_object_id_selectedに記述される。
このEnd_object_id_selectedに示されるIDが、start_object_id_selectdに示されるIDと同じである場合、このIDにて示されるグラフィックスオブジェクトの静止画が、ボタンiの絵柄になる。
『start_object_id_activated』は、アクティブ状態のボタンiをアニメーションで描画する場合、アニメーションを構成する複数ODSに付加された連番のうち、最初の番号がこのstart_object_id_activatedに記述される。
続いてボタンコマンドについて説明する。
『ボタンコマンド(button_command)』は、ボタンiがアクティブ状態になれば、実行されるコマンドである。
続いてボタンA〜ボタンDの絵柄について説明する。ODS11,21,31,41が図48に示す絵柄であるものとする。そしてボタンAに割り当てられたODS11〜19は、図49のような絵柄であるものとする。ICSにおけるbutton_info(1)のnormal_state_info()におけるstart_object_id_normal,end_object_id_normalは、ODS11〜13を指定しているため、ボタンAのノーマル状態は、ODS11〜13によるアニメーションで表現される。またbutton_info(1)のselected_state_info()におけるstart_object_id_selected,end_object_id_selectedは、ODS14〜16を指定しているため、ボタンAのセレクテッド状態は、ODS14〜16で表現される。ユーザがこのボタンAをセレクテッド状態にすることにより、ボタンAの絵柄たる肖像は、ODS11〜13によるものから、ODS14〜16によるものへと変化する。ここでnormal_state_info()、selected_state_info()におけるrepeat_normal_flag,repeat_select_flagを1にしておけば、ODS11〜13によるアニメーション、ODS14〜16によるアニメーションは、図中の「→(A)」,「(A)→」,「→(B)」,「(B)→」,に示すように、アニメーション表示は反復継続する。
続いてDisplay SetにおけるODSの順序について説明する。Display Setに属するODSは、ボタンの1つの状態を表すようICSにて指定されていることは、上述した通りである。ODSは、こうした指定、つまり、ボタンのどの状態を示すかという指定に応じて、Display Setにおける順序が決められる。
本図における対話画面は、”初期表示”、”1stユーザアクションによる更新表示”、”2ndユーザアクションによる更新表示”という複数の状態をもつ。図中の矢印は、状態遷移のトリガとなるユーザアクションを表す。この図を参照すると、4つのボタンA,B,C,Dはそれぞれノーマル状態、セレクテッド状態、アクティブ状態という状態をもっている。このうち初期表示に必要なのは、3つのノーマル状態を描くグラフィクスオブジェクトと、1つのセレクテッド状態を描くグラフィクスオブジェクトであることがわかる。
この場合ODSは、複数状態のうち、最も早く出現する状態に対応するbutton-stateグループだけ1回のみ配置される。
値0を示すよう、default_selected_button_numberを設定しておくのは、例えば、Display Setが多重されているAVClipが、複数再生経路の合流点になっているようなケースである。先行する複数再生経路がそれぞれ第1、第2、第3章であり、合流点にあたるDisplay Setが第1章、第2章、第3章に対応するボタンを表示させるものである場合、default_selected_button_numberにおいて、デフォルトでセレクテッド状態とすべきボタンを決めてしまうのは、おかしい。
グラフィックスプレーン内において描画可能な矩形領域の横幅をvideo_width,縦幅をvideo_heightとし、グラフィックスプレーンへの書込レートを128Mbpsとすると、グラフィックスプレーンのクリアに要する時間は、8×video_width×video_height//128,000,000と表現される。これを90KHzの時間精度で表現すれば、グラフィックスプレーンのクリア時間(2)は90,000×(8×video_width×video_height//128,000,000)になる。
図54(a)(b)は、N-ODSsにボタンA〜Dを構成する複数ODSが含まれており、S-ODSsにボタンA〜Dを構成する複数ODSが含まれている場合、ΣSIZE(DSn[ICS.BUTTON[i]])がどのような値になるかを示す図である。ここでdefault_selected_button_numberが有効な値を示している場合、ΣSIZE(DSn[ICS.BUTTON[i]])は太い枠で示す4つのODSのサイズの総和となる。”As1”は、ボタンAのセレクテッド状態を表す複数のODSのうち最初に表示されるODSである。”Bn1”,”Cn1”,”Dn1”は、ボタンB〜ボタンDのノーマル状態を表す複数のODSのうち最初に表示されるODSを示す。これらのサイズをsize()で表すと、ΣSIZE(DSn[ICS.BUTTON[i]]) は、size(As1)+size(Bn1)+size(Cn1)+size(Dn1)になる。
故にΣSIZE(DSn[ICS.BUTTON[i]])は、
ΣSIZE(DSn[ICS.BUTTON[i]])
= max(size(An1),size(As1))+max(size(Bn1),size(Bs1))
+max(size(Cn1),size(Cs1))+max(size(Dn1),size(Ds1))
になる。
以上の数式を用いることにより、Epoch Start開始直後のPTS(DSn[ICS])は、以下の数式のように表現される。
PTS(DSn[ICS])≧PTS(DSn[S-ODSsfirst])
+90,000×(8×video_width×video_height//128,000,000)
+90,000×(ΣSIZE(DSn[ICS.BUTTON[i]])//128,000,000)
一方、default_selected_button_numberが無効である場合、PTS(DSn[S-ODSsfirst])をPTS(DSn[S-ODSslast])に置き換えればよい。つまり算出式は、以下の通りになる。
PTS(DSn[ICS])≧PTS(DSn[S-ODSslast])
+90,000×(8×video_width×video_height//128,000,000)
+90,000×(ΣSIZE(DSn[ICS.BUTTON[i]])//128,000,000)
以上のようにしてPTS、DTSを設定することにより、同期表示を実現する場合の一例を図55に示す。本図において動画における任意のピクチャデータpy1の表示タイミングで、ボタンを表示させる場合を想定する。この場合、ICSのPTS値は、このピクチャデータの表示時点になるよう設定せねばならない。
図56は、対話画面の初期表示が複数ODSにて構成され、デフォルトセレクテッドボタンが静的に確定している場合のDTS、PTSの設定を示す図である。初期表示を実現するODSのうち、デコードが最も遅いS-ODSsfirstのデコードが図中の期間dd1の経過時に終了するなら、このS-ODSsfirstのPTS(DSn[S-ODSsfirst])は、期間dd1の経過時を示すよう設定される。
更に、初期表示の実現には、画面クリアを行い、デコードされたグラフィクスオブジェクトを転送せねばならないから、このPTS(DSn[S-ODSslast])の値に画面クリアに要する期間(90,000×(8×video_width×video_height//128,000,000))、デコードされたグラフィクスオブジェクトの転送期間(90,000×(ΣSIZE(DSn[ICS.BUTTON[i]])//128,000,000))を足した時点以降を、ICSのPTS(DSn[ICS])として設定せねばならない。以上がICSによる同期制御である。
図63は、再生装置によるパイプライン処理を示すタイミングチャートである。第4段目は、BD-ROMにおけるDisplay Setを示し、第3段目は、Coded Dataバッファ13へのICS、PDS、ODSの読出期間を示す。第2段目は、Stream Graphicsプロセッサ14による各ODSのデコード期間を示す。第1段目は、Graphicsコントローラ17による処理期間を示す。各ODSのデコード開始時刻は、図中のDTS11,DTS12,DTS13に示されている。Coded Dataバッファ13へのN-ODSsに属する最初のODS(N-ODSs[ODS1])の格納はDTS11までに完了し、Coded Dataバッファ13へのN-ODSsに属する最後のODS(N-ODSs[ODSn])の格納は、DTS12に示される時刻までに完了する。このように各ODSは、自身のDTSに示される時刻までにCoded Dataバッファ13への読み出しが完了している。
尚、本図におけるODS1〜ODSnという表記は、「1」,「n」というような同じ番号が付されているが、これらN-ODSs,S-ODSs,A-ODSsに属するODSは別々のものである。以降、同様の表記の図は同じ意味であるとする。
図66は、機能セグメントのロード処理の処理手順を示すフローチャートである。本図は、図31のフローチャートをベースにして作図している。図31との差違は、ステップS29以降に、ステップS36、ステップS37を追加した点である。
DS10は、DS1のduplicateであり、Segment_TypeはAcquision Point、Command_update_flagが0に設定され、LinkPL(PL#5)というボタンコマンドを含む。
かかる3つのDSが、動画と多重化されているAVClipにおいて、ピクチャデータpt10からの頭出しms1が行われたものとする。この場合、頭出し位置に最も近いDS10が、図66のフローチャートの対象となる。ステップS27においてComposition_stateはAcquisition Pointと判定されるが、先行するDSはグラフィクスデコーダ12内に存在しないため、無視フラグは0に設定され、このDS10が再生装置のCoded Dataバッファ13にロードされる(図68のhs1)。一方、Display Setの存在位置より後から頭出しが行われた場合(ms2)、Display Set10に後続するDisplay Set20(図68のhs2)がCoded Dataバッファ13に読み出される。
ステップS41は、現在の再生時点がS-ODSsfirstのPTSに示される時刻であるか、S-ODSslastのPTSに示される時刻であるかの判定であり、もしそうであるなら、ステップS42において期間αを算出する。期間αとは、グラフィクスプレーンのクリアに要する時間(2)、ODSのデコードにより得られたグラフィクスオブジェクトをグラフィクスプレーンに書き込む書込時間(3)を足し合わせた期間である。
ステップS45は、現在の再生時点がICSのPTSであるかの判定である。もしそうであれば、グラフィクスプレーン8の格納内容の出力を開始させる。この格納内容の出力先は、CLUT部9であり、CLUT部9により色変換がなされた上で、対話画面はビデオプレーン6の格納内容と合成される。これにより初期表示が実行される(ステップS52)。そして変数animation(p)(p=1,2,3・・・n)を0を設定して(ステップS53)、メインルーチンにリターンする。ここで変数animation(p)とは、ボタン(p)のアニメーション表示を実行するにあたって、今何コマ目を表示しているかを示すグローバル変数(複数フローチャートにわたって有効になる変数)である。ステップS53では、全てのボタンについてのボタン(p)が、0に設定されることになる。
ステップS46は、現在の再生時点がselection_TimeOut_PTSに示される時刻であるかの判定であり、もしそうであれば、defaut_activated_button_numberで指定されるボタンをアクティベートする処理を行い、メインルーチンにリターンする(ステップS54)。
ステップS67は、default_selected_button_numberによる指定が有効であるか否かの判定であり、ステップS68は、button_info(p)はdefault_selected_button_numberにより指定されたデフォルトセレクテッドボタンに対応するボタン情報であるかの判定である。
デフォルトセレクテッドボタンに対応するボタン情報であるなら、button_info(p)のselected_state_infoに指定されているstart_object_id_selectedのグラフィクスオブジェクトを、グラフィクスオブジェクト(p)としてObject Buffer15から特定して(ステップS70)、ボタン(p)をカレントボタンにする(ステップS71)。カレントボタンとは、現在表示中の対話画面において、セレクテッド状態になっているボタンであり、再生装置はこのカレントボタンの識別子を、PSR(10)として格納している。
続いてステップS54のサブルーチンの処理手順を、図74を参照しながら説明する。
以上の処理により、セレクテッド状態のボタンは、所定時間の経過時においてアクティブ状態に遷移させられることになる。以上が、図74のフローチャートの全容である。
ここで初期表示は、各button_infoのnormal_state_infoにおけるstart_object_id_normal、selected_state_infoにおけるstart_object_id_selectedで指定されているグラフィクスオブジェクトを、グラフィクスプレーン8に書き込まれることにより実現した。アニメーションとは、ステップS35〜ステップS37のループ処理が一巡する度に、各ボタンにおける任意のコマ(qコマ目にあるグラフィクスオブジェクト)をこのグラフィクスプレーン8に上書する処理である。この更新は、button_infoのnormal_state_info、selected_state_infoで指定されているグラフィクスオブジェクトを、一枚ずつグラフィクスプレーン8に書き込んでメインルーチンにリターンすることでなされる。ここで変数qとは、各ボタン情報のbutton_infoのnormal_state_info、selected_state_infoで指定されている個々のグラフィクスオブジェクトを指定するための変数である。
ステップS80は初期表示が済んでいるか否かの判定であり、もし済んでいなけれ何の処理も行わずにリターンする。もし済んでいればステップS81〜ステップS93の処理を実行する。ステップS81〜ステップS93は、ICSにおける各button_infoについて、ステップS83〜ステップS93の処理を繰り返すというループ処理を構成している(ステップS81、ステップS82)。
ステップS84は、button_info(p)が、現在セレクテッド状態にあるボタン(カレントボタン)に対応するbutton_infoであるか否かの判定である。
カレントボタン以外のボタンならば、button_info(p).normal_state_infoにおけるstart_object_id_normalに変数qを足した識別子をID(q)とする(ステップS85)。
ステップS86は、カレントボタンがアクティブ状態であるかの判定であり、もしそうであれば、ステップS87においてbutton_info(p).actioned_state_infoにおけるstart_object_id_actionedに変数qを足した識別子をID(q)とする。そしてbutton_info(p)に含まれるボタンコマンドのうち、1つを実行する(ステップS88)。
こうしてID(q)が決まれば、Object Buffer15に存在する、ID(q)を有するグラフィクスオブジェクト(p)を、button_info(p)のbutton_horizontal_position,button_vertical_positionに示されるGraphics Plane8上の位置に書き込む(ステップS90)。
ステップS91は、start_object_id_normal+qがend_object_id_normalに達したか否かの判定であり、もし達しないなら変数qをインクリメントした値を変数animation(p)に設定する(ステップS92)。もし達したなら変数animation(p)を0に初期化する(ステップS93)。以上の処理は、ICSにおける全てのbutton_infoについて繰り返される(ステップS81、ステップS82)。全てのbutton_infoについて、処理がなされれば、メインルーチンにリターンする。
ステップS103は、数値入力であるかどうかの判定であり、もし数値入力であれば、数値入力処理を行って(ステップS107)、メインルーチンにリターンする。図76の処理手順のうち、ステップS104、ステップS107はサブルーチン化されている。このサブルーチンの処理手順を示したのが図77、図78である。以降これらのフローチャートについて説明する。
そしてカレントボタンをボタンiとし、新たにカレントボタンになるボタンをボタンjとする(ステップS111)。ステップS112は、ステップS111で特定されたボタンjが、ボタンiと一致しているかどうかの判定である。もし一致していれば、何の処理も行わずにメインルーチンにリターンする。もし一致しなければ、ボタンjをカレントボタンにして(ステップS113)、変数animation(i),変数animation(j)を0に設定した上でメインルーチンにリターンする(ステップS114)。
ステップS121〜S122のどちらかがNoなら、そのままメインルーチンにリターンする。
以上が同期表示を行う場合のGraphicsコントローラ17の処理手順である。Popup表示のように、ユーザ操作をトリガとした対話画面表示を行う場合、Stream Graphicsプロセッサ14、Graphicsコントローラ17は以下のような処理を行う。つまり、同期表示の場合と同様の処理を行う。これにより、グラフィクスプレーン8にはグラフィックスオブジェクトが得られる。このようにグラフィックスオブジェクトを得た後、現在の再生時点が、ICSに付加されたPTSに示される時点を経過するのを待つ。そしてこの再生時点の経過後、UOコントローラ18がメニューコールを示すUOを受け付れば、グラフィクスプレーン8に格納されたグラフィックスオブジェクトを合成させるよう、CLUT部9に出力する。UOに同期して、かかる出力を行えば、メニューコールの押下に応じたPopup表示を実現することができる。
DTS(DSn[ICS])≦PTS(DSn[PDS1])
続いてDSnに属する各PDSのDTS,PTSの設定について説明する。
DSnに属する各PDSは、ICSがCompositionバッファ16にロードされる時点(DTS(DSn[ICS]))から、最初のODSのデコード開始時点(DTS(DSn[ODS1]))までに、CLUT部9において、有効になればよい。このことからDSnに属する各PDS(PDS1〜PDSlast)のPTS値は、以下の関係を満たす値に、設定されねばならない。
DTS(DSn[ICS])≦PTS(DSn[PDS1])
PTS(DSn[PDSj])≦PTS(DSn[PDSj+1])≦PTS(DSn[PDSlast])
PTS(DSn[PDSlast])≦DTS(DSn[ODS1])
続いてDSnに属するEND of Display SetSegmentのPTSの設定について説明する。DSnに属するENDは、DSnの終わりを示すものだから、DSnに属する最後のODS(ODSlast)のデコード終了時刻を示せばよい。このデコード終了時刻は、ODSlastのPTS(PTS(DSn[ODSlast]))に示されているので、ENDのPTSは、以下の式に示される値に設定されねばならない。
PTS(DSn[END]) = PTS(DSn[ODSlast])
DSn,DSn+1に属するICSとの関係で考えれば、DSnにおけるICSは、最初のODS(ODS1)のロード時刻以前に、Compositionバッファ16にロードされるから、ENDのPTSは、DSnに属するICSのロード時刻(DTS(DSn[ICS]))以降、DSn+1に属するICSのロード時刻(DTS(DSn+1[ICS]))以前でなければならない。そのためENDのPTSは、以下の式の関係を満たす必要がある。
DTS(DSn[ICS])≦PTS(DSn[END])≦DTS(DSn+1[ICS])
一方、最初のODS(ODS1)のロード時刻は、最後のPDS(PDSlast)のロード時刻以後であるから、ENDのPTS(PTS(DSn[END]))は、DSnに属するPDSのロード時刻以降(PTS(DSn[PDSlast]))でなければならない。そのためENDのPTSは、以下の式の関係を満たす必要がある。
PTS(DSn[PDSlast])≦PTS(DSn[END])
DTS,PTSが設定されたICS,PDS,ODSをAVClipに組み込んでおくので、ある動画の一コマが画面に現れたタイミングに、特定の処理を再生装置に実行させるという対話制御、つまり動画内容と緻密に同期した対話制御の記述に便利である。またICS,PDS,ODSは、AVClip自身に多重化されているので、再生制御を行いたい区間が数百個であっても、それらに対応するICS,PDS,ODSの全てをメモリに格納しておく必要はない。ICS,PDS,ODSはビデオパケットと共にBD-ROMから読み出されるので、現在再生すべき動画区間に対応するICS,PDS,ODSをメモリに常駐させ、この動画区間の再生が終われば、ICS,PDS,ODSをメモリから削除して、次の動画区間に対応するICS,PDS,ODSをメモリに格納すればよい。ICS,PDS,ODSは、AVClipに多重化されるので、たとえICS,PDS,ODSの数が数百個になってもメモリの搭載量を必要最低限にすることができる。
本実施形態は、BD-ROMの製造工程に関する実施形態である。図79は、第1実施形態に示したPCSを作成するための製造工程を示す図である。
BD-ROMの制作工程は、動画収録、音声収録等の素材作成を行う素材制作工程S201、オーサリング装置を用いて、アプリケーションフォーマットを生成するオーサリング工程S202、BD-ROMの原盤を作成し、プレス・貼り合わせを行って、BD-ROMを完成させるプレス工程S203を含む。
ステップS204において制御情報、ウィンドゥ定義情報、パレット定義情報、グラフィクスを記述し、ステップS205では、制御情報、ウィンドゥ定義情報、パレット定義情報、グラフィクスを機能セグメントに変換する。そしてステップS206において同期したいピクチャが出現するタイミングに基づき、PCSのPTSを設定し、ステップS207では、PTS[PCS]の値に基づき、DTS[ODS],PTS[ODS]を設定する。ステップS208において、DTS[ODS]の値に基づき、DTS[PCS],PTS[PDS],DTS[WDS],PTS[WDS]を設定し、ステップS209では、プレーヤモデルにおける各バッファの占有量の時間的遷移をグラフ化する。ステップS210では、グラフ化された時間的遷移がプレーヤモデルの制約を満たすか否かを判定し、もし満たさないなら、ステップS211において各機能セグメントのDTS、PTSを書き換える。もし満たすならステップS212においてグラフィクスストリームを生成し、ステップS213においてグラフィクスストリームを別途生成されたビデオストリーム、オーディオストリームと多重してAVClipを得る。以降、AVClipをBD-ROMのフォーマットに適合させることにより、アプリケーションフォーマットが完成する。
以降ステップS304〜ステップS308について説明する。ステップS304において制御情報、パレット定義情報、グラフィクスを記述し、ステップS305において、制御情報、パレット定義情報、グラフィクスを機能セグメントに変換する。ステップS306では、同期したいピクチャが出現するタイミングに基づき、ICSのPTSを設定する。そしてステップS307では、PTS[ICS]の値に基づき、DTS[ODS],PTS[ODS]を設定し、ステップS308においてDTS[ODS]の値に基づき、DTS[ICS],PTS[PDS]を設定する。
以上の説明は、本発明の全ての実施行為の形態を示している訳ではない。下記(A)(B)(C)(D)・・・・・の変更を施した実施行為の形態によっても、本発明の実施は可能となる。本願の請求項に係る各発明は、以上に記載した複数の実施形態及びそれらの変形形態を拡張した記載、ないし、一般化した記載としている。拡張ないし一般化の程度は、本発明の技術分野の、出願当時の技術水準の特性に基づく。
(F)各実施形態におけるデジタルストリームは、BD-ROM規格のAVClipであったが、DVD-Video規格、DVD-Video Recording規格のVOB(Video Object)であってもよい。VOBは、ビデオストリーム、オーディオストリームを多重化することにより得られたISO/IEC13818-1規格準拠のプログラムストリームである。またAVClipにおけるビデオストリームは、MPEG4やWMV方式であってもよい。更にオーディオストリームは、Linear-PCM方式、Dolby-AC3方式、MP3方式、MPEG-AAC方式、dts方式であってもよい。
またビデオテープに記録されているアナログ/デジタルの映像信号をエンコードしてコンテンツを得ても良い。更にビデオカメラから直接取り込んだアナログ/デジタルの映像信号をエンコードしてコンテンツを得ても良い。他にも、配信サーバにより配信されるデジタル著作物でもよい。
(J)PCSによる表示効果の対象は、装置側のディスプレィ設定に応じて選ばれた字幕グラフィクスであってもよい。つまり、ワイドビジョン、パンスキャン、レターボックス用といった様々な表示モード用のグラフィクスがBD-ROMに記録されており、装置側は自身に接続されたテレビの設定に応じてこれらの何れかを選んで表示する。この場合、そうして表示された字幕グラフィクスに対し、PCSに基づく表示効果をほどこすので、見栄えがよくなる。これにより、動画像本体で表現していたような文字を用いた表示効果を、装置側のディスプレィ設定に応じて表示された字幕で実現することができるので、実用上の価値は大きい。
(L)各実施形態において再生装置には、グラフィックスプレーンを実装したが、このグラフィックスプレーンに代えて、一ライン分の非圧縮画素を格納するラインバッファを具備してもよい。映像信号への変換は水平行(ライン)毎に行われるので、このラインバッファさえ具備していれば、この映像信号への変換は行なえるからである。
(N)第1実施形態では、字幕を画面の上側、下側に横書きで表示するものとして、ウィンドゥをグラフィックスプレーンの上側、下側に定義したが、字幕を画面の右側、左側に表示するものとして、ウィンドゥをグラフィックスプレーンの右側、左側に定義してもよい。こうすることにより、日本語字幕を縦書きで表示することができる。
(P)複数再生経路の合流点においてデフォルトセレクテッドボタンが変わるようなケースでは、複数再生経路のそれぞれの経由時に、固有の値を再生装置側のレジスタに設定するよう、動的シナリオにおいて再生制御を記述しておくことが望ましい。そして、そのレジスタの設定値に応じたボタンをセレクテッド状態に設定するよう再生手順を記述しておけば、どの再生経路を経由するかによって、セレクテッド状態とすべきボタンを変化させることができる。
2 Read Buffer
3 PIDフィルタ
4a,b,c、Transport Buffer
4d 周辺回路
5 ビデオデコーダ
6 ビデオプレーン
7 オーディオデコーダ
8 グラフィクスプレーン
9 CLUT部
10 加算器
12 グラフィクスデコーダ
13 Coded Data Buffer
13a 周辺回路
14 Stream Graphics Processor
15 Object Buffer
16 Composition Buffer
17 Graphical Controller
100 BD-ROM
200 再生装置
300 テレビ
400 リモコン
Claims (14)
- 動画ストリーム、グラフィクスストリームが多重化されたデジタルストリームについての再生装置であって、
動画ストリームをデコードして動画像を得るビデオデコーダと、
グラフィクスを、動画像に合成して表示させるグラフィクスデコーダとを備え、
グラフィクスストリームは、複数パケットからなるパケット列であり、
パケットには、グラフィクスデータを格納したデータパケットと、制御情報を格納した制御パケットとがあり、
前記グラフィクスデコーダは、
動画ストリームの現在の再生時点が、グラフィクスデータを格納したパケットのデコードタイムスタンプに示される時点に達すれば、グラフィクスデータのデコードを開始し、同パケットのプレゼンテーションタイムスタンプの値に示される時点に達すれば、グラフィクスデータのデコードを終了するプロセッサと、
圧縮状態のグラフィクスデータを格納するコーデッドデータバッファと、
プロセッサのデコードにより得られた非圧縮状態のグラフィクスデータを格納するオブジェクトバッファと、
制御パケット内の制御情報を格納するコンポジションバッファと、
コンポジションバッファ内に存在する制御情報に従って、オブジェクトバッファ内のグラフィクスデータを、動画ストリームに合成して表示させる制御を実行するコントローラとを備え、
再生装置は、オブジェクトバッファに格納された非圧縮状態のグラフィクスデータのうち、表示に供されるべきものを格納するグラフィックスプレーンを備え、
前記コントローラは、
メモリ管理の始まりである旨を示すタイプ情報が制御情報内に含まれている場合、動画ストリームの現在の再生時点が、制御パケットのデコードタイムスタンプの値に到達した段階で、コーデッドデータバッファ、オブジェクトバッファ、コンポジションバッファをクリアすることでメモリ管理を開始して、制御パケットに含まれる制御情報を、コーデッドデータバッファからコンポジションバッファに読み出し、
先行する制御情報との差分のみを示すタイプ情報、先行する制御情報の複製物であるタイプ情報、メモリ管理が別のデジタルストリームから連続していることを示すタイプ情報の何れかが、制御情報に含まれている場合、動画ストリームの現在の再生時点が、制御パケットのデコードタイムスタンプの値に到達した段階で、前記クリアを行うことなく、制御パケットに含まれる制御情報を、コーデッドデータバッファからコンポジションバッファに読み出し、
動画ストリームの現在の再生時点が制御パケットのプレゼンテーションタイムスタンプの値に到達した段階で、コンポジションバッファに読み出された制御情報に従い、オブジェクトバッファ内に得られた非圧縮グラフィクスをオブジェクトバッファからグラフィクスプレーンに転送する
ことを特徴とする再生装置。 - 前記コントローラは、現在の再生時点が、制御パケットのデコードタイムスタンプの値になれば、制御情報をコンポジションバッファに読み出した後、そのコンポジションバッファ内の制御情報に基づき、グラフィックスプレーンのクリアを開始し、
前記プロセッサは、現在の再生時点が、グラフィクスデータを格納したパケットのデコードタイムスタンプの値になれば、コントローラによるクリアとはパラレルに、グラフィクスデータのデコードを行い、オブジェクトバッファ内に非圧縮グラフィクスを得て、
前記コントローラは、現在の再生時点が、制御パケットのプレゼンテーションタイムスタンプの値になれば、オブジェクトバッファ内に得られた非圧縮グラフィクスをグラフィックスプレーンに書き込む
ことを特徴とする請求項1記載の再生装置。 - グラフィクスストリームはウィンドゥ定義パケットを含み、
前記コントローラは、タイプ情報がメモリ管理期間の始まりである旨を示している場合、グラフィックスプレーン全体のクリアを行い、
タイプ情報が、メモリ管理期間の始まりでない旨を示している場合、グラフィクスが配置されうるグラフィックスプレーンのうち、ウィンドゥ情報により示されるウィンドゥ領域をクリアする
ことを特徴とする請求項1記載の再生装置。 - ウィンドゥ定義パケットのデコードタイムスタンプの値は、
制御パケットのデコードタイムスタンプに示される時刻以降、グラフィクスデータを格納したパケットのデコードタイムスタンプに示される時刻以前を示しており、
ウィンドゥ定義パケットのプレゼンテーションタイムスタンプの値を参照して、非圧縮状態のグラフィクスをグラフィックスプレーンに書き込む
ことを特徴とする請求項3記載の再生装置。 - グラフィクスストリームは、グラフィクスデータ表示にあたっての色設定を規定するパレット情報を格納したパレット定義パケットを含み、
グラフィックスプレーンに格納されたグラフィクスの色変換を行う色変換部を備え、
前記コントローラは、
パレット定義パケットのプレゼンテーションタイムスタンプの値になれば、パレット情報を色変換部に設定する
ことを特徴とする請求項3記載の再生装置。 - 前記グラフィクスデータの個数は2つであり、
制御パケットのプレゼンテーションタイムスタンプ値は、制御パケットのデコードタイムスタンプ値に所定の値を足し合わせた値であり、
前記グラフィクスデータは2つであり、
所定の値とは、期間Xと、期間Yとの和であり、
期間Xは、
画面クリアに要する時間と、デコードされた1つ目のグラフィクスデータの書き込みに
要する時間との和(a)、及び、
2つのグラフィクスデータのデコードに要する総時間(b) のうち長いものであり、
期間Yは、
デコードされた2つ目のグラフィクスデータの画面への書き込みに要する時間を足し合
わせた時間であり、
前記コントローラは、現在の再生時点が、制御パケットのプレゼンテーションタイムスタンプの値になれば、グラフィックスプレーンの格納内容の表示を行う
ことを特徴とする請求項3記載の再生装置。 - 前記グラフィクスデータを格納したデータパケットは複数あり、
複数データパケットは、配列をなしており、データパケットの配列は、グラフィカルなボタン部材を構成するものであり、
グラフィクスデコーダは、グラフィカルなボタン部材を含む対話画面を、動画像に合成して表示させるものであり、
前記ボタン部材は、ノーマル状態、セレクテッド状態、アクティブ状態の何れかの状態をとり、
複数のグラフィクスデータ集合には、ボタン部材のノーマル状態を表すグラフィクスデータから構成される第1のグラフィクスデータ集合、ボタン部材のセレクテッド状態を表すグラフィクスデータから構成される第2のグラフィクスデータ集合、ボタン部材のアクティブ状態を表すグラフィクスデータから構成される第3のグラフィクスデータ集合があり、これらは第1のグラフィクスデータ集合、第2のグラフィクスデータ集合、第3のグラフィクスデータ集合の順に、シーケンシャルに並べられており、
前記コントローラは、
ビデオストリームの再生時点が、前記制御パケットのタイムスタンプに示される再生時点になった際、第1及び第2のグラフィクスデータ集合に属するグラフィクスデータを用いて対話画面の初期表示を行い、ユーザ操作がなされれば、残りのグラフィクスデータを用いて対話画面の更新を行う
ことを特徴とする請求項1記載の再生装置。 - 前記対話画面の初期表示のタイミングは、
前記対話画面の初期表示を構成する第2のグラフィクスデータ集合内のグラフィクスデータのうち、最後のもののデコード終了時刻と、所定の期間とを足し合わせた時刻であり、
所定の期間は、
初期表示のためのグラフィックスプレーンへの書き込みに要する期間に基づく
ことを特徴とする請求項7記載の再生装置。 - 対話画面の初期表示において、セレクテッド状態となるボタン部材が静的に決まっている場合、制御情報には、このボタン部材を指定するデフォルトセレクテッド情報が記述されており、
前記コントローラは、一つのボタンのセレクテッド状態を表す非圧縮のグラフィクスデータのうち、最初に表示されるものと、それ以外のボタンのノーマル状態を表す非圧縮のグラフィクスデータのうち、最初に表示されるものとのサイズから前記所定の期間を算出する
ことを特徴とする請求項8記載の再生装置。 - 対話画面の初期表示において、デフォルトでセレクテッド状態となるボタン部材が動的に変化する場合、前記所定の期間は、サイズTのデータを、グラフィックスプレーンに書き込むのに要する時間になり、
サイズTは、以下の式により与えられる各ボタンのサイズxを、全てのボタンについて足し合わせることで得られる値であり、
サイズx = max(N-first,S-first)
ここでN-firstは、ノーマル状態を表すグラフィクスデータのうち、最初に表示される
もの、
S-firstは、セレクテッド状態を表すグラフィクスデータのうち、最初に表示されるも
の、
max(a,b)は、a,bのうち、サイズが大きいものを示す関数である
ことを特徴とする請求項8記載の再生装置。 - 動画ストリーム、グラフィクスストリームが多重化されたデジタルストリームについての再生装置に組み込むことができる集積回路であって、
動画ストリームをデコードして動画像を得るビデオデコーダと、
グラフィクスを、動画像に合成して表示させるグラフィクスデコーダとを備え、
グラフィクスストリームは、複数パケットからなるパケット列であり、
パケットには、グラフィクスデータを格納したデータパケットと、制御情報を格納した制御パケットとがあり、
前記グラフィクスデコーダは、
動画ストリームの現在の再生時点が、グラフィクスデータを格納したパケットのデコードタイムスタンプに示される時点に達すれば、グラフィクスデータのデコードを開始し、同パケットのプレゼンテーションタイムスタンプの値に示される時点に達すれば、グラフィクスデータのデコードを終了するプロセッサと、
圧縮状態のグラフィクスデータを格納するコーデッドデータバッファと、
プロセッサのデコードにより得られた非圧縮状態のグラフィクスデータを格納するオブジェクトバッファと、
制御パケット内の制御情報を格納するコンポジションバッファと、
コンポジションバッファ内に存在する制御情報に従って、オブジェクトバッファ内のグラフィクスデータを、動画ストリームに合成して表示させる制御を実行するコントローラとを備え、
再生装置は、オブジェクトバッファに格納された非圧縮状態のグラフィクスデータのうち、表示に供されるべきものを格納するグラフィックスプレーンを備え、
前記コントローラは、
メモリ管理の始まりである旨を示すタイプ情報が制御情報内に含まれている場合、動画ストリームの現在の再生時点が、制御パケットのデコードタイムスタンプの値に到達した段階で、コーデッドデータバッファ、オブジェクトバッファ、コンポジションバッファをクリアすることでメモリ管理を開始して、制御パケットに含まれる制御情報を、コーデッドデータバッファからコンポジションバッファに読み出し、
先行する制御情報との差分のみを示すタイプ情報、先行する制御情報の複製物であるタイプ情報、メモリ管理が別のデジタルストリームから連続していることを示すタイプ情報の何れかが、制御情報に含まれている場合、動画ストリームの現在の再生時点が、制御パケットのデコードタイムスタンプの値に到達した段階で、前記クリアを行うことなく、制御パケットに含まれる制御情報を、コーデッドデータバッファからコンポジションバッファに読み出し、
動画ストリームの現在の再生時点が制御パケットのプレゼンテーションタイムスタンプの値に到達した段階で、コンポジションバッファに読み出された制御情報に従い、オブジェクトバッファ内に得られた非圧縮グラフィクスをオブジェクトバッファからグラフィクスプレーンに転送する
ことを特徴とする集積回路。 - 動画ストリーム、グラフィクスストリームが多重化されたデジタルストリームをコンピュータに再生させるプログラムであって、
グラフィクスストリームは、複数パケットからなるパケット列であり、
パケットには、グラフィクスデータを格納したものと、制御情報を格納したものとがあり、
前記制御情報には、先行する制御情報との差分のみを示す制御情報、先行する制御情報の複製物である制御情報、メモリ管理が別のデジタルストリームから連続していることを示す制御情報があり、
前記コンピュータは、デコーダ回路と、グラフィックスプレーンとを備え、
前記デコーダ回路は、
圧縮状態のグラフィクスデータを格納するコーデッドデータバッファと、
プロセッサのデコードにより得られた非圧縮状態のグラフィクスデータを格納するオブジェクトバッファと、
制御パケット内の制御情報を格納するコンポジションバッファとを備え、
前記グラフィクスプレーンは、オブジェクトバッファに格納された非圧縮状態のグラフィクスデータのうち、表示に供されるべきものを格納するものであり、
前記プログラムは、
メモリ管理の始まりである旨を示すタイプ情報が制御情報内に含まれている場合、動画ストリームの現在の再生時点が、制御パケットのデコードタイムスタンプの値に到達した段階で、コーデッドデータバッファ、オブジェクトバッファ、コンポジションバッファをクリアすることでメモリ管理を開始して、制御パケットに含まれる制御情報を、コーデッドデータバッファからコンポジションバッファに読み出す第1の手順、
先行する制御情報との差分のみを示すタイプ情報、先行する制御情報の複製物であるタイプ情報、メモリ管理が別のデジタルストリームから連続していることを示すタイプ情報の何れかが、制御情報に含まれている場合、動画ストリームの現在の再生時点が、制御パケットのデコードタイムスタンプの値に到達した段階で、前記クリアを行うことなく、制御パケットに含まれる制御情報を、コーデッドデータバッファからコンポジションバッファに読み出す第2の手順、
動画ストリームの現在の再生時点が、グラフィクスデータを格納したパケットのデコードタイムスタンプに示される時点に達すれば、コーデッドデータバッファに格納されたグラフィクスデータのデコードを開始し、同パケットのプレゼンテーションタイムスタンプの値に示される時点に達するまでに、非圧縮のグラフィクスをオブジェクトバッファに得る第3の手順、
動画ストリームの現在の再生時点が制御パケットのプレゼンテーションタイムスタンプの値に到達した段階で、コンポジションバッファに読み出された制御情報に従い、オブジェクトバッファ内に得られた非圧縮グラフィクスをオブジェクトバッファからグラフィクスプレーンに転送することで、当該非圧縮グラフィクスを動画ストリームに対応する動画像と合成して表示させる第4の手順
をコンピュータに行わせることを特徴とするプログラム。 - 動画ストリーム、グラフィクスストリームが多重化されたデジタルストリームをコンピュータ上で再生する再生方法であって、
グラフィクスストリームは、複数パケットからなるパケット列であり、
パケットには、グラフィクスデータを格納したものと、制御情報を格納したものとがあり、
前記制御情報には、先行する制御情報との差分のみを示す制御情報、先行する制御情報の複製物である制御情報、メモリ管理が別のデジタルストリームから連続していることを示す制御情報があり、
前記コンピュータは、デコーダ回路と、グラフィックスプレーンとを備え、
前記デコーダ回路は、
圧縮状態のグラフィクスデータを格納するコーデッドデータバッファと、
プロセッサのデコードにより得られた非圧縮状態のグラフィクスデータを格納するオブジェクトバッファと、
制御パケット内の制御情報を格納するコンポジションバッファとを備え、
前記グラフィクスプレーンは、オブジェクトバッファに格納された非圧縮状態のグラフィクスデータのうち、表示に供されるべきものを格納するものであり、
前記再生方法は、
メモリ管理の始まりである旨を示すタイプ情報が制御情報内に含まれている場合、動画ストリームの現在の再生時点が、制御パケットのデコードタイムスタンプの値に到達した段階で、コーデッドデータバッファ、オブジェクトバッファ、コンポジションバッファをクリアすることでメモリ管理を開始して、制御パケットに含まれる制御情報を、コーデッドデータバッファからコンポジションバッファに読み出す第1の手順、
先行する制御情報との差分のみを示すタイプ情報、先行する制御情報の複製物であるタイプ情報、メモリ管理が別のデジタルストリームから連続していることを示すタイプ情報の何れかが、制御情報に含まれている場合、動画ストリームの現在の再生時点が、制御パケットのデコードタイムスタンプの値に到達した段階で、前記クリアを行うことなく、制御パケットに含まれる制御情報を、コーデッドデータバッファからコンポジションバッファに読み出す第2の手順、
動画ストリームの現在の再生時点が、グラフィクスデータを格納したパケットのデコードタイムスタンプに示される時点に達すれば、コーデッドデータバッファに格納されたグラフィクスデータのデコードを開始し、同パケットのプレゼンテーションタイムスタンプの値に示される時点に達するまでに、非圧縮のグラフィクスをオブジェクトバッファに得る第3の手順、
動画ストリームの現在の再生時点が制御パケットのプレゼンテーションタイムスタンプの値に到達した段階で、コンポジションバッファに読み出された制御情報に従い、オブジェクトバッファ内に得られた非圧縮グラフィクスをオブジェクトバッファからグラフィクスプレーンに転送することで、当該非圧縮グラフィクスを動画ストリームに対応する動画像と合成して表示させる第4の手順
を有することを特徴とする再生方法。 - デジタルストリームが記録されている記録媒体と前記記録媒体を再生する再生装置とを備えた記録媒体再生システムであって、
前記デジタルストリームは、グラフィクスストリームと動画ストリームとを多重したものであり、グラフィクスストリームは、複数パケットからなるパケット列であり、
グラフィクスストリームを構成するパケットには、グラフィクスデータを格納したデータパケットと、制御情報を格納した制御パケットとがあり、
データパケットのタイムスタンプの値は、グラフィクスデータのデコードタイミングを示し、
制御パケットは、デコードタイムスタンプと、プレゼンテーションタイムスタンプとを有し、
前記制御情報はタイプ情報を有しており、
前記タイプ情報がメモリ管理の始まりである旨を示す場合、
プレゼンテーションタイムスタンプの値は、デコードされたグラフィクスデータを、動画ストリームに合成して表示させるタイミングを示し、
前記デコードタイムスタンプの値は、デジタルストリームの再生時間軸におけるメモリ管理の開始時点、及び、当該制御情報をメモリに読み出すタイミングを示し、
前記タイプ情報が先行する制御情報との差分のみを示すタイプ、先行する制御情報の複製物であるタイプ、メモリ管理が別のデジタルストリームから連続していることを示すタイプの何れかである場合、
デコードタイムスタンプの値は、制御情報を、再生装置のメモリに読み出すタイミングを示し、プレゼンテーションタイムスタンプの値は、デコードされたグラフィクスデータを、動画ストリームに合成して表示させるタイミングを示し、
前記再生装置は、
動画ストリームをデコードして動画像を得るビデオデコーダと、
グラフィクスを、動画像に合成して表示させるグラフィクスデコーダとを備え、
グラフィクスストリームは、複数パケットからなるパケット列であり、
パケットには、グラフィクスデータを格納したデータパケットと、制御情報を格納した制御パケットとがあり、
前記グラフィクスデコーダは、
動画ストリームの現在の再生時点が、グラフィクスデータを格納したパケットのデコードタイムスタンプに示される時点に達すれば、グラフィクスデータのデコードを開始し、同パケットのプレゼンテーションタイムスタンプの値に示される時点に達すれば、グラフィクスデータのデコードを終了するプロセッサと、
圧縮状態のグラフィクスデータを格納するコーデッドデータバッファと、
プロセッサのデコードにより得られた非圧縮状態のグラフィクスデータを格納するオブジェクトバッファと、
制御パケット内の制御情報を格納するコンポジションバッファと、
コンポジションバッファ内に存在する制御情報に従って、オブジェクトバッファ内のグラフィクスデータを、動画ストリームに合成して表示させる制御を実行するコントローラとを備え、
再生装置は、オブジェクトバッファに格納された非圧縮状態のグラフィクスデータのうち、表示に供されるべきものを格納するグラフィックスプレーンを備え、
前記コントローラは、
メモリ管理の始まりである旨を示すタイプ情報が制御情報内に含まれている場合、動画ストリームの現在の再生時点が、制御パケットのデコードタイムスタンプの値に到達した段階で、コーデッドデータバッファ、オブジェクトバッファ、コンポジションバッファをクリアすることでメモリ管理を開始して、制御パケットに含まれる制御情報を、コーデッドデータバッファからコンポジションバッファに読み出し、
先行する制御情報との差分のみを示すタイプ情報、先行する制御情報の複製物であるタイプ情報、メモリ管理が別のデジタルストリームから連続していることを示すタイプ情報の何れかが、制御情報に含まれている場合、動画ストリームの現在の再生時点が、制御パケットのデコードタイムスタンプの値に到達した段階で、前記クリアを行うことなく、制御パケットに含まれる制御情報を、コーデッドデータバッファからコンポジションバッファに読み出し、
動画ストリームの現在の再生時点が制御パケットのプレゼンテーションタイムスタンプの値に到達した段階で、コンポジションバッファに読み出された制御情報に従い、オブジェクトバッファ内に得られた非圧縮グラフィクスをオブジェクトバッファからグラフィクスプレーンに転送する
ことを特徴とする記録媒体再生システム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US48520703P | 2003-07-03 | 2003-07-03 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006516863A Division JP3993626B2 (ja) | 2003-07-03 | 2004-07-05 | 再生装置,集積回路,プログラム,再生方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2007097197A JP2007097197A (ja) | 2007-04-12 |
JP2007097197A5 JP2007097197A5 (ja) | 2007-07-12 |
JP4048220B2 true JP4048220B2 (ja) | 2008-02-20 |
Family
ID=33564048
Family Applications (8)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006516863A Expired - Lifetime JP3993626B2 (ja) | 2003-07-03 | 2004-07-05 | 再生装置,集積回路,プログラム,再生方法 |
JP2006283107A Expired - Fee Related JP4048220B2 (ja) | 2003-07-03 | 2006-10-17 | 再生装置,集積回路,プログラム,再生方法、記録媒体再生システム |
JP2007129191A Expired - Fee Related JP4022567B2 (ja) | 2003-07-03 | 2007-05-15 | 再生装置,集積回路,プログラム,再生方法 |
JP2007129190A Expired - Lifetime JP4283860B2 (ja) | 2003-07-03 | 2007-05-15 | 再生装置、再生方法、記録装置、記録方法 |
JP2008279456A Expired - Lifetime JP4287500B2 (ja) | 2003-07-03 | 2008-10-30 | 再生装置、再生方法、記録装置、記録方法 |
JP2008279457A Expired - Fee Related JP4774431B2 (ja) | 2003-07-03 | 2008-10-30 | 再生装置,再生方法,記録媒体,記録装置,記録方法 |
JP2009118702A Expired - Fee Related JP4990932B2 (ja) | 2003-07-03 | 2009-05-15 | 再生装置、再生方法、記録装置、記録方法、再生プログラム、集積回路 |
JP2009118704A Expired - Fee Related JP5059805B2 (ja) | 2003-07-03 | 2009-05-15 | 再生装置、再生方法、記録装置、記録方法、再生プログラム |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006516863A Expired - Lifetime JP3993626B2 (ja) | 2003-07-03 | 2004-07-05 | 再生装置,集積回路,プログラム,再生方法 |
Family Applications After (6)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007129191A Expired - Fee Related JP4022567B2 (ja) | 2003-07-03 | 2007-05-15 | 再生装置,集積回路,プログラム,再生方法 |
JP2007129190A Expired - Lifetime JP4283860B2 (ja) | 2003-07-03 | 2007-05-15 | 再生装置、再生方法、記録装置、記録方法 |
JP2008279456A Expired - Lifetime JP4287500B2 (ja) | 2003-07-03 | 2008-10-30 | 再生装置、再生方法、記録装置、記録方法 |
JP2008279457A Expired - Fee Related JP4774431B2 (ja) | 2003-07-03 | 2008-10-30 | 再生装置,再生方法,記録媒体,記録装置,記録方法 |
JP2009118702A Expired - Fee Related JP4990932B2 (ja) | 2003-07-03 | 2009-05-15 | 再生装置、再生方法、記録装置、記録方法、再生プログラム、集積回路 |
JP2009118704A Expired - Fee Related JP5059805B2 (ja) | 2003-07-03 | 2009-05-15 | 再生装置、再生方法、記録装置、記録方法、再生プログラム |
Country Status (16)
Country | Link |
---|---|
US (3) | US8280230B2 (ja) |
EP (6) | EP1814327B1 (ja) |
JP (8) | JP3993626B2 (ja) |
KR (2) | KR101036991B1 (ja) |
CN (6) | CN101740076B (ja) |
AT (4) | ATE373387T1 (ja) |
AU (2) | AU2004300623C1 (ja) |
CA (1) | CA2528585C (ja) |
DE (4) | DE602004014042D1 (ja) |
ES (2) | ES2356582T3 (ja) |
PL (2) | PL1940166T3 (ja) |
PT (2) | PT2088779E (ja) |
RU (2) | RU2477574C2 (ja) |
TW (2) | TWI460720B (ja) |
WO (1) | WO2005004478A1 (ja) |
ZA (1) | ZA200509946B (ja) |
Families Citing this family (44)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8737810B2 (en) | 2002-11-15 | 2014-05-27 | Thomson Licensing | Method and apparatus for cropping of subtitle elements |
DE602004027676D1 (de) | 2003-02-28 | 2010-07-22 | Panasonic Corp | Aufzeichnungsmedium, Wiedergabevorrichtung, Aufzeichnungsverfahren, Programm und Wiedergabeverfahren |
KR100967737B1 (ko) | 2003-06-30 | 2010-07-05 | 파나소닉 주식회사 | 기록매체, 재생장치, 기록방법, 재생방법 |
KR20050012328A (ko) * | 2003-07-25 | 2005-02-02 | 엘지전자 주식회사 | 고밀도 광디스크의 프레젠테이션 그래픽 데이터 관리 및재생방법과 그에 따른 고밀도 광디스크 |
RU2358337C2 (ru) * | 2003-07-24 | 2009-06-10 | Эл Джи Электроникс Инк. | Носитель записи, имеющий структуру данных для управления воспроизведением данных текстовых субтитров, записанных на нем, и устройства и способы записи и воспроизведения |
KR20050035678A (ko) * | 2003-10-14 | 2005-04-19 | 엘지전자 주식회사 | 광디스크 장치의 부가 데이터 재생방법 및 장치와, 이를위한 광디스크 |
KR20050036277A (ko) * | 2003-10-15 | 2005-04-20 | 엘지전자 주식회사 | 고밀도 광디스크의 네비게이션 정보 관리방법 |
JP4170362B2 (ja) * | 2003-11-12 | 2008-10-22 | 松下電器産業株式会社 | 記録媒体、再生装置、記録方法、プログラム、再生方法 |
KR20050072256A (ko) * | 2004-01-06 | 2005-07-11 | 엘지전자 주식회사 | 고밀도 광디스크의 메뉴 사운드 구성방법 및 재생방법과기록재생장치 |
CN101778301B (zh) | 2004-01-13 | 2012-09-26 | 松下电器产业株式会社 | 记录介质、重放装置、记录方法、程序和重放方法 |
WO2005120061A1 (ja) * | 2004-06-02 | 2005-12-15 | Matsushita Electric Industrial Co., Ltd. | 記録媒体、再生装置、プログラム、再生方法 |
US20080002947A1 (en) * | 2004-02-06 | 2008-01-03 | Wataru Ikeda | Recording medium, reproduction device, program and reproduction method |
US8391672B2 (en) * | 2004-02-06 | 2013-03-05 | Panasonic Corporation | Recording medium, reproduction device, program, and reproduction method |
KR100561417B1 (ko) * | 2004-02-09 | 2006-03-16 | 삼성전자주식회사 | Av 데이터의 재생상태를 전환할 수 있는 인터랙티브그래픽 스트림을 기록한 정보저장매체, 그 재생방법 및 장치 |
KR20050089353A (ko) * | 2004-03-04 | 2005-09-08 | 엘지전자 주식회사 | 고밀도 광디스크와 그에 따른 데이터 파일 구성 방법 및재생 방법과 장치 |
EP1718073B1 (en) * | 2004-02-17 | 2011-12-28 | Panasonic Corporation | Recording medium, reproduction device, program, and reproduction method |
JP2007529821A (ja) * | 2004-03-15 | 2007-10-25 | トムソン ライセンシング | 効率的なビデオのリサンプリング方法 |
KR101102398B1 (ko) * | 2004-03-18 | 2012-01-05 | 엘지전자 주식회사 | 기록매체 및 기록매체상에 기록된 텍스트 서브타이틀스트림 재생 방법과 장치 |
CN101241744B (zh) * | 2004-03-26 | 2012-09-12 | Lg电子株式会社 | 用于再现记录在记录介质上的文本字幕流的记录介质、方法和装置 |
RU2378722C2 (ru) | 2004-03-26 | 2010-01-10 | ЭлДжи ЭЛЕКТРОНИКС ИНК. | Носитель записи, способ и устройство для воспроизведения потоков текстовых субтитров |
JP4692950B2 (ja) * | 2004-06-11 | 2011-06-01 | ソニー株式会社 | データ処理装置およびデータ処理方法、プログラムおよびプログラム記録媒体、並びにデータ記録媒体 |
US8000580B2 (en) * | 2004-11-12 | 2011-08-16 | Panasonic Corporation | Recording medium, playback apparatus and method, recording method, and computer-readable program |
WO2006095933A1 (en) * | 2005-03-08 | 2006-09-14 | Samsung Electronics Co., Ltd. | An storage medium including data structure for reproducing interactive graphic streams supporting multiple languages seamlessly, apparatus and method therefor |
KR20080016999A (ko) * | 2005-04-26 | 2008-02-25 | 톰슨 라이센싱 | 동기화된 스트림 패킹 |
CN101228584B (zh) * | 2005-07-27 | 2010-12-15 | 松下电器产业株式会社 | 信息记录装置以及记录方法 |
US20080238938A1 (en) * | 2005-08-29 | 2008-10-02 | Eklund Don | Effects for interactive graphic data in disc authoring |
WO2007032123A1 (ja) * | 2005-09-14 | 2007-03-22 | Matsushita Electric Industrial Co., Ltd. | マルチストリーム復号装置 |
US20070218444A1 (en) * | 2006-03-02 | 2007-09-20 | David Konetski | System and method for presenting karaoke audio features from an optical medium |
US20070206929A1 (en) * | 2006-03-02 | 2007-09-06 | David Konetski | System and method for presenting karaoke audio and video features from an optical medium |
JP5001584B2 (ja) | 2006-06-06 | 2012-08-15 | ソニー株式会社 | オーサリング装置、オーサリング方法、オーサリングプログラム、記録装置、記録方法および記録プログラム、検証装置、検証方法および検証プログラム、ならびに、記録媒体の製造装置および製造方法 |
US7895560B2 (en) * | 2006-10-02 | 2011-02-22 | William Stuart Lovell | Continuous flow instant logic binary circuitry actively structured by code-generated pass transistor interconnects |
US7852339B2 (en) * | 2006-10-23 | 2010-12-14 | Intel Corporation | Video composition optimization by the identification of transparent and opaque regions |
WO2009083885A1 (en) | 2007-12-26 | 2009-07-09 | Koninklijke Philips Electronics N.V. | Image processor for overlaying a graphics object |
JP4518194B2 (ja) * | 2008-06-10 | 2010-08-04 | ソニー株式会社 | 生成装置、生成方法、及び、プログラム |
MY151243A (en) * | 2008-09-30 | 2014-04-30 | Panasonic Corp | Recording medium, playback device, system lsi, playback method, glasses, and display device for 3d images |
JP4985807B2 (ja) * | 2009-04-15 | 2012-07-25 | ソニー株式会社 | 再生装置および再生方法 |
US8164619B2 (en) * | 2009-09-25 | 2012-04-24 | Panasonic Corporation | Recording medium, playback device, and integrated circuit |
US8521006B2 (en) * | 2010-05-06 | 2013-08-27 | Intel Corporation | Boundary detection in media streams |
US9160960B2 (en) * | 2010-12-02 | 2015-10-13 | Microsoft Technology Licensing, Llc | Video preview based browsing user interface |
EP2597876A1 (en) * | 2011-11-24 | 2013-05-29 | Koninklijke Philips Electronics N.V. | Interlaced 3D video |
KR20140031758A (ko) * | 2012-09-05 | 2014-03-13 | 삼성전자주식회사 | 포인팅 디바이스를 이용하여 aⅴ 데이터의 메뉴를 제어하기 위한 인터랙티브 그래픽 데이터를 기록한 정보저장매체, 그 재생방법 및 장치 |
US9813325B2 (en) | 2012-12-27 | 2017-11-07 | Comcast Cable Communications, Llc | Information stream management |
GB2556612B (en) * | 2016-04-18 | 2022-03-09 | Grass Valley Ltd | Monitoring audio-visual content with captions |
GB2557194A (en) * | 2016-11-29 | 2018-06-20 | Sony Corp | A decoder, encoder, computer program and method |
Family Cites Families (68)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US540460A (en) * | 1895-06-04 | Piston for air-engines | ||
GB9405914D0 (en) | 1994-03-24 | 1994-05-11 | Discovision Ass | Video decompression |
EP0576749B1 (en) | 1992-06-30 | 1999-06-02 | Discovision Associates | Data pipeline system |
DE1073767B (de) * | 1958-02-27 | 1960-01-21 | Fa. Carl Zeiss, Heidenheim/Brenz | Unsymmetrisches photographisches Objektiv |
US4918624A (en) * | 1988-02-05 | 1990-04-17 | The United States Of America As Represented By The United States Department Of Energy | Vector generator scan converter |
EP0500913B1 (en) | 1990-09-19 | 1998-01-21 | Koninklijke Philips Electronics N.V. | System comprising a record carrier and a reading device |
US6417859B1 (en) | 1992-06-30 | 2002-07-09 | Discovision Associates | Method and apparatus for displaying video data |
US6067417A (en) | 1992-06-30 | 2000-05-23 | Discovision Associates | Picture start token |
US6112017A (en) | 1992-06-30 | 2000-08-29 | Discovision Associates | Pipeline processing machine having a plurality of reconfigurable processing stages interconnected by a two-wire interface bus |
US6330665B1 (en) | 1992-06-30 | 2001-12-11 | Discovision Associates | Video parser |
US6435737B1 (en) | 1992-06-30 | 2002-08-20 | Discovision Associates | Data pipeline system and data encoding method |
US5784631A (en) | 1992-06-30 | 1998-07-21 | Discovision Associates | Huffman decoder |
US6079009A (en) | 1992-06-30 | 2000-06-20 | Discovision Associates | Coding standard token in a system compromising a plurality of pipeline stages |
US7095783B1 (en) | 1992-06-30 | 2006-08-22 | Discovision Associates | Multistandard video decoder and decompression system for processing encoded bit streams including start codes and methods relating thereto |
US6034674A (en) | 1992-06-30 | 2000-03-07 | Discovision Associates | Buffer manager |
US5809270A (en) | 1992-06-30 | 1998-09-15 | Discovision Associates | Inverse quantizer |
US5768561A (en) | 1992-06-30 | 1998-06-16 | Discovision Associates | Tokens-based adaptive video processing arrangement |
US6047112A (en) | 1992-06-30 | 2000-04-04 | Discovision Associates | Technique for initiating processing of a data stream of encoded video information |
JPH06121263A (ja) | 1992-10-08 | 1994-04-28 | Sony Corp | 映像信号の記録方法 |
JPH06275054A (ja) * | 1993-03-24 | 1994-09-30 | Kyocera Corp | Cd−gのグラフィックデータ再生処理方法 |
DE69407471T2 (de) | 1993-04-19 | 1998-06-18 | Koninkl Philips Electronics Nv | BiCMOS Gegentaktleistungstreiber mit geringer Phasenverschiebung |
US5699544A (en) | 1993-06-24 | 1997-12-16 | Discovision Associates | Method and apparatus for using a fixed width word for addressing variable width data |
US5861894A (en) | 1993-06-24 | 1999-01-19 | Discovision Associates | Buffer manager |
US5805914A (en) | 1993-06-24 | 1998-09-08 | Discovision Associates | Data pipeline system and data encoding method |
ATE179293T1 (de) | 1993-08-20 | 1999-05-15 | Thomson Consumer Electronics | Fernsehbildunterschrift-system fur anwendung mit komprimierter numerischer fernseh-ubertragung |
CA2145365C (en) | 1994-03-24 | 1999-04-27 | Anthony M. Jones | Method for accessing banks of dram |
CA2145379C (en) | 1994-03-24 | 1999-06-08 | William P. Robbins | Method and apparatus for addressing memory |
CA2145361C (en) | 1994-03-24 | 1999-09-07 | Martin William Sotheran | Buffer manager |
JP2931755B2 (ja) | 1994-04-14 | 1999-08-09 | 株式会社東芝 | データ再生装置、データエンコード装置、データエンコード方法及びデータ再生システム |
US5703793A (en) | 1994-07-29 | 1997-12-30 | Discovision Associates | Video decompression |
US5771075A (en) * | 1994-12-08 | 1998-06-23 | Lg Electronics Inc. | Audio/video synchronizer |
US5930450A (en) * | 1995-02-28 | 1999-07-27 | Kabushiki Kaisha Toshiba | Recording medium, apparatus and method of recording data on the same, and apparatus and method of reproducing data from the recording medium |
KR100256663B1 (ko) * | 1995-04-11 | 2000-05-15 | 니시무로 타이죠 | 데이타 기록 매체 |
US6119213A (en) | 1995-06-07 | 2000-09-12 | Discovision Associates | Method for addressing data having variable data width using a fixed number of bits for address and width defining fields |
TW293981B (ja) | 1995-07-21 | 1996-12-21 | Philips Electronics Nv | |
US20020044757A1 (en) * | 1995-08-04 | 2002-04-18 | Sony Corporation | Information carrier, device for reading and device for providing the information carrier and method of transmitting picture information |
EP0788094A4 (en) * | 1995-08-21 | 1998-06-24 | Matsushita Electric Ind Co Ltd | MULTIMEDIA OPTICAL DISK WHICH CAN COMPLETELY GENERATE UNEXPECTED SCENES THROUGH INTERACTIVE CONTROL, THEIR PLAYBACK DEVICE AND PLAYBACK METHOD |
JP3356768B2 (ja) * | 1995-08-21 | 2002-12-16 | 松下電器産業株式会社 | 記録方法、再生装置 |
MY115648A (en) * | 1995-08-23 | 2003-08-30 | Sony Corp | Encoding/decoding fields of predetermined field polarity apparatus and method |
TW436777B (en) * | 1995-09-29 | 2001-05-28 | Matsushita Electric Ind Co Ltd | A method and an apparatus for reproducing bitstream having non-sequential system clock data seamlessly therebetween |
EP0918438B1 (en) * | 1995-09-29 | 2001-08-29 | Matsushita Electric Industrial Co., Ltd. | Bitstream generating method, optical disc, reproduction apparatus and method for recording and reproducing interleaved bitstream on and from an optical disc |
JPH09282848A (ja) * | 1996-04-05 | 1997-10-31 | Pioneer Electron Corp | 情報記録媒体並びにその記録装置及び再生装置 |
US6567612B2 (en) * | 1996-04-05 | 2003-05-20 | Pioneer Electronic Corporation | Information record medium, apparatus for recording the same and apparatus for reproducing the same |
US6381398B1 (en) * | 1996-11-13 | 2002-04-30 | Matsushita Electric Industrial Co., Ltd. | Apparatus and method of generating bit stream for information recording disc storage which enables seamless reproduction of a plurality of pieces of image information, and recording medium on which program applied to the generating apparatus is recorded |
JP4416846B2 (ja) * | 1997-08-22 | 2010-02-17 | ソニー株式会社 | メニュー制御用データを記録したコンピュータ読み取り可能な記録媒体ならびにメニュー制御方法および装置 |
US5929857A (en) * | 1997-09-10 | 1999-07-27 | Oak Technology, Inc. | Method and apparatus for dynamically constructing a graphic user interface from a DVD data stream |
JP3185863B2 (ja) * | 1997-09-22 | 2001-07-11 | 日本電気株式会社 | データ多重化方法および装置 |
CN1253017C (zh) | 1997-12-15 | 2006-04-19 | 松下电器产业株式会社 | 用于把视频目标记录在光盘上的记录设备及其方法 |
JP3407287B2 (ja) * | 1997-12-22 | 2003-05-19 | 日本電気株式会社 | 符号化復号システム |
DE69943190D1 (de) * | 1998-03-02 | 2011-03-31 | Panasonic Corp | Verfahren und Vorrichtung zur Fernladung eines gewünschten Teils eines kontinuierlichen Mediums mit erhöhter Genauigkeit |
KR100604363B1 (ko) * | 1998-03-19 | 2006-07-25 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 디지탈 정보신호를 인코딩된 형태 및 인코딩되지 않은형태로 교대로 송신하는 송신장치 |
JP2000100073A (ja) * | 1998-09-28 | 2000-04-07 | Sony Corp | 記録装置および方法、再生装置および方法、記録媒体、並びに提供媒体 |
CN1169150C (zh) * | 1998-10-12 | 2004-09-29 | 松下电器产业株式会社 | 用于记录或再现信息记录介质中的数据的装置和方法 |
JP2000152179A (ja) * | 1998-11-17 | 2000-05-30 | Pioneer Electronic Corp | 映像データ再生方法、映像データ再生装置、映像データ記録方法及び映像データ記録装置 |
ID24586A (id) | 1998-12-21 | 2000-07-27 | Matsushita Electric Ind Co Ltd | Perangkat dan metode penyelarasan waktu dengan menggunakan modul basis waktu dan resolusi peningkatan waktu |
WO2000042773A1 (en) | 1999-01-19 | 2000-07-20 | Sony Electronics Inc. | System and method for implementing interactive video |
JP3805985B2 (ja) * | 1999-02-18 | 2006-08-09 | 株式会社東芝 | ストリームデータの情報記憶媒体、その記録方法、再生方法、記録装置および再生装置 |
US7010032B1 (en) * | 1999-03-12 | 2006-03-07 | Kabushiki Kaisha Toshiba | Moving image coding apparatus and decoding apparatus |
US7099561B1 (en) * | 1999-08-20 | 2006-08-29 | Thomson Licensing | User interface and processing system for digital video, audio and ancillary data |
US8024767B1 (en) * | 1999-09-14 | 2011-09-20 | Ati Technologies Ulc | Method and apparatus for receiving digital video signals |
WO2001031497A1 (en) | 1999-10-22 | 2001-05-03 | Activesky, Inc. | An object oriented video system |
GB0007870D0 (en) | 2000-03-31 | 2000-05-17 | Koninkl Philips Electronics Nv | Methods and apparatus for making and replauing digital video recordings, and recordings made by such methods |
KR100364733B1 (ko) * | 2000-07-18 | 2002-12-16 | 엘지전자 주식회사 | 디지털 티브이의 아날로그/디지털 오에스디 제어장치 |
EP1367587B1 (en) * | 2001-03-08 | 2012-05-30 | Sony Corporation | Data recorder |
JP3656248B2 (ja) | 2001-10-09 | 2005-06-08 | ソニー株式会社 | ビデオ信号記録装置および方法、ビデオ信号再生装置および方法、記録媒体、プログラム、並びにデータ構造 |
TW200300928A (en) | 2001-11-30 | 2003-06-16 | Sony Corportion | Information processing method and apparatus, program storage medium, program and information recording medium |
DE602004027676D1 (de) | 2003-02-28 | 2010-07-22 | Panasonic Corp | Aufzeichnungsmedium, Wiedergabevorrichtung, Aufzeichnungsverfahren, Programm und Wiedergabeverfahren |
KR20050004339A (ko) | 2003-07-02 | 2005-01-12 | 엘지전자 주식회사 | 고밀도 광디스크의 그래픽 데이터 관리방법 및 그에 따른고밀도 광디스크 |
-
2004
- 2004-07-05 US US10/561,418 patent/US8280230B2/en active Active
- 2004-07-05 AT AT04747341T patent/ATE373387T1/de not_active IP Right Cessation
- 2004-07-05 DE DE602004014042T patent/DE602004014042D1/de not_active Expired - Lifetime
- 2004-07-05 PT PT09161479T patent/PT2088779E/pt unknown
- 2004-07-05 AT AT07104459T patent/ATE396587T1/de not_active IP Right Cessation
- 2004-07-05 AU AU2004300623A patent/AU2004300623C1/en not_active Ceased
- 2004-07-05 EP EP07104459A patent/EP1814327B1/en not_active Expired - Lifetime
- 2004-07-05 RU RU2008108075/07A patent/RU2477574C2/ru not_active IP Right Cessation
- 2004-07-05 ES ES08152382T patent/ES2356582T3/es not_active Expired - Lifetime
- 2004-07-05 JP JP2006516863A patent/JP3993626B2/ja not_active Expired - Lifetime
- 2004-07-05 EP EP10178783A patent/EP2259582B1/en not_active Expired - Lifetime
- 2004-07-05 ES ES09161479T patent/ES2356590T3/es not_active Expired - Lifetime
- 2004-07-05 DE DE602004008922T patent/DE602004008922T2/de not_active Expired - Lifetime
- 2004-07-05 KR KR1020057024964A patent/KR101036991B1/ko active IP Right Grant
- 2004-07-05 EP EP08152382A patent/EP1940166B1/en not_active Expired - Lifetime
- 2004-07-05 PL PL08152382T patent/PL1940166T3/pl unknown
- 2004-07-05 EP EP04747341A patent/EP1645122B1/en not_active Expired - Lifetime
- 2004-07-05 EP EP09161479A patent/EP2088779B1/en not_active Expired - Lifetime
- 2004-07-05 CN CN2009102251696A patent/CN101740076B/zh not_active Expired - Fee Related
- 2004-07-05 WO PCT/JP2004/009873 patent/WO2005004478A1/en active IP Right Grant
- 2004-07-05 DE DE602004030836T patent/DE602004030836D1/de not_active Expired - Lifetime
- 2004-07-05 RU RU2006103074/09A patent/RU2329611C2/ru not_active IP Right Cessation
- 2004-07-05 CN CN200910225170.9A patent/CN101740077B/zh not_active Expired - Fee Related
- 2004-07-05 AT AT08152382T patent/ATE493844T1/de active
- 2004-07-05 CA CA2528585A patent/CA2528585C/en not_active Expired - Lifetime
- 2004-07-05 CN CN2009102251677A patent/CN101729914B/zh not_active Expired - Fee Related
- 2004-07-05 CN CN2009102251662A patent/CN101790066B/zh not_active Expired - Fee Related
- 2004-07-05 TW TW100123152A patent/TWI460720B/zh not_active IP Right Cessation
- 2004-07-05 KR KR1020107026926A patent/KR101051821B1/ko active IP Right Grant
- 2004-07-05 CN CN200480018976A patent/CN100579194C/zh not_active Expired - Fee Related
- 2004-07-05 TW TW093120130A patent/TWI359408B/zh not_active IP Right Cessation
- 2004-07-05 PL PL09161479T patent/PL2088779T3/pl unknown
- 2004-07-05 CN CN2009102251681A patent/CN101729915B/zh not_active Expired - Fee Related
- 2004-07-05 AT AT09161479T patent/ATE494731T1/de active
- 2004-07-05 EP EP10178785A patent/EP2259583B1/en not_active Expired - Lifetime
- 2004-07-05 DE DE602004030960T patent/DE602004030960D1/de not_active Expired - Lifetime
- 2004-07-05 PT PT08152382T patent/PT1940166E/pt unknown
-
2005
- 2005-12-07 ZA ZA200509946A patent/ZA200509946B/en unknown
-
2006
- 2006-10-17 JP JP2006283107A patent/JP4048220B2/ja not_active Expired - Fee Related
-
2007
- 2007-05-15 JP JP2007129191A patent/JP4022567B2/ja not_active Expired - Fee Related
- 2007-05-15 JP JP2007129190A patent/JP4283860B2/ja not_active Expired - Lifetime
-
2008
- 2008-10-30 JP JP2008279456A patent/JP4287500B2/ja not_active Expired - Lifetime
- 2008-10-30 JP JP2008279457A patent/JP4774431B2/ja not_active Expired - Fee Related
-
2009
- 2009-05-07 US US12/437,492 patent/US8682146B2/en not_active Expired - Fee Related
- 2009-05-07 US US12/437,477 patent/US8369690B2/en not_active Expired - Fee Related
- 2009-05-15 JP JP2009118702A patent/JP4990932B2/ja not_active Expired - Fee Related
- 2009-05-15 JP JP2009118704A patent/JP5059805B2/ja not_active Expired - Fee Related
- 2009-12-03 AU AU2009243537A patent/AU2009243537B2/en not_active Ceased
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4048220B2 (ja) | 再生装置,集積回路,プログラム,再生方法、記録媒体再生システム | |
JP4245652B2 (ja) | 再生装置、記録方法、再生方法 | |
JP4027401B2 (ja) | 記録方法 | |
JP2008262679A (ja) | 記録媒体、再生装置、記録方法、プログラム、再生方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070528 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070528 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20070528 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20070726 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070807 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070926 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071030 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071126 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101130 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4048220 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111130 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121130 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121130 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131130 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |