JP4845975B2 - 映像フレームのシーケンスを提供するための装置および方法、シーンモデルを提供するための装置および方法、シーンモデル、メニュー構造を作成するための装置および方法およびコンピュータ・プログラム - Google Patents
映像フレームのシーケンスを提供するための装置および方法、シーンモデルを提供するための装置および方法、シーンモデル、メニュー構造を作成するための装置および方法およびコンピュータ・プログラム Download PDFInfo
- Publication number
- JP4845975B2 JP4845975B2 JP2008558656A JP2008558656A JP4845975B2 JP 4845975 B2 JP4845975 B2 JP 4845975B2 JP 2008558656 A JP2008558656 A JP 2008558656A JP 2008558656 A JP2008558656 A JP 2008558656A JP 4845975 B2 JP4845975 B2 JP 4845975B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- sequence
- scene model
- user
- menu
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 52
- 238000004590 computer program Methods 0.000 title claims description 11
- 230000007704 transition Effects 0.000 claims description 93
- 239000000463 material Substances 0.000 claims description 31
- 230000008569 process Effects 0.000 claims description 12
- 238000006467 substitution reaction Methods 0.000 claims description 7
- 230000000694 effects Effects 0.000 description 32
- 230000008859 change Effects 0.000 description 13
- 238000009877 rendering Methods 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 5
- 230000002452 interceptive effect Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 230000005012 migration Effects 0.000 description 3
- 238000013508 migration Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 241001085205 Prenanthella exigua Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000002730 additional effect Effects 0.000 description 1
- 238000007630 basic procedure Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 101150115538 nero gene Proteins 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
- G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/34—Indicating arrangements
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B2220/00—Record carriers by type
- G11B2220/20—Disc-shaped record carriers
- G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
- G11B2220/2537—Optical discs
- G11B2220/2562—DVDs [digital versatile discs]; Digital video discs; MMCDs; HDCDs
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Processing Or Creating Images (AREA)
Description
映像フレームのシーケンスがシーンモデルの特定のシーンモデル・オブジェクトの特定の表面上に、または、シーンモデルの特定のシーンモデル・オブジェクトの代わりとして、ユーザ提供内容を示すことによって能率的に、そして柔軟に発生することができることが、本発明についての鍵となる考えである。
あるいは、三次元のユーザ提供オブジェクト(または、ユーザ提供内容)は、ユーザ提供三次元オブジェクトによってシーンモデル内で識別された代替オブジェクトを置き換えることによってシーンモデルに関して記述されている映像フレームのシーケンスに取り込むことができる。
代替オブジェクトは、所定の名前または所定のオブジェクト特性によって識別されることができる。与えられた内容は、シーンモデルおよびユーザ提供内容に基づいて複数の映像フレームのシーケンスを生産するように構成されている映像フレーム発生器によって、シーンモデルに取り込むことができる。
本発明は、請求項25による映像メディアのメニュー構造を作成する装置を作製する。
映像のメニュー構造を作成する発明の方法は、映像構造がメニュー構造関連情報をシーンモデルと結合することによってメニュー構造関連情報に自動的に適合する効果を持ってくる。したがって、メニュー構造を作成する装置によって発生する映像フレームは、メニュー構造関連情報を使用して適応させられる。
本発明の更に有利な実施例は、従属クレームによって示されている。
本発明の好ましい実施例は、図面を参照して記載されている。
また、ユーザ提供内容114は、例えば、イメージ、映像フレーム、映像フレームのシーケンスまたは少なくとも1つの2次元または3次元オブジェクトの記述を含む。
以下に、シーンモデル112に関する詳細、ユーザ提供内容114および映像フレームのシーケンス116の生成について記載する。
換言すれば、シーンモデル200は、少なくとも1つのオブジェクト(例えば、立方体210)の定義、少なくとも1つのオブジェクトの特徴(例えば、名前または特性)および、オプションとして、観測者に関する特徴を含み、観測点212にいる観測者にとって見ることができるシーンモデル200の一部を定めている。
シーンモデルのリストが、例えば、構造記述言語(例えば、XML記述言語または所有権を有する記述言語)で定められることができ、シーンモデルのリストが記述の考えられるあらゆる形をとることができる点に注意されなければならない。また、以下の実施例で概説されるすべての特徴が任意であると考えるべきであり、他の特徴と置き換えられることができ、または、完全に省略することができる点に留意する必要がある。
さらに、シーンモデル200の記述300は、立方体210の表面に関する詳細を含むことができる。例えば、第1の表面230(属性「surface1」によって示される)の記述は、第1の表面230(属性「texture」)の構成、第1の表面230(属性「material」)の材料に関する情報および/または第1の表面230の付加情報(「attribute」)に関する情報を含むことができる。
さらなる属性は、(リストまたはシーンモデル記述300において「surface2」として指定される)第2の表面のために与えられることもできる。例えば、第2の表面232(「surface2」)が「video2」という構成を有することを定め、第2のユーザ提供映像内容が第2の表面232に示されなければならないことを示す。類似の特徴または属性は、立方体210の他の表面のために与えられることができる。
換言すれば、シーンモデル記述は、時間内のある時点におけるシーンモデルの記述および時間にともなうシーンモデルの時間的変化の記述を含むことができる。
方法500は、第1ステップ510において、説明のためのインデックスを有する映像フレームfであって、映像フレームのためのユーザの内容を得るステップを含む。
方法500は、第2ステップ520において、映像フレームfのためのシーン配置を得る。
さらに、方法500は、第3ステップ530において、(映像フレームfのための)ユーザ提供内容および(映像フレームfのための)シーン配置を用いて映像フレームfを生成する。
方法500は、第4ステップ540において、表示された映像フレームfを提供する。
決定ステップ550において、表示されるより多くのフレームがあることが見つかった場合、ステップ510、520、530、540が繰り返される。
したがって、第4ステップ540において、表示されたフレームfは、更なる処理のために、例えばフレームのシーケンスを形成するために、または、フレームまたはフレームのシーケンスの原資料の更なる符号化を実行するために提供される。
映像フレームfの生成は、所定の名前または所定のオブジェクト特性を有する映像フレームfのためのシーンモデルにおけるオブジェクトを識別する第1ステップ610を含む。このようなオブジェクトが第1ステップ610において識別できた場合、識別されたオブジェクトは第2ステップ620においてユーザ提供オブジェクトと置き換えられる。第3ステップ630において、オブジェクトは、所定の表面特性を有する表面を有するシーンモデルにおいて識別される。所定の表面特性は、例えば、表面組織特性、表面材料特性または表面名前特性とすることができる。しかしながら、所定の名前を有するオブジェクトがシーンモデルに存在する場合、そして、この場合、オブジェクトの少なくとも1つの特定の表面が所定の表面特性を有すると自動的に想定されることができることは認められる。例えば、シーンモデルが所定の名前(例えば、video_objectまたはNSG_Mov、ここで、Movは映画を表す)を有する立方体を含む場合、それぞれの立方体の表面は、その上に映像を表示するのに適している所定の表面特性を有するものと定義される。
あるいは、解析規則は、所定の名前を有するオブジェクトの所定のi番目の表面がユーザ提供内容に基づく構成を与えられるべきであることを示すこともできる。
シーンモデルまたはシーンの記述によって表示されているシーンの図的表現の生成がアーティスト/デザイナーに知られている点に注意されなければならない。
さらに、ここで、映像フレームの第2のユーザ提供シーケンスの最初のFフレームが映像フレームの生成されたシーケンスの生成のために用いられると想定される。
対照的に、映像フレームの第1のユーザ提供シーケンスのn番目のフレームおよび映像フレームの第2のユーザ提供シーケンスのF番目のフレームは、映像フレームの生成されたシーケンスのF番目のフレームに関連する。
換言すれば、映像フレームの第1のユーザ提供シーケンスのフレームは、映像フレームの第1のユーザ提供シーケンスを表示する(または、識別する)ことを目的とする表面のフレーム変化構成として役立つ。
映像フレームの第2のユーザ提供シーケンスのフレームは、映像フレームの第2のユーザ提供シーケンスを表示することを目的とする(または、識別する)表面のフレーム変化構成を構成する。
したがって、生成された映像シーケンスは、フレーム変化構成を使用して設けられている。
図8の図解図は、全体が800で示される。図解図800から分かるように、シーン記述810(ここでは、映像フレームの形で表される)は、テキスト代替オブジェクトを含む。例えば、シーン記述810は、立方体または直平行六面体がテキスト代替オブジェクトであることを示す名前または特性を有する立方体または直平行六面体を記述することができる。したがって、映像フレーム発生器110が、シーンモデル・オブジェクトがテキスト代替オブジェクトであることを示す所定の名前または所定のオブジェクト特性を有するシーンモデル・オブジェクトを含むことを認識する場合、映像フレーム発生器は、テキスト代替オブジェクトをテキストの表現と置き換える。例えば、映像フレーム発生器110は、テキスト代替オブジェクトをユーザ提供テキストを表している1つ以上のオブジェクトと置き換えることができる。換言すれば、映像フレーム発生器は、ユーザ提供テキストを表しているオブジェクトの表示をシーンモデルにもたらすことができる。シーンモデル発生器は、例えば、一連の入力の形でテキストを受信して、一連の入力のテキストを表示するオブジェクトを発生させるように構成することができる。あるいは、映像フレーム発生器は1つ以上のテキスト形状を示すオブジェクトの形でユーザ提供テキストの表示を受信することができる。この場合、映像フレーム発生器は、例えば、シーンモデルに(複数のオブジェクトの表示の形で)テキストのユーザ提供記述を含むように構成され、テキストを表しているオブジェクトの記述を含むシーンモデルに基づいて映像フレームを生成するように構成される。
したがって、シーンモデル112は、映像フレームのシーケンス116におけるユーザ提供テキストの外観を定めるテンプレートとして役立つ。
本発明の鍵となるアプリケーションは三次元テキストと同様に三次元(3D)DVDメニュー、三次元映像移行および三次元映像効果の作成であるが、その効果について述べる。三次元映像移行、三次元映像効果および三次元テキスト効果は、より複雑なDVDオーサリングのより単純なバージョンであると考えることができる。
テキスト効果のために、テキスト文字列は、決定(または、設定)されなければならない。三次元テキスト効果の例は、シーケンス(例えば、映像フレームのシーケンス)として想像されることができ、一連のものが増加して、文字のための三次元テキスト・キャラクタとして表示され、後に再び消える。この場合における元の映像(または、始動時の映像)は、バックグラウンドで動き続ける。
三次元映像効果は、例えば、フレームに飛び込み、後に再び飛び去る三次元オブジェクト(例えば、乳児映画のためのおしゃぶり、またはサッカー世界選手権映画のためのフットボール)でもよい。
換言すれば、メニュー予告編1030は、ブラック・スクリーンで始まり、第1のメインメニューで終わる映像フレームのシーケンスである。また、すでに概説されたように、メニュー予告編シーケンス1030がシーンモデルに関して好ましくは表示されている点に留意する必要がある。
n「古い」チャプタ・イメージ
n「古い」チャプタ・テキスト
3「古い」ナビゲーション・アロー
1「古い」ヘッダ
1「古い」フッタ
n「新しい」チャプタ・イメージ
n「新しい」チャプタ・テキスト
3「新しい」ナビゲーション・アロー
1「新しい」ヘッダ
1「新しい」フッタ
オーサリング・プログラムから、異なる情報が、スマート3Dエンジンに伝達される。ユーザは、異なる数の(メイン)映像をDVDに集積することができる。ユーザは3Dシーンにおけるボタン画像のための映像フレームまたは映像フレーム・シーケンスを決めることができ、ユーザはボタンのヘッダ、フッタまたはラベリングのテキストを与えることができ、ユーザはハイライト・マスクの色および透明性を選択することができる。しかしながら、三次元シーンまたは背景画像における構成要素の色のように、詳細情報も可能である。それぞれ3Dシーンを適応させるために、3Dシーンは、別々のデータ構造、いわゆるシーン・グラフに、最初に変換される。
メモリに存在するデータ構造は、実際の描画プロセスの前にオーサリング・ソフトのユーザの選択に従って構成されることができる。
ここで、図14、15および16は使用中の既存の三次元DVDメニューのスクリーンショットを示す点に注意されなければならない。3Dモデラーによって定義されるように、図17は三次元メニューのテンプレートを示す。
選択可能な領域(または、ハイライト領域)が複数のオブジェクトで構成されている場合、オブジェクトは対応して名付けられたグループにおいて総括されることができる。自動的にスクリーン上のグループオブジェクトによって利用される領域の境界ボックスは、マウス(またはカーソル)によって能動的に選択可能な領域を定める。
DVDメニューで使われることができる3D(三次元)シーンの作成のために、モデラーは、一組の規則に従わなければならない。これらの規則のいくつかは、DVDメニューの論理構造または論理的構成によって与えられる。例えば、ボタンである特性またはハイライト・マスクの算出のために用いられる特性のように、他の規則は、スマート3Dエンジンに三次元オブジェクトの追加特性を知らせるために必要である。メニュー・ページが表示され、オーサリング・プログラムのユーザによって定義される色を有する選択されたボタンと重ね合わせることによって選択されたボタンと一体化したときに、ハイライト・マスクは選択段階において見ることができる。規則の定義に関して、図9、10、11および12に関して示されているように、スマート3D概念によって支持されるメニュー構造をより詳細に記述する必要がある。
ハイライト・マスクの生成は、以下の通りに実行される:特定の(ハイライト・マスク)名前を有する(または、オブジェクトの特定のグループに属する)物体だけが、黒い背景の前に明るい白で描かれる。
これは、結果としてハイライト・オブジェクトとなり、それは、抜粋において、特定のオブジェクト(例えば、ボタン)を強調するために描写されたメインメニュー映像によって重ね合わされる。
図15は、8つの主チャプタを有するメニューのための実施例の図解図を示し、ユーザは、次のおよび前のメニュー・ページ(または第1および第2のメニュー・ページに)にナビゲートすることができる。図15のグラフ表示は、全体が1500で示される。
テンプレートにおいて、デザイナーは、最大使用可能な6つのモニタ1710、1712、1714、1716、1718、1720を提供する。また、3つのナビゲーション・エレメント1730「戻るための矢」「次へ進むための矢」および「上へ進むための矢」があることが必要である。チャプタ・タイトルと同様にヘッダ1740およびフッタ1750は、所定の名前の慣習に従わなければならない。さらに、チャプタ画像(またはチャプタ映像フレーム)のためのイメージ領域は、所定の材料名(NSG_BS01、NSG_BS02、NSG_BS03、NSG_BS04、NSG_BS05、NSG_BS06)を持たなければならない。
−特定のユーザ提供内容を特定せずに、表面がメニュー項目と関連したユーザ提供内容を示すことを目的とすることを示している所定の名前または特性を有する表面。換言すれば、それぞれの表面はユーザ提供内容のための代替面であり、特徴名または特性によって示される。
−ユーザ提供テキストで置き換えられる予定のテキスト代替オブジェクトを識別する所定の名前を有する代替オブジェクト。例えば、テキスト代替オブジェクトは、「タイトル」および/またはメニュー項目と関連した映像シーケンスに関する情報を提供することを目的とすることができる。
さらに、この方法1800は、ユーザ提供内容を受信する第2ステップ1820を含む。
第3ステップ1830において、所定のオブジェクト名または所定のオブジェクト特性を有するシーンモデル・オデジェクトは、シーンモデルの範囲内で識別される。したがって、識別されたシーンモデル・オブジェクトが得られる。
第4ステップ1840において、ユーザ提供内容が識別されたシーンモデル・オブジェクトの表面に、または、識別されたシーンモデル・オブジェクトの代わりに表示されるように、映像フレームのシーケンスは生成する。
ここで、図18の方法1800が上記のステップのいずれかによって、例えば発明の映像フレーム発生器によって実行されるステップのいずれかによって補充されることができる点に注意されなければならない。
−イントロ動画;
−2つのメニュー間の移行動画;
−メニューおよびチャプタ・メニュー間の移行動画;
−メニューおよび映像タイトル間の移行動画;
−映像タイトルおよびメニュー間の移行動画。
したがって、ユーザ入力は、シーンモデル(また、シーンテンプレートとして、または、単に「テンプレート」として指定される)に基づいて、そして、ユーザ提供内容に基づいて映像フレームのシーケンスの生成を制御する。
1つのDVDが概して一定量の映像を含む点に留意する必要がある。これらの映像は、1つ以上のメニュー・ページによってアクセスされ、そこにおいて、各映像、映像チャプタ・マークまたは他のメニューは、選択ボタンによって(例えば、メニュー・ページのボタンによって)表される。DVDの内容は、ボタンをメニュー・ページまたは映像に連結することによってナビゲートされる。それにより、異なる一定の短い映像シーケンスまたは静止画像は、異なるメニュー・ページを表す。
スマート3Dエンジンがオーサリング・アプリケーションおよびオーサリング・エンジンの間で統合されるので、同じ動画のメニュー構造はDVDビデオのために、さらに、ブルーレイ・メディアおよびHD―DVDメディアのために作成されることもできる。
本発明の実施例の側面を要約するために、以下のことについて述べる。
−いくつかの数の映画シーケンスは、流れるような3D移行を介した連続によって結合されることができる。
−連結された(または、結合されるかまたは連結された)映画シーケンスは、共通のメニュー構造に組み立てられることができる。
−メニューはイントロ・シーケンスと、1つ以上の主メニュー・ページとを含む。オプションとして、メニュー構造は、映画ストリームのさまざまなチャプタをアドレス指定するためのサブメニュー・ページを提供することができる。メニュー・ページは、各映画の第1フレーム(または、少なくとも、1つの映画の第1フレーム)への移行を含む滑らかな移行によってリンクされる。
−メニューの風景は、動的に内容を適応させる。メニューボタン(または、ナビゲーションボタン)の存在および/また状態は、メニュー・チャプタの数に左右される。スマート3Dエンジンは、メニューの風景の動的な調整の処理をする。
−スマート3Dエンジンは、別に表示された映像フレームの形で映像出力を生じるために、高レベルの内容(ユーザ入力)を低レベルの内容(動的な演出を可能にする特別なタグを有するメニューの風景の一般的モデル)およびメタデータ(一般のメニュー・シーケンス情報、タイムスタンプ)と結合する。さらに、スマート3Dエンジンは、メニュー・ナビゲーションのために使用するハイライト領域および選択領域に関する情報を提供する。
−上記のデータは、メニューの風景における3Dモデルの特別なタグ(例えば、名前または特性)を使用するスマート3Dエンジンによって自動的に生成される。
−各メニューは、例えば、ヘッダ、フッタまたはチャプタの表題などの三次元テキストのさまざまなラインを有することができる。テキストは、編集可能である、すなわちフォント文字の3Dメッシュが自動的にその場で生成される。
−移行、立体効果およびメニューの表現は、双方向である。最新のグラフィックカードによるハードウェア加速は、三次元の景色の高性能視覚化のために利用される。
本発明の実施例によれば、スマート3D概念の背景にある考えは、構造を解釈して、動的な三次元モデルを表示する、構造化情報を有する三次元データ(3Dデータ)をエンジンから切り離すことである。データの組織化のために、3Dデータのための一般的な手段が用いられる。
この目的のために、方法はオブジェクトを編集可能な3Dテキストを有する「ヘッダ」のような特殊名に置き換えるために確立され、それは、この例では、DVDメニュー・パートの見出しを表す。
この意味で、スマート3Dの実施によって、独立モデラーが任意数のオーサリングおよびソフトウェア開発を取扱う必要のない映像内容を作成することができる。スマート3Dのエンジンは、3Dモデルの構造およびメタデータを解釈する能力を有し、3Dシーンの各部の機能について知っている。
一般に、本願は、双方向のメニューおよび映像シーンの作成のための動画のシーンを生成する方法、装置およびコンピュータ・プログラムを含む。
上記を要約すると、図24がスマート3Dエンジンの一般的な作業の流れを示すと言うことができる。
まず、移行映像の算出に関するさらにいくつかの詳細について述べる。移行映像の算出のために、映像フレーム発生器が、消えていく映像から取り出される1つの映像フレームと出現する映像から取り出される1つの映像フレームの2つの映像イメージまたは映像フレームを受信する点に留意する必要がある。
−三次元シーンを三次元動画に記述している1つ以上のファイル。
−シーン・グラフおよび付加的な管理データ(例えば、3Dテンプレートの名前、中間シーケンスのタイプ等)の構造を記述している1つ以上の記述ファイル。
−イメージデータまたは映像データを提供し、映像データを再結合する映像イメージソフトウェア。
−イメージデータおよびテキストデータを3Dシーンに組み込み、入力データに対応してシーンをフォーマットし、その後3Dシーンを表示する3Dエンジン。
−第1の映画部分のフロント部分の符号化、および完成する映画の映像ストリーム中にコード化情報を格納すること。
−第1の映像部分(映像部分1)の終わりおよび第2の映像部分(映像部分2)の始めからスマート3Dエンジン(第1の映像部分の終わり部分および第2の映像部分の初め部分は、ユーザ提供内容を構成する)に必要なイメージデータをアップロードすること。
−スマート3Dエンジンから表示された移行のイメージデータ(または、映像データ、または映画データ、または映像フレームのシーケンス)を取ってくること。
−個々に表示されたイメージ(または、映像フレーム)を符号化して、完成する映画の映像ストリームにコード化情報を保存すること。
−第2の映像部分の中間部分を符号化して、完成する映画の映像ストリームに処理された情報を格納すること。
−第2の映像部分(映像部分2)の終わりおよび第3の映像部分(映像部分3)の始めからスマート3Dエンジンに必要なイメージデータをアップロードすること。
−スマート3Dエンジンから表示された移行のイメージデータを取ってくること。
−個々に表示されたイメージ(または、映像フレーム)を符号化して、完成する映画の映像ストリームに表示された情報を格納すること。
メニューの風景の動的な適合に関して、オーサリング・ソフトがイメージデータおよびテキストデータへのチャプタ・ボタンの配置について決定する点に留意する必要がある。また、オーサリング・ソフトは、どのオブジェクト(シーンモデルから)が特定のシーンにおいて必要か、そして、どのオブジェクトが構成される(例えば、テキスト内容)ことを必要とするかを決定する。例えば、メニュー・ビデオが表示されるときに、DVDが作製される時点で、それぞれの決定がなされる。本発明の好ましい実施態様において、メニュー構造の修正は、DVDの作成の後には、もはや可能でない。
フォント文字のメッシュの生成に関して、フォント文字の3Dメッシュの生成のために、フォントファイルに含まれるすべてのフォント文字が三次元メッシュとして表示されるというわけではない点に留意する必要がある。その代わりに、フォント文字が初めて使われるときに、フォント文字のメッシュは算出される。算出されたメッシュが、特定のフォント文字の表現のために、その後用いられる。一例として、フォント・キャラクタの表示されている処理は、テキスト「Hello World」表現に三次元テキストとして可能にし、そこにおいて、文字「l」のための三次元メッシュが3回用いられることができ(シフトされた方法で)、文字「o」が2回使われることができるため、(10個の三次元のメッシュよりはむしろ)7個の三次元メッシュだけが必要である。
Claims (19)
- オブジェクト名またはオブジェクト特性を有する少なくとも1つのシーンモデル・オブジェクト(210;432;812)を含み、三次元の事前モデル化されたシーンを定めるシーンモデル(112;200,300;431,446,456,466,476;800;2440)に基づいて、少なくとも1つのメニュー構造関連の特徴を定めるメニュー構造関連情報に基づいて、およびユーザ提供内容(114;2450)に基づいて、映像メディアのメニュー構造を作成するための装置(2400)であって、
シーンモデル(200,300;431,446,456,466,476;810;2440)に基づいて、およびユーザ提供内容(114;2450)に基づいて、映像フレーム(1,2,・・・,F−1,F)のシーケンス(116;440,450,460,470,480;2460)を提供するための装置(100;2430)を含み、
映像フレームのシーケンスを提供するための装置は、前記シーンモデルに基づいて複数の映像フレーム(440、450、460、470、480;1,2,・・・,F−1,F)のシーケンスを生成するように構成された映像フレーム発生器(110;2430)を含み、
識別されたシーンモデル・オブジェクトまたは表面を得るために、前記映像フレーム発生器は、前記シーンモデル内で所定の名前または所定の特性を有する1つ以上のシーンモデル・オブジェクトまたは表面を識別するためにシーンモデルを解析するように構成され、
前記映像フレーム発生器は、シーンモデルをユーザの要求に適応させるために、ユーザ提供内容を識別された表面のための構成として適用することを示す指示をシーンモデル中に入れるように構成され、または
前記映像フレーム発生器は、シーンモデルをユーザの要求に適応させるために、適用される構成として識別されたオブジェクトまたは表面の構成の特性をユーザ提供内容を指定するように設定するように構成され、
お互いに関して、および観測点に関して、シーンモデル・オブジェクトの相対的位置を考慮に入れて、映像フレームのシーケンスが観測点における観測者によって見られるようにシーンモデルによって記述されるシーンの光景を示すように、およびユーザ提供内容が識別されたシーンモデル・オブジェクトの表面(230、232、234;432、436)に、または識別された表面に表示されるように、前記映像フレーム発生器は、シーンモデルに基づいて映像フレームのシーケンスを提供するように構成され、
シーンモデル(112;200, 300;431,446,456,466,476)が、幾何学的なオブジェクトのリスト、シーンに存在するオブジェクトの特徴、および観測点における観測者に見えるシーンモデルの位置を定める特徴に関してシーンを定め、
シーンモデル(112;200, 300;431,446,456,466,476;810;2440)が、少なくとも1つのシーンモデル・オブジェクト(210;432)の材料の特徴または表面構成の特徴に関してシーンを定め、
映像フレームのシーケンスを提供するための装置(2430)は、シーンモデルに基づいて、少なくとも1つのメニュー構造関連の特徴を定めるさらなる情報に基づいて、およびユーザ提供内容に基づいて、映像フレームのシーケンスを提供するように構成された、装置(2400)。 - シーンモデル(112;200, 300;431,446,456,466,476;810;2440)が、観測者(212;438,448,482)に関連してオブジェクト(210;432;812)の動きに関してシーンを決定する、請求項1に記載の装置(100;2400)。
- 映像フレーム発生器(110;2430)は、識別された表面を得るために、所定の名前、材料の特徴、構成の特徴または表面の特徴を有するシーンモデル・オブジェクト(210;432)の表面(230,232,234;434,436)を識別するように構成され、
映像フレーム発生器は、ユーザ提供映像シーケンス(114;2450)のフレームまたはユーザ提供イメージが前記識別された表面上に表示されるように映像フレームの生成されたシーケンス(116;2460)のフレーム(440,450,460,470,480)を生成するように構成された、請求項1または請求項2のいずれかに記載の装置(100;2400)。 - 映像フレーム発生器(110;2430)は、シーンモデル・オブジェクト(230;432)の第1の表面(230;434)および第2の表面(232;436)を識別するように構成され、前記第1の表面は、所定の第1の名前、所定の第1の材料の特徴または所定の第1の構成の特徴を有し、前記第2の表面は、所定の第2の名前、所定の第2の材料の特徴または所定の第2の構成の特徴を有し、
前記所定の第1の名前は前記所定の第2の名前とは異なり、前記所定の第1の材料の特徴は前記所定の第2の材料の特徴とは異なり、前記所定の第1の構成の特徴は前記所定の第2の構成の特徴とは異なり、
第1のユーザ提供映像シーケンス(114;2450)のフレームまたは第1のユーザ提供イメージが第1の識別された表面に表示され、第2のユーザ提供映像シーケンス(414;2450)または第2のユーザ提供イメージが第2の識別された表面に表示されるように、前記映像フレーム発生器は、映像シーケンス(116;2460)のフレーム(440,450,460,470,480)を生成するように構成された、請求項1ないし請求項3のいずれかに記載の装置(100;2400)。 - 前記映像フレーム発生器(110;2430)は、シーンモデル・オブジェクト(210;432)の第1の表面(230;434)、およびシーンモデル・オブジェクトの第2の表面(232;436)を識別するように構成され、
前記第1の表面は、所定の第1の名前、所定の第1の材料の特徴または所定の第1の構成の特徴を有し、
前記第2の表面は、所定の第2の名前、所定の第2の材料の特徴または所定の第2の構成の特徴を有し、
前記第1の名前は前記第2の名前とは異なり、前記第1の材料の特徴は前記第2の材料の特徴とは異なり、前記第1の構成の特徴は前記第2の構成の特徴とは異なり、
第1のユーザ提供映像シーケンス(114;2450)のフレームのシーケンスが識別された第1の表面に表示され、第2のユーザ提供映像シーケンス(114;2450)のフレームのシーケンスが識別された第2の表面に表示されるように、前記映像フレーム発生器は、映像シーケンス(116,440,450,460,470,480;2460)を生成するように構成された、請求項1ないし請求項4のいずれかに記載の装置(100;2400)。 - 前記装置は、第1のユーザ提供映像シーケンス(114;2450)および第2のユーザ提供映像シーケンス(114;2450)を定めているユーザ入力を受信するように構成された、請求項5に記載の装置(100,2400)。
- 映像フレームの生成されたシーケンスの第1のフレーム(440)が第1のユーザ提供映像シーケンスのフレームのフルスクリーン・バージョンであり、映像フレームの生成されたシーケンスの最後のフレーム(480)が第2のユーザ提供映像シーケンスのフルスクリーン・バージョンであるように、前記映像フレーム発生器(110;2430)は、映像フレームのシーケンス(116;440,450,460,470,480;2460)を生成するように構成された、請求項5または請求項6に記載の装置(100;2400)。
- 前記映像フレーム発生器(110;2430)は、生成された映像シーケンス(116;440,450,460,470,480;2460)の第1のフレーム(440)と、生成された映像シーケンスの最後のフレーム(480)との間で、段階的なまたは滑らかな移行を提供するように構成された、請求項5ないし請求項7のいずれかに記載の装置(100;2400)。
- 前記映像フレーム発生器(110;2430)は、ユーザ提供内容(114;2450)として、ユーザ定義のテキストを示すユーザ定義のテキスト・オブジェクトを得るように構成され、
映像フレーム発生器(110;2430)は、シーンモデル(112;200,300;431,446,456,466,476,810;2440)内で、所定のオブジェクト名または所定のオブジェクト特性を有するシーンモデルオブジェクト(812)を識別するように構成され、所定のオブジェクト名または所定のオブジェクト特性は、識別されたシーンモデル・オブジェクトがテキスト代替オブジェクトであることを示し、
ユーザ定義のテキスト・オブジェクトが識別されたテキスト代替オブジェクト(812)の代わりに表示されるように、前記映像フレーム発生器は、シーケンス(116;440,450,460,470,480;2460)を生成するように構成された、請求項1ないし請求項8のいずれかに記載の装置(100;2400)。 - 映像フレームのシーケンスにおけるユーザ定義のテキスト・オブジェクトの表示の次元が映像フレームのシーケンスを通してテキスト代替オブジェクト(812)の次元に対応するように、前記映像フレーム発生器(110;2430)は、映像フレームのシーケンス(116;440,450,460,470,480;2460)を生成するように構成された、請求項9に記載の装置(100;2400)。
- 装置は、映像フレームの生成されたシーケンス(116;440,450,460,470,480;2460)に表示されるメニュー項目(912,914,916,918,920,922,932,934,936,938,940,942;1012,1014,1016,1018,1020,1024,1222,1224,1226,1228,1230,1232)の数に基づいて、シーンモデルを形成する複数のシーンモデル・オブジェクトから選択されたシーンモデル・オブジェクトのサブセットを選択するように構成されて、選択されたシーンモデル・オブジェクトは、表示されたメニュー項目(1410,1412,1414,1416)の数が表示されるべきメニュー項目の数に対応する映像フレームのシーケンス(116;440,450,460,470,480;2460)を記述し、
前記映像フレーム発生器は、選択されたシーンモデル・オブジェクトに基づいて映像フレームのシーケンスを生成するように構成された、請求項1ないし請求項10のいずれかに記載の装置(100;2400)。 - 装置は、シーンモデル(112;200,300;431,446,456,466,476;2440)から少なくとも1つのハイライト領域シーンモデル・オブジェクトのセットを決めるように構成されたハイライト領域シーンモデル・オブジェクト識別子を含み、
ハイライトシーンモデル・オブジェクトは、所定のオブジェクト名またはオブジェクト特性を有し、
装置は、ハイライト領域シーンモデル・オブジェクトのセットの少なくとも1つのオブジェクトが表示される映像フレーム(440,450,460,470,480)の範囲を決めるハイライト領域の記述を提供するように構成されたハイライト領域記述プロバイダを含む、請求項1ないし請求項11のいずれかに記載の装置(100;2400)。 - ハイライト領域記述プロバイダは、ハイライト領域シーンモデル・オブジェクトを表示するピクセルの全てによって定められる映像フレーム(440,450,460,470,480)の範囲としてハイライト領域を記述するように構成された、請求項12に記載の装置(100;2400)。
- メニュー構造関連情報はエレメントのグループ化についての情報を含み、
シーンモデル(112;200,300;431,446,456,466,476;800;2440)のエレメントの第i番目のグループが映像フレームのユーザ提供シーケンス(114;2450)にアクセスするための第i番目のメニューボタン(912,914,916,918,920,922,932,934,936,938,940,942,1012,1014,1016,1018,1020,1024,1222,1224,1226,1228,1230,1232,1410,1412,1414,1416)を記述し、
映像フレームのシーケンス(116;440,450,460,470,480;2460)を提供するための装置(110;2430)は、映像メディアに含まれるユーザ提供映像シーケンスの数についての情報を受信するように構成され、
映像フレームのシーケンスを提供するための装置(110;2430)は、ユーザ提供映像シーケンスの数に関する情報を用いて、ユーザ提供映像シーケンスにアクセスするのに必要なメニューボタンの数を決定するように構成され、
映像フレームのシーケンスを提供するための装置(110;2430)は、エレメントのシーンモデル・グループ内で識別され、エレメントの識別されたそれぞれのグループはメニューボタンを記述するように構成され、
エレメントの選択されたグループによって示されるメニューボタンの数がユーザ提供映像シーケンスにアクセスするのに必要なメニューボタンの数に対応するように、映像フレームのシーケンスを提供するための装置(110;2430)は、シーンモデルからエレメントの複数のグループを選択するように構成され、エレメントのそれぞれの選択されたグループはメニューボタンを記述し、
映像フレームのシーケンスがエレメントの選択されたグループのエレメントを表示するように、およびユーザ提供シーケンスにアクセスするのに使用されないメニューボタンを示すシーンモデルのさらなるオブジェクトが削除されるか弱められるように、映像シーケンスを提供するための装置(110;2430)は、映像フレームのシーケンスを生成するように構成される、請求項1ないし請求項13のいずれかに記載の装置(2400)。 - メニュー構造関連情報は、それに関するシーンモデル(112;200,300;431,446,456,466,476:800;2440)のエレメントがハイライトグループに属する情報を含み、
映像フレームのシーケンス(116;440,450,460,470,480;2460)を提供するための装置(110;2430)は、ハイライトグループのオブジェクトが表示される映像フレーム(440,450,460,470,480)内の領域の記述を生成するように構成される、請求項1ないし請求項14のいずれかに記載の装置(2400)。 - ハイライトグループのオブジェクトが表示される映像フレーム(440,450,460,470,480)の領域の記述は、ハイライトグループのオブジェクトが示される第1のカラーピクセル内、およびハイライトグループのオブジェクトが表示されない第2のカラーピクセル内に記述されるモノクロ・イメージを含む、請求項15に記載の装置。
- メニュー構造関連情報は、シーンモデル(112;200,300;431,446,456,466,476;800;2440)がどのタイプの映像移行を記述するかに関する情報を含み、
メニュー構造を作成するための装置は、映像フレーム発生器(110;2430)によって生成される映像フレーム・シーケンス(116;440,450,460,470,480;2460)を映像メディアのメニュー構造に挿入するための装置を含み、
メニュー構造を作成するための装置は、シーンモデル(112;200,300;431,446,456,466,476,800;2440)がどのタイプの映像移行を記述するかに関する情報に基づいてメニュー構造内で映像フレーム・シーケンス(112;200,300;431,446,456,466,476;800;2440)の位置を決定するように構成され、
メニュー構造を作成するための装置は、次のタイプの映像移行
メニュー−メニュー間移行
ブラック・スクリーン−メニュー間移行
メニュー−映像フレームのシーケンス間移行
映像フレームのシーケンス−メニュー間移行
映像フレームのシーケンス−映像フレームのシーケンス間移行
のうちの少なくとも1つを認めて処理するように構成される、請求項1ないし請求項16のいずれかに記載の装置(2400)。 - オブジェクト名またはオブジェクト特性を有する少なくとも1つのシーンモデル・オブジェクト(210;432;812)を含み、事前モデル化されたシーンを定めるシーンモデル(112;200,300;431,446,456,466,476,800;2440)に基づいて、少なくとも1つのメニュー構造関連の特徴を定めるメニュー構造関連情報に基づいて、およびユーザ提供内容(114;2450)に基づいて映像メディアのメニュー構造を作成する方法であって、
オブジェクト名(cube1)またはオブジェクト特性を有する少なくとも1つのシーンモデル・オブジェクト(210,cube1;432;812)を含み、三次元の事前モデル化されたシーンを定めるシーンモデル(200,300;431,446,456,466,476;810;2440)に基づいて、およびユーザ提供内容(114;2450)に基づいて、映像フレーム(1,2,・・・,F−1,F)のシーケンス(116;440,450,460,470,480;2460)を提供するステップを含み、
映像フレームのシーケンスを提供するステップは、シーンモデルに基づいて複数の映像フレーム(440,450,460,470,480;1,2,・・・,F−1,F)のシーケンスを作成するステップを含み、
シーンモデルが、幾何学的なオブジェクトのリスト、シーンに存在するオブジェクトの特徴、および観測点における観測者に見えるシーンモデルの位置を決定する特徴に関してシーンを定め、
シーンモデルが、少なくとも1つのシーンモデル・オブジェクトの材料の特徴または表面構成の特徴に関してシーンを定め、
前記複数の映像フレームのシーケンスを作成するステップは、
識別されたシーンモデル・オブジェクトまたは表面を得るために、シーンモデル内で所定の名前または所定の特性を有する1つ以上のシーンモデル・オブジェクトまたは表面を識別する(1830)ためにシーンモデルを解析するステップ、
シーンモデルをユーザの要求に適応させるために、ユーザ提供内容を識別された表面の構成として適用することを示す指示をシーンモデル中に入れるステップ、または
シーンモデルをユーザの要求に適応させるために、適用される構成として識別されたオブジェクトまたは表面の構成の特性をユーザ提供内容を指定するように設定するステップ、および
お互いに関して、および観測点に関して、シーンモデル・オブジェクトの相対的位置を考慮に入れて、映像フレームのシーケンスが観測点における観測者によって見られるようにシーンモデルによって記述されるシーンの光景を示すように、およびユーザ提供内容が識別されたシーンモデル・オブジェクトの表面(230、232、234;432、436)上に、または識別された表面上に表示されるように、シーンモデルに基づいて映像フレームのシーケンスを提供するステップ(1840)を含み、
映像フレームのシーケンスを提供するステップは、シーンモデルに基づいて、少なくとも1つのメニュー構造関連の特徴を定めるさらなる情報に基づいて、およびユーザ提供内容に基づいて映像フレームのシーケンスを生成するステップを含む、方法。 - コンピュータに、請求項18に記載の方法を実行させるための、コンピュータ・プログラム。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US78100606P | 2006-03-10 | 2006-03-10 | |
EP06005001 | 2006-03-10 | ||
US60/781,006 | 2006-03-10 | ||
EP06005001.0 | 2006-03-10 | ||
PCT/EP2007/000024 WO2007104372A1 (en) | 2006-03-10 | 2007-01-03 | Apparatus and method for providing a sequence of video frames, apparatus and method for providing a scene model, scene model, apparatus and method for creating a menu structure and computer program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009529736A JP2009529736A (ja) | 2009-08-20 |
JP4845975B2 true JP4845975B2 (ja) | 2011-12-28 |
Family
ID=40518515
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008558656A Expired - Fee Related JP4845975B2 (ja) | 2006-03-10 | 2007-01-03 | 映像フレームのシーケンスを提供するための装置および方法、シーンモデルを提供するための装置および方法、シーンモデル、メニュー構造を作成するための装置および方法およびコンピュータ・プログラム |
Country Status (3)
Country | Link |
---|---|
JP (1) | JP4845975B2 (ja) |
CN (1) | CN101401130B (ja) |
RU (1) | RU2433480C2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2523980C2 (ru) * | 2012-10-17 | 2014-07-27 | Корпорация "САМУНГ ЭЛЕКТРОНИКС Ко., Лтд." | Способ и система для визуализации набора мультимедиа объектов на 3d дисплее |
CN103325135B (zh) * | 2013-07-17 | 2017-04-12 | 天脉聚源(北京)传媒科技有限公司 | 一种资源展示方法、装置和终端 |
CN107180136A (zh) * | 2017-06-02 | 2017-09-19 | 王征 | 一种基于内墙对象记录器的3d房间纹理加载的***和方法 |
WO2022124419A1 (ja) * | 2020-12-11 | 2022-06-16 | 株式会社 情報システムエンジニアリング | 情報処理装置、情報処理方法及び情報処理システム |
CN112947817B (zh) * | 2021-02-04 | 2023-06-09 | 汉纳森(厦门)数据股份有限公司 | 智能设备页面切换方法及装置 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000196971A (ja) * | 1998-12-25 | 2000-07-14 | Matsushita Electric Ind Co Ltd | 映像表示装置 |
-
2007
- 2007-01-03 JP JP2008558656A patent/JP4845975B2/ja not_active Expired - Fee Related
- 2007-01-03 CN CN200780008655.1A patent/CN101401130B/zh not_active Expired - Fee Related
- 2007-01-03 RU RU2008140163/08A patent/RU2433480C2/ru active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000196971A (ja) * | 1998-12-25 | 2000-07-14 | Matsushita Electric Ind Co Ltd | 映像表示装置 |
Also Published As
Publication number | Publication date |
---|---|
RU2433480C2 (ru) | 2011-11-10 |
CN101401130B (zh) | 2012-06-27 |
CN101401130A (zh) | 2009-04-01 |
JP2009529736A (ja) | 2009-08-20 |
RU2008140163A (ru) | 2010-04-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP1994507B1 (en) | Apparatus and method for providing a sequence of video frames, apparatus and method for providing a scene model, scene model, apparatus and method for creating a menu structure and computer program | |
US10657693B2 (en) | Method for scripting inter-scene transitions | |
TWI413017B (zh) | 用於混合式物件屬性關鍵製格模組之方法與電腦系統 | |
EP1000410B1 (en) | Method and system for editing or modifying 3d animations in a non-linear editing environment | |
KR100960504B1 (ko) | 감성표현이 적용된 디지털 스토리보드 생성 방법 및 시스템 | |
WO2007016055A2 (en) | Processing three-dimensional data | |
JP2010073126A (ja) | 情報可視化装置および情報可視化方法 | |
JP4845975B2 (ja) | 映像フレームのシーケンスを提供するための装置および方法、シーンモデルを提供するための装置および方法、シーンモデル、メニュー構造を作成するための装置および方法およびコンピュータ・プログラム | |
EP3246921B1 (en) | Integrated media processing pipeline | |
KR101118536B1 (ko) | 상호 작용이 가능한 콘텐츠 저작 수단을 제공하는 방법 | |
CN113711575A (zh) | 用于基于表现即时组装视频剪辑的***和方法 | |
US20100225648A1 (en) | Story development in motion picture | |
TWI847342B (zh) | 用於在編輯環境中呈現具有多媒體元素之媒體內容之方法及系統 | |
JP2011150568A (ja) | 生産準備活動プログラム | |
US20210150791A1 (en) | Apparatus and method for authoring motion of an avatar | |
Costello | Non-Linear Editing | |
TW202325031A (zh) | 用於在編輯環境中呈現具有多媒體元素之媒體內容之方法及系統 | |
Beales et al. | Automated 3d pre-vis for modern production | |
Harrington et al. | After Effects for Flash, Flash for After Effects: Dynamic Animation and Video with Adobe After Effects CS4 with Adobe Flash CS4 Professional | |
JP2006033388A (ja) | 表示プログラム、表示方法、表示装置及び記録媒体 | |
Jones et al. | Why Use After Effects? | |
Kelly | Why Use After Effects? | |
JP2009086948A (ja) | スライドショーデータ作成装置、スライドショーデータ作成方法およびコンピュータプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110222 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20110520 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20110523 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20110527 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20110530 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110822 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110927 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111011 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141021 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4845975 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |