JP2015097416A - スケーラブルビデオ通信でエラー耐性、ランダムアクセス、およびレート制御を提供するシステムおよび方法 - Google Patents
スケーラブルビデオ通信でエラー耐性、ランダムアクセス、およびレート制御を提供するシステムおよび方法 Download PDFInfo
- Publication number
- JP2015097416A JP2015097416A JP2015000263A JP2015000263A JP2015097416A JP 2015097416 A JP2015097416 A JP 2015097416A JP 2015000263 A JP2015000263 A JP 2015000263A JP 2015000263 A JP2015000263 A JP 2015000263A JP 2015097416 A JP2015097416 A JP 2015097416A
- Authority
- JP
- Japan
- Prior art keywords
- layer
- spatial
- base
- quality
- endpoint
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 145
- 238000004891 communication Methods 0.000 title claims abstract description 57
- 230000005540 biological transmission Effects 0.000 claims abstract description 55
- 230000002123 temporal effect Effects 0.000 claims description 35
- 230000000737 periodic effect Effects 0.000 claims description 25
- 239000013598 vector Substances 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 18
- 230000002411 adverse Effects 0.000 claims description 7
- 230000000717 retained effect Effects 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 5
- 230000001360 synchronised effect Effects 0.000 claims 5
- 230000004048 modification Effects 0.000 claims 4
- 238000012986 modification Methods 0.000 claims 4
- 230000007246 mechanism Effects 0.000 abstract description 9
- 239000010410 layer Substances 0.000 description 145
- 239000000872 buffer Substances 0.000 description 9
- 239000002356 single layer Substances 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 230000002829 reductive effect Effects 0.000 description 7
- 230000008901 benefit Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000011664 signaling Effects 0.000 description 6
- 230000006835 compression Effects 0.000 description 5
- 238000007906 compression Methods 0.000 description 5
- 238000013461 design Methods 0.000 description 5
- 238000012546 transfer Methods 0.000 description 5
- VBRBNWWNRIMAII-WYMLVPIESA-N 3-[(e)-5-(4-ethylphenoxy)-3-methylpent-3-enyl]-2,2-dimethyloxirane Chemical compound C1=CC(CC)=CC=C1OC\C=C(/C)CCC1C(C)(C)O1 VBRBNWWNRIMAII-WYMLVPIESA-N 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 230000002452 interceptive effect Effects 0.000 description 3
- 230000000670 limiting effect Effects 0.000 description 3
- 230000000750 progressive effect Effects 0.000 description 3
- 238000011084 recovery Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- NUHSROFQTUXZQQ-UHFFFAOYSA-N isopentenyl diphosphate Chemical class CC(=C)CCO[P@](O)(=O)OP(O)(O)=O NUHSROFQTUXZQQ-UHFFFAOYSA-N 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 239000013643 reference control Substances 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000011229 interlayer Substances 0.000 description 1
- 238000009533 lab test Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000010561 standard procedure Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
【解決手段】エラー耐性は、高解像度層情報の消失を隠蔽するか補償するのに低解像度層からの情報を使用することによって得られる。同一の機構が、伝送される信号から高解像度層情報を選択的に除去することによってレート制御に使用され、低解像度層からの情報を使用して受信器で補償する。さらに、ランダムアクセス又は低解像度と高解像度との間の切替も、切替時刻の前に受信されていない場合がある高解像度空間層パケットを補償するために、低解像度層からの情報を使用することによって達成される。
【選択図】図1
Description
本願は、2006年3月3日に出願した米国仮出願第60/778,760号、2006年3月29日に出願した米国仮出願第60/787,031号、および2006年10月23日に出願した米国仮出願第60/862,510号の利益を主張するものである。さらに、本願は、関連する国際特許出願第PCT/US06/28365号、国際特許出願第PCT/US06/028366号、国際特許出願第PCT/US06/028367号、国際特許出願第PCT/US06/028368号、国際特許出願第PCT/US06/061815号、国際特許出願第PCT/US06/62569号、および国際特許出願第PCT/US07/62357号、ならびに米国仮出願第60/884,148号、米国仮出願第60/786,997号、および米国仮出願第60/829,609号の利益を主張するものである。前述の優先権および本願の譲受人に譲渡される関連出願のすべてが、参照によってその全体を本願に組み込まれている。
b)空間スケーラビリティを使用するシステムでのレート制御のために、(a)に記載の方法と、オリジナル高解像度フレームからの重要な情報を含むいくつかのマクロブロック(MB)が維持されることの追加との組合せ、
c)空間スケーラビリティのために同時放送を使用するエラー耐性のあるシステムのために、アップサンプリングされた動きベクトルおよび残差情報を含む合成MBを含む置換高解像度フレームを作成する、
d)空間スケーラビリティのために同時放送を使用するシステムでのレート制御のために、オリジナル高解像度フレームからの重要な情報を含むいくつかのMBが維持されることを追加された、(c)に記載の方法。
Claims (54)
- 通信ネットワークと、
前記ネットワーク内に配置され、それぞれが前記通信ネットワーク上にある少なくとも1つの通信チャネルによって少なくとも1つの受信および少なくとも1つの送信端点にリンクされた、会議サーバと、
スケーラブルビデオコーディングフォーマットを使用してコーディングされたディジタルビデオを送信する少なくとも1つの端点と、
時間スケーラビリティならびに、空間スケーラビリティと品質スケーラビリティのうちの少なくとも1つとをサポートするスケーラブルビデオコーディングフォーマットでコーディングされたディジタルビデオ信号を復号できる少なくとも1つの受信端点と
を含み、前記スケーラブルビデオコーディングフォーマットは、空間スケーラビリティに関してベース空間層および少なくとも1つの空間拡張層を含み、品質スケーラビリティに関してベース品質層少なくとも1つの品質拡張層を含み、時間スケーラビリティに関してベース時間層および少なくとも1つの時間拡張層を含み、前記ベース時間層および拡張時間層は、空間スケーラビリティ層または品質スケーラビリティ層のうちの少なくとも1つに関するスレッド式ピクチャ予測構造によって相互にリンクされ、
前記会議サーバは、下位の空間層データまたは品質層データの使用が、ベース空間層またはベース品質層より高い解像度でピクチャを復号する際に使用される出力ビデオ信号内で、シグナリングされ、または明示的にコーディングされるようにするために、前記少なくとも1つの受信端点に転送される出力ビデオ信号を作成する前に、送信端点から受信された入力ビデオ信号のうちで前記ベース空間層または品質層より上位の層に対応する部分を選択的に除去しまたは変更するように構成される
ビデオ通信システム。 - 前記スケーラブルビデオコーディングフォーマットは、H.264標準規格、VC-1標準規格、またはAVS標準規格などのハイブリッドコーディングに基づき、前記少なくとも1つの受信端点に転送される出力ビデオ信号内で、使用のためにシグナリングされるか、明示的にコーディングされる前記下位の空間層データまたは品質層データは、
動きベクトルデータと、
コーディングされた予測誤差の差分と、
イントラデータと、
基準ピクチャインジケータと
のうちの少なくとも1つを含み、
前記データは、さらに、1つまたは複数の受信端点に送信される出力ビデオ信号内で明示的にコーディングされる時に所望のターゲット解像度に適切にスケーリングされる
請求項1に記載のシステム。 - 前記サーバは、さらに、
カスケードされた復号および符号化を使用するトランスコーディング多地点間通信装置(Multipoint Control Unit)と、
出力として送信すべき入力を選択することによるスイッチング多地点間通信装置と、
選択的多重化を使用するスケーラブルビデオ通信サーバと、
選択的多重化およびビットストリームレベル合成を使用する合成スケーラブルビデオ通信サーバと
のうちの1つとして前記少なくとも1つの受信端点に転送される出力ビデオ信号を作成するように構成される、請求項1に記載のシステム。 - 前記少なくとも1つの送信端点のエンコーダは、複数の異なる時間レベルを有するスレッド式コーディング構造内のフレームとして、送信される媒体を符号化するように構成され、フレームのサブセット(「R」)は、確実なトランスポートのために特に選択され、少なくともスレッド式コーディング構造内の最下位時間層のフレームを含み、前記デコーダがパケット消失またはエラーの後にタイプRの確実に受信されたフレームに基づいて受信された媒体の少なくとも一部を復号でき、その後、前記エンコーダと同期化されるようになっており、前記サーバは、前記少なくとも1つの受信端点に転送される出力ビデオ信号を作成する前に、送信端点から受信された入力ビデオ信号のうちで非Rフレームのみのベース空間層またはベース品質層より上位の層に対応する部分を選択的に除去する、請求項1に記載のシステム。
- 前記会議サーバは、送信端点から受信された入力ビデオ信号のうちで前記ベース空間層またはベース品質層より上位の層に対応する保持される部分が出力ビットレートの平滑さに悪影響しないようにするために、少なくとも1つの受信端点に転送される出力ビデオ信号の伝送レートを制御するようにさらに構成される、請求項1に記載のシステム。
- 前記会議サーバによる前記選択的除去または変更は、所望の出力ビットレート要件に従って実行される、請求項1に記載のシステム。
- 前記少なくとも1つの受信端点は、受信されたコーディングされたビデオ信号によって提供される直接に下位の空間層と直接に上位の空間層との間に含まれる所望の空間分解能で復号された出力ピクチャを表示するように構成される、請求項1に記載のシステム。
- 前記少なくとも1つの受信端点は、さらに、前記直接に上位の空間層のすべてのコーディングされたデータを前記所望の空間分解能にスケーリングすることによって、前記所望の空間分解能で前記直接に上位の空間層の復号ループを動作させるように構成され、結果のドリフトは、
周期的イントラピクチャと、
イントラベース層モードの周期的使用と、
前記直接に上位の空間層の少なくとも最下位時間層のフル解像度復号と
のうちの少なくとも1つを使用することによって除去される、請求項7に記載のシステム。 - 前記スケーラブルビデオコーディングフォーマットは、変更されるか除去される、ベースより上位の空間層または品質層のコーディングされた情報が前記ベース時間層に対応する時のドリフトを避けるために、さらに、
周期的イントラピクチャと、
周期的イントラマクロブロックと、
スレッド式ピクチャ予測と
のうちの少なくとも1つを用いて構成される、請求項1に記載のシステム。 - 前記受信端点は、さらに、前記少なくとも1つの受信端点がターゲット層を切り替える時に前記少なくとも1つの受信端点が復号されたピクチャを新しいターゲット層解像度で即座に表示できるようにするために、少なくとも前記ベース時間層について前記ターゲット空間層または品質層より上位の空間層または品質層について少なくとも1つの復号ループを動作させるように構成される、請求項1に記載のシステム。
- 通信ネットワークと、
スケーラブルビデオコーディングフォーマットを使用してコーディングされたディジタルビデオを送信する1つの端点と
時間スケーラビリティならびに、空間スケーラビリティと品質スケーラビリティのうちの少なくとも1つとをサポートするスケーラブルビデオコーディングフォーマットでコーディングされたディジタルビデオ信号を復号できる少なくとも1つの受信端点と
を含み、前記スケーラブルビデオコーディングフォーマットは、空間スケーラビリティに関してベース空間層および少なくとも1つの空間拡張層を含み、品質スケーラビリティに関してベース品質層少なくとも1つの品質拡張層を含み、時間スケーラビリティに関してベース時間層および少なくとも1つの時間拡張層を含み、前記ベース時間層および拡張時間層は、空間スケーラビリティ層または品質スケーラビリティ層のうちの少なくとも1つに関するスレッド式ピクチャ予測構造によって相互にリンクされ、
前記送信端点は、下位の空間層データまたは品質層データの使用が、ベース空間層またはベース品質層より高い解像度でピクチャを復号する際に使用される出力ビデオ信号内でシグナリングされ、または明示的にコーディングされるようにするために、前記少なくとも1つの受信端点に転送される出力ビデオ信号を作成する前に、前記送信端点のコーディングされたビデオ信号のうちで前記ベース空間層または品質層より上位の層に対応する部分を選択的に除去しまたは変更するように構成される
ビデオ通信システム。 - 前記スケーラブルビデオコーディングフォーマットは、H.264標準規格、VC-1標準規格、またはAVS標準規格などのハイブリッドコーディングに基づき、前記少なくとも1つの受信端点に転送される出力ビデオ信号内で、使用のためにシグナリングされるか、明示的にコーディングされる前記下位の空間層データまたは品質層データは、
動きベクトルデータと、
コーディングされた予測誤差の差分と、
イントラデータと、
基準ピクチャインジケータと
のうちの少なくとも1つを含み、
前記データは、さらに、1つまたは複数の受信端点に送信される出力ビデオ信号内で明示的にコーディングされる時に所望のターゲット解像度に適切にスケーリングされる
請求項11に記載のシステム。 - 前記送信端点は、複数の異なる時間レベルを有するスレッド式コーディング構造内のフレームとして、送信される媒体を符号化するように構成され、フレームのサブセット(「R」)は、確実なトランスポートのために特に選択され、少なくともスレッド式コーディング構造内の最下位時間層のフレームを含み、前記デコーダがパケット消失またはエラーの後にタイプRの確実に受信されたフレームに基づいて受信された媒体の少なくとも一部を復号でき、その後、前記エンコーダと同期化されるようになっており、前記送信端点は、前記少なくとも1つの受信端点に送信される出力ビデオ信号を作成する前に、送信端点から受信された入力ビデオ信号のうちで非Rフレームのみのベース空間層またはベース品質層より上位の層に対応する部分を選択的に除去する、請求項11に記載のシステム。
- 前記送信端点は、前記送信端点の入力ビデオ信号のうちでベース空間層またはベース品質層より上位の層に対応する保持される部分が出力ビットレートの平滑さに悪影響しないようにするために、前記少なくとも1つの受信端点に送信される出力ビデオ信号の伝送レートを制御するようにさらに構成される、請求項11に記載のシステム。
- 前記送信端点による前記選択的除去または変更は、所望の出力ビットレート要件に従って実行される、請求項11に記載のシステム。
- 前記少なくとも1つの受信端点は、前記受信されたコーディングされたビデオ信号によって提供される直接に下位の空間層と直接に上位の空間層との間に含まれる所望の空間分解能で復号された出力ピクチャを表示するように構成される、請求項11に記載のシステム。
- 前記少なくとも1つの受信端点は、さらに、前記直接に上位の空間層のすべてのコーディングされたデータを前記所望の空間分解能にスケーリングすることによって、前記所望の空間分解能で前記直接に上位の空間層の復号ループを動作させるように構成され、結果のドリフトは、
周期的イントラピクチャと、
イントラベース層モードの周期的使用と、
前記直接に上位の空間層の少なくとも最下位時間層のフル解像度復号と
のうちの少なくとも1つを使用することによって除去される、請求項11に記載のシステム。 - 前記スケーラブルビデオコーディングフォーマットは、変更されるか除去される、ベースより上位の空間層または品質層のコーディングされた情報が前記ベース時間層に対応する時のドリフトを避けるために、さらに、
周期的イントラピクチャと、
周期的イントラマクロブロックと、
スレッド式ピクチャ予測と
のうちの少なくとも1つを用いて構成される、請求項11に記載のシステム。 - 前記受信端点は、さらに、前記少なくとも1つの受信端点がターゲット層を切り替える時に前記少なくとも1つの受信端点が復号されたピクチャを新しいターゲット層解像度で即座に表示できるようにするために、少なくとも前記ベース時間層について前記ターゲット空間層または品質層より上位の空間層または品質層について少なくとも1つの復号ループを動作させるように構成される、請求項11に記載のシステム。
- ディジタルビデオ信号を復号する方法であって、前記ディジタルビデオ信号は、時間スケーラビリティならびに、空間スケーラビリティと品質スケーラビリティのうちの少なくとも1つとをサポートするスケーラブルビデオコーディングフォーマットでコーディングされ、
前記スケーラブルビデオコーディングフォーマットは、空間スケーラビリティに関してベース空間層および少なくとも1つの空間拡張層を含み、品質スケーラビリティに関してベース品質層および少なくとも1つの品質拡張層を含み、時間スケーラビリティに関してベース時間層および少なくとも1つの時間拡張層を含み、前記ベース時間層および拡張時間層は、空間スケーラビリティ層または品質スケーラビリティ層のうちの少なくとも1つに関するスレッド式ピクチャ予測構造によって相互にリンクされ、
前記方法は、
デコーダで前記ディジタルビデオ信号を受信することと、
対応するベース層より上位のターゲット空間層またはターゲット品質層でのピクチャの復号のために、前記ターゲット層のコーディングされた情報の一部が失われるか使用可能ではない時に、スレッド式予測構造内で前記ターゲット層より下位の空間層または品質層からのコーディングされた情報を使用することと
を含む、方法。 - 前記デコーダは、リンクする通信ネットワーク内の受信端点内に配置され、
会議サーバは、それぞれが前記通信ネットワーク上にある少なくとも1つの通信チャネルによって前記受信端点および少なくとも1つの送信端点にリンクされ、
前記少なくとも1つの送信端点は、前記スケーラブルビデオコーディングフォーマットでコーディングされた前記コーディングされたディジタルビデオを送信し、
前記方法は、前記会議サーバで、前記受信端点に転送される出力ビデオ信号を作成する前に、送信端点から受信された入力ビデオ信号のうちで前記ベース空間層または品質層より上位の層に対応する部分を選択的に除去することをさらに含む
請求項20に記載の方法。 - 前記受信端点および少なくとも1つの送信端点にリンクされた前記会議サーバは、
カスケードされた復号および符号化を使用するトランスコーディング多地点間通信装置(Multipoint Control Unit)と、
出力として送信すべき入力を選択することによるスイッチング多地点間通信装置と、
選択的多重化を使用するスケーラブルビデオ通信サーバと、
選択的多重化およびビットストリームレベル合成を使用する合成スケーラブルビデオ通信サーバと
のうちの1つである、請求項20に記載の方法。 - 前記少なくとも1つの送信端点のエンコーダで、複数の異なる時間レベルを有するスレッド式コーディング構造内のフレームとして、送信される媒体を符号化することをさらに含み、フレームのサブセット(「R」)は、確実なトランスポートのために特に選択され、前記デコーダがパケット消失またはエラーの後にタイプRの確実に受信されたフレームに基づいて受信された媒体の少なくとも一部を復号でき、その後、前記エンコーダと同期化されるようにするために、少なくともスレッド式コーディング構造内の最下位時間層のフレームを含み、前記サーバは、前記受信端点に転送される出力ビデオ信号を作成する前に、送信端点から受信された入力ビデオ信号のうちで非Rフレームのみの前記ベース空間層またはベース品質層より上位の層に対応する部分を選択的に除去する、請求項21に記載の方法。
- 前記会議サーバで、送信端点から受信された入力ビデオ信号のうちで前記ベース空間層またはベース品質層より上位の層に対応する保持される部分が出力ビットレートの平滑さに悪影響しないようにするために、少なくとも1つの受信端点に転送される出力ビデオ信号の伝送レートを制御することをさらに含む、請求項21に記載の方法。
- 前記会議サーバによる前記選択的除去は、所望の出力ビットレート要件に従って実行される、請求項21に記載の方法。
- 送信端点は、スケーラブルビデオコーディングフォーマットを使用してコーディングされたディジタルビデオを送信し、
通信ネットワークは、前記送信端点を前記受信端点にリンクし、
前記方法は、前記送信端点で、所望の出力ビットレートを達成するために、少なくとも1つの受信端点に送信される出力ビデオ信号を作成する前に、前記送信端点の入力ビデオ信号のうちで前記ベース空間層またはベース品質層より上位の層に対応する部分を選択的に送信しないことをさらに含む
請求項20に記載の方法。 - 前記送信端点で、複数の異なる時間レベルを有するスレッド式コーディング構造内のフレームとして、送信される媒体を符号化することをさらに含み、フレームのサブセット(「R」)は、確実なトランスポートのために特に選択され、少なくともスレッド式コーディング構造内の最下位時間層のフレームを含み、前記デコーダがパケット消失またはエラーの後にタイプRの確実に受信されたフレームに基づいて受信された媒体の少なくとも一部を復号でき、その後、前記エンコーダと同期化されるようになっており、前記エンコーダは、前記送信端点の入力ビデオ信号のうちで非Rフレームのみの前記ベース空間層またはベース品質層より上位の層に対応する部分を少なくとも1つの受信端点に選択的に送信しない、請求項26に記載の方法。
- 前記送信端点で、前記送信端点の入力ビデオ信号のうちで前記ベース空間層またはベース品質層より上位の層に対応する保持される部分が出力ビットレートの平滑さに悪影響しないようにするために、少なくとも1つの受信端点に転送される出力ビデオ信号の伝送レートを制御することをさらに含む、請求項26に記載の方法。
- 前記送信端点による選択的送信の判断は、所望の出力ビットレート要件に従って実行される、請求項26に記載の方法。
- 前記デコーダで、前記コーディングされたビデオ信号によって提供される直接に下位の空間層と直接に上位の空間層との間に含まれる所望の空間分解能で復号された出力ピクチャを表示することをさらに含む、請求項20に記載の方法。
- 前記デコーダで、前記直接に上位の空間層のすべてのコーディングされたデータを前記所望の空間分解能にスケーリングすることによって、前記所望の空間分解能で前記直接に上位の空間層の復号ループを動作させることをさらに含み、結果のドリフトは、
周期的イントラピクチャと、
イントラベース層モードの周期的使用と、
前記直接に上位の空間層の少なくとも最下位時間層のフル解像度復号と
のうちの少なくとも1つを使用することによって除去される、請求項20に記載の方法。 - 前記スケーラブルビデオコーディングフォーマットは、失われるか使用可能ではない前記ターゲット層のコーディングされた情報が前記ベース時間層に対応する時のドリフトを避けるために、さらに、
周期的イントラピクチャと、
周期的イントラマクロブロックと、
スレッド式ピクチャ予測と
のうちの少なくとも1つを用いて構成される、請求項20に記載の方法。 - 前記スケーラブルビデオコーディングフォーマットは、H.264標準規格、VC-1標準規格、またはAVS標準規格などのハイブリッドコーディングに基づき、前記ターゲット層のコーディングされた情報の一部またはすべてが失われるか使用可能ではない時に前記デコーダによって使用される前記ターゲット層より下位の空間層または品質層からの前記コーディングされた情報は、
前記ターゲット層の解像度に適切にスケーリングされた動きベクトルデータと、
前記ターゲット層の解像度にアップサンプリングされたコーディングされた予測誤差の差分と、
前記ターゲット層の解像度にアップサンプリングされたイントラデータと
のうちの少なくとも1つを含み、
前記方法は、前記デコーダで、下位層の復号された基準ピクチャではなく、復号された出力ピクチャを構成するために、復号処理での基準として前記ターゲット層の復号されたピクチャを使用することをさらに含む、
請求項20に記載の方法。 - 前記デコーダで、前記デコーダがターゲット層を切り替える時に前記デコーダが復号されたピクチャを新しいターゲット層解像度で即座に表示できるようにするために、少なくとも前記ベース時間層について前記ターゲット空間層または品質層より上位の空間層または品質層について少なくとも1つの復号ループを動作させることをさらに含む、請求項20に記載の方法。
- 通信ネットワーク上のビデオ通信の方法であって、前記ネットワーク内に配置され、それぞれが前記通信ネットワーク上にある少なくとも1つの通信チャネルによって少なくとも1つの受信および少なくとも1つの送信端点にリンクされた会議サーバを有し、前記少なくとも1つの端点は、スケーラブルビデオコーディングフォーマットを使用してコーディングされたディジタルビデオを送信し、前記少なくとも1つの受信端点は、時間スケーラビリティならびに、空間スケーラビリティと品質スケーラビリティのうちの少なくとも1つとをサポートするスケーラブルビデオコーディングフォーマットでコーディングされたディジタルビデオ信号を復号でき、前記スケーラブルビデオコーディングフォーマットは、空間スケーラビリティに関してベース空間層および少なくとも1つの空間拡張層を含み、品質スケーラビリティに関してベース品質層少なくとも1つの品質拡張層を含み、時間スケーラビリティに関してベース時間層および少なくとも1つの時間拡張層を含み、前記ベース時間層および拡張時間層は、空間スケーラビリティ層または品質スケーラビリティ層のうちの少なくとも1つに関するスレッド式ピクチャ予測構造によって相互にリンクされ、
前記方法は、
前記会議サーバで、下位の空間層データまたは品質層データの使用が、前記ベース空間層またはベース品質層より高い解像度でピクチャを復号する際に使用される出力ビデオ信号内でシグナリングされ、または明示的にコーディングされるようにするために、前記少なくとも1つの受信端点に転送される出力ビデオ信号を作成する前に、送信端点から受信された入力ビデオ信号のうちで前記ベース空間層または品質層より上位の層に対応する部分を選択的に除去しまたは変更すること
を含む方法。 - 前記スケーラブルビデオコーディングフォーマットは、H.264標準規格、VC-1標準規格、またはAVS標準規格などのハイブリッドコーディングに基づき、前記少なくとも1つの受信端点に転送される出力ビデオ信号内で、使用のためにシグナリングされるか、明示的にコーディングされる前記下位の空間層データまたは品質層データは、
動きベクトルデータと、
コーディングされた予測誤差の差分と、
イントラデータと、
基準ピクチャインジケータと
のうちの少なくとも1つを含み、
前記データは、さらに、1つまたは複数の受信端点に送信される出力ビデオ信号内で明示的にコーディングされる時に所望のターゲット解像度に適切にスケーリングされる
請求項35に記載の方法。 - 前記サーバは、さらに、
カスケードされた復号および符号化を使用するトランスコーディング多地点間通信装置(Multipoint Control Unit)と、
出力として送信すべき入力を選択することによるスイッチング多地点間通信装置と、
選択的多重化を使用するスケーラブルビデオ通信サーバと、
選択的多重化およびビットストリームレベル合成を使用する合成スケーラブルビデオ通信サーバと
のうちの1つとして前記少なくとも1つの受信端点に転送される出力ビデオ信号を作成するように構成される、請求項35に記載の方法。 - 前記少なくとも1つの送信端点のエンコーダで、複数の異なる時間レベルを有するスレッド式コーディング構造内のフレームとして、送信される媒体を符号化することをさらに含み、フレームのサブセット(「R」)は、確実なトランスポートのために特に選択され、少なくともスレッド式コーディング構造内の最下位時間層のフレームを含み、前記デコーダがパケット消失またはエラーの後にタイプRの確実に受信されたフレームに基づいて受信された媒体の少なくとも一部を復号でき、その後、前記エンコーダと同期化されるようになっており、前記サーバは、前記少なくとも1つの受信端点に転送される出力ビデオ信号を作成する前に、送信端点から受信された入力ビデオ信号のうちで非Rフレームのみのベース空間層またはベース品質層より上位の層に対応する部分を選択的に除去するか変更する、請求項35に記載の方法。
- 前記会議サーバで、送信端点から受信された入力ビデオ信号のうちで前記ベース空間層またはベース品質層より上位の層に対応する保持される部分が出力ビットレートの平滑さに悪影響しないようにするために、少なくとも1つの受信端点に転送される出力ビデオ信号の伝送レートを制御することをさらに含む、請求項35に記載の方法。
- 前記会議サーバで、所望の出力ビットレート要件に従って前記選択的除去または変更を実行することをさらに含む、請求項35に記載の方法。
- 前記少なくとも1つの受信端点で、受信されたコーディングされたビデオ信号によって提供される直接に下位の空間層と直接に上位の空間層との間に含まれる所望の空間分解能で復号された出力ピクチャを表示することをさらに含む、請求項35に記載の方法。
- 前記少なくとも1つの受信端点で、前記直接に上位の空間層のすべてのコーディングされたデータを前記所望の空間分解能にスケーリングすることによって、前記所望の空間分解能で前記直接に上位の空間層の復号ループを動作させることをさらに含み、結果のドリフトは、
周期的イントラピクチャと、
イントラベース層モードの周期的使用と、
前記直接に上位の空間層の少なくとも最下位時間層のフル解像度復号と
のうちの少なくとも1つを使用することによって除去される、請求項41に記載の方法。 - 前記スケーラブルビデオコーディングフォーマットは、変更されるか除去される、ベースより上位の空間層または品質層のコーディングされた情報が前記ベース時間層に対応する時のドリフトを避けるために、さらに、
周期的イントラピクチャと、
周期的イントラマクロブロックと、
スレッド式ピクチャ予測と
のうちの少なくとも1つを用いて構成される、請求項35に記載の方法。 - 前記少なくとも1つの受信端点で、前記少なくとも1つの受信端点がターゲット層を切り替える時に前記少なくとも1つの受信端点が復号されたピクチャを新しいターゲット層解像度で即座に表示できるようにするために、少なくとも前記ベース時間層について前記ターゲット空間層または品質層より上位の空間層または品質層について少なくとも1つの復号ループを動作させることをさらに含む、請求項35に記載の方法。
- 通信ネットワークと、
スケーラブルビデオコーディングフォーマットを使用してコーディングされたディジタルビデオを送信する1つの端点と
時間スケーラビリティならびに、空間スケーラビリティと品質スケーラビリティのうちの少なくとも1つとをサポートするスケーラブルビデオコーディングフォーマットでコーディングされたディジタルビデオ信号を復号できる少なくとも1つの受信端点と
を含むビデオ通信方法であって、
前記スケーラブルビデオコーディングフォーマットは、空間スケーラビリティに関してベース空間層および少なくとも1つの空間拡張層を含み、品質スケーラビリティに関してベース品質層少なくとも1つの品質拡張層を含み、時間スケーラビリティに関してベース時間層および少なくとも1つの時間拡張層を含み、前記ベース時間層および拡張時間層は、空間スケーラビリティ層または品質スケーラビリティ層のうちの少なくとも1つに関するスレッド式ピクチャ予測構造によって相互にリンクされ、
前記送信端点は、下位の空間層データまたは品質層データの使用が、前記ベース空間層またはベース品質層より高い解像度でピクチャを復号する際に使用される出力ビデオ信号内でシグナリングされ、または明示的にコーディングされるようにするために、前記少なくとも1つの受信端点に転送される出力ビデオ信号を作成する前に、前記送信端点のコーディングされたビデオ信号のうちで前記ベース空間層または品質層より上位の層に対応する部分を選択的に除去しまたは変更するように構成される
ビデオ通信方法。 - 前記スケーラブルビデオコーディングフォーマットは、H.264標準規格、VC-1標準規格、またはAVS標準規格などのハイブリッドコーディングに基づき、前記少なくとも1つの受信端点に転送される出力ビデオ信号内で、使用のためにシグナリングされるか、明示的にコーディングされる前記下位の空間層データまたは品質層データは、
動きベクトルデータと、
コーディングされた予測誤差の差分と、
イントラデータと、
基準ピクチャインジケータと
のうちの少なくとも1つを含み、
前記データは、さらに、1つまたは複数の受信端点に送信される出力ビデオ信号内で明示的にコーディングされる時に所望のターゲット解像度に適切にスケーリングされる
請求項45に記載の方法。 - 前記送信端点で、複数の異なる時間レベルを有するスレッド式コーディング構造内のフレームとして、送信される媒体を符号化することをさらに含み、フレームのサブセット(「R」)は、確実なトランスポートのために特に選択され、少なくともスレッド式コーディング構造内の最下位時間層のフレームを含み、前記デコーダがパケット消失またはエラーの後にタイプRの確実に受信されたフレームに基づいて受信された媒体の少なくとも一部を復号でき、その後、前記エンコーダと同期化されるようになっており、前記送信端点は、前記少なくとも1つの受信端点に送信される出力ビデオ信号を作成する前に、前記送信端点の入力ビデオ信号のうちで非Rフレームのみの前記ベース空間層またはベース品質層より上位の層に対応する部分を選択的に除去するか変更する、請求項45に記載の方法。
- 前記送信端点で、前記送信端点の入力ビデオ信号のうちで前記ベース空間層またはベース品質層より上位の層に対応する保持される部分が出力ビットレートの平滑さに悪影響しないようにするために、少なくとも1つの受信端点に送信される出力ビデオ信号の伝送レートを制御することをさらに含む、請求項45に記載の方法。
- 前記送信端点で、所望の出力ビットレート要件に従って前記選択的除去または変更を実行することをさらに含む、請求項45に記載の方法。
- 前記少なくとも1つの受信端点で、前記受信されたコーディングされたビデオ信号によって提供される直接に下位の空間層と直接に上位の空間層との間に含まれる所望の空間分解能で復号された出力ピクチャを表示することをさらに含む、請求項45に記載の方法。
- 前記少なくとも1つの受信端点で、前記直接に上位の空間層のすべてのコーディングされたデータを前記所望の空間分解能にスケーリングすることによって、前記所望の空間分解能で前記直接に上位の空間層の復号ループを動作させることをさらに含み、結果のドリフトは、
周期的イントラピクチャと、
イントラベース層モードの周期的使用と、
前記直接に上位の空間層の少なくとも最下位時間層のフル解像度復号と
のうちの少なくとも1つを使用することによって除去される、請求項50に記載の方法。 - 前記スケーラブルビデオコーディングフォーマットは、変更されるか除去される、ベースより上位の空間層または品質層のコーディングされた情報が前記ベース時間層に対応する時のドリフトを避けるために、さらに、
周期的イントラピクチャと、
周期的イントラマクロブロックと、
スレッド式ピクチャ予測と
のうちの少なくとも1つを用いて構成される、請求項45に記載の方法。 - 前記受信端点で、前記少なくとも1つの受信端点がターゲット層を切り替える時に前記少なくとも1つの受信端点が復号されたピクチャを新しいターゲット層解像度で即座に表示できるようにするために、少なくとも前記ベース時間層について前記ターゲット空間層または品質層より上位の空間層または品質層について少なくとも1つの復号ループを動作させることをさらに含む、請求項45に記載の方法。
- 請求項20から53に記載の方法のうちの少なくとも1つに記載のステップを実行する命令の組を含むコンピュータ可読媒体。
Applications Claiming Priority (26)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US77876006P | 2006-03-03 | 2006-03-03 | |
US60/778,760 | 2006-03-03 | ||
US78703106P | 2006-03-29 | 2006-03-29 | |
US78699706P | 2006-03-29 | 2006-03-29 | |
US60/786,997 | 2006-03-29 | ||
US60/787,031 | 2006-03-29 | ||
USPCT/US2006/028367 | 2006-07-20 | ||
USPCT/US2006/028365 | 2006-07-20 | ||
USPCT/US2006/028366 | 2006-07-20 | ||
USPCT/US2006/028368 | 2006-07-20 | ||
PCT/US2006/028367 WO2007075196A1 (en) | 2005-09-07 | 2006-07-21 | System and method for a high reliability base layer trunk |
PCT/US2006/028366 WO2008082375A2 (en) | 2005-09-07 | 2006-07-21 | System and method for a conference server architecture for low delay and distributed conferencing applications |
PCT/US2006/028365 WO2008060262A1 (en) | 2005-09-07 | 2006-07-21 | System and method for scalable and low-delay videoconferencing using scalable video coding |
PCT/US2006/028368 WO2008051181A1 (en) | 2006-07-21 | 2006-07-21 | System and method for jitter buffer reduction in scalable coding |
US82960906P | 2006-10-16 | 2006-10-16 | |
US60/829,609 | 2006-10-16 | ||
US86251006P | 2006-10-23 | 2006-10-23 | |
US60/862,510 | 2006-10-23 | ||
PCT/US2006/061815 WO2007067990A2 (en) | 2005-12-08 | 2006-12-08 | Systems and methods for error resilience and random access in video communication systems |
USPCT/US2006/061815 | 2006-12-08 | ||
PCT/US2006/062569 WO2007076486A2 (en) | 2005-12-22 | 2006-12-22 | System and method for videoconferencing using scalable video coding and compositing scalable video conferencing servers |
USPCT/US2006/062569 | 2006-12-22 | ||
US88414807P | 2007-01-09 | 2007-01-09 | |
US60/884,148 | 2007-01-09 | ||
PCT/US2007/062357 WO2007095640A2 (en) | 2006-02-16 | 2007-02-16 | System and method for thinning of scalable video coding bit-streams |
USPCT/US2007/062357 | 2007-02-16 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008557529A Division JP5753341B2 (ja) | 2006-03-03 | 2007-03-05 | スケーラブルビデオ通信でエラー耐性、ランダムアクセス、およびレート制御を提供するシステムおよび方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015097416A true JP2015097416A (ja) | 2015-05-21 |
JP6309463B2 JP6309463B2 (ja) | 2018-04-11 |
Family
ID=40279111
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008557529A Active JP5753341B2 (ja) | 2006-03-03 | 2007-03-05 | スケーラブルビデオ通信でエラー耐性、ランダムアクセス、およびレート制御を提供するシステムおよび方法 |
JP2015000263A Active JP6309463B2 (ja) | 2006-03-03 | 2015-01-05 | スケーラブルビデオ通信でエラー耐性、ランダムアクセス、およびレート制御を提供するシステムおよび方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008557529A Active JP5753341B2 (ja) | 2006-03-03 | 2007-03-05 | スケーラブルビデオ通信でエラー耐性、ランダムアクセス、およびレート制御を提供するシステムおよび方法 |
Country Status (3)
Country | Link |
---|---|
JP (2) | JP5753341B2 (ja) |
CN (1) | CN101421936B (ja) |
CA (1) | CA2644753A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102016105406A1 (de) | 2015-05-12 | 2016-11-17 | Toyota Jidosha Kabushiki Kaisha | Verfahren zum Steuern einer Leistungswandlungsvorrichtung und Leistungswandlungsvorrichtung |
WO2019163546A1 (ja) * | 2018-02-26 | 2019-08-29 | パナソニックIpマネジメント株式会社 | 双方向映像通信システム及び通信制御装置 |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8259808B2 (en) * | 2010-03-25 | 2012-09-04 | Mediatek Inc. | Low complexity video decoder |
CN102300087A (zh) * | 2010-06-24 | 2011-12-28 | 北京大学 | 一种svc编码方法和编码器 |
JP5681557B2 (ja) * | 2011-05-10 | 2015-03-11 | 日本電信電話株式会社 | 映像再生方法、映像再生装置、及び映像再生プログラム |
EP2869555A4 (en) * | 2012-06-28 | 2016-03-16 | Sony Corp | SENDING / RECEIVING DEVICE, METHOD AND CODING / DECODING DEVICE |
US20140119446A1 (en) * | 2012-11-01 | 2014-05-01 | Microsoft Corporation | Preserving rounding errors in video coding |
NO341411B1 (no) * | 2013-03-04 | 2017-10-30 | Cisco Tech Inc | Virtuelle endepunkter i videokonferanser |
JP5902653B2 (ja) * | 2013-08-30 | 2016-04-13 | ソフトバンク株式会社 | 動画配信システム、動画配信装置、端末装置、及びプログラム |
GB201318658D0 (en) * | 2013-10-22 | 2013-12-04 | Microsoft Corp | Controlling resolution of encoded video |
JP6497874B2 (ja) * | 2014-08-28 | 2019-04-10 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
CN104967884B (zh) * | 2015-04-17 | 2018-01-26 | 北京奇艺世纪科技有限公司 | 一种码流切换方法和装置 |
US11070827B2 (en) | 2017-10-11 | 2021-07-20 | Sony Corporation | Transmission apparatus, transmission method, and program |
EP3985974B1 (en) * | 2020-10-13 | 2023-05-10 | Axis AB | An image processing device, a camera and a method for encoding a sequence of video images |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10108175A (ja) * | 1996-09-30 | 1998-04-24 | Ando Electric Co Ltd | 画像符号伝送システム |
WO2004040908A1 (ja) * | 2002-10-30 | 2004-05-13 | Fujitsu Limited | ストリーム・サーバ |
JP2005341075A (ja) * | 2004-05-26 | 2005-12-08 | Nippon Telegr & Teleph Corp <Ntt> | スケーラブル通信会議システム,サーバ装置,スケーラブル通信会議方法,スケーラブル通信会議制御方法,スケーラブル通信会議制御プログラムおよびそのプログラム記録媒体 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6907070B2 (en) * | 2000-12-15 | 2005-06-14 | Microsoft Corporation | Drifting reduction and macroblock-based control in progressive fine granularity scalable video coding |
EP1670259A3 (en) * | 2002-01-23 | 2010-03-03 | Nokia Corporation | Grouping of image frames in video coding |
US7072394B2 (en) * | 2002-08-27 | 2006-07-04 | National Chiao Tung University | Architecture and method for fine granularity scalable video coding |
JP4880222B2 (ja) * | 2002-12-19 | 2012-02-22 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 前方エラー訂正符号を用いる映像のドリフトのない一部の複数記述チャネル符号化のシステム及び方法 |
JP2005130428A (ja) * | 2003-09-29 | 2005-05-19 | Ntt Communications Kk | 双方向画像通信装置、その処理方法及びクライアント装置並びにプログラム |
CA2624339C (en) * | 2005-10-12 | 2014-12-02 | Thomson Licensing | Region of interest h.264 scalable video coding |
-
2007
- 2007-03-05 CN CN200780007488.9D patent/CN101421936B/zh active Active
- 2007-03-05 CA CA002644753A patent/CA2644753A1/en not_active Abandoned
- 2007-03-05 JP JP2008557529A patent/JP5753341B2/ja active Active
-
2015
- 2015-01-05 JP JP2015000263A patent/JP6309463B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10108175A (ja) * | 1996-09-30 | 1998-04-24 | Ando Electric Co Ltd | 画像符号伝送システム |
WO2004040908A1 (ja) * | 2002-10-30 | 2004-05-13 | Fujitsu Limited | ストリーム・サーバ |
JP2005341075A (ja) * | 2004-05-26 | 2005-12-08 | Nippon Telegr & Teleph Corp <Ntt> | スケーラブル通信会議システム,サーバ装置,スケーラブル通信会議方法,スケーラブル通信会議制御方法,スケーラブル通信会議制御プログラムおよびそのプログラム記録媒体 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102016105406A1 (de) | 2015-05-12 | 2016-11-17 | Toyota Jidosha Kabushiki Kaisha | Verfahren zum Steuern einer Leistungswandlungsvorrichtung und Leistungswandlungsvorrichtung |
WO2019163546A1 (ja) * | 2018-02-26 | 2019-08-29 | パナソニックIpマネジメント株式会社 | 双方向映像通信システム及び通信制御装置 |
JP2019149627A (ja) * | 2018-02-26 | 2019-09-05 | パナソニックIpマネジメント株式会社 | 双方向映像通信システム及び通信制御装置 |
US11095850B2 (en) | 2018-02-26 | 2021-08-17 | Panasonic Intellectual Property Management Co., Ltd. | Bidirectional video communication system and communication control device |
Also Published As
Publication number | Publication date |
---|---|
CA2644753A1 (en) | 2007-09-13 |
JP2009540629A (ja) | 2009-11-19 |
CN101421936A (zh) | 2009-04-29 |
JP5753341B2 (ja) | 2015-07-22 |
JP6309463B2 (ja) | 2018-04-11 |
CN101421936B (zh) | 2016-09-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9307199B2 (en) | System and method for providing error resilience, random access and rate control in scalable video communications | |
JP6309463B2 (ja) | スケーラブルビデオ通信でエラー耐性、ランダムアクセス、およびレート制御を提供するシステムおよび方法 | |
AU2007223300A1 (en) | System and method for providing error resilience, random access and rate control in scalable video communications | |
US8442120B2 (en) | System and method for thinning of scalable video coding bit-streams | |
CA2640246C (en) | System and method for thinning of scalable video coding bit-streams | |
CA2633366C (en) | System and method for videoconferencing using scalable video coding and compositing scalable video conferencing servers | |
US8436889B2 (en) | System and method for videoconferencing using scalable video coding and compositing scalable video conferencing servers | |
US8289370B2 (en) | System and method for scalable and low-delay videoconferencing using scalable video coding | |
US20070121723A1 (en) | Scalable video coding method and apparatus based on multiple layers | |
US20160360155A1 (en) | System and method for scalable and low-delay videoconferencing using scalable video coding | |
JP2009540625A6 (ja) | スケーラブルビデオコーディングビットストリームのシニングのためのシステムおよび方法 | |
Sun et al. | Seamless switching of scalable video bitstreams for efficient streaming | |
JP2009544176A (ja) | スケーラブルビデオコーデックと非スケーラブルビデオコーデックとの間でトランスコードを行うためのシステム及び方法 | |
Ouaret et al. | Codec-independent scalable distributed video coding | |
AU2011254031B2 (en) | System and method for providing error resilience, random access and rate control in scalable video communications | |
Shankar | Unequal Error Protection for H. 264/SVC bitstream |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7426 Effective date: 20150213 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160531 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20160819 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161130 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170425 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20170719 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171005 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180306 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180314 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6309463 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |