JP6120781B2 - シーンベースの可変圧縮 - Google Patents

シーンベースの可変圧縮 Download PDF

Info

Publication number
JP6120781B2
JP6120781B2 JP2013558000A JP2013558000A JP6120781B2 JP 6120781 B2 JP6120781 B2 JP 6120781B2 JP 2013558000 A JP2013558000 A JP 2013558000A JP 2013558000 A JP2013558000 A JP 2013558000A JP 6120781 B2 JP6120781 B2 JP 6120781B2
Authority
JP
Japan
Prior art keywords
content
compression
compression method
compressed
level
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013558000A
Other languages
English (en)
Other versions
JP2014514800A (ja
Inventor
ウル,シュムエル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Empire Technology Development LLC
Original Assignee
Empire Technology Development LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Empire Technology Development LLC filed Critical Empire Technology Development LLC
Publication of JP2014514800A publication Critical patent/JP2014514800A/ja
Application granted granted Critical
Publication of JP6120781B2 publication Critical patent/JP6120781B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/04Protocols for data compression, e.g. ROHC
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/12Systems in which the television signal is transmitted via one channel or a plurality of parallel channels, the bandwidth of each channel being less than the bandwidth of the television signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/75Media network packet handling
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162User input
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/179Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

コンピュータネットワークは、大量のデータ(たとえば、コンテンツ)が、1つのコンピューティングデバイスから別のコンピューティングデバイスに転送されることを可能にする。一例として、クライアントコンピューティングデバイスは、イントラネットまたはインターネットを介して、サーバコンピューティングデバイスに格納されているマルチメディアコンテンツにアクセスすることができる。ネットワークの帯域幅は限られているので、コンピューティングデバイス間で転送されるべきコンテンツを圧縮するためにさまざまな圧縮方法が使用される。一例として、国際標準機構のムービングピクチャーエクスパーツグループ(「MPEG」:moving picture experts group)では、マルチメディアコンテンツのための圧縮方法を提案した。
圧縮方法は、圧縮されていないデータを表すビットの数よりも、少ないビット数を使用してデータを格納する。したがって、圧縮されたデータは、圧縮前の等価のデータ(「未圧縮データ」)の場合と比較して、圧縮データを伝送するために必要なストレージスペースおよびネットワーク帯域幅を低減することができる。
圧縮方法は、不可逆であっても、または可逆であってもよい。データを圧縮するために不可逆圧縮方法が使用される場合、圧縮されたデータは一般に、展開中、当初圧縮されたデータを完全な忠実性で再生するために使用することはできない。対照的に、データを圧縮するために可逆圧縮方法が使用される場合、圧縮されたデータは、当初圧縮されたデータを完全な忠実性で再生するために使用されてもよい。したがって、データを圧縮するためにいずれの圧縮方法が使用されるかは、メディアコンテンツの再生品質に影響を及ぼす可能性がある。
シーンベースの可変圧縮を可能にするための技術(「本技術」)が開示される。本技術は、第1のコンテンツタイプの圧縮レベルの指示を受信することができ、圧縮レベルは不可逆圧縮の許容レベルを指定しており;少なくとも2つの部分を有するコンテンツの要求を受信することができ、第1の部分は第1のコンテンツタイプの第1のコンテンツを有しており、第2の部分は第2のコンテンツタイプの第2のコンテンツを有しており、第1の圧縮方法は指示された圧縮レベルに関連付けられており、第2の圧縮方法は別の圧縮レベルに関連付けられている。次いで、本技術は、要求に応答するためにコンテンツを伝送することができ、コンテンツの第1の部分は第1の圧縮方法を使用して圧縮されており、第2の部分は第2の圧縮方法を使用して圧縮されている。
前述の課題を解決するための手段は、例示的なものに過ぎず、限定的であるようには全く意図されていない。上記で説明される例示的な態様、実施形態、および特徴に加えて、さらなる態様、実施形態、および特徴は、図面および後段の詳細な説明を参照することにより明らかとなろう。
たとえばコンテンツの要求に応答するために、本技術がさまざまな実施形態において呼び出すことができるルーチンを示す流れ図である。 たとえばコンテンツの要求に応答するために、本技術がさまざまな実施形態において呼び出すことができるルーチンを示す流れ図である。 たとえばクライアントプリファレンスの指示を格納するために、本技術がさまざまな実施形態において採用することができるテーブルを示すテーブル図である。 たとえば圧縮レベルと圧縮方法との間の関連を格納するために、本技術がさまざまな実施形態において採用することができるテーブルを示すテーブル図である。 さまざまな実施形態における元のコンテンツと圧縮されたコンテンツとの比較を示す概略図である。 さまざまな実施形態において本技術が動作することができる環境を示すブロック図である。 さまざまな実施形態において本技術が採用することができるコンポーネントを示すブロック図である。 たとえば圧縮レベルのプリファレンスを伝送するために、本技術がさまざまな実施形態において呼び出すことができるルーチンを示す流れ図である。 本開示の少なくとも一部の実施形態によるシーンベースの可変圧縮のために配列されるコンピューティングデバイスの例示的な実施形態を示すブロック図である。
以下の詳細な説明において、本明細書の一部を成す付属の図面が参照される。図面において、文脈に特に指示がない限り、類似する符号は概して、類似するコンポーネントを識別する。発明を実施するための形態、図面、および特許請求の範囲において説明される例示的な実施形態は、限定的であるように意図されていない。本明細書において提示される主題の範囲を逸脱することなく、その他の実施形態が使用されてもよく、その他の変更が行われてもよい。本明細書において概ね説明され、図面に示される本開示の態様が、多岐にわたるさまざまな構成において配置され、代替され、組み合わされ、分離され、設計されてもよく、それらすべてが本明細書において明示的に検討されることは容易に理解されよう。
シーンベースの可変圧縮を可能にするための技術(「本技術」)が開示される。さまざまな実施形態において、本技術は、コンテンツの要求者から前もって受信されるシーンベースのプリファレンスに基づいて可変圧縮されるコンテンツの配信を可能にする。クライアント(たとえば、クライアントコンピューティングデバイスまたはクライアントコンピューティングデバイスのユーザ)は、さまざまなコンテンツタイプのプリファレンスを指示することができる。一例として、クライアントは、スポーツイベントの広角ビューが圧縮されるべきではないが、ニュース番組は高密度に圧縮されてもよいことを指示することができる。次いで、サーバは、クライアントにより指示されたプリファレンスを格納することができる。クライアントが引き続きコンテンツ(たとえば、ダウンロードされるかまたはストリーミングされるべきコンテンツ)を要求すると、サーバは、クライアントの前もって提供されたプリファレンスに従って圧縮されるコンテンツを選択することにより要求に応答することができる。コンテンツは、動的に圧縮されてもよく(たとえば、要求を満たすために配信される直前)、または前もって圧縮されて格納されてもよい。サーバは、コンテンツを求めるクライアントの要求に応答するとき、(たとえば、コンテンツがクライアントに提供されるべき時間の近くで)動的にシーンを検出することにより、または要求されたコンテンツの部分に関連付けられているメタデータを取り出すことにより、どのコンテンツタイプがコンテンツに対応するかを決定することができる。
コンテンツは、各々異なるコンテンツタイプに対応する複数のシーンを含むことができる。一例として、スポーツショーは、分析が後に続く試合の一部(たとえば、プロバスケットボールの試合)を含むことができる。試合の部分は、複数の広角部分および複数のクローズアップ部分を含むことができる。分析の部分は、ニュース番組と類似していてもよい。コンテンツを要求するクライアントが、広角ショットを圧縮せず、クローズアップショットを多少圧縮し、ニュース番組を十分に圧縮するようにプリファレンスを指定してある場合、サーバは、それに応じて各部分を圧縮してスポーツショーをクライアントに提供することができる。
クライアントは、たとえば、現在の話者の性別または属性、コンテンツタイプ(たとえば、バイオレンス、セックス、ネイチャー、ダンス、ニュースなど)などのようなさまざまなシーンベースの要因に少なくとも基づいて、圧縮のプリファレンスを指定することができる。クライアントが指定するプリファレンスは、コンテンツタイプの少なくとも一部に対する好ましいまたは望ましい圧縮レベルもしくは圧縮方法を付加的に指示することができる。本技術は、指示される圧縮レベルについてさまざまな圧縮方法を選択することができる。したがって、本技術は、コンテンツタイプに伴って変化する方法でシーンベースの圧縮のクライアント指示に応答するコンテンツを提供することができる。クライアントが特定の圧縮レベルを指定する場合、一部の実施形態において本技術は、特定の圧縮方法(たとえば、特定の不可逆圧縮方法)に対する圧縮パラメータを変更して、より多いまたはより少ない圧縮を達成することができ、そのような変更は各々、本明細書において異なる圧縮方法と称されてもよい。
さまざまな実施態様において、初期シーン認識は、最初にクライアントコンピューティングデバイスによって実行されてもよい。一例として、クライアントコンピューティングデバイスは、最初に、第1の圧縮方法(たとえば、不可逆圧縮方法)を使用して圧縮されたコンテンツを受信することができる。クライアントコンピューティングデバイスは、第1の圧縮方法を使用してコンテンツが圧縮される場合に可能となる忠実性よりも高い忠実性でユーザが視聴したいと望むものであるとクライアントのユーザが前もって指示していた特定のシーンをコンテンツが含むことを認識するために、シーン認識アルゴリズムを採用することができる。コンテンツがそのようなシーンを含むことを認識すると、クライアントコンピューティングデバイスは、第1の圧縮方法よりも高い忠実性をもたらす第2の圧縮方法(たとえば、可逆または「より情報損失の少ない」圧縮方法)を使用するようサーバコンピューティングデバイスに指示することができる。次いで、サーバコンピューティングデバイスは、第2の圧縮方法を使用して圧縮されるコンテンツを提供することができる。後に、受信されたコンテンツが、第1の圧縮方法を使用してコンテンツが圧縮される場合に可能となる忠実性よりも高い忠実性で受信されるべきであるとユーザが指示していない別のシーンを含むことをクライアントコンピューティングデバイスが決定すると、クライアントコンピューティングデバイスは、第1の圧縮方法(または異なる圧縮方法)の使用に戻るようサーバコンピューティングデバイスに要求することができる。
さまざまな実施形態において、ユーザは、第1の圧縮方法を使用してコンテンツが圧縮される場合に生じるであろう忠実性よりも低い忠実性で一部のコンテンツタイプを視聴したいとユーザが望むことを指示することができる。そのような実施形態において、クライアントコンピューティングデバイスは、第1の圧縮方法を使用してコンテンツが圧縮される場合に可能となる忠実性よりも低い忠実性でユーザが視聴したいと望むものであるとユーザが前もって指示していた特定のシーンをコンテンツが含むことを認識するために、シーン認識アルゴリズムを採用することができる。コンテンツがそのようなシーンを含むことを認識すると、クライアントコンピューティングデバイスは、第1の圧縮方法よりも低い忠実性をもたらす第3の圧縮方法(たとえば、可逆または「より情報損失の多い」圧縮方法)を使用するようサーバコンピューティングデバイスに指示することができる。次いで、サーバコンピューティングデバイスは、第3の圧縮方法を使用して圧縮されるコンテンツを提供することができる。後に、受信されたコンテンツが、第3の圧縮方法を使用してコンテンツが圧縮される場合に可能となる忠実性よりも低い忠実性で受信されるべきであるとユーザが指示していない別のシーンを含むことをクライアントコンピューティングデバイスが決定すると、クライアントコンピューティングデバイスは、第1の圧縮方法(または異なる圧縮方法)の使用に戻るようサーバコンピューティングデバイスに要求することができる。
さまざまな実施形態において、たとえば、クライアントプリファレンスを格納するための第1のサーバ、コンテンツを格納するための第2のサーバ、およびクライアント要求に応答するための第3のサーバのような、異なるサーバが使用されてもよい。次に、本技術は、図面を参照して説明される。
図1は、たとえばコンテンツの要求に応答するために、本技術がさまざまな実施形態において呼び出すことができるルーチン100を示す流れ図である。ルーチン100は、ブロック102で開始し、ブロック104に続く。ブロック104において、ルーチン100は、第1のコンテンツタイプの圧縮レベルの指示を受信し、圧縮レベルは不可逆圧縮の許容レベルを指定する。次いで、ルーチン100は、ブロック106において続行し、コンテンツの要求を(たとえば、クライアントから)受信する。コンテンツは、少なくとも2つの部分を有することができ、第1の部分は第1のコンテンツタイプの第1のコンテンツを有し、第2の部分は第2のコンテンツタイプの第2のコンテンツを有する。指示された圧縮レベルに関連付けられている第1の圧縮方法、および別の圧縮レベルに関連付けられている第2の圧縮方法があってもよい。次いで、ルーチン100は、ブロック108において続行し、コンテンツの要求側(たとえば、クライアント)にコンテンツを伝送し、コンテンツの第1の部分は第1の圧縮方法を使用して圧縮されており、第2の部分は第2の圧縮方法を使用して圧縮されている。次いで、ルーチン100はブロック110に続き、そこで戻る。ルーチン100は、伝送に先立ってコンテンツを圧縮することができる、または以前圧縮されたコンテンツを取り出すことができる。
ルーチン100は、コンテンツを要求するクライアントコンピューティングデバイスから圧縮レベルの指示をさらに受信することができる。ルーチン100は、第1の圧縮方法を使用してコンテンツの第1の部分をさらに圧縮することができる。コンテンツの第1の部分は、第1のサイズを有することができ、コンテンツの第1の部分の圧縮されるサイズは、第2の圧縮方法を使用してコンテンツの第1の部分を圧縮した場合の結果よりも小さくなりうる。ルーチン100はさらに、コンテンツの各部分の圧縮方法を、たとえばほぼリアルタイムで、コンテンツのその部分に関連付けられているコンテンツタイプに基づいて動的に選択することができる。コンテンツタイプは、コンテンツの部分の少なくとも1つに関連付けられているメタデータで指示されてもよい。あるいは、コンテンツタイプは、たとえばシーンに基づいて、自動的に検出されてもよい。コンテンツタイプは、景色、話者の性別、話者の属性、スポーツ、野生生物、ニュース、またはセクシュアルのうちの少なくとも1つであってもよい。一例として、第1のコンテンツタイプがニュースであり、第2のコンテンツタイプがスポーツである場合、第1の圧縮方法は、第2の圧縮方法より情報損失が多くてもよい。もう1つの例として、第1のコンテンツタイプが広角ビューであり、第2のコンテンツタイプがクローズアップビューである場合、第1の圧縮方法は、第2の圧縮方法より情報損失が少なくてもよい。
当業者であれば、図1に示されて上記で説明される論理、および流れ図の各々に示され以下で説明される論理が、さまざまな方法で変更されてもよいことを理解するであろう。たとえば、論理の順序は並び替えられてもよく、下位論理は並列して実行されてもよく、示されている論理は省略されてもよく、その他の論理が含まれてもよく、同様のことが挙げられる。
図2は、たとえばコンテンツの要求に応答するために、本技術がさまざまな実施形態において呼び出すことができるルーチン200を示す流れ図である。ルーチン200は、ブロック202で開始し、ブロック204に続く。ブロック204において、ルーチン200は、(たとえば、クライアントのようなコンテンツの要求側から)さまざまなコンテンツタイプの好ましいかまたは望ましい圧縮レベルの指示を受信する。次いで、ルーチン200は、ブロック206において続行し、ルーチン200は、たとえばサーバに通信可能に結合されたストレージデバイスに、受信した指示を格納する。次いで、ルーチン200は、ブロック208において続行し、コンテンツの要求を(たとえば、クライアントから)受信する。コンテンツは、ダウンロードまたはストリーミングのためのマルチメディアコンテンツ、または任意のその他のタイプのコンテンツであってもよい。次いで、ルーチン200は、ブロック210において続行し、要求されたコンテンツのさまざまな部分のコンテンツタイプを決定する。本技術は、コンテンツの各部分に関連付けられているメタデータをチェックして、コンテンツを動的に評価することなどによって、コンテンツタイプを決定することができる。コンテンツを動的に評価するためのさまざまな技術が存在する。例として、顔検出、位置認識、ヌード認識、音声認識などのための技術が存在する。本技術は、それらの既存の技術の1つまたは複数を採用して、コンテンツの部分のコンテンツタイプを識別するために動的にコンテンツを評価することができる。
ルーチン200は、ブロック212またはブロック214のいずれかにおいて、さまざまな実施形態で続行する。ブロック212において、ルーチン200は、オプションで、たとえばコンテンツの部分のコンテンツタイプの指示された圧縮レベルに基づいて、コンテンツの部分を圧縮する。あるいは、または加えて、ルーチン200は、以前圧縮されたコンテンツ(図示せず)を取り出すことができる。さまざまな実施形態において、好ましいかまたは望ましい圧縮レベルで部分が以前圧縮されている場合、本技術は、以前圧縮されている部分を、再度圧縮するのではなく、単に取り出すことができる。次いで、ルーチン200はブロック214において続行する。
ブロック214において、ルーチン200は、たとえばコンテンツを要求したクライアントに、コンテンツを送信する。次いで、ルーチン200はブロック216において続行し、そこで戻る。
図3は、たとえばクライアントプリファレンスの指示を格納するために、本技術がさまざまな実施形態において採用することができる圧縮レベルテーブル300を示すテーブル図である。テーブル300は、たとえばクライアント識別列302、コンテンツタイプ列304、および圧縮レベル列306のような、複数の列を含む。クライアント識別列302は、たとえばグローバル一意識別子、ネットワークアドレス識別子など、クライアントの識別を格納することができる。コンテンツタイプ列304は、たとえばスポーツ、ニュース、ヌード、俳優などのような、コンテンツタイプの識別を格納することができる。圧縮レベル列306は、圧縮レベルの指示を格納することができる。したがって、クライアントが任意の特定のコンテンツタイプを有するコンテンツを要求する場合に、本技術が任意の特定のクライアントに対してどの圧縮レベルを使用するかを決定することができるように、テーブル300内の各行は、クライアント識別子、コンテンツタイプ、および圧縮レベルの間の関連性を格納する。さまざまな実施形態において、本技術は、要求されたコンテンツをクライアントに送信する間に遭遇する任意の所与のコンテンツタイプに対してクライアントが特定の圧縮レベルを指定してない場合、デフォルトの圧縮レベルを適用することができる。一例として、行308、310、および312は、1のクライアント識別子を有するクライアントに関連付けられている。行308は、広角ビューを備えるスポーツのコンテンツタイプが0の圧縮レベルを有するべきであると指定し、行310は、クローズアップビューを備えるスポーツのコンテンツタイプが2の圧縮レベルを有するべきであると指定し、行312は、ニュースのコンテンツタイプが4の圧縮レベルを有するべきであると指定する。行314および316は、2のクライアント識別子を有するクライアントに関連付けられている。行314は、ヌードのコンテンツタイプが1の圧縮レベルを有するべきであると指定し、行316は、シーンが俳優クリントイーストウッドを含む場合に1の圧縮レベルにすべきであると指定する。
図3および以下で説明されるテーブル図の各々は、コンテンツおよび編成が人間の読者により理解しやすいように設計されているテーブルを示すが、当業者であれば、この情報を格納するために機能によって使用される実際のデータ構造が、たとえば異なる方法で編成されうる、示されているよりも多量または少量の情報を含みうる、圧縮および/または暗号化されうるなどの点において、示されるテーブルとは異なる場合もあることを理解するであろう。
図4は、たとえば圧縮レベルと圧縮方法との間の関連性を格納するために、本技術がさまざまな実施形態において採用することができるテーブル400を示すテーブル図である。テーブル400は、圧縮レベル列402および圧縮方法列404を含む。圧縮レベル列402は、図3の列306に対応する。圧縮方法列404は、任意の特定の圧縮レベルにどの圧縮方法が使用されるべきかを指示する。例として、圧縮レベルが0の場合、圧縮は使用されず、圧縮レベルが1の場合、可逆圧縮が使用され、圧縮レベルが2の場合、第1の不可逆圧縮方法が使用され、圧縮レベルが3の場合、第2の不可逆圧縮方法が使用され、圧縮レベルが4の場合、第3の不可逆圧縮方法が使用される。
図5は、さまざまな実施形態における元のコンテンツ500と圧縮されたコンテンツ550との比較を示す概略図である。元のコンテンツ500は、スポーツクローズアップ部分502、スポーツ広角部分504、ニュース部分506、およびスポーツクローズアップ部分508を含む。4つの部分は各々、5メガバイト(「Mb」)の元のサイズを有する。各部分はまた、その部分に関連付けられているメタデータでその部分に対応するコンテンツタイプを指示する。圧縮されたコンテンツ550は、元のコンテンツ500と同じ部分を含むが、その部分の一部は、部分ごとに図3のクライアント1に識別されている選択された圧縮レベルに従って圧縮されている。例として、部分552は部分502に対応するが、第1の不可逆圧縮方法で圧縮され、部分554は部分504に対応し、圧縮されておらず、部分556は部分506に対応するが、第3の不可逆圧縮方法で圧縮され、部分558は部分508に対応するが、第1の不可逆圧縮方法で圧縮される。圧縮後、部分552は4Mbになり、部分554は5Mbのままであり、部分556は3Mbになり、部分558は4Mbになる。したがって、元のコンテンツは合計20Mbを有するが、圧縮されたコンテンツは合計16Mbを有する。
図6は、さまざまな実施形態において本技術が動作することができる環境600を示すブロック図である。環境600は、1つまたは複数のサーバ602を含むことができる。一例として、環境600は、クライアントプリファレンス、コンテンツ、および/または圧縮されたコンテンツを、たとえばサーバ602に通信可能に結合されうるストレージ604に、格納するためのサーバを含むことができる。サーバは、たとえばクライアントコンピューティングデバイス608a、608b、および608nのような1つまたは複数のクライアントコンピューティングデバイス608にネットワーク606を介して通信可能に結合されてもよい。クライアントまたはサーバは、さまざまな実施形態において、たとえば図9に関して後段でさらに詳細に説明されるように、汎用コンピューティングデバイスまたは特殊用途コンピューティングデバイスであってもよい。
図7は、さまざまな実施形態において本技術が採用することができるコンポーネント700を示すブロック図である。コンポーネント702は、第1のコンテンツタイプの圧縮レベルの指示を受信するように構成することができ、圧縮レベルは不可逆圧縮の許容レベルを指定する。コンポーネント704は、少なくとも2つの部分を有するコンテンツの要求をクライアントから受信するように構成することができ、第1の部分は第1のコンテンツタイプの第1のコンテンツを有し、第2の部分は第2のコンテンツタイプの第2のコンテンツを有し、第1の圧縮方法は指示された圧縮レベルに関連付けられ、第2の圧縮方法は別の圧縮レベルに関連付けられている。コンポーネント706は、要求されたコンテンツをクライアントに伝送するように構成することができ、コンテンツの第1の部分は第1の圧縮方法を使用して圧縮されており、第2の部分は第2の圧縮方法を使用して圧縮されている。コンプレッサコンポーネント708は、たとえば1つまたは複数の圧縮方法を使用してコンテンツを圧縮することができる。ストレージコンポーネント710は、たとえば、コンテンツ、クライアントプリファレンス、圧縮されたデータなど、さまざまなデータを格納することができる。取出しコンポーネント712は、たとえば、コンテンツ、クライアントプリファレンス、圧縮されたデータなど、さまざまなデータを取り出すことができる。本技術はまた、その他のコンポーネント(図示せず)を採用することもできる。
図8は、たとえば圧縮レベルのプリファレンスを伝送するために、本技術がさまざまな実施形態において呼び出すことができるルーチン800を示す流れ図である。ルーチン800はブロック802において開始する。次いで、ルーチンはブロック804において続行し、少なくとも2つのコンテンツタイプの不可逆圧縮の許容レベルの指示を伝送する。次いで、ルーチンは、ブロック806において続行し、サーバにコンテンツを要求する。次いで、ルーチンはブロック808において続行し、要求されたコンテンツをサーバから受信し、要求されたコンテンツは、第1のコンテンツタイプの第1のコンテンツを有する第1の部分、および第2のコンテンツタイプの第2のコンテンツを有する第2の部分を含み、第1の部分は第1の圧縮方法を使用して圧縮されており、第2の部分は第2の圧縮方法を使用して圧縮されており、各圧縮方法は指示される許容レベルに対応する。次いで、ルーチンはブロック810において続行し、そこで戻る。
図9は、本開示の少なくとも一部の実施形態によるシーンベースの可変圧縮のために配列される例示のコンピューティングデバイス900を示すブロック図である。極めて基本的な構成902において、コンピューティングデバイス900は通常、1つまたは複数のプロセッサ904およびシステムメモリ906を含む。メモリバス908は、プロセッサ904とシステムメモリ906との間で通信するために使用されてもよい。
望ましい構成に応じて、プロセッサ904は、マイクロプロセッサ(μP)、マイクロコントローラ(μC)、デジタル信号プロセッサ(DSP)、またはそれらの任意の組み合わせを含む任意のタイプであってもよいが、これらに限定されることはない。プロセッサ904は、レベル1キャッシュ910およびレベル2キャッシュ912のような、1つまたは複数のレベルのキャッシング、プロセッサコア914、およびレジスタ916を含むことができる。例示のプロセッサコア914は、演算論理装置(ALU:arithmetic logic unit)、浮動小数点演算ユニット(FPU:floating point unit)、デジタル信号処理コア(DSP Core)、またはそれらの任意の組み合わせを含むことができる。例示のメモリコントローラ918はまた、プロセッサ904と共に使用されてもよいか、または一部の実施態様において、メモリコントローラ918はプロセッサ904の内部部品であってもよい。
望ましい構成に応じて、システムメモリ906は、(RAMのような)揮発性メモリ、(ROM、フラッシュメモリなどのような)不揮発性メモリ、またはそれらの任意の組み合わせを含む任意のタイプであってもよいが、これらに限定されることはない。システムメモリ906は、オペレーティングシステム920、1つまたは複数のアプリケーション922、およびプログラムデータ924を含むことができる。アプリケーション922は、1つまたは複数の圧縮の方法を使用してデータを圧縮するように配置されるコンプレッサコンポーネント926を含むことができる。プログラムデータ924は、本明細書において説明されるように、クライアントが要求することができるコンテンツ928(たとえば、マルチメディアコンテンツ)を含むことができる。一部の実施形態において、アプリケーション922は、たとえばディスプレイの方向に応じて、表示される情報の回転が使用可能または使用不可にされるように、オペレーティングシステム920でプログラムデータ924と共に動作するように配置されてもよい。この説明される基本構成902は、破線内のコンポーネントにより図9に示される。
コンピューティングデバイス900は、追加の特徴または機能、および追加のインターフェースを有して、基本構成902と、任意の必要なデバイスおよびインターフェース間の通信を容易にすることができる。たとえば、バス/インターフェースコントローラ930は、ストレージインターフェースバス934を介して基本構成902と1つまたは複数のデータストレージデバイス932との間の通信を容易にするために使用されてもよい。データストレージデバイス932は、取外し式ストレージデバイス936、非取外し式ストレージデバイス938、またはその組み合わせであってもよい。取外し式ストレージデバイスおよび非取外し式ストレージデバイスの例は、ほんの一部を挙げると、フレキシブルディスクドライブおよびハードディスクドライブ(HDD)のような磁気ディスクデバイス、コンパクトディスク(CD)ドライブまたはデジタル多用途ディスク(DVD)ドライブのような光ディスクドライブ、ソリッドステートドライブ(SSD)、およびテープドライブを含む。例示のコンピュータ記憶媒体は、コンピュータ可読命令、データ構造、プログラムモジュールおよびその他のデータのような情報の格納のための任意の方法または技術で実施された揮発性および不揮発性の、取外し式および非取外し式媒体を含むことができる。
システムメモリ906、取外し式ストレージデバイス936、および非取外し式ストレージデバイス938は、コンピュータストレージ媒体の例である。コンピュータストレージ媒体は、RAM、ROM、EEPROM、フラッシュメモリまたはその他のメモリ技術、CD−ROM、デジタル多用途ディスク(DVD)またはその他の光ストレージ、磁気カセット、磁気テープ、磁気ディスクストレージまたはその他の磁気ストレージデバイス、もしくは望ましい情報を格納するために使用されうる、コンピューティングデバイス900によってアクセスされうる任意の他の媒体を含むが、これらに限定されることはない。任意のそのようなコンピュータストレージ媒体は、コンピューティングデバイス900の一部を構成することができる。
コンピューティングデバイス900はまた、さまざまなインターフェースデバイス(たとえば、出力デバイス942、周辺インターフェース944、および通信デバイス946)から基本構成902へのバス/インターフェースコントローラ930を介する通信を容易にするためのインターフェースバス940を含むこともできる。例示の出力デバイス942は、グラフィック処理ユニット948およびオーディオ処理ユニット950を含み、これらは1つまたは複数のA/Vポート952を介してディスプレイまたはスピーカのようなさまざまな外部デバイスと通信するように構成されてもよい。例示の周辺インターフェース944は、シリアルインターフェースコントローラ954またはパラレルインターフェースコントローラ956を含み、これらは1つまたは複数の入出力ポート958を介して入力デバイス(たとえば、キーボード、マウス、ペン、音声入力デバイス、タッチ入力デバイスなど)またはその他の周辺デバイス(たとえば、プリンタ、スキャナなど)のような外部デバイスと通信するように構成されてもよい。例示の通信デバイス946はネットワークコントローラ960を含み、これは1つまたは複数の通信ポート964を介するネットワーク通信リンク上の1つまたは複数のその他のコンピューティングデバイス962との通信を容易にするために配置されてもよい。
ネットワーク通信リンクは、通信媒体の一例であってもよい。通信媒体は通常、搬送波または他のトランスポート機構のような、変調データ信号のコンピュータ可読命令、データ構造、プログラムモジュール、またはその他のデータによって具現されてもよく、任意の情報配信媒体を含むことができる。「変調データ信号」は、信号の特性セットの1つまたは複数を有する信号、もしくは信号の情報をエンコードするような方法で変更された信号であってもよい。限定的ではなく、一例として、通信媒体は、有線ネットワークまたは直接有線接続のような有線媒体、ならびに音響、無線周波数(RF)、マイクロ波、赤外線(IR)および他のワイヤレス媒体のようなワイヤレス媒体を含むことができる。本明細書に使用されているコンピュータ可読媒体という用語は、ストレージ媒体および通信媒体の両方を含むことができる。
コンピューティングデバイス900は、携帯電話、携帯情報端末(PDA)のような小型フォームファクターポータブル(またはモバイル)電子デバイス、パーソナルメディアプレイヤーデバイス、ワイヤレスWeb視聴デバイス、パーソナルハンドセットデバイス、アプリケーション固有デバイス、または上記の機能のいずれかを含む混合デバイスの一部として実施されてもよい。コンピューティングデバイス900はまた、ラップトップコンピュータおよびラップトップコンピュータ以外の構成を含むパーソナルコンピュータとして実施されてもよい。
前述の説明から、本開示のさまざまな実施形態が、例示を目的として本明細書において説明されており、本開示の範囲を逸脱することなくさまざまな変更が行われてもよいことが理解されよう。したがって、本明細書において開示されるさまざまな実施形態は、限定的であるようには意図されておらず、真の範囲は添付の特許請求の範囲により示される。

Claims (13)

  1. プロセッサと、メモリとを有するコンピューティングデバイスによって実行される方法であって、
    前記プロセッサにより第1のコンテンツタイプの圧縮レベルの指示を受信することであって、前記圧縮レベルは不可逆圧縮の許容レベルを指定する、受信することと、
    少なくとも第1の部分と第2の部分とを有するコンテンツの要求を受信することであって、前記第1の部分は前記第1のコンテンツタイプの第1のシーンを有し、前記第2の部分は第2のコンテンツタイプの第2のシーンを有する、受信することと、
    前記コンテンツの各部分の圧縮方法を、リアルタイムで、前記コンテンツの各部分に関連付けられているコンテンツタイプに基づいて動的に選択することであって、第1の圧縮方法は前記指示された圧縮レベルに関連付けられ、第2の圧縮方法は別の圧縮レベルに関連付けられている、選択することと、
    前記選択された圧縮方法に従って前記コンテンツの各部分を圧縮することと、
    前記コンテンツを伝送することであって、前記コンテンツの前記第1の部分は前記第1の圧縮方法を使用して圧縮されており、前記第2の部分は前記第2の圧縮方法を使用して圧縮されている、伝送することと
    を含む方法。
  2. 前記圧縮レベルの指示は、前記コンテンツを要求するクライアントコンピューティングデバイスから受信されることをさらに含む請求項1に記載の方法。
  3. 前記コンテンツの前記第1の部分は第1のサイズを有し、前記コンテンツの前記第1の部分の圧縮されたサイズは、前記第2の圧縮方法を使用して前記コンテンツの前記第1の部分を圧縮した場合の結果よりも小さい請求項1に記載の方法。
  4. 前記第1及び第2のコンテンツタイプの少なくとも1つは、コンテンツの前記部分の少なくとも1つに関連付けられているメタデータで指示される請求項1に記載の方法。
  5. 前記第1及び第2のコンテンツタイプの少なくとも1つが自動的に検出される請求項1に記載の方法。
  6. 前記第1及び第2コンテンツタイプの少なくとも1つが、景色、話者の性別、話者の属性、スポーツ、野生生物、ニュース、またはセクシュアルのうちの少なくとも1つである請求項1に記載の方法。
  7. 前記第1のコンテンツタイプがニュースであり、前記第2のコンテンツタイプがスポーツである場合、前記第1の圧縮方法は、前記第2の圧縮方法より情報損失が大きい請求項1に記載の方法。
  8. 前記第1のコンテンツタイプが広角ビューであり、前記第2のコンテンツタイプがクローズアップビューである場合、前記第1の圧縮方法は、前記第2の圧縮方法より情報損失が少ない請求項1に記載の方法。
  9. プロセッサおよびメモリと、
    第1のコンテンツタイプの圧縮レベルの指示を受信するように構成されたコンポーネントであって、前記圧縮レベルは不可逆圧縮の許容レベルを指定する、コンポーネントと、
    少なくとも第1の部分と第2の部分とを有するコンテンツの要求をクライアントから受信するように構成されたコンポーネントであって、前記第1の部分は前記第1のコンテンツタイプの第1のシーンを有し、前記第2の部分は第2のコンテンツタイプの第2のシーンを有する、コンポーネントと、
    前記第1のコンテンツの各部分の圧縮方法を、リアルタイムで、前記コンテンツの各部分に関連付けられているコンテンツタイプに基づいて動的に選択するコンポーネントであって、第1の圧縮方法は前記指示された圧縮レベルに関連付けられ、第2の圧縮方法は別の圧縮レベルに関連付けられている、コンポーネントと、
    前記選択された圧縮方法に従って前記コンテンツの各部分を圧縮する、コンポーネントと、
    前記要求されたコンテンツを前記クライアントに伝送するように構成されたコンポーネントであって、前記コンテンツの前記第1の部分は前記第1の圧縮方法を使用して圧縮されており、前記第2の部分は前記第2の圧縮方法を使用して圧縮されている、コンポーネントと
    を備えるシステム。
  10. 以前圧縮されたコンテンツをストレージから取り出すように構成されたコンポーネントをさらに備える請求項9に記載のシステム。
  11. 前記コンテンツに関連付けられているメタデータのストレージをさらに備える請求項9に記載のシステム。
  12. 前記コンテンツの少なくとも一部の部分に関連付けられているメタデータが存在し、前記第1の圧縮方法は前記第1の部分に関連付けられているメタデータに基づいて選択される請求項11に記載のシステム。
  13. 前記第1の圧縮方法は、前記第1のコンテンツタイプを動的に認識することに基づいて選択される請求項11に記載のシステム。
JP2013558000A 2011-03-18 2011-03-18 シーンベースの可変圧縮 Active JP6120781B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2011/028985 WO2012128743A1 (en) 2011-03-18 2011-03-18 Scene-based variable compression

Publications (2)

Publication Number Publication Date
JP2014514800A JP2014514800A (ja) 2014-06-19
JP6120781B2 true JP6120781B2 (ja) 2017-04-26

Family

ID=46879637

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013558000A Active JP6120781B2 (ja) 2011-03-18 2011-03-18 シーンベースの可変圧縮

Country Status (4)

Country Link
US (3) US9338257B2 (ja)
JP (1) JP6120781B2 (ja)
KR (1) KR101494121B1 (ja)
WO (1) WO2012128743A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015069793A1 (en) * 2013-11-05 2015-05-14 Fox Broadcasting Comany Method and apparatus for portably binding license rights to content stored on optical media
CN104768079B (zh) * 2014-01-03 2018-10-02 腾讯科技(深圳)有限公司 多媒体资源分发方法、装置及***
US11679412B2 (en) 2016-06-13 2023-06-20 Gvd Corporation Methods for plasma depositing polymers comprising cyclic siloxanes and related compositions and articles
US20170358445A1 (en) 2016-06-13 2017-12-14 Gvd Corporation Methods for plasma depositing polymers comprising cyclic siloxanes and related compositions and articles
US10880354B2 (en) * 2018-11-28 2020-12-29 Netflix, Inc. Techniques for encoding a media title while constraining quality variations
US20230177730A1 (en) * 2021-12-07 2023-06-08 International Business Machines Corporation Stochastic compression of raster data

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US839596A (en) * 1904-09-07 1906-12-25 Allen Johnston Pulley.
US4743959A (en) * 1986-09-17 1988-05-10 Frederiksen Jeffrey E High resolution color video image acquisition and compression system
US5982937A (en) * 1996-12-24 1999-11-09 Electronics For Imaging, Inc. Apparatus and method for hybrid compression of raster data
JP3873405B2 (ja) 1997-10-21 2007-01-24 ソニー株式会社 データ配信システム及びデータ配信装置
JP3588564B2 (ja) 1999-03-31 2004-11-10 株式会社東芝 映像データ記録装置
US6742043B1 (en) 2000-01-14 2004-05-25 Webtv Networks, Inc. Reformatting with modular proxy server
US7663670B1 (en) * 2001-02-09 2010-02-16 Digital Imaging Systems Gmbh Methods and systems for embedding camera information in images
JP2002344941A (ja) 2001-05-14 2002-11-29 Sony Corp コンテンツ品質制御システム
US6909745B1 (en) * 2001-06-05 2005-06-21 At&T Corp. Content adaptive video encoder
US7062088B1 (en) 2001-08-28 2006-06-13 Adobe Systems Incorporated Variable lossy compression
US20030236904A1 (en) 2002-06-19 2003-12-25 Jonathan Walpole Priority progress multicast streaming for quality-adaptive transmission of data
US8019788B1 (en) * 2002-09-30 2011-09-13 Siemens Product Lifecycle Management Software Inc. Data compression and file segmentation in directmodel JT datastores
JP3621407B2 (ja) 2003-04-17 2005-02-16 シャープ株式会社 送信機、受信機、ワイヤレスシステム、制御方法、制御プログラムおよびそれを記録したコンピュータ読み取り可能な記録媒体
JP2005084770A (ja) 2003-09-05 2005-03-31 Sony Corp コンテンツ提供システムおよび方法、提供装置および方法、再生装置および方法、並びにプログラム
JP4303085B2 (ja) 2003-10-23 2009-07-29 三菱電機株式会社 コンテンツ提供サービスシステム
US7636933B2 (en) 2004-07-15 2009-12-22 At&T Intellectual Property I, L.P. Human factors-based video compression
JP2006311078A (ja) 2005-04-27 2006-11-09 Victor Co Of Japan Ltd 高能率符号化記録装置
JP2007158644A (ja) 2005-12-05 2007-06-21 Mitsubishi Electric Corp 通信センター、放送受信機および放送データ配信システム
US20070192086A1 (en) * 2006-02-13 2007-08-16 Linfeng Guo Perceptual quality based automatic parameter selection for data compression
JP2007318258A (ja) 2006-05-23 2007-12-06 Matsushita Electric Ind Co Ltd コンテンツ送信装置
US7984477B2 (en) * 2007-03-16 2011-07-19 At&T Intellectual Property I, L.P. Real-time video compression
US20080250080A1 (en) * 2007-04-05 2008-10-09 Nokia Corporation Annotating the dramatic content of segments in media work
US8204106B2 (en) * 2007-11-14 2012-06-19 Ati Technologies, Ulc Adaptive compression of video reference frames
US8396114B2 (en) 2009-01-29 2013-03-12 Microsoft Corporation Multiple bit rate video encoding using variable bit rate and dynamic resolution for adaptive video streaming
JP2010199977A (ja) 2009-02-25 2010-09-09 Sharp Corp 録画装置及び録画方法
US8392596B2 (en) 2009-05-26 2013-03-05 Red Hat Israel, Ltd. Methods for detecting and handling video and video-like content in remote display system
WO2011011052A1 (en) 2009-07-20 2011-01-27 Thomson Licensing A method for detecting and adapting video processing for far-view scenes in sports video
JP2013506917A (ja) * 2009-09-30 2013-02-28 サンプリファイ システムズ インコーポレイテッド 圧縮及び復元を用いたマルチ・プロセッサの波形データ交換の改善
WO2011129818A1 (en) * 2010-04-13 2011-10-20 Empire Technology Development Llc Adaptive compression
US8625910B2 (en) * 2011-02-25 2014-01-07 Adobe Systems Incorporated Compression of image data

Also Published As

Publication number Publication date
US20160248891A1 (en) 2016-08-25
KR20130129293A (ko) 2013-11-27
US20140006643A1 (en) 2014-01-02
US9826065B2 (en) 2017-11-21
JP2014514800A (ja) 2014-06-19
KR101494121B1 (ko) 2015-02-16
US20180077266A1 (en) 2018-03-15
WO2012128743A1 (en) 2012-09-27
US9338257B2 (en) 2016-05-10

Similar Documents

Publication Publication Date Title
US9826065B2 (en) Scene-based variable compression
US11677853B2 (en) Managing preloading of data on client systems
US10305947B2 (en) Pre-buffering audio streams
US7669121B2 (en) Transcode matrix
RU2325686C2 (ru) Разреженное кэширование для потоковой аудиовизуальной информации
JP5814436B2 (ja) キャッシング情報のシステム及び方法
US20170149860A1 (en) Partial prefetching of indexed content
KR101600469B1 (ko) 스트리밍 서비스를 위한 클라이언트 및 서버의 동작 방법
TWI556638B (zh) 多媒體檔案的片頭略過方法與電子裝置
EP3047650B1 (en) Streaming media
US20150039714A1 (en) Multimedia cache with dynamic segmenting
WO2022016896A1 (zh) 数据下载方法、装置、计算机设备和计算机可读存储介质
CN114040230A (zh) 视频码率确定方法、装置、电子设备及其存储介质
CN110225399B (zh) 流媒体处理方法、装置、计算机设备及存储介质
US20110167345A1 (en) Method and apparatus for selective media download and playback
JP5648801B2 (ja) コンテンツ再生制御システムと、その方法及びプログラム
KR102199270B1 (ko) 클라우드 스트리밍 서비스 시스템, 스틸 이미지 기반 클라우드 스트리밍 서비스 방법 및 이를 위한 장치
US20150149578A1 (en) Storage device and method of distributed processing of multimedia data
KR20210154785A (ko) 클라우드 스트리밍 서비스 시스템, 공통 캐시를 이용한 이미지 클라우드 스트리밍 서비스 방법 및 이를 위한 장치
US10531142B2 (en) Multimedia progress tracker
Wakisaka et al. File System Level Compression of Radio Space Information Storage System for Sensor Platform
KR101892286B1 (ko) 물체 인식을 이용한 콘텐츠 제공 시스템 및 방법
KR20200059720A (ko) 인식 메타를 이용한 컨텐츠 운용 방법 및 이를 지원하는 서비스 장치

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140827

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141105

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20150520

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150908

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20150916

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20151204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170328

R150 Certificate of patent or registration of utility model

Ref document number: 6120781

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150