JP2018510532A - 適応オーディオ・コンテンツのためのハイブリッドの優先度に基づくレンダリング・システムおよび方法 - Google Patents
適応オーディオ・コンテンツのためのハイブリッドの優先度に基づくレンダリング・システムおよび方法 Download PDFInfo
- Publication number
- JP2018510532A JP2018510532A JP2017539427A JP2017539427A JP2018510532A JP 2018510532 A JP2018510532 A JP 2018510532A JP 2017539427 A JP2017539427 A JP 2017539427A JP 2017539427 A JP2017539427 A JP 2017539427A JP 2018510532 A JP2018510532 A JP 2018510532A
- Authority
- JP
- Japan
- Prior art keywords
- audio
- rendering
- priority
- objects
- speaker
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000009877 rendering Methods 0.000 title claims abstract description 149
- 238000000034 method Methods 0.000 title claims abstract description 67
- 230000003044 adaptive effect Effects 0.000 title claims abstract description 51
- 238000012545 processing Methods 0.000 claims abstract description 45
- 238000012805 post-processing Methods 0.000 claims abstract description 16
- 230000008569 process Effects 0.000 claims description 18
- 230000005540 biological transmission Effects 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 15
- 230000003068 static effect Effects 0.000 abstract description 5
- 230000000694 effects Effects 0.000 description 11
- 230000005236 sound signal Effects 0.000 description 9
- 238000013459 approach Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000003491 array Methods 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 230000003321 amplification Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000003199 nucleic acid amplification method Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000000875 corresponding effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010304 firing Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000001174 ascending effect Effects 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 238000010348 incorporation Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/16—Vocoder architecture
- G10L19/18—Vocoders using multiple modes
- G10L19/20—Vocoders using multiple modes using sound class specific coding, hybrid encoders or object based coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
- H04R5/02—Spatial or constructional arrangements of loudspeakers
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/16—Vocoder architecture
- G10L19/167—Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
- H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
- H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
- H04R1/403—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers loud-speakers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
- H04R2499/10—General applications
- H04R2499/13—Acoustic transducers and sound field adaptation in vehicles
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R27/00—Public address systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/03—Application of parametric coding in stereophonic audio systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Human Computer Interaction (AREA)
- Mathematical Physics (AREA)
- Otolaryngology (AREA)
- Stereophonic System (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
Description
本願は2015年2月6日に出願された米国仮特許出願第62/113,268号の優先権を主張するものである。同出願の内容はここに参照によってその全体において組み込まれる。
一つまたは複数の実装は概括的にはオーディオ信号処理に関し、より詳細には適応オーディオ・コンテンツのための、ハイブリッドの優先度に基づくレンダリング戦略に関する。
本明細書において言及される各刊行物、特許および/または特許出願はここに参照によって、個々の各刊行物および/または特許出願が具体的かつ個別的に参照によって組み込まれることが示されている場合と同じ程度にその全体において組み込まれる。
ある実施形態では、相互接続システムは、「空間的オーディオ・システム」または「適応オーディオ・システム」と称されうる音フォーマットおよび処理システムとともに機能するよう構成されているオーディオ・システムの一部として実装される。そのようなシステムは、向上した聴衆没入感、より大きな芸術的制御ならびにシステム柔軟性およびスケーラビリティーを許容するためのオーディオ・フォーマットおよびレンダリング技術に基づく。全体的な適応オーディオ・システムは一般に、通常のチャネル・ベースのオーディオ要素およびオーディオ・オブジェクト符号化要素の両方を含む一つまたは複数のビットストリームを生成するよう構成されたオーディオ・エンコード、配送およびデコード・システムを含む。そのような組み合わされたアプローチは、別個に実施されるチャネル・ベースまたはオブジェクト・ベースのアプローチのいずれと比べても、より大きな符号化効率およびレンダリング柔軟性を提供する。
上述したように、適応オーディオ・フォーマットの初期の実装は、新規なオーサリング・ツールを使ってオーサリングされ、適応的なオーディオ・シネマ・エンコーダを使ってパッケージングされ、PCMもしくは既存のデジタル映画館イニシアチブ(DCI: Digital Cinema Initiative)頒布機構を使う独自の無損失コーデックを使って頒布されるコンテンツ・キャプチャー(オブジェクトおよびチャネル)を含むデジタル映画館コンテキストにおいてであった。この場合、オーディオ・コンテンツはデジタル映画館においてデコードされ、レンダリングされて、没入的な空間的オーディオ映画館体験を作り出すことが意図される。しかしながら、今不可欠なのは、適応オーディオ・フォーマットによって提供される向上したユーザー経験を、自宅にいる消費者に直接届けることである。これは、フォーマットおよびシステムのある種の特性が、より制限された聴取環境での使用のために適応されることを要求する。説明の目的のため、用語「消費者ベースの環境」は、家、スタジオ、部屋、コンソール・エリア、講堂などといった通常の消費者またはプロフェッショナルによる使用のための聴取環境を含む、任意の映画館ではない環境を含むことが意図されている。
図4に示されるところでは、二つのDSPによって生成される優先順位付けされ、レンダリングされたオーディオ出力は、ユーザーへの再生のためにサウンドバーに伝送される。サウンドバー・スピーカーは、フラットスクリーン・テレビジョンの普及を受けて人気が増した。そのようなテレビジョンは非常に薄く、比較的軽くなってきており、可搬性および取り付けオプションが最適化され、それでいて手の出せる価格で増大し続ける画面サイズを提供している。しかしながら、これらのテレビジョンの音質は、スペース、電力およびコストの制約のため、しばしば非常に貧弱である。サウンドバーは、フラットパネル・テレビジョンの下に置かれてテレビジョン・オーディオの品質を改善するしばしばスタイリッシュな、電源付きスピーカーであり、それ自身で、あるいはサラウンドサウンド・スピーカー・セットアップの一部として使用できる。図7は、ハイブリッドの優先度に基づくレンダリング・システムの実施形態とともに使用されうるサウンドバー・スピーカーを示している。システム700において示されるように、サウンドバー・スピーカーは、いくつかのドライバー703を収容するキャビネット701を有する。これらのドライバーは、キャビネットの前面から直接、音を駆出するよう水平(または垂直)軸に沿って配列されている。サイズおよびシステム制約条件に依存して、いかなる実際的な数のドライバー701が使用されてもよく、典型的な数は2〜6個の範囲のドライバーである。ドライバーは同じサイズおよび形であってもよく、あるいは異なるドライバーのアレイであってもよい。たとえばより低周波音のための、より大きな中央ドライバーなど。高精細度オーディオ・システムへの直接的なインターフェースを許容するために、HDMI入力インターフェース702が設けられる。
一つまたは複数の実施形態について上記したように、システムによって処理されるある種のオブジェクトはISFオブジェクトである。ISFは、パン動作を時間変化する部分と静的な部分の二つの部分に分割することによってオーディオ・オブジェクト・パンナーの動作を最適化するフォーマットである。一般に、オーディオ・オブジェクト・パンナーは、モノフォニック・オブジェクト(たとえばObjecti)をN個のスピーカーにパンすることによって動作する。ここで、パン利得はスピーカー位置(x1,y1,z1),…,(xN,yN,zN)およびオブジェクト位置XYZi(t)の関数として決定される。オブジェクト位置が時間変化するので、これらの利得値は時間的に連続的に変化する。中間空間的フォーマットの目標は、単にこのパン動作を二つの部分に分けることである。(時間変化する)第一の部分はオブジェクト位置を利用する。(固定した行列を使う)第二の部分はスピーカー位置のみに基づいて構成される。図11は、いくつかの実施形態のもとでレンダリング・システムと一緒に使うための中間空間的フォーマットを示している。描画1100に示されるように、空間的パンナー1102は、スピーカー・デコーダ1106によるデコードのためにオブジェクトおよびスピーカー位置情報を受領する。これら二つの処理ブロック1102および1106の間でオーディオ・オブジェクト・シーンはKチャネルの中間空間的フォーマット(ISF)1104において表現される。複数のオーディオ・オブジェクト(1≦i≦Ni)が個々の空間的パンナーによって処理され、これらの空間的パンナーの出力が足し合わされてISF信号1104をなしてもよく、一つのKチャネルISF信号集合はNi個のオブジェクトの重畳を含みうる。ある種の実施形態では、エンコーダは高度制約データを通じてスピーカー高さに関する情報をも与えられてもよく、再生スピーカーの高さの詳細な知識が空間的パンナー1102によって使用されうる。
1.オブジェクトiが(xi,yi,zi)に位置しており、この位置は立方体内(よって|xi|≦1、|yi|≦1および−|zi|≦1)または単位球内(xi 2+yi 2+zi 2≦1)にあると想定される。
2.転用可能でないパン曲線に従って、オブジェクトiについてのオーディオ信号を、ある数(R)の空間的領域のそれぞれにパンするために、垂直位置(zi)が使われる。
3.各空間的領域(たとえば領域r: 1≦r≦R)(これは図4のように、空間の環状領域内にあるオーディオ成分を表わす)は、オブジェクトiの方位角(φi)の関数である転用可能なパン曲線を使って生成されるNr個の公称スピーカー信号の形で表現される。
Claims (32)
- 適応オーディオをレンダリングする方法であって:
チャネル・ベースのオーディオ、オーディオ・オブジェクトおよび動的オブジェクトを含む入力オーディオを受領する段階であって、前記動的オブジェクトは低優先度動的オブジェクトの集合および高優先度動的オブジェクトの集合として分類される、段階と;
前記チャネル・ベースのオーディオ、前記オーディオ・オブジェクトおよび前記低優先度動的オブジェクトをオーディオ処理システムの第一のレンダリング・プロセッサにおいてレンダリングする段階と;
前記高優先度動的オブジェクトを前記オーディオ処理システムの第二のレンダリング・プロセッサにおいてレンダリングする段階とを含む、
方法。 - 前記入力オーディオは、オーディオ・コンテンツおよびレンダリング・メタデータを含むオブジェクト・オーディオ・ベースのデジタル・ビットストリーム・フォーマットに従ってフォーマットされている、請求項1記載の方法。
- 前記チャネル・ベースのオーディオはサラウンドサウンド・オーディオ・ベッドを含み、前記オーディオ・オブジェクトは中間空間的フォーマットに準拠するオブジェクトを含む、請求項2記載の方法。
- 前記低優先度動的オブジェクトおよび高優先度動的オブジェクトは、優先度閾値によって区別される、請求項2記載の方法。
- 前記優先度閾値は、前記入力オーディオを含むオーディオ・コンテンツの作者、ユーザー選択された値および前記オーディオ処理システムによって実行される自動化されたプロセスのうちの一つによって定義される、請求項4記載の方法。
- 前記優先度閾値は、前記オブジェクト・オーディオ・メタデータ・ビットストリームにおいてエンコードされている、請求項5記載の方法。
- 前記低優先度および高優先度のオーディオ・オブジェクトのオーディオ・オブジェクトの相対的な優先度は前記オブジェクト・オーディオ・メタデータ・ビットストリームにおけるそれぞれの位置によって決定される、請求項5記載の方法。
- 前記第一のレンダリング・プロセッサにおいて前記チャネル・ベースのオーディオ、前記オーディオ・オブジェクトおよび前記低優先度動的オブジェクトをレンダリングしてレンダリングされたオーディオを生成する間またはその後に、前記高優先度オーディオ・オブジェクトを前記第一のレンダリング・プロセッサを通して前記第二のレンダリング・プロセッサに渡し;
前記レンダリングされたオーディオをスピーカー・システムへの伝送のために後処理することをさらに含む、
請求項1記載の方法。 - 前記後処理する段階は、アップミックス、ボリューム制御、等化および低音管理のうちの少なくとも一つを含む、請求項8記載の方法。
- 前記後処理する段階は、前記スピーカー・システムを通じた再生のための前記入力オーディオに存在している高さ手がかりのレンダリングを容易にするための仮想化段階をさらに含む、請求項9記載の方法。
- 前記スピーカー・システムは、単一の軸に沿って音を送出する複数の共位置のドライバーを有するサウンドバー・スピーカーを有する、請求項10記載の方法。
- 前記第一および第二のレンダリング・プロセッサは、伝送リンクを通じて一緒に結合された別個のデジタル信号処理回路において具現される、請求項4記載の方法。
- 前記優先度閾値は、前記第一および第二のレンダリング・プロセッサの相対的な処理機能、前記第一および第二のレンダリング・プロセッサのそれぞれに関連付けられたメモリ帯域幅および前記伝送リンクの伝送帯域幅のうちの少なくとも一つによって決定される、請求項12記載の方法。
- 適応オーディオをレンダリングする方法であって:
オーディオ・コンポーネントおよび関連付けられたメタデータを含む入力オーディオ・ビットストリームを受領する段階であって、前記オーディオ・コンポーネントはそれぞれチャネル・ベースのオーディオ、オーディオ・オブジェクトおよび動的オブジェクトから選択されるオーディオ型をもつ、段階と;
各オーディオ・コンポーネントについてのデコーダ・フォーマットをそれぞれのオーディオ型に基づいて決定する段階と;
各オーディオ・コンポーネントの優先度を、該各オーディオ・コンポーネントに関連付けられたメタデータにおける優先度フィールドから決定する段階と;
第一のレンダリング・プロセッサにおいて第一の優先度型のオーディオ・コンポーネントをレンダリングする段階と;
第二のレンダリング・プロセッサにおいて第二の優先度型のオーディオ・コンポーネントをレンダリングする段階とを含む、
方法。 - 前記第一のレンダリング・プロセッサおよび第二のレンダリング・プロセッサは、伝送リンクを通じて互いに結合された別個のレンダリング・デジタル信号プロセッサ(DSP)として実装される、請求項14記載の方法。
- 前記第一の優先度型のオーディオ・コンポーネントは低優先度の動的オブジェクトを含み、第二の優先度型のオーディオ・コンポーネントは高優先度の動的オブジェクトを含み、本方法はさらに、前記チャネル・ベースのオーディオ、前記オーディオ・オブジェクトを前記第一のレンダリング・プロセッサにおいてレンダリングすることを含む、請求項15記載の方法。
- 前記チャネル・ベースのオーディオはサラウンドサウンド・オーディオ・ベッドを含み、前記オーディオ・オブジェクトは中間空間的フォーマット(ISF)に準拠するオブジェクトを含み、前記低優先度および高優先度動的オブジェクトはオブジェクト・オーディオ・メタデータ(OAMD)フォーマットに準拠するものを含む、請求項15記載の方法。
- 各オーディオ・コンポーネントについてのデコーダ・フォーマットは:OAMDフォーマットされた動的オブジェクト、サラウンドサウンド・オーディオ・ベッドおよびISFオブジェクトのうちの少なくとも一つを生成する、請求項17記載の方法。
- 前記低優先度および高優先度動的オブジェクトのオーディオ・オブジェクトの相対的な優先度は前記入力オーディオ・ビットストリームにおけるそれぞれの位置によって決定される、請求項16記載の方法。
- 前記スピーカー・システムを通じた再生のための前記入力オーディオに存在している高さ手がかりのレンダリングを容易にするよう、少なくとも前記高優先度動的オブジェクトに仮想化プロセスを適用することをさらに含む、請求項19記載の方法。
- 前記スピーカー・システムは、単一の軸に沿って音を送出する複数の共位置のドライバーを有するサウンドバー・スピーカーを有する、請求項20記載の方法。
- 適応オーディオをレンダリングするシステムであって:
オーディオ・コンテンツおよび関連付けられたメタデータを有するビットストリームにおいて入力オーディオを受領するインターフェースであって、前記オーディオ・コンテンツは、チャネル・ベースのオーディオ、オーディオ・オブジェクトおよび動的オブジェクトを含み、前記動的オブジェクトは低優先度動的オブジェクトの集合および高優先度動的オブジェクトの集合として分類される、インターフェースと;
前記チャネル・ベースのオーディオ、前記オーディオ・オブジェクトおよび前記低優先度動的オブジェクトをレンダリングする、前記インターフェースに結合された第一のレンダリング・プロセッサと;
前記高優先度動的オブジェクトをレンダリングする、伝送リンクを通じて前記第一のレンダリング・プロセッサに結合された第二のレンダリング・プロセッサとを有する、
システム。 - 前記チャネル・ベースのオーディオはサラウンドサウンド・オーディオ・ベッドを含み、前記オーディオ・オブジェクトは中間空間的フォーマット(ISF)に準拠するオブジェクトを含み、前記低優先度および高優先度動的オブジェクトはオブジェクト・オーディオ・メタデータ(OAMD)フォーマットに準拠するオブジェクトを含む、請求項22記載のシステム。
- 前記低優先度動的オブジェクトおよび高優先度動的オブジェクトは、優先度閾値によって区別され、前記優先度閾値は、前記メタデータ・ビットストリームの適切なフィールドにおいてエンコードされており、前記入力オーディオを含むオーディオ・コンテンツの作者、ユーザー選択された値および前記オーディオ処理システムによって実行される自動化されたプロセスのうちの一つによって決定される、請求項23記載のシステム。
- 前記第一のレンダリング・プロセッサおよび第二のレンダリング・プロセッサにおいてレンダリングされたオーディオに対して一つまたは複数の後処理段階を実行する後処理器をさらに有し、前記後処理段階は、アップミックス、ボリューム制御、等化および低音管理のうちの少なくとも一つを含む、請求項24記載のシステム。
- 単一の軸に沿って音を送出する複数の共位置のドライバーを有するサウンドバー・スピーカーを通じた再生のための前記レンダリングされたオーディオに存在している高さ手がかりのレンダリングを容易にするための少なくとも一つの仮想化段階を実行する、前記後処理器に結合された仮想化器コンポーネントをさらに有する、請求項25記載のシステム。
- 前記優先度閾値は、前記第一および第二のレンダリング・プロセッサの相対的な処理機能、前記第一および第二のレンダリング・プロセッサのそれぞれに関連付けられたメモリ帯域幅および前記伝送リンクの伝送帯域幅のうちの少なくとも一つによって決定される、請求項24記載の方法。
- 聴取環境における仮想化されたオーディオ・コンテンツの再生のためのスピーカー・システムであって:
エンクロージャーと;
前記エンクロージャー内に配置され、前記エンクロージャーの前面を通じて音を投射するよう構成された複数の個別ドライバーと;
オーディオ・コンポーネントおよび関連付けられたメタデータを含むオーディオ・ビットストリームに含まれる第一の優先度型のオーディオ・コンポーネントをレンダリングする第一のレンダリング・プロセッサならびに前記オーディオ・ビットストリームに含まれる第二の優先度型のオーディオ・コンポーネントをレンダリングする第二のレンダリング・プロセッサによって生成されたレンダリングされたオーディオを受領するインターフェースとを有する、
スピーカー・システム。 - 前記第一のレンダリング・プロセッサおよび第二のレンダリング・プロセッサが、伝送リンクを通じて互いに結合された別個のレンダリング・デジタル信号プロセッサ(DSP)として実装される、請求項28記載のスピーカー・システム。
- 前記第一の優先度型のオーディオ・コンポーネントは低優先度動的オブジェクトを含み、前記第二の優先度型のオーディオ・コンポーネントは高優先度動的オブジェクトを含み、前記チャネル・ベースのオーディオはサラウンドサウンド・オーディオ・ベッドを含み、前記オーディオ・オブジェクトは中間空間的フォーマット(ISF)に準拠するオブジェクトを含み、前記低優先度および高優先度動的オブジェクトはオブジェクト・オーディオ・メタデータ(OAMD)フォーマットに準拠するものを含む、請求項29記載のスピーカー・システム。
- 当該スピーカー・システムを通じた再生のための前記入力オーディオに存在している高さ手がかりのレンダリングを容易にするために少なくとも前記高優先度動的オブジェクトに仮想化プロセスを適用する仮想化器をさらに有する、請求項30記載のスピーカー・システム。
- 前記仮想化器、前記第一のレンダリング・プロセッサおよび前記第二のレンダリング・プロセッサのうちの少なくとも一つは当該スピーカー・システムの前記エンクロージャーに緊密に結合されているまたは該エンクロージャーに囲まれている、請求項31記載のスピーカー・システム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201562113268P | 2015-02-06 | 2015-02-06 | |
US62/113,268 | 2015-02-06 | ||
PCT/US2016/016506 WO2016126907A1 (en) | 2015-02-06 | 2016-02-04 | Hybrid, priority-based rendering system and method for adaptive audio |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020117715A Division JP7033170B2 (ja) | 2015-02-06 | 2020-07-08 | 適応オーディオ・コンテンツのためのハイブリッドの優先度に基づくレンダリング・システムおよび方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018510532A true JP2018510532A (ja) | 2018-04-12 |
JP6732764B2 JP6732764B2 (ja) | 2020-07-29 |
Family
ID=55353358
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017539427A Active JP6732764B2 (ja) | 2015-02-06 | 2016-02-04 | 適応オーディオ・コンテンツのためのハイブリッドの優先度に基づくレンダリング・システムおよび方法 |
JP2020117715A Active JP7033170B2 (ja) | 2015-02-06 | 2020-07-08 | 適応オーディオ・コンテンツのためのハイブリッドの優先度に基づくレンダリング・システムおよび方法 |
JP2022027836A Active JP7362807B2 (ja) | 2015-02-06 | 2022-02-25 | 適応オーディオ・コンテンツのためのハイブリッドの優先度に基づくレンダリング・システムおよび方法 |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020117715A Active JP7033170B2 (ja) | 2015-02-06 | 2020-07-08 | 適応オーディオ・コンテンツのためのハイブリッドの優先度に基づくレンダリング・システムおよび方法 |
JP2022027836A Active JP7362807B2 (ja) | 2015-02-06 | 2022-02-25 | 適応オーディオ・コンテンツのためのハイブリッドの優先度に基づくレンダリング・システムおよび方法 |
Country Status (5)
Country | Link |
---|---|
US (4) | US10225676B2 (ja) |
EP (2) | EP3893522B1 (ja) |
JP (3) | JP6732764B2 (ja) |
CN (6) | CN114554386A (ja) |
WO (1) | WO2016126907A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020105423A1 (ja) * | 2018-11-20 | 2020-05-28 | ソニー株式会社 | 情報処理装置および方法、並びにプログラム |
JP2022188258A (ja) * | 2017-04-26 | 2022-12-20 | ソニーグループ株式会社 | 信号処理装置および方法、並びにプログラム |
Families Citing this family (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
BR112015028337B1 (pt) * | 2013-05-16 | 2022-03-22 | Koninklijke Philips N.V. | Aparelho de processamento de áudio e método |
JP2017163432A (ja) * | 2016-03-10 | 2017-09-14 | ソニー株式会社 | 情報処理装置、情報処理方法、及び、プログラム |
US10325610B2 (en) | 2016-03-30 | 2019-06-18 | Microsoft Technology Licensing, Llc | Adaptive audio rendering |
EP3373604B1 (en) * | 2017-03-08 | 2021-09-01 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for providing a measure of spatiality associated with an audio stream |
JP7143843B2 (ja) * | 2017-04-13 | 2022-09-29 | ソニーグループ株式会社 | 信号処理装置および方法、並びにプログラム |
US11595774B2 (en) * | 2017-05-12 | 2023-02-28 | Microsoft Technology Licensing, Llc | Spatializing audio data based on analysis of incoming audio data |
US11102601B2 (en) * | 2017-09-29 | 2021-08-24 | Apple Inc. | Spatial audio upmixing |
KR20230151049A (ko) * | 2017-12-18 | 2023-10-31 | 돌비 인터네셔널 에이비 | 가상 현실 환경에서 청취 위치 사이의 로컬 전환을 처리하기 위한 방법 및 시스템 |
US10657974B2 (en) | 2017-12-21 | 2020-05-19 | Qualcomm Incorporated | Priority information for higher order ambisonic audio data |
US11270711B2 (en) | 2017-12-21 | 2022-03-08 | Qualcomm Incorproated | Higher order ambisonic audio data |
CN108174337B (zh) * | 2017-12-26 | 2020-05-15 | 广州励丰文化科技股份有限公司 | 一种室内声场自适应的方法及组合扬声器*** |
US10237675B1 (en) * | 2018-05-22 | 2019-03-19 | Microsoft Technology Licensing, Llc | Spatial delivery of multi-source audio content |
GB2575510A (en) | 2018-07-13 | 2020-01-15 | Nokia Technologies Oy | Spatial augmentation |
EP3618464A1 (en) * | 2018-08-30 | 2020-03-04 | Nokia Technologies Oy | Reproduction of parametric spatial audio using a soundbar |
JP7504091B2 (ja) | 2018-11-02 | 2024-06-21 | ドルビー・インターナショナル・アーベー | オーディオ・エンコーダおよびオーディオ・デコーダ |
US11943600B2 (en) * | 2019-05-03 | 2024-03-26 | Dolby Laboratories Licensing Corporation | Rendering audio objects with multiple types of renderers |
JP7412091B2 (ja) * | 2019-05-08 | 2024-01-12 | 株式会社ディーアンドエムホールディングス | オーディオ装置およびオーディオシステム |
JP7285967B2 (ja) * | 2019-05-31 | 2023-06-02 | ディーティーエス・インコーポレイテッド | フォービエイテッドオーディオレンダリング |
CN114080822B (zh) * | 2019-06-20 | 2023-11-03 | 杜比实验室特许公司 | S扬声器上m声道输入的渲染 |
US11140503B2 (en) * | 2019-07-03 | 2021-10-05 | Qualcomm Incorporated | Timer-based access for audio streaming and rendering |
US11366879B2 (en) * | 2019-07-08 | 2022-06-21 | Microsoft Technology Licensing, Llc | Server-side audio rendering licensing |
US11523239B2 (en) * | 2019-07-22 | 2022-12-06 | Hisense Visual Technology Co., Ltd. | Display apparatus and method for processing audio |
EP4005235A1 (en) | 2019-07-30 | 2022-06-01 | Dolby Laboratories Licensing Corporation | Dynamics processing across devices with differing playback capabilities |
JP7182751B6 (ja) * | 2019-12-02 | 2022-12-20 | ドルビー ラボラトリーズ ライセンシング コーポレイション | チャネルベースオーディオからオブジェクトベースオーディオへの変換のためのシステム、方法、及び機器 |
US11038937B1 (en) * | 2020-03-06 | 2021-06-15 | Sonos, Inc. | Hybrid sniffing and rebroadcast for Bluetooth networks |
US20230124441A1 (en) * | 2020-03-10 | 2023-04-20 | Sonos, Inc. | Audio device transducer array and associated systems and methods |
US11601757B2 (en) | 2020-08-28 | 2023-03-07 | Micron Technology, Inc. | Audio input prioritization |
US20230360661A1 (en) * | 2020-09-25 | 2023-11-09 | Apple Inc. | Hierarchical spatial resolution codec |
US20230051841A1 (en) * | 2021-07-30 | 2023-02-16 | Qualcomm Incorporated | Xr rendering for 3d audio content and audio codec |
CN113613066B (zh) * | 2021-08-03 | 2023-03-28 | 天翼爱音乐文化科技有限公司 | 一种实时视频特效的渲染方法、***、装置及存储介质 |
WO2023239639A1 (en) * | 2022-06-08 | 2023-12-14 | Dolby Laboratories Licensing Corporation | Immersive audio fading |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013502183A (ja) * | 2009-08-14 | 2013-01-17 | エスアールエス・ラブス・インコーポレーテッド | オブジェクト指向オーディオストリーミングシステム |
JP2013544046A (ja) * | 2010-10-20 | 2013-12-09 | ディーティーエス・エルエルシー | ステレオイメージ拡張システム |
WO2014088328A1 (ko) * | 2012-12-04 | 2014-06-12 | 삼성전자 주식회사 | 오디오 제공 장치 및 오디오 제공 방법 |
Family Cites Families (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5633993A (en) * | 1993-02-10 | 1997-05-27 | The Walt Disney Company | Method and apparatus for providing a virtual world sound system |
JPH09149499A (ja) * | 1995-11-20 | 1997-06-06 | Nippon Columbia Co Ltd | データ転送方法及びその装置 |
US7706544B2 (en) | 2002-11-21 | 2010-04-27 | Fraunhofer-Geselleschaft Zur Forderung Der Angewandten Forschung E.V. | Audio reproduction system and method for reproducing an audio signal |
US20040228291A1 (en) * | 2003-05-15 | 2004-11-18 | Huslak Nicolas Steven | Videoconferencing using managed quality of service and/or bandwidth allocation in a regional/access network (RAN) |
US7436535B2 (en) * | 2003-10-24 | 2008-10-14 | Microsoft Corporation | Real-time inking |
CN1625108A (zh) * | 2003-12-01 | 2005-06-08 | 皇家飞利浦电子股份有限公司 | 一种使用优先级技术的通信方法和*** |
US8363865B1 (en) | 2004-05-24 | 2013-01-29 | Heather Bottum | Multiple channel sound system using multi-speaker arrays |
EP1724684A1 (en) * | 2005-05-17 | 2006-11-22 | BUSI Incubateur d'entreprises d'AUVEFGNE | System and method for task scheduling, signal analysis and remote sensor |
US7500175B2 (en) * | 2005-07-01 | 2009-03-03 | Microsoft Corporation | Aspects of media content rendering |
CN101223778B (zh) * | 2005-07-18 | 2012-11-07 | 汤姆森许可贸易公司 | 使用元数据来处理多个视频流的方法和设备 |
US7974422B1 (en) * | 2005-08-25 | 2011-07-05 | Tp Lab, Inc. | System and method of adjusting the sound of multiple audio objects directed toward an audio output device |
TWI483244B (zh) * | 2006-02-07 | 2015-05-01 | Lg Electronics Inc | 用於將信號編碼/解碼之裝置與方法 |
WO2008120933A1 (en) | 2007-03-30 | 2008-10-09 | Electronics And Telecommunications Research Institute | Apparatus and method for coding and decoding multi object audio signal with multi channel |
JP5258967B2 (ja) * | 2008-07-15 | 2013-08-07 | エルジー エレクトロニクス インコーポレイティド | オーディオ信号の処理方法及び装置 |
EP2154911A1 (en) | 2008-08-13 | 2010-02-17 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | An apparatus for determining a spatial output multi-channel audio signal |
CN102318373B (zh) * | 2009-03-26 | 2014-09-10 | 松下电器产业株式会社 | 解码装置、编解码装置及解码方法 |
KR101387902B1 (ko) | 2009-06-10 | 2014-04-22 | 한국전자통신연구원 | 다객체 오디오 신호를 부호화하는 방법 및 부호화 장치, 복호화 방법 및 복호화 장치, 그리고 트랜스코딩 방법 및 트랜스코더 |
ES2426677T3 (es) | 2009-06-24 | 2013-10-24 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Descodificador de señal de audio, procedimiento para descodificar una señal de audio y programa de ordenador que utiliza etapas de procesamiento de objetos de audio en cascada |
US9026450B2 (en) | 2011-03-09 | 2015-05-05 | Dts Llc | System for dynamically creating and rendering audio objects |
US9530421B2 (en) | 2011-03-16 | 2016-12-27 | Dts, Inc. | Encoding and reproduction of three dimensional audio soundtracks |
EP2523111A1 (en) * | 2011-05-13 | 2012-11-14 | Research In Motion Limited | Allocating media decoding resources according to priorities of media elements in received data |
KR102548756B1 (ko) * | 2011-07-01 | 2023-06-29 | 돌비 레버러토리즈 라이쎈싱 코오포레이션 | 향상된 3d 오디오 오서링과 렌더링을 위한 시스템 및 툴들 |
WO2013108200A1 (en) | 2012-01-19 | 2013-07-25 | Koninklijke Philips N.V. | Spatial audio rendering and encoding |
JP6078556B2 (ja) * | 2012-01-23 | 2017-02-08 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | オーディオ・レンダリング・システムおよびそのための方法 |
US8893140B2 (en) * | 2012-01-24 | 2014-11-18 | Life Coded, Llc | System and method for dynamically coordinating tasks, schedule planning, and workload management |
KR102059846B1 (ko) * | 2012-07-31 | 2020-02-11 | 인텔렉추얼디스커버리 주식회사 | 오디오 신호 처리 방법 및 장치 |
WO2014020181A1 (en) | 2012-08-03 | 2014-02-06 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Decoder and method for multi-instance spatial-audio-object-coding employing a parametric concept for multichannel downmix/upmix cases |
BR112015002793B1 (pt) | 2012-08-10 | 2021-12-07 | Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V | Codificador, decodificador, sistema e método empregando um conceito residual para codificação de objeto de áudio paramétrico |
CN104885151B (zh) | 2012-12-21 | 2017-12-22 | 杜比实验室特许公司 | 用于基于感知准则呈现基于对象的音频内容的对象群集 |
CN103335644B (zh) * | 2013-05-31 | 2016-03-16 | 王玉娇 | 街景地图的声音播放方法及相关设备 |
WO2015009748A1 (en) * | 2013-07-15 | 2015-01-22 | Dts, Inc. | Spatial calibration of surround sound systems including listener position estimation |
US9564136B2 (en) * | 2014-03-06 | 2017-02-07 | Dts, Inc. | Post-encoding bitrate reduction of multiple object audio |
CN103885788B (zh) * | 2014-04-14 | 2015-02-18 | 焦点科技股份有限公司 | 一种基于模型组件化动态web 3d虚拟现实场景的搭建方法及*** |
-
2016
- 2016-02-04 US US15/532,419 patent/US10225676B2/en active Active
- 2016-02-04 CN CN202210192142.7A patent/CN114554386A/zh active Pending
- 2016-02-04 CN CN202010453145.2A patent/CN111586552B/zh active Active
- 2016-02-04 EP EP21152926.8A patent/EP3893522B1/en active Active
- 2016-02-04 JP JP2017539427A patent/JP6732764B2/ja active Active
- 2016-02-04 CN CN202010452760.1A patent/CN111556426B/zh active Active
- 2016-02-04 CN CN202210192201.0A patent/CN114374925B/zh active Active
- 2016-02-04 CN CN201680007206.4A patent/CN107211227B/zh active Active
- 2016-02-04 EP EP16704366.0A patent/EP3254476B1/en active Active
- 2016-02-04 CN CN202210192225.6A patent/CN114554387A/zh active Pending
- 2016-02-04 WO PCT/US2016/016506 patent/WO2016126907A1/en active Application Filing
-
2018
- 2018-12-19 US US16/225,126 patent/US10659899B2/en active Active
-
2020
- 2020-05-16 US US16/875,999 patent/US11190893B2/en active Active
- 2020-07-08 JP JP2020117715A patent/JP7033170B2/ja active Active
-
2021
- 2021-11-24 US US17/535,459 patent/US11765535B2/en active Active
-
2022
- 2022-02-25 JP JP2022027836A patent/JP7362807B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013502183A (ja) * | 2009-08-14 | 2013-01-17 | エスアールエス・ラブス・インコーポレーテッド | オブジェクト指向オーディオストリーミングシステム |
JP2013544046A (ja) * | 2010-10-20 | 2013-12-09 | ディーティーエス・エルエルシー | ステレオイメージ拡張システム |
WO2014088328A1 (ko) * | 2012-12-04 | 2014-06-12 | 삼성전자 주식회사 | 오디오 제공 장치 및 오디오 제공 방법 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022188258A (ja) * | 2017-04-26 | 2022-12-20 | ソニーグループ株式会社 | 信号処理装置および方法、並びにプログラム |
US11900956B2 (en) | 2017-04-26 | 2024-02-13 | Sony Group Corporation | Signal processing device and method, and program |
WO2020105423A1 (ja) * | 2018-11-20 | 2020-05-28 | ソニー株式会社 | 情報処理装置および方法、並びにプログラム |
JPWO2020105423A1 (ja) * | 2018-11-20 | 2021-10-14 | ソニーグループ株式会社 | 情報処理装置および方法、並びにプログラム |
JP7468359B2 (ja) | 2018-11-20 | 2024-04-16 | ソニーグループ株式会社 | 情報処理装置および方法、並びにプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2022065179A (ja) | 2022-04-26 |
CN107211227A (zh) | 2017-09-26 |
CN111586552A (zh) | 2020-08-25 |
CN111556426B (zh) | 2022-03-25 |
CN111556426A (zh) | 2020-08-18 |
US10225676B2 (en) | 2019-03-05 |
CN114554387A (zh) | 2022-05-27 |
JP7033170B2 (ja) | 2022-03-09 |
US11765535B2 (en) | 2023-09-19 |
US20190191258A1 (en) | 2019-06-20 |
JP6732764B2 (ja) | 2020-07-29 |
EP3254476B1 (en) | 2021-01-27 |
US10659899B2 (en) | 2020-05-19 |
US20170374484A1 (en) | 2017-12-28 |
JP2020174383A (ja) | 2020-10-22 |
CN111586552B (zh) | 2021-11-05 |
EP3893522B1 (en) | 2023-01-18 |
US20220159394A1 (en) | 2022-05-19 |
JP7362807B2 (ja) | 2023-10-17 |
CN114374925A (zh) | 2022-04-19 |
CN114374925B (zh) | 2024-04-02 |
US11190893B2 (en) | 2021-11-30 |
EP3254476A1 (en) | 2017-12-13 |
CN114554386A (zh) | 2022-05-27 |
CN107211227B (zh) | 2020-07-07 |
US20210112358A1 (en) | 2021-04-15 |
EP3893522A1 (en) | 2021-10-13 |
WO2016126907A1 (en) | 2016-08-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7033170B2 (ja) | 適応オーディオ・コンテンツのためのハイブリッドの優先度に基づくレンダリング・システムおよび方法 | |
RU2741738C1 (ru) | Система, способ и постоянный машиночитаемый носитель данных для генерирования, кодирования и представления данных адаптивного звукового сигнала | |
US11277703B2 (en) | Speaker for reflecting sound off viewing screen or display surface | |
US9622014B2 (en) | Rendering and playback of spatial audio using channel-based audio systems | |
JP6186436B2 (ja) | 個々に指定可能なドライバへの上方混合されたコンテンツの反射されたおよび直接的なレンダリング | |
JP5985063B2 (ja) | レンダラーと個々に指定可能なドライバのアレイとの間の通信のための双方向相互接続 | |
RU2820838C2 (ru) | Система, способ и постоянный машиночитаемый носитель данных для генерирования, кодирования и представления данных адаптивного звукового сигнала |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190128 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191224 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200317 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200616 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200708 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6732764 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |