JP2022074021A - ソースデバイスからのライブ送信の間のオーディオ品質フィードバックの為のコンピュータ実装方法、コンピュータ・プログラム及びコンピュータシステム - Google Patents
ソースデバイスからのライブ送信の間のオーディオ品質フィードバックの為のコンピュータ実装方法、コンピュータ・プログラム及びコンピュータシステム Download PDFInfo
- Publication number
- JP2022074021A JP2022074021A JP2021170272A JP2021170272A JP2022074021A JP 2022074021 A JP2022074021 A JP 2022074021A JP 2021170272 A JP2021170272 A JP 2021170272A JP 2021170272 A JP2021170272 A JP 2021170272A JP 2022074021 A JP2022074021 A JP 2022074021A
- Authority
- JP
- Japan
- Prior art keywords
- audio
- audience devices
- audience
- devices
- quality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 86
- 230000005540 biological transmission Effects 0.000 title claims abstract description 56
- 238000004590 computer program Methods 0.000 title claims description 19
- 230000005236 sound signal Effects 0.000 claims abstract description 85
- 238000012545 processing Methods 0.000 claims description 30
- 230000006870 function Effects 0.000 claims description 27
- 230000015654 memory Effects 0.000 claims description 21
- 238000004891 communication Methods 0.000 claims description 16
- 238000006243 chemical reaction Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 13
- 238000004458 analytical method Methods 0.000 claims description 12
- 238000001514 detection method Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 17
- 230000008859 change Effects 0.000 description 8
- 230000009471 action Effects 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000008520 organization Effects 0.000 description 4
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 3
- 239000000835 fiber Substances 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000001303 quality assessment method Methods 0.000 description 3
- 239000008186 active pharmaceutical agent Substances 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 239000004744 fabric Substances 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000012384 transportation and delivery Methods 0.000 description 2
- 238000005303 weighing Methods 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000013439 planning Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M3/00—Automatic or semi-automatic exchanges
- H04M3/22—Arrangements for supervision, monitoring or testing
- H04M3/2236—Quality of speech transmission monitoring
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/02—Details
- H04L12/16—Arrangements for providing special services to substations
- H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
- H04L12/1863—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast comprising mechanisms for improved reliability, e.g. status reports
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/69—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for evaluating synthetic or decoded voice signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/02—Details
- H04L12/16—Arrangements for providing special services to substations
- H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
- H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
- H04L12/1827—Network arrangements for conference optimisation or adaptation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M3/00—Automatic or semi-automatic exchanges
- H04M3/42—Systems providing special services or facilities to subscribers
- H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
- H04M3/568—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities audio processing specific to telephonic conferencing, e.g. spatial distribution, mixing of participants
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/225—Feedback of the input speech
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computer Networks & Wireless Communication (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Human Computer Interaction (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- Telephonic Communication Services (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
【課題】ソースデバイスからのライブ送信の間のオーディオ品質フィードバックの為の方法を提供する。【解決手段】方法は、複数のオーディエンスデバイスの少なくとも幾つかのオーディエンスデバイスが受信したオーディオ信号のオーディオ情報を取得し、該複数のオーディエンスデバイスの1以上のサブセットを、サブセット当たり1以上の共通因子によって分類し、複数のオーディエンスデバイスの該1以上のサブセットの分類を用いて、複数のオーディエンスデバイスからの取得したオーディオ情報を解析して、1以上の共通因子によって分類された複数のオーディエンスデバイスの識別されたサブセットにおいて、受信したオーディオ品質に影響を与える1以上の共通因子を決定し、1以上の共通因子のフィードバックを、識別されたサブセットにおける複数のオーディエンスデバイスの少なくとも1つに又は該ソースデバイスに提供する。【選択図】図2
Description
本発明は、オーディオ品質フィードバックに、より特にはソースデバイスからのライブ送信の間のオーディオ品質フィードバックに、関する。
テレカンファレンシング(teleconferencing)は、テレコミュニケーション(telecommunication)を使用して様々な場所における人々の会議を可能にする。語「テレカンファレンス」(teleconference)は、電話会議、ビデオ会議、又はより複雑なウェブ会議若しくはウェビナー(webinars)、例えば共有画面及びチャットインタフェースを包含するより複雑なウェブ会議若しくはウェビナー、を包含しうる。
テレカンファレンシングは、様々な場所にいる人々が一緒に作業する為の会議の為にしばしば使用される。効果的にコミュニケーションをとる為に、人々は彼/彼女の画面を共有して情報を表示することができ、話している人及び他の参加者を見ることができ、及び彼/彼女は、非音声コミュニケーションの為のチャットウィンドウを使用することができる。これらのアーティファクトは、テレカンファレンスの体験を大幅に高める。
本発明は、ソースデバイスからのライブ送信の間のオーディオ品質フィードバックの為のコンピュータ実装方法、システム及びコンピュータ・プログラムを提供することを目的とする。
本発明の第1の観点に従うと、複数のオーディエンスデバイスにおいて受信される、ソースデバイスからのライブ送信の間のオーディオ品質フィードバックの為のコンピュータ実装方法であって、該方法はサーバで実行され、及び該方法は、送信セッションにおいて、該複数のオーディエンスデバイスの少なくとも幾つかのオーディエンスデバイスによって受信されたオーディオ信号のオーディオ情報を取得すること、該複数のオーディエンスデバイスの1以上のサブセットを、サブセット当たり1以上の共通因子によって分類すること、該複数のオーディエンスデバイスの該1以上のサブセットの分類を用いて、該複数のオーディエンスデバイスからの該取得したオーディオ情報を解析して、該1以上の共通因子によって分類された該複数のオーディエンスデバイスの識別されたサブセットにおいて、受信されたオーディオ品質に影響を与える1以上の共通因子を決定すること、及び該1以上の共通因子のフィードバックを、該識別されたサブセットにおけるオーディエンスデバイスの少なくとも1つに、若しくは該ソースデバイスに、又はそれらの組み合わせに提供することを含む。
記載された方法は、ライブ送信においてソースデバイスからの、受信されたオーディオの同じ品質を経験し且つ受信されたオーディオの品質を引き起こしている可能性がある共通の要因を有するところのオーディエンスデバイスのグループを決定するという利点を有する。フィードバックは、ライブ送信の間に動的に提供され、該オーディエンスデバイス若しくはソースデバイス又はそれらの組み合わせのユーザが是正措置を講じることを許す。
送信セッションにおいて、少なくとも幾つかのオーディエンスデバイスによって受信されたオーディオ信号のオーディオ情報を取得することの方法は、該受信されたオーディオ信号を処理することによって、1つのオーディエンスデバイスにおいて決定されたオーディオ品質レベルを取得することを含みうる。該受信されたオーディオ信号を処理することは、音声からテキストへの変換プロセスを使用して該オーディオ信号を変換することを含み得、そして得られたテキストを解析して、オーディオ品質レベルを評価することを含みうる。該得られたテキストを解析してオーディオ品質レベルを評価することは、該オーディオ信号のサンプル期間におけるギャップに対する変換された語数の率を決定することを含みうる。
送信セッションにおいて、複数のオーディエンスデバイスの少なくとも幾つかのオーディエンスデバイスによって受信されたオーディオ信号のオーディオ情報を取得することの方法が、該複数のオーディエンスデバイスからオーディオ信号パラメータデータを取得すること、及び該複数のオーディエンスデバイスのオーディオ信号パラメータ同士を比較して、受信された類似のオーディオ信号を有する複数のオーディエンスデバイスの1つのサブセットを決定することを含みうる。
該複数のオーディエンスデバイスの1以上のサブセットを、サブセット当たり1以上の共通因子によって分類することが、各オーディエンスデバイスの因子の詳細を取得すること、及び複数のオーディエンスデバイスの1つのサブセットを、1以上の同じ因子でグループ化することを含みうる。それ故に、オーディエンスデバイスの様々なサブセットが、1以上の因子を有する問題によって影響を受ける。
該方法は、該複数のオーディエンスデバイスからの該取得したオーディオ情報を解析して、該オーディオ情報が全てのオーディエンスデバイスの為の閾値品質を下回っているかを判断すること、及び、受信された全体的なオーディオ品質が必要とされる品質を下回っているというフィードバックを該ソースデバイスに提供することをさらに含みうる。全ての又は大部分のオーディエンスデバイスが、受信されたオーディオ信号の低品質(poor quality)を経験している場合、これは、問題がソースデバイスからの送信にあり及び適切なフィードバックが提供されうることを示す。
該方法は、該送信セッションにおいて、送信されたオーディオ信号のソースデバイスを検出すること、及び該送信セッションにおいてどのオーディエンスデバイスからオーディオ情報を取得するかを決めることをさらに含みうる。異なるユーザがテレカンファレンスに参加し及び該方法が現在のソースデバイスを検出することによってこれに対応する為に、該ソースデバイスはライブ送信の間に変化しうる。
該複数のオーディエンスデバイスの該1以上のサブセットの分類を用いて、該複数のオーディエンスデバイスからの該取得したオーディオ情報を解析することが、1以上の共通因子と、識別されたサブセットのオーディオ品質レベルとの間の相関関係を決定することを含む。これは、正の因子又は決定されるべき因子の組み合わせ、並びに負の因子又はオーディエンスデバイスでのユーザの受信されたオーディオを改善しうる正の因子の建設的なフィードバック(constructive feedback)を提供する為の要因の組み合わせを決定する。
該オーディオ品質レベルが、低品質のレベルから高品質のレベルまでのオーディオ品質レベルの構成された範囲のうちの1つでありうる。ユーザは、該ユーザのアクセシビリティ要件に対応する為に、該ユーザの好みのオーディオ品質レベルを構成しうる。
該複数のオーディエンスデバイスを共通因子によって分類することが、場所、通信チャネル、伝送媒体、及びオーディエンスデバイスの構成又はタイプのグループのうちの1以上によって分類することを含みうる。
本発明の他の観点に従うと、複数のオーディエンスデバイスにおいて受信される、ソースデバイスからのライブ送信の間のオーディオ品質フィードバックの為のコンピュータ実装方法であって、該方法はサーバで実行され、及び該方法は、送信セッションにおいて、該複数のオーディエンスデバイスの少なくとも幾つかのオーディエンスデバイスによって受信されたオーディオ信号のオーディオ情報を取得すること、該送信セッションにおいて、該複数のオーディエンスデバイスの少なくとも幾つかのオーディエンスデバイスに関連する因子を取得すること、オーディオ情報及び該共通因子を解析して、該受信されたオーディオ信号の品質と、該複数のオーディエンスデバイスのサブセットの為の1以上の共通因子との間の相関関係を決定すること、及び該1以上の共通因子のフィードバックを、該サブセットにおける複数のオーディエンスデバイスの少なくとも1つに、若しくは該ソースデバイスに、又はそれらの組み合わせに提供することを含む、上記方法が提供される。
該オーディオ情報及び該共通因子を解析することが、品質レベルの形式でのオーディオ情報を解析すること、及び1以上の共通因子を有する複数のオーディエンスデバイスのグループ内及び該グループの間で品質レベルを比較して、共有された品質レベルを有する複数のオーディエンスデバイスの1つのサブセットを決定することを含みうる。
本発明の更なる他の観点に従うと、複数のオーディエンスデバイスにおいて受信される、ソースデバイスからのライブ送信の間のオーディオ品質フィードバックの為のシステムであって、該システムは、プロセッサと、該プロセッサにコンピュータ・プログラム命令を提供して、フィードバックシステムの機能を実行するように構成されたメモリとを有するサーバを備えており、該フィードバックシステムは、送信セッションにおいて、該複数のオーディエンスデバイスの少なくとも幾つかのオーディエンスデバイスによって受信されたオーディオ信号のオーディオ情報を取得する為のオーディオ情報取得コンポーネントと、該複数のオーディエンスデバイスの1以上のサブセットを、サブセット当たり1以上の共通因子によって分類する為の分類コンポーネントと、該複数のオーディエンスデバイスの該1以上のサブセットの分類を用いて、該複数のオーディエンスデバイスからの該取得したオーディオ情報を解析して、該1以上の共通因子によって分類された該複数のオーディエンスデバイスの識別されたサブセットにおいて、受信されたオーディオ品質に影響を与える1以上の共通因子を決定する為の解析コンポーネントと、該1以上の共通因子のフィードバックを、該識別されたサブセットにおける複数のオーディエンスデバイスの少なくとも1つに、若しくは該ソースデバイスに、又はそれらの組み合わせに提供する為のフィードバックコンポーネントとを備えている、該システムが提供される。
該システムが、オーディエンスデバイスにおいて用意されるフィードバックシステムコンポーネントを備え得、該フィードバックシステムコンポーネントが、該受信されたオーディオ信号を処理することによって1つのオーディエンスデバイスにおいて決定されたオーディオ品質レベルを取得する為のオーディオ品質レベルコンポーネントを備えうる。該オーディオ品質レベルコンポーネントが、オーディエンスデバイスにおいて、該受信されたオーディオ信号を処理する為の処理コンポーネントを備え得、該処理コンポーネントは、音声からテキストへの変換プロセスを使用して該オーディオ信号を変換し、そして得られたテキストを解析して、オーディオ品質レベルを評価する為の音声からテキストへの変換コンポーネントを備えうる。
上記サーバでの該オーディオ情報取得コンポーネントが、該複数のオーディエンスデバイスからオーディオ信号パラメータデータを取得し得、及び該システムが、複数のオーディエンスデバイスのオーディオ信号パラメータ同士を比較して、複数のオーディエンスデバイスの、受信した類似のオーディオ信号を有するサブセットを決定するオーディオ比較コンポーネントを備えうる。
該分類コンポーネントが、各オーディエンスデバイスの因子の詳細を取得し得、及び複数のオーディエンスデバイスの1つのサブセットを、1以上の同じ因子でグループ化しうる。
該システムが、該複数のオーディエンスデバイスからの該取得したオーディオ情報を解析して、該オーディオ情報が全てのオーディエンスデバイスの為の閾値品質を下回っているかを判断する全体的な品質コンポーネントを備え得、及び該フィードバックコンポーネントが、受信された全体的なオーディオ品質が必要とされる品質を下回っているというフィードバックを該ソースデバイスに提供する。
該フィードバックコンポーネントが、該ライブ送信の間に1以上の共通因子のフィードバックを動的に提供しうる。
上記サーバでの該システムは、該送信セッションにおいて、送信されたオーディオ信号のソースデバイスを検出し、及び該送信セッションにおいてどのオーディエンスデバイスからオーディオ情報を取得するかを決める為のデバイス検出コンポーネントを備えうる。
該解析コンポーネントが、1以上の共通因子と、該識別されたサブセットのオーディオ品質レベルとの間の相関を決定する為の相関コンポーネントを備えうる。該オーディオ品質レベルが、低品質のレベルから高品質のレベルまでのオーディオ品質レベルの範囲のうちの1つでありうる。オーディオ品質レベルの構成を受信する為の構成コンポーネントが提供されうる。
本発明の更なる他の観点に従うと、複数のオーディエンスデバイスにおいて受信される、ソースデバイスからのライブ送信の間のオーディオ品質フィードバックの為のシステムであって、該システムは、プロセッサと、該プロセッサにコンピュータ・プログラム命令を提供して、フィードバックシステムの機能を実行するように構成されたメモリとを有するサーバを備えており、該フィードバックシステムは、送信セッションにおいて、該複数のオーディエンスデバイスの少なくとも幾つかのオーディエンスデバイスによって受信されたオーディオ信号のオーディオ情報を取得する為のオーディオ情報取得コンポーネントと、該送信セッションにおいて、該複数のオーディエンスデバイスの少なくとも幾つかのオーディエンスデバイスに関連する因子を取得する為の因子取得コンポーネントと、オーディオ情報及び該共通因子を解析して、該受信されたオーディオ信号の品質と、該複数のオーディエンスデバイスのサブセットの為の1以上の共通因子との間の相関関係を決定する為の解析コンポーネントと、該1以上の共通因子のフィードバックを、該サブセットにおける複数のオーディエンスデバイスの少なくとも1つに、若しくは該ソースデバイスに、又はそれらの組み合わせに提供する為のフィードバックコンポーネントとを備えている、上記システムが提供される。
本発明のなお更なる他の観点に従うと、複数のオーディエンスデバイスにおいて受信される、ソースデバイスからのライブ送信の間のオーディオ品質フィードバックの為のコンピュータ・プログラム又はコンピュータ・プログラム製品であって、コンピュータに、送信セッションにおいて、該複数のオーディエンスデバイスの少なくとも幾つかのオーディエンスデバイスによって受信されたオーディオ信号のオーディオ情報を取得すること、該複数のオーディエンスデバイスの1以上のサブセットを、サブセット当たり1以上の共通因子によって分類すること、該複数のオーディエンスデバイスの該1以上のサブセットの分類を用いて、該複数のオーディエンスデバイスからの該取得したオーディオ情報を解析して、該1以上の共通因子によって分類された該複数のオーディエンスデバイスの識別されたサブセットにおいて、受信されたオーディオ品質に影響を与える1以上の共通因子を決定すること、及び該1以上の共通因子のフィードバックを、該識別されたサブセットにおける複数のオーディエンスデバイスの少なくとも1つに、若しくは該ソースデバイスに、又はそれらの組み合わせに提供することを実行させる、該コンピュータ・プログラム又はコンピュータ・プログラム製品が提供される。該コンピュータ・プログラム製品が、それにより具現化されたプログラム命令を有するコンピュータ可読記憶媒体を備えており、コンピュータによって実行可能な該プログラム命令が、プロセッサに、上記方法を実行させる。
該コンピュータ読み取り可能な記録媒体は、非一時的なコンピュータ読み取り可能な記録媒体であり得、及びコンピュータ読み取り可能なプログラムコードは、処理回路によって実行可能でありうる。
本発明とみなされる主題は、明細書の結論部分において特に指摘され且つ明確に主張されている。構成及び動作方法の両方、並びにその目的、特徴、及び利点に関する本発明は、添付の図面とともに読まれるときに、下記の発明の詳細な説明を参照することによって最もよく理解されうる。
説明を単純化及び明確にする為に、上記図に示されている要素は必ずしも一定の縮尺で描かれていないことが理解されるであろう。例えば、幾つかの要素の寸法は、明確の為に他の要素に対して相対的に誇張されうる。更に、適切であると考えられる場合、対応する又は類似の特徴を示すために、参照番号が複数の図の間で繰り返されうる。
一般的に、テレカンファレンスの最も重要な側面は、テレカンファレンスにおける音声である。はっきりと聞こえないまま、参加者がディスプレイを介して何が見えるかに関わらず、該参加者は、話者が話していることを理解するのに苦労する。不明瞭なオーディオ信号は、様々な問題、例えば話者のデバイスから聴衆のデバイスへの不良な送信、聴衆のデバイスでの不良な受信を包含する様々な問題、によって引き起こされることができ、又は話者のマイクに対する話者の位置によって引き起こされることができる。
不良な送信又は受信の場合に、聴衆は話者に移動するように又はより明確に話すように頼みうる。しかしながら、該聴衆は同じ問題を経験し続け得、及び問題点を特定且つ解決しようとして時間が無駄にされうる。
不良な音声が話者の位置に依る他の場合に、該話者に移動を頼む為に会議を繰り返し中断することは、聴衆にとって不快であり、及び会議を混乱させる。
記載された方法及びシステムは、複数のオーディエンスデバイスにおいて受信されるソースデバイスからのライブ送信の間にオーディオ品質フィードバックを提供する。これは、テレカンファレンス、例えば電話会議、ビデオ会議、ウェブ会議又は分散された聴衆によって受信され且つ聴取されるオーディオのライブブロードキャスト、の間に使用されうる。該ソースデバイス及び該聴衆はそれぞれ、送信されたオーディオを受信する為にコンピューティング又はテレコミュニケーションデバイスを使用しうる。記載された方法及びシステムに従ってテレカンファレンスの間に送信されるオーディオは、ボイスオーディオ(voice audio)でありうる。しかしながら、記載された実施態様の少なくとも幾つかは、他の形式のオーディオ送信、例えばライブ音楽又は他の形式のオーディオ、とともに使用されうる。
記載された方法は、送信セッションの間にオーディエンスデバイスにおいて受信されたオーディオ品質の評価を使用し、それは、記載された様々な方法を使用して測定されうる。該送信セッションに参加している複数のオーディエンスデバイスは、共通因子、例えばオーディエンスデバイスの場所、ソースデバイスとのオーディエンスデバイスの通信方法、オーディエンスデバイスが使用しているデバイスの種類等、によって分類される。受信されオーディオ品質の解析と、共通因子による分類が、受信されたオーディオ品質に影響を与える1以上の共通因子を決定する為に使用される。共通因子は、参加者のデバイスのグループによって共有される受信されたオーディオの品質に影響を与えうる任意の因子でありうる。フィードバックは、オーディオ品質に影響を与えうる上記決定された共通因子に関する情報を提供するソースデバイス若しくはオーディエンスデバイス又はそれらの組み合わせに提供されうる。
モバイルネットワークオペレータの電話ネットワークを介して接続されているという共通因子を有するとして分類されている複数のオーディエンスデバイスの1つのサブセットで受信された際に低いオーディオ品質が測定される場合に、特定の携帯電話ネットワークに問題があるというフィードバックが提供されうる。共通因子による分類の解析は、例えば、特定の都市において特定のモバイルネットワークオペレータのデータネットワークを使用して、共通因子の組み合わせで低い品質が受信されていることを確認しうる。
全てのオーディエンスデバイスが同じ低品質オーディオを受信する場合、問題点は、マイクに対するスピーカの位置又はバックグラウンドノイズの干渉など、ソースに関連しているとして識別されうる。
該方法はまた、オーディエンスデバイスにおいて非常に高品質のオーディオをもたらす共通因子を決定して、送信されたオーディオを受信する最適な方法についての他のオーディエンスデバイスにアドバイスを与える為に使用されうる。
図1を参照すると、概略図100は、記載された方法及びシステムが実装されうる例示的なテレカンファレンシングを示す。ソースデバイス101は、オーディオを複数のオーディエンスデバイス111~115に送信する。これは、ソースデバイス101及びオーディエンスデバイス111~115との様々な形態のテレカンファレンシングを介され得、それぞれのデバイスは例えば、移動通信デバイス、例えば携帯電話、コンピューティングデバイス、例えばデスクトップコンピュータ又はラップトップコンピュータでありうる。ユーザのデバイスは、該ユーザがオーディオに貢献することができるプレゼンター又は参加者であるか又は貢献していない参加者であるかに応じて、ソースデバイス101とオーディエンスデバイス111~115との両方でありうる。
ソースデバイス101及びオーディエンスデバイス111~115は、フィードバックシステム131の形態においてフィードバック機能を提供するサーバ130と通信しうる。例示的な実施形態において、フィードバックシステム131は、フィードバックシステム131によって使用する為の情報を収集する為に、ソースデバイス101及びオーディエンスデバイス111~115において提供されるアプリケーションを有するウェブサービスとして提供されうる。これは、サーバ130を介して又はフィードバックシステム131のサーバ130と通信する別のサーバを介して提供されうる既存の会議ウェブサービスアプリケーション内に組み込まれうる。
図1は、オーディエンスデバイス111~115のサブセットをグループ化しうる単純化された共通因子(common factors)を示す。共通因子の一例は、オーディエンスデバイス111~115の位置であり得、これは、オーディエンスデバイス1(111)及びオーディエンスデバイス2(112)が領域A(141)にあり、及びオーディエンスデバイス3(113)、オーディエンスデバイス4(114)及びオーディエンスデバイス5(115)が領域B(142)にあることによって示されている。領域は、地理的領域、例えば、特定の国、特定の州(state)、特定の省(province)、特定の地域(territory)、又は定義可能な特性(definable characteristics)を有するが必ずしも固定された境界でない領域、でありうる。共通因子の別の例は、ソースデバイス101と使用される通信の形態でありうる。これは、ウェブコミュニケーション121を使用する、オーディエンスデバイス1(111)、オーディエンスデバイス3(113)及びオーディエンスデバイス4(114)の形態のオーディエンスデバイスのサブセット、及び電話通信(phone communication)122を使用する、オーディエンスデバイス2(112)及びオーディエンスデバイス5(115)のサブセットによって表される。
該オーディエンスデバイスの共通因子は、図1に示されている単純なバージョンよりも複雑であることが想定され、及び以下の1以上の組み合わせを含みうる。
(a)場所因子、例えば、国、州、都市、組織の敷地、又は建物の一部、例えば床若しくは部屋、等を包含しうる場所因子。
(b)接続因子、例えば、携帯電話ネットワークによる接続、一種の携帯電話ネットワーク、例えば携帯電話ネットワーク事業者プロバイダによる又はデータネットワークのカテゴリによるものを包含する一種の携帯電話ネットワーク、固定電話電話接続、一種の固定電話電話ネットワーク、電話ネットワーク、例えば光ファイバ、ケーブル、銅線、一種のWi-Fiネットワーク若しくはWi-Fiネットワークプロバイダ、等を包含しうる接続因子。
(c)場所因子と組み合わされた接続因子、例えば、インターネット、電話ネットワークの一部、等を介して接続する複数のデバイスのサブネットを包含しうる、場所因子と組み合わされた接続因子。
(d)デバイス因子、例えば、使用されているブラウザの種類、デバイスの種類等を包含しうるデバイス要因。
フィードバックシステム131は、オーディエンスデバイス111~115におけるオーディオ品質を評価し得、及びこれをオーディエンスデバイス111~115の共通因子と比較して分析して、オーディオ品質が1以上の共通因子に起因しうることを示す相関関係があるかを判断しうる。オーディオ品質に影響を与える問題点は、オーディエンスデバイス111~115の上記共通因子に関連し得、同様のオーディオ品質を有するオーディエンスデバイス111~115のグループを特定することは、上記品質に影響を与えうる共通因子に絞り込むことができる。
例えば、領域A(141)内のオーディエンスデバイス111及び112のみが低品質を有する場合、該低品質は場所に起因しうる。しかしながら、領域B(142)内のウェブコミュニケーション121を介して接続するオーディエンスデバイス113及び114のみが低品質を有する場合、該低品質は、その領域内のウェブ通信ネットワークの問題に起因しうる。
図2を参照すると、流れ図200は、サーバ130において提供されるフィードバックシステム131において実行される、記載された方法の例示的な実施態様を示す。例えば、サーバ130は、テレカンファレンシング機能を提供するサーバでありうる。
該方法は、各オーディエンスデバイスにおいて受信された、及び複数のオーディエンスデバイスから取得された、オーディオ品質情報を取得しうる(201)。これは、該複数のオーディエンスデバイスが通信チャネルを介してリモートソースデバイスからの送信されたオーディオを受信するときにリアルタイムで取得されうる。
該オーディオ情報は様々な形態をとり得、そして異なる実施形態が以下に記載されている。幾つかの実施態様において、該オーディオ情報は、オーディエンスデバイス111~115において処理されて、フィードバックシステム131に送られるオーディオ品質尺度又はレベルの形でオーディオ品質情報を生成しうる。例えば、オーディオが発話音声(speaking voice)である場合、音声からテキストへの変換プロセスが、オーディエンスデバイス111~115において、受信された音声に対して実行され、結果として得られたテキストの分析を可能にして、変換された語数の率に基づいて品質レベルを決定する。異なるオーディエンスデバイス111~115からのフィードバックシステム131で受信されたオーディオ品質レベル同士が比較されて、品質レベルが同じであるオーディエンスデバイス111~115のグループを決定しうる。
他の実施態様において、該オーディオ情報は、フィードバックシステム131に送られうる受信されたオーディオ信号の特性の測定されたパラメータでありうる。これは、音声(voice)又は他の形のオーディオ(audio)に適用されうる。該特性パラメータは、周波数、振幅、電力、ノイズ等を包含しうる。パラメータデータの形にあるオーディオ情報は、処理及び評価の為に、オーディエンスデバイス111~115からフィードバックシステム131に送られうる。該評価は、他のオーディエンスデバイス111~115から受信されたオーディオ情報若しくはソースデバイス101の送信されたオーディオ又はそれらの組み合わせとの比較によって行われうる。
該方法は、オーディエンスデバイス111~115の1以上の共通因子を取得しうる(202)。各オーディエンスデバイス111~115の共通因子に関する情報は例えば、テレカンファレンシングセッションの開始時に又は因子に対する何らかの変更が送信の間に生じる場合に、オーディエンスデバイス111~115からのフィードバックシステム131によって取得されうる。幾つかの実装形態において、該サーバにおけるフィードバックシステム131は、リモートサーバ130とのオーディエンスデバイス111~115の接続から因子に関する情報を遠隔的に取得することができる場合がある。該方法は、複数のオーディエンスデバイス111~115の1以上のサブセットを、各サブセットについての1以上の共通因子によって分類しうる(203)。該分類は、取得されたオーディオ品質情報とは独立して実行され得、又は下記の解析の一部として行われうる。
該方法は、複数のオーディエンスデバイス111~115の共通因子とともに、同じ会議セッションにおける複数のオーディエンスデバイス111~115から受信した情報に従ってオーディオ品質を解析して、受信されたオーディオ品質に影響を与える1以上の共通因子を決定しうる(204)。これは、共通因子と受信した測定されたオーディオ品質とを相関させることによって行われうる。これは、以前に決定された分類を使用し得、又は解析の一部として分類をもたらしうる。
様々な形式の相関及び閾値オーディオ品質パラメータが適用されうる。簡単な例として、共通因子によって分類されたオーディエンスデバイスのサブセットのそれぞれについて、測定されたオーディオ品質が全て閾値測定値未満である場合、共通因子が低品質の原因でありうる。より複雑な解析において、1以上の共通因子を有する第1のサブセットが低オーディオ品質を経験していると判断され得、一方、1以上の他の共通因子を有する第2のサブセットが高品質のオーディオを経験していると判断され得、第1のサブセットのメンバーが、第2のサブセットの共通因子の因子に変更されることができる全ての因子を変更すべきであることを示唆する。
該方法は、低品質、及び任意的に高品質、の原因であると決定された1以上の共通因子に関する情報に関連するフィードバックを提供する(205)。これは、オーディオ品質の原因であると判断された1以上の共通因子のサブセットのメンバーであるオーディエンスデバイス111~115に提供されうる。該フィードバックはまた、ソースデバイス101に提供されうる。原因が該ユーザの制御下にある場合に、例えばオーディエンスユーザが別の通信チャネルに変更したり又はソースユーザが会議中に中断すること無しにマイクに近づいたりする場合に、上記フィードバックは、オーディオの中断を回避する為に、オーディエンスデバイス111~115又はソースデバイス101の画面上の通知として提供されうる。該フィードバックは、オーディエンスデバイス111~115又は該ソースデバイスのユーザが適切な行動をとることを可能にしうる。良好な品質が結果として生じると判断された1以上の共通因子に関する情報は、オーディエンスユーザによって使用されて、該ユーザの因子、例えば使用されているネットワーク、を変更できるように、該フィードバックはまた、良好な品質が結果として生じると判断された1以上の共通因子に関する上記情報を含みうる。
例えば、テレカンファレンスに接続する同じ通信手段を使用するオーディエンスデバイスが、異なる手段を介して接続されるオーディエンスデバイスよりも悪い同様の品質を有する場合、オーディエンスユーザのこのグループは、これを認識し、そして別の接続手段に変更するであろう。
全てのオーディエンスデバイスの品質が類似の悪い品質(bad quality)を有する場合において、マイクに近づくことによって又は、ソースデバイスにおいて他の調整をすること、例えばバックグラウンドノイズ(background noise)を取り除くこと、によって、話者が是正措置を講じることができるように、これは、該ソースデバイスにフィードバックされうる。
記載された方法は、話者と聴衆との間のエンドツーエンドのパス(end-to-end path)を提供する。このことは、話者と聴衆とが、オーディオ信号がどのように受信されているかを認識し、及び会議の中断を最小限に抑える為に適切なアクションを彼ら自身が取ることを可能にする。記載された方法を使用することによって、該話者は、該聴衆の側において彼らのオーディオ信号がどれだけうまく受信されているかを気付きうる。このことは、該話者が該オーディオ信号を調整して、該オーディオ信号をよりクリアで且つより良くすることを可能にしうる。該聴衆は、問題が接続/地域にあるかどうかを認識し、従って、該聴衆は、別の接続方法に変更することができる。この方法は、会議の流れを大幅に改善することができる。
ソースデバイス101の識別は、異なる参加者が話す会議セッションの過程の間で変更し得、及び該方法は、オーディエンスデバイス111~115の新しい組み合わせにおいて、受信されたオーディオを評価する為にそのような変更にリアルタイムで適応しうる。
該方法は、オーディオ信号を処理すること及び共通因子を決定することによって引き起こされるリアルタイムからのわずかな遅延を伴うフィードバックを提供するように機能しうる。オーディオ品質の評価は、継続的に又は受信されたオーディオのサンプルに対して定期的に、実行されうる。
図3Aを参照すると、流れ図300は、記載された方法の例示的な実施態様を示す。
テレカンファレンスセッションが始まる場合に、プレゼンターは、オーディオ信号をソースデバイス101から送信する(311)。フィードバックシステム131は、テレカンファレンスサーバ130において実行され、そして、テレカンファレンスにおける人が話していることを検出する(331)。フィードバックシステム131は、サーバ130に問い合わせ、そして、該話者がテレカンファレンスセッションに接続されているエンドポイントとしてソースデバイス101を識別する情報を取得し、そして、受信されているそれらのオーディオ信号を識別する。ソースデバイス101の識別は、異なる参加者が話すときのセッションの過程の間で変化し得、及びフィードバックシステム131は、そのような変化にリアルタイムで適応しうる。
オーディエンスデバイス111~115のそれぞれにおいて実行されるフィードバックシステム131の構成要素は、ソースデバイス101から受信されたオーディオ信号を検出し(321)、そして音声からテキストへの変換ソフトウェア又は同様のアプリケーションプログラミングインターフェース(API:application programming interface)サービスを使用して、オーディオ信号をプレーンテキストへ変換する(322)。これを実行することができる多くの既存の、音声からテキストへの変換ソフトウェア製品、例えばIBM Watson(商標)Speech to Text API、がある。音声からテキストへの変換プロセスは、継続的に又は、受信されたオーディオのサンプル部分について定期的に、実行されうる。
オーディエンスデバイス111~115で実行されるフィードバックシステム131のコンポーネントは、得られたテキストからの受信されたオーディオ品質を決定する(323)。該得られたテキストは、変換されていない語に対する変換された語数の率によって測定されて、該率に基づく品質レベルを提供しうる。このことは、迅速な品質評価を与え、及び他の情報を必要としない。
該得られたテキストが十分に良好である場合、すなわち、話者が話すときはいつでも、オーディオは、テキストに成功裡に変換されることができ、該オーディオ信号は良好な品質であると見なされる。例えば、該話者は「これはセッションの要約です」(This is the summary of the session)と言い、そして、変換されたテキストが「これはセッションの要約です」(This is the summary of the session)であった。話された語について、対応する変換されたテキスト語がある。変換率は100%であり、良好な品質であることを示す。
該変換されたテキストが該オーディオ信号の持続時間の間に断片化されていることが判明した場合、すなわち、テキスト中にギャップ又はオーディオ信号のサンプル期間にギャップがある場合に、話者がそれらのギャップで話していたとしても、該オーディオは悪い品質であると見なされる。例えば、該話者は、特定の期間、例えば過去2秒間、に、「これはセッションの要約です」(This is the summary of the session)と言った。変換されたテキストは「これは、セッション _ _ _ 」(This _ the _ _ the session)であった。各「_」は、その時点でオーディオ信号があるが、該信号がテキストに変換されることができないことを示す。示されている例(英語)において、率は7語のうち4語がテキストに成功裡に変換されている。これは悪い品質であると見なされる。品質の評価は、複数の語のチャンク(a chunk of a number of words)、例えば5つの語のチャンク、で実行されることができる。良い又は悪いと見なされる率のレベルは、テレカンファレンスサーバにおけるオペレータによって又はオーディエンスデバイスのユーザによって調整されることができる。
オーディエンスデバイス111~115でのオーディオ品質を決定する代替方法(323)として、ソースデバイス101で実行されるフィードバックシステム131のコンポーネントが、ソースデバイス111~115でオーディオ信号を変換し得(312)、そして、変換されたテキストを、送信された(311)オーディオ信号と共にオーディエンスデバイス111~115に送る(313)。オーディエンスデバイス111~115でのコンポーネントは、オーディエンスデバイス111~115で該受信されたオーディオ信号(321)から得られた変換された(322)テキストを、ソースデバイス101で変換された(312)該受信された変換されたテキストと比較することができる。テキストの比較は、オーディエンスデバイス111~115で該受信されたオーディオ信号の品質レベルを決定するために使用されうる。このことは、ソースデバイス101が該変換されたテキストを送るのを待つのにわずかな遅延をもたらしうる。変換されたテキストのサンプルのみが、比較の為に一定の間隔で幾つかの話された語について送られる場合がありうる。
オーディエンスデバイスでのフィードバックシステム131のコンポーネントは、受信されたオーディオ信号の品質レベルを、テレカンファレンスサーバ130でのフィードバックシステム131に送る(324)。オーディエンスデバイスでのフィードバックシステム131のコンポーネントは、それらの共通因子、例えばそれらの接続領域及び接続手段、を、テレカンファレンスサーバ130でのフィードバックシステム131に送る(325)。オーディエンスデバイス111~115の共通因子(325)に関する情報は、品質レベル情報とともに送られうる、又は登録時に若しくはセッションの開始時にフィードバックシステム131によって収集され得、及び該共通因子が変化した場合に更新されうる。
フィードバックシステム131は、セッションのオーディエンスデバイス111~115からオーディオ品質情報を受信しうる(332)。フィードバックシステム131はまた、セッションのオーディエンスデバイス111~115から共通因子情報を受信しうる。これらの形式の情報は、セッションの間に定期的にオーディエンスデバイス111~115から一緒に受信されうる又は異なる時間に別々に受信されうる。
フィードバックシステム131は、セッション中のオーディエンスデバイス111~115をそれらの共通の要因によって分類し得、そして、オーディオ品質情報に関して共通因子を解析して、オーディエンスデバイス111~115で受信されたオーディオ品質に影響を与える共通因子を決定する(334)。
フィードバックシステム131は、オーディオ品質に影響を与える共通因子に関するフィードバックを、ソースデバイス(314)に若しくはオーディエンスデバイス(326)に又はこれらの組み合わせに提供する(335)。
例えば、領域と接続との組み合わせのうちの1つのグループについてのオーディオ品質が別のグループのそれよりも悪い場合に、該グループ内のオーディエンスデバイスに、オーディオの品質についてデバイスのユーザインターフェース上に表示され且つ別の接続方法を介して接続することを提案するメッセージ又は信号が送られうる。
全てのグループに渡って品質が良くない場合、該ソースデバイスでの話者に、該話者のデバイスから送信されるオーディオ品質が良くないことが通知されうる。該通知は、グラフィックインジケータ記号(graphic indicator symbol)又はグラフィックインジケータライト(graphic indicator light)の形式にすることができ、例えば、高品質の場合は緑色の標識、低品質の場合は赤色の標識である。該話者はインジケータを確認し、そして、それに応じてマイクへの話し方を調節することが出来る。
図3Bを参照すると、流れ図350は、記載された方法の別の例示的な実施形態を示す。
該方法は、テレカンファレンスセッションが開始されるときに、プレゼンターがソースデバイス101からオーディオ信号を送信する(351)という点で図3Aの方法と同様である。フィードバックシステム131は、テレカンファレンスサーバ130で実行され、及びテレカンファレンスにおいて人が話をしていることを検出する(371)。フィードバックシステム131は、サーバ130にクエリを実行し、該話者がテレカンファレンスセッションに接続されるエンドポイントとしてソースデバイス101を識別する情報を取得し、そして、話者の受信されているオーディオ信号を識別する。該ソースデバイス101の識別は、異なる参加者が話すセッションの過程の間で変化し得、及びフィードバックシステム131は、そのような変化にリアルタイムで適応しうる。
オーディエンスデバイス111~115のそれぞれで実行されるフィードバックシステム131の構成要素は、ソースデバイス101から受信されたオーディオ信号を検出し(361)、そして、図3Aの方法とは異なり、オーディオ情報を、生のオーディオ信号データ又はオーディオ信号データの特定のパラメータの形式でフィードバックシステム131に送る(362)。
該オーディエンスデバイスでのフィードバックシステム131のコンポーネントはまた、それらの共通因子、例えばそれらの接続領域及び接続手段、を、テレカンファレンスサーバ130でのフィードバックシステム131に送る(363)。オーディエンスデバイス111~115の共通因子(363)に関する情報は、オーディオ情報(362)と共に送られうる、又は登録時に若しくはセッションの開始時にフィードバックシステム131によって収集され得、及び要因が変化した場合に更新されうる。
フィードバックシステム131は、セッション中のオーディエンスデバイス111~115からオーディオ品質情報を受信しうる(372)。フィードバックシステム131は、セッション中にオーディエンスデバイス111~115から受信されたオーディオ情報を処理及び比較し(373)、そして、同様のオーディオ情報を有するオーディエンスデバイス111~115を決定し得、そのことは、低品質又は高品質のレベルを示しうる。
該オーディオ情報は、音声特性パラメータ、例えば、オーディエンスデバイス111~115で受信された音声の周波数及び振幅の変化の測定値、でありうる。フィードバックシステム131で受信されたオーディオ情報(372)は、該ソースデバイスからのオーディオ信号若しくは他のオーディエンスデバイス111~115から受信されたオーディオ情報又はこれらの組み合わせと比較されうる。
フィードバックシステム131はまた、セッションのオーディエンスデバイス111~115から共通因子情報を受信し得、及びフィードバックシステム131は、該セッション中のオーディエンスデバイス111~115をそれらの共通因子によって分類しうる(374)。フィードバックシステム131は、オーディオ情報に関する共通因子を解析して、オーディエンスデバイス111~115で受信されたオーディオ品質に影響を与える共通因子を決定しうる(375)。
フィードバックシステム131は、オーディオ品質に影響を与える共通因子に関するフィードバックを、ソースデバイス(352)に若しくはオーディエンスデバイス(364)に又はこれらの組み合わせに提供する(376)。
図4を参照すると、ブロック図は、フィードバックシステム131を提供するサーバ130と、コンピューティングデバイス410とを備えているシステム400を示し、該コンピューティングデバイス410は、オーディエンスデバイスの機能、及び送信セッションの間にオーディエンスユーザ又はソース提供ユーザによって使用されるソースデバイスの機能を提供し、及びサーバ130のフィードバックシステム131と相互作用する為のフィードバックシステムコンポーネント440を含む。
サーバ130は、少なくとも1つのプロセッサ401、ハードウェアモジュール、又は少なくとも1つのプロセッサ上で実行されるソフトウェアユニットでありうる記載された構成要素の機能を実行する為の回路を含みうる。並列処理スレッドを実行する複数のプロセッサが提供され得、該コンポーネントの機能の幾つか又は全ての並列処理を可能にする。メモリ402は、構成要素の機能を実行する為に少なくとも1つのプロセッサ401にコンピュータ命令403を提供するように構成されうる。
サーバ130で提供されるフィードバックシステム131は、送信セッションにおいてオーディエンスデバイスで受信され且つ該オーディエンスデバイスから取得されたオーディオ信号のオーディオ情報を取得する為のオーディオ情報取得コンポーネント431を備えうる。一つの実施態様において、オーディオ情報取得コンポーネント431は、複数のオーディエンスデバイスからオーディオ信号パラメータデータを取得し得、及びフィードバックシステム131は、複数のオーディエンスデバイスのオーディオ信号パラメータ同士を比較して、受信された類似のオーディオ信号を有する複数のオーディエンスデバイスの1つのサブセットを決定する為のオーディオ比較コンポーネント435を備えうる。
フィードバックシステム131は、各コンピューティングデバイス410の因子の詳細を取得する為の因子取得コンポーネント405と、オーディエンスデバイスの1以上のサブセットを、サブセット当たり1以上の共通因子によって分類する為の分類コンポーネント432とを備えうる。分類コンポーネント432は、複数のオーディエンスデバイスの1つのサブセットを、1以上の同じ因子でグループ化しうる。
フィードバックシステム131は、複数のオーディエンスデバイスのサブセットの分類を用いて、該複数のオーディエンスデバイスからの該取得されたオーディオ情報を解析して、1以上の共通因子によって分類された複数のオーディエンスデバイスの識別されたサブセットにおいて、受信されたオーディオ品質に影響を与える1以上の共通因子を決定する為の解析コンポーネント433を備えうる。解析コンポーネント433は、1以上の共通因子と、識別されたサブセットのオーディオ品質レベルとの間の相関を決定する為の相関コンポーネント438を備えうる。
フィードバックシステム131は、1以上の共通因子のフィードバックを、識別されたサブセットにおける複数のオーディエンスデバイスの少なくとも1つ(又はそれらの全て)に、該ソースデバイスに、又は該識別されたサブセットにおけるオーディエンスデバイスとソースデバイスとの両方に提供する為のフィードバックコンポーネント434を備えうる。フィードバックコンポーネント434は、ライブ送信の間に、1以上の共通因子のフィードバックを動的に提供しうる。
フィードバックシステム131は、複数のオーディエンスデバイスからの該取得したオーディオ情報を解析して、該オーディオ情報が全てのオーディエンスデバイスの為の閾値品質を下回っているかを判断する為の全体的な品質コンポーネント436をさらに備えうる。フィードバックコンポーネント434は、受信された全体的なオーディオ品質が必要とされる品質を下回っているというフィードバックを該ソースデバイスに提供しうる。
フィードバックシステム131は、送信セッションにおいて、送信されたオーディオ信号のソースデバイスを検出し、及び該送信セッションにおいてどのオーディエンスデバイスからオーディオ情報を取得するかを決める為のデバイス検出コンポーネント437を備えうる。
フィードバックシステム131は、オーディオ品質レベルの構成を受信する為の構成コンポーネント439を備えうる。
複数のコンピューティングデバイス410に、それぞれがフィードバックシステム131と相互作用するためのフィードバックシステムコンポーネント440を備えているように提供され得、各コンピューティングデバイス410は、送信セッションの間にソースデバイス若しくはオーディエンスデバイス又はこれらの組み合わせとして機能しうる。フィードバックシステムコンポーネント440は、コンピューティングデバイス410でのウェブサービス又はダウンロード可能なアプリケーションとして提供されうる。
各コンピューティングデバイス410は、少なくとも1つのプロセッサ411、ハードウェアモジュール、又は該少なくとも1つのプロセッサ上で実行されるソフトウェアユニットでありうる記載された構成要素の機能を実行する為の回路を備えうる。メモリ412は、コンピュータ命令413を少なくとも1つのプロセッサ411に提供して、構成要素の機能を実行するように構成されうる。
フィードバックシステムコンポーネント440は、オーディオ情報を、該サーバのフィードバックシステム131でのオーディオ情報取得コンポーネント431に提供する為のオーディオ情報提供コンポーネント444を備えうる。フィードバックシステムコンポーネント440は、因子情報を、該サーバのフィードバックシステム131での因子取得コンポーネント405に提供する為の因子提供コンポーネント447を備えうる。
1つの実施態様において、フィードバックシステムコンポーネント440は、受信されたオーディオ信号を処理することによって1つのオーディエンスデバイスにおいて決定されたオーディオ品質レベルを取得する為のオーディオ品質レベルコンポーネント441を備えている。フィードバックシステムコンポーネント440はまた、受信されたオーディオ信号を処理して、オーディオ品質レベルを評価する為のオーディオ信号処理コンポーネント442と、音声からテキストへの変換プロセスを使用して音声信号を変換し、そして得られたテキストを解析して、オーディオ品質レベルを評価する為の音声からテキストへの変換コンポーネント443とを備えうる。音声からテキストへの変換コンポーネント443は、リモートの音声からテキストへの変換サービス450を使用しうる。オーディオ情報提供コンポーネント444は、コンピューティングデバイス410で決定されたオーディオ品質レベルを提供しうる。
他の実施態様において、フィードバックシステムコンポーネント440は、受信されたオーディオパラメータデータを集め、そしてこれを、処理の為にフィードバックシステム131にオーディオ情報提供コンポーネント444によって送る為のオーディオパラメータ収集コンポーネント445を備えうる。
コンピューティングデバイス410でのフィードバックシステムコンポーネント440は、オーディエンスデバイスとして又はソースデバイスとして機能するコンピューティングデバイス410において、受信されたオーディオ品質に影響を与える共通パラメータのフィードバックを受信する為のフィードバック受信コンポーネント446を備えうる。
図5は、本発明の1つの実施態様に従う、サーバ130として、又はオーディエンスデバイス111~115若しくはソースデバイス101として使用されるユーザコンピューティングデバイスとして提供されうるコンピューティングシステムのコンポーネントのブロック図を示す。図5は、1つの実装の例示のみを提供し、種々の実施形態が実装されうる環境に関して何ら制限することを意味しないことが理解されるべきである。描かれている環境に対して多くの変更がされうる。
コンピューティングシステムは、1以上のプロセッサ502、1以上のコンピュータ可読RAM504、1以上のコンピュータ可読ROM506、1以上のコンピュータ可読記録媒体508、デバイスドライバ512、読み取り/書き込みのドライブ又はインタフェース514、及びネットワークのアダプタ又はインタフェース516を備えることができ、全ては、通信ファブリックを介して相互接続されている。通信ファブリック518は、プロセッサ(例えば、マイクロプロセッサ、通信及びネットワークプロセッサ等)、システムメモリ、周辺デバイス、並びにシステム内の他のハードウェアコンポーネントの間でデータ若しくは制御情報又はこれらの組み合わせを渡す為に設計された任意のアーキテクチャで実装されることができる。
1以上のオペレーティングシステム510、及びアプリケーションプログラム511、例えばフィードバックシステム131及びフィードバックシステムコンポーネント440、は、個々のRAM504(典型的には、キャッシュメモリを包含する)のうちの1以上を介して、1以上のプロセッサによる実行の為に、1以上のコンピュータ読み取り可能な記録媒体508上に格納される。図示された実施態様において、コンピュータ読み取り可能な記録媒体508のそれぞれは、内蔵ハードドライブの磁気ディスク記憶装置、CD-ROM、DVD、メモリスティック、磁気テープ、磁気ディスク、光ディスク、半導体記憶装置、例えばRAM、ROM、EPROM、フラッシュメモリ、又は本発明の実施形態に従う、コンピュータ・プログラム及びデジタル情報を格納することができる任意の他のコンピュータ読み取り可能な記録媒体であることができる。
コンピューティングシステムはまた、1以上のポータブルコンピュータ読み取り可能な記録媒体526から読み取りする為の且つ該1以上のポータブルコンピュータ読み取り可能な記録媒体526へ書き込みする為のR/Wドライブ又はインタフェース514を備えることができる。コンピューティングシステム上のアプリケーションプログラム511は、1以上のポータブルコンピュータ読み取り可能な記録媒体526上に格納されることができ、及び個々のR/Wドライブ又はインタフェース514を介して読み取られることができ、個々のコンピュータ可読記録媒体508にロードされることができる。
コンピューティングシステムはまた、ネットワークアダプタ又はインタフェース516、例えばTCP/IPアダプタカード又は無線通信アダプタ、を備えていることができる。コンピューティングシステム上のアプリケーションプログラム511は、ネットワーク(例えば、インターネット、ローカルエリアネットワーク又は他の広域ネットワーク若しくはワイヤレスネットワーク)及びネットワークアダプタ又はインタフェース516を介して、外部コンピュータ又は外部ストレージ・デバイスからコンピューティングデバイスにダウンロードされることができる。ネットワークアダプタ又はインタフェース516から、該プログラムは、コンピュータ読み取り可能な記録媒体508内にロードされうる。該ネットワークは、銅線、光ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータ、及びエッジサーバを備えうる。
コンピューティングシステムはまた、表示画面520、キーボード又はキーパッド522、及びコンピュータマウス又はタッチパッド524を備えていることができる。デバイスドライバ512は、画像化する為の表示画面520に、キーボード又はキーパッド522に、コンピュータマウス又はタッチパッド524に、若しくは英数字入力及びユーザ選択の圧力感知の為の表示画面520に、又はこれらの組み合わせにインタフェースする。デバイスドライバ512、R/Wドライブ又はインタフェース514、及びネットワークアダプタ又はインタフェース516は、コンピュータ読み取り可能な記録媒体508若しくはROM506又はこれらの組み合わせに格納されたハードウェア及びソフトウェアを備えていることができる。
本発明は、統合のありうる任意の技術的詳細レベルでの、システム、方法若しくはコンピュータ・プログラム製品又はそれらの組み合わせでありうる。該コンピュータ・プログラム製品は、プロセッサに本発明の観点を実行させる為のコンピュータ可読プログラム命令を有する1以上のコンピュータ可読記憶媒体を包含しうる。
該コンピュータ可読記憶媒体は、命令実行デバイスによって使用する為の命令を保持且つ記憶することができる有形のデバイスであることができる。該コンピュータ可読記憶媒体は、例えば、電子ストレージ・デバイス、磁気ストレージ・デバイス、光ストレージ・デバイス、電磁ストレージ・デバイス、半導体ストレージ・デバイス、又はこれらの任意の適切な組み合わせでありうるが、これらに限定されない。該コンピュータ可読記憶媒体のより具体的な例の非網羅的なリストは、下記を包含する:ポータブルコンピュータ・ディスケット、ハードディスク、ランダム・アクセス・メモリ(RAM:random access memory)、読み取り専用メモリ(ROM:read only memory)、消去可能なプログラム可能な読み取り専用メモリ(EPROM(erasable programmable read-only memory)又はフラッシュメモリ)、スタティック・ランダム・アクセス・メモリ(SRAM:static random access memory)、ポータブル・コンパクト・ディスク読み取り専用メモリ(CD-ROM:compact disc read-only memory)、デジタル多用途ディスク(DVD:digital versatile disk)、メモリスティック、フロッピーディスク、機械的に符号化されたデバイス、例えばパンチカード若しくは命令が記録されている溝内の***構造又はこれらの任意の適切な組み合わせ。本明細書において使用される場合、コンピュータ可読記憶媒体は、一時的な信号それ自体、例えば電波又は他の自由に伝播する電磁波、導波管若しく他の伝送媒体を伝播する電磁波(例えば、光ファイバケーブルを通過する光パルス)、又は電線を介して送信される電気信号、であると解釈されるべきでない。
本明細書において記載されたコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体から個々のコンピューティングデバイス/処理デバイスに、又はネットワーク、例えばインターネット、ローカルエリアネットワーク、ワイドエリアネットワーク若しくはワイヤレスネットワーク又はそれらの組み合わせ、を介して外部コンピュータ又は外部記憶デバイスにダウンロードされることができる。該ネットワークは、銅線伝送ケーブル、光伝送ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータ若しくはエッジサーバ又はこれらの組み合わせで構成されうる。各コンピューティングデバイス/処理デバイスにおけるネットワークアダプタカード又はネットワーク・インターフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、そして、該コンピュータ可読プログラム命令を、個々のコンピューティングデバイス/処理デバイス内にコンピュータ可読記憶媒体中に記憶する為に送信する。
本発明の動作を実行する為のコンピュータ可読プログラム命令は、アセンブラ命令、命令セットアーキテクチャ(ISA:instruction-set-architecture)命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、集積回路の為の構成データ、又は、1以上のプログラミング言語、例えばオブジェクト指向プログラミング言語、オブジェクト指向プログラミング言語(例えばSmalltalk、C++等)、手続き型プログラミング言語(例えば「C」プログラミング言語又は同様のプログラミング言語)、の任意の組み合わせで書かれているソースコード又はオブジェクトコードのいずれか、でありうる。該コンピュータ可読プログラム命令は、ユーザのコンピュータ上で全体的に、ユーザのコンピュータ上で部分的に、ユーザのコンピュータ上でスタンドアロン・ソフトウェア・パッケージとして部分的に、ユーザのコンピュータ上で部分的に且つリモート・コンピュータ上で部分的に、又はリモート・コンピュータ若しくはサーバ上で全体的に、実行されうる。後者のシナリオにおいて、該リモート・コンピュータは、任意の種類のネットワーク、例えばローカルエリアネットワーク(LAN:local area network)若しくはワイドエリアネットワーク(WAN:wide area network)、を介してユーザのコンピュータに接続されうるか、又は該接続は(例えば、インターネットサービスプロバイダを使用したインターネットを通じて)外部コンピュータに対して行われうる。幾つかの実施態様において、電子回路、例えばプログラマブル論理回路、フィールドプログラマブルゲートアレイ(FPGA:field-programmable gate arrays)又はプログラマブルロジックアレイ(PLA:programmable logic arrays)、は、本発明の観点を実行する為に、コンピュータ可読プログラム命令の状態情報を利用することによって、電子回路をパーソナライズすることによって、コンピュータ可読プログラム命令を実行しうる。
本発明の観点は、本発明の実施態様に従う、方法、装置(システム)及びコンピュータ・プログラム製品のフローチャート図若しくはブロック図又はそれらの組み合わせを参照して本明細書において記載されている。該フローチャート図若しくは該ブロック図又はそれらの組み合わせの各ブロック、並びに該フローチャート図若しくは該ブロック図又はそれらの組み合わせにおける複数のブロックの組み合わせは、コンピュータ可読プログラム命令によって実装されることができることが理解されるであろう。
これらのコンピュータ可読プログラム命令は、該コンピュータ又は他のプログラム可能なデータ処理装置のプロセッサを介して実行する命令が該フローチャート若しくはブロック図又はそれらの組み合わせの1以上のブロックにおいて特定された機能/動作を実装するための手段を生成するように、コンピュータのプロセッサ又は他のプログラム可能なデータ処理装置に提供されて、マシンを作り出しうる。これらのコンピュータ可読プログラム命令はまた、記憶された命令を有するコンピュータ可読記憶媒体は、該フローチャート図若しくはブロック図又はそれらの組み合わせの1以上のブロックにおいて特定される機能/動作の観点を実装する命令を含む製造品を含むように、コンピュータ・プログラム可能なデータ処理装置若しくは他のデバイス又はこれらの組み合わせに特定の様式で機能するように指示することができるコンピュータ可読記憶媒体中に記憶されうる。
該コンピュータ可読プログラム命令はまた、コンピュータ上、他のプログラム可能なデータ処理装置上又は他のデバイス上で実行される命令が、該フローチャート若しくはブロック図若しくはそれらの組み合わせの1以上のブロックにおいて特定される機能/動作を実装するように、上記のコンピュータ上、他のプログラム可能なデータ処理装置上又は他のデバイス上にロードされて、コンピュータ、他のプログラム可能な装置又は他のデバイス上で一連の操作ステップを実行させて、コンピュータに実装されたプロセスを生成しうる。
図面中のフローチャート及びブロック図は、本発明の様々な実施態様に従う、システム、方法及びコンピュータ・プログラム製品のありうる実装の、アーキテクチャ、機能及び動作を示す。これに関連して、該フローチャート又はブロック図における各ブロックは、命令のモジュール、セグメント、又はその一部を表し得、それは、特定された1以上の論理機能を実装する為の1以上の実行可能命令を含む。幾つかの代替の実装において、該ブロックにおいて示されている機能は、図面中に示されている順序とは異なって生じうる。例えば、連続して示されている2つのブロックは、実際には、関与する機能に依存して、同時に、実質的に同時に、部分的又は全体的に時間的に重複する様式で実行される1つのステップとして達成されうるか、又は該ブロックは、逆の順序で実行されうる。該ブロック図若しくはフローチャート図又はこれらの組み合わせの各ブロック、並びに該ブロック図若しくはフローチャート図又はこれらの組み合わせの複数のブロックの組み合わせは、特定された機能又は動作を実行する特別な目的のハードウェアベースのシステムによって実装できることができ、又は特別な目的のハードウェアとコンピュータ命令との組み合わせを実行することができることに留意されたい。
クラウドコンピューティング
本開示は、クラウドコンピューティングに関する詳細な説明を含むが、本明細書に列挙される教示の実装は、クラウドコンピューティング環境に限定されないことが理解されるべきである。むしろ、本発明の実施態様は、現在知られている又は後に開発される任意の他のタイプのコンピューティング環境と併せて実装されることができる。
クラウドコンピューティングは、最小限の管理労力又はサービスのプロバイダとの相互作用で迅速にプロビジョニングされ且つ解放されることができる構成可能なコンピューティングリソース(例えば、ネットワーク、ネットワーク帯域幅、サーバ、処理(processing)、メモリ、ストレージ、アプリケーション、仮想マシン、及びサービス)の共有プールへの便利なオンデマンドネットワークアクセスを可能にする為のサービス提供のモデルである。このクラウドモデルは、少なくとも5つの特徴、少なくとも3つのサービスモデル、及び少なくとも4つの展開モデルを含みうる。
特徴は下記の通りである。
オンデマンドセルフサービス:クラウドコンシューマ(cloud consumer)は、サービスのプロバイダとのヒューマンインターラクション(human interaction)を必要とせずに、必要に応じて、コンピューティング機能、例えばサーバ時間及びネットワークストレージ、を一方的にプロビジョニングすることができる。
ブロードネットワークアクセス:機能は、ネットワークを介して利用可能であり、及び異種のシン(thin)クライアント・プラットフォーム又はシック(thick)クライアント・プラットフォーム(例えば、携帯電話、ラップトップ、及びPDA)による使用を促進する標準的なメカニズムを介してアクセスされる。
リソースのプーリング:プロバイダのコンピューティングリソースは、マルチテナントモデルを使用して複数のコンシューマにサービスを提供するためにプールされ、及び様々な物理リソースと仮想リソースが需要に従って動的に割り当てられ及び再割り当てされる。コンシューマは一般的に、提供されたリソースの正確な場所についての制御又は知識を有していないが、より高いレベルの抽象化での場所(例えば、国、州又はデータセンター)を特定できうるという点で、場所に依存しないといえる。
迅速な順応性:機能は、迅速かつ弾力的にプロビジョニングされ、場合によっては自動的に、迅速にスケールアウトされ、迅速にリリースされて迅速にスケールインされうる。コンシューマにとって、プロビジョニングに利用可能な機能はしばしば、無制限であり及びいつでも任意の量で購入されることができる。
サービスの測定:クラウド・システムは、サービスのタイプ(例えば、ストレージ、処理、帯域幅、及びアクティブなユーザアカウント)に適した何らかの抽象化レベルでの計量機能を用いることによって、リソースの使用を自動的に制御し及び最適化する。リソース使用は監視され、制御され、及び報告され、利用されるサービスのプロバイダ及びコンシューマの両方についての透明性を提供することができる。
サービスモデルは下記の通りである。
サービスとしてのソフトウェア(SaaS:Software as a Service):クラウド・インフラストラクチャにおいて実行しているプロバイダのアプリケーションを使用する為に、コンシューマに提供される機能である。該アプリケーションは、シン・クライアント・インターフェース、例えばウェブブラウザ(例えば、ウェブ・ベースの電子メール)、を通じて、様々なクライアント・デバイスからアクセス可能である。該コンシューマは、制限されたユーザ固有のアプリケーション構成設定のありうる例外として、基礎をなすクラウド・インフラストラクチャ、例えばネットワーク、サーバ、オペレーティングシステム、ストレージ、又は個々のアプリケーション機能さえも包含する基礎をなすクラウド・インフラストラクチャ、を管理又は制御しない。
サービスとしてのプラットフォーム(PaaS Platform as a Service):プロバイダによってサポートされるプログラミング言語及びツールを用いて生成された、コンシューマが生成した又は取得したアプリケーションを、クラウド・インフラストラクチャ上に配備する為に、該コンシューマに提供される機能である。該コンシューマは、基礎をなすクラウド・インフラストラクチャ、例えばネットワーク、サーバ、オペレーティングシステム、又はストレージを包含する基礎をなすクラウド・インフラストラクチャ、を管理又は制御しないが、展開されたアプリケーション、及び場合によってはアプリケーション・ホスティング環境構成に対して制御を有する。
サービスとしてのインフラストラクチャ(IaaS:Infrastructure as a Service):コンシューマが、オペレーティングシステム及びアプリケーションを含むことができる任意のソフトウェアを展開及び実行することができる、処理、ストレージ、ネットワーク、及び他の基本的なコンピューティングリソースをプロビジョニンングする為に、該コンシューマに提供される機能である。該コンシューマは、基礎をなすクラウド・インフラストラクチャを管理又は制御しないが、オペレーティングシステム、ストレージ、展開されたアプリケーションに対する制御、及び場合によっては、ネットワーク・コンポーネント(例えば、ホストのファイアウォール)の選択することの制限された制御を有する。
展開モデル(Deployment Models)は下記の通りである。
プライベート・クラウド:クラウド・インフラストラクチャは、ある組織の為のみに運営される。該クラウド・インフラストラクチャは、該組織又は第三者によって管理され得、及びオンプレミス(on-premises)又はオフプレミス(off-premises)に存在しうる。
コミュニティ・クラウド:クラウド・インフラストラクチャは、幾つかの組織によって共有され、及び共通の関心事項(例えば、ミッション、セキュリティ要件、ポリシー、及びコンプライアンス考慮事項)を有する特定のコミュニティをサポートする。該クラウド・インフラストラクチャは、該組織又は第三者によって管理され得、及びオンプレミス又はオフプレミスに存在しうる。
パブリック・クラウド:クラウド・インフラストラクチャは、一般公衆又は大規模な業界グループに対して利用可能であり、及びクラウドサービスを販売する組織によって所有される。
ハイブリッド・クラウド:クラウド・インフラストラクチャは、固有のエンティティのままであるが、データ及びアプリケーションの移行性を可能にする標準化された又は専用の技術(例えば、クラウド間の負荷分散のためのクラウド・バースティング)によって一緒にされる2以上のクラウド(プライベート、コミュニティ、又はパブリック)の混成物である。
クラウドコンピューティング環境は、無国籍性(statelessness)、低結合性、モジュール性、及びセマンティック相互運用性(semantic interoperability)に焦点を有する指向されたサービスである。クラウドコンピューティングの中核(heart)は、相互接続されたノードのネットワークを含むインフラストラクチャである。
ここで図6を参照すると、例示的なクラウドコンピューティング環境50が図示されている。示される通り、クラウドコンピューティング環境50は、1以上のクラウドコンピューティングノード10を包含し、クラウドコンシューマによって使用されるローカルコンピューティングデバイス、例えば携帯情報端末(PDA:personal digital assistant)又は携帯電話54A、デスクトップコンピュータ54B、ラップトップコンピュータ54C若しくは自動車コンピュータシステム54N等又はそれらの組み合わせ、が、該クラウドコンピューティングノード10と通信しうる。ノード10は互いに通信しうる。該ノード10は、物理的又は仮想的に、1以上のネットワーク、例えば本明細書において上述されたプライベート・クラウド、コミュニティ・クラウド、パブリック・クラウド若しくはハイブリッド・クラウド又はそれらの組み合わせ、にグループ化されうる(図示されていない)。このことは、クラウドコンシューマがローカルコンピューティングデバイスにおいてリソースを維持する必要がないサービスとして、インフラストラクチャ、プラットフォーム若しくはソフトウェア又はそれらの組み合わせをクラウドコンピューティング環境50が提供することを許す。図6に示されているコンピューティングデバイス54A~Nのタイプは、例示のみであることを意図されていること、及びコンピューティングノード10及びクラウドコンピューティング環境50は、任意のタイプのネットワーク若しくはネットワークアドレス可能接続又はそれらの組み合わせを介して(例えば、ウェブブラウザを使用して)任意のタイプのコンピュータ化されたデバイスと通信することができることが理解される。
ここで図7を参照すると、クラウドコンピューティング環境50(図6)によって提供される機能的抽象化層のセットが示されている。図7に示されている構成要素、層、及び機能は、単に例示であることを意図していること、及び本発明の実施態様はそれに限定されないことが理解されるべきである。図示されている通り、下記の層及び対応する機能が提供される。
ハードウェア及びソフトウェア層60は、ハードウェアコンポーネント及びソフトウェアコンポーネントを包含する。ハードウェアコンポーネントの例は、メインフレーム61、RISC(Reduced Instruction Set Computer(縮小命令セット・コンピュータ))アーキテクチャ・ベースのサーバ62、サーバ63、ブレード・サーバ64と、記憶装置65、並びにネットワーク及びネットワーキング・コンポーネント66を包含する。幾つかの実施形態において、ソフトウェアコンポーネントは、ネットワーク・アプリケーション・サーバ・ソフトウェア67及びデータベース・ソフトウェア68を包含する。
仮想化層70は、抽象化層を提供し、この抽象化層から、仮想エンティティの下記の例が提供される:すなわち、仮想サーバ71、仮想ストレージ72、仮想ネットワーク73、例えば仮想プライベート・ネットワークを包含する該仮想ネットワーク73、仮想アプリケーション及びオペレーティングシステム74、並びに仮想クライアント75。
一つの例においては、管理層80は、以下で説明される機能を提供しうる。リソース・プロビジョニング81は、クラウドコンピューティング環境内でタスクを実行する為に利用されるコンピューティングリソース及び他のリソースの動的な調達を提供する。計量及び価格決定82は、リソースがクラウドコンピューティング環境内で利用される場合のコスト追跡と、これらのリソースの消費についての課金又は請求とを提供する。一つの例においては、これらのリソースは、アプリケーション・ソフトウェア・ライセンスを包含しうる。セキュリティは、クラウドコンシューマ及びタスクに対する識別検証と、データ及び他のリソースに対する保護とを提供する。ユーザ・ポータル83は、コンシューマ及びシステム管理者の為に、クラウドコンピューティング環境へのアクセスを提供する。サービス・レベル管理84は、要求されるサービス・レベルが満たされるように、クラウド・コンピューティング・リソースの割り当て及び管理を提供する。サービス・レベル・アグリーメント(SLA:Service Level Agreement)の計画及び履行85は、将来の要件がSLAに従って予測されるクラウド・コンピューティング・リソースの為の事前配置及びその調達を提供する。
ワークロード層90は、クラウドコンピューティング環境が利用されうる機能の例を提供する。この層から提供されうるワークロード及び機能の例は、マッピング及びナビゲーション91、ソフトウェア開発及びライフサイクル管理92、仮想クラスルーム教育配信93、データ分析処理94、トランザクション処理95、及び後に利用可能な帯域幅状態を先回りして適合する予測的に選択する仮想リアリティコンテント96を包含する。
本発明のコンピュータ・プログラム製品は、コンピュータ可読プログラムコードがその中に格納された1以上のコンピュータ読み取り可能なハードウェア記録装置を包含し、該プログラムコードは、本発明の方法を実装する為に1以上のプロセッサによって実行可能である。
本発明のコンピュータシステムは、1以上のプロセッサ、1以上のメモリ、及び1以上のコンピュータ読み取り可能なハードウェア記録装置を備えており、該1以上のハードウェア記録装置は、本発明の方法を実装する為の1以上のメモリを介して、1以上のプロセッサによって実行可能なプログラムコードを含む。
本発明の様々な実施態様の記述は、例示の目的の為に示されているが、網羅的であることを意図されるものでなく、開示された実施態様に限定されることを意図されるものでもない。同様に、本明細書に記載された本開示の実施態様の特徴又は機能の例は、特定の実施態様説明において使用されるか又は例として記載されるかにかかわらず、本明細書に記載された本開示の実施態様を限定すること、又は本明細書に記載された例に開示を限定することを意図するものでない。記述された実施態様の範囲及び精神から逸脱すること無しに、多くの修正及び変形が当業者には明らかであろう。本明細書において使用されている語は、実施態様の原理、市場で見られている技術に対する実際の適用若しくは技術的改善を説明する為に、又は当業者が本明細書において開示された実施態様を理解できることを可能にする為に選択された。
改善及び修正が、本発明の範囲から逸脱すること無しに、前述されたものに対して行われることができる。
Claims (25)
- 複数のオーディエンスデバイスにおいて受信される、ソースデバイスからのライブ送信の間のオーディオ品質フィードバックの為のコンピュータ実装方法であって、該方法はサーバで実行され、及び該方法は、
送信セッションにおいて、複数のオーディエンスデバイスの少なくとも幾つかのオーディエンスデバイスによって受信されたオーディオ信号のオーディオ情報を取得すること、
前記複数のオーディエンスデバイスの1以上のサブセットを、サブセット当たり1以上の共通因子によって分類すること、
前記複数のオーディエンスデバイスの前記1以上のサブセットの分類を用いて、前記複数のオーディエンスデバイスからの前記取得したオーディオ情報を解析して、前記1以上の共通因子によって分類された前記複数のオーディエンスデバイスの識別されたサブセットにおいて、受信されたオーディオ品質に影響を与える1以上の共通因子を決定すること、及び
前記1以上の共通因子のフィードバックを、前記識別されたサブセットにおける複数のオーディエンスデバイスの少なくとも1つに又は前記ソースデバイスに提供すること
を含む、前記方法。 - 送信セッションにおいて、複数のオーディエンスデバイスの少なくとも幾つかのオーディエンスデバイスによって受信されたオーディオ信号のオーディオ情報を取得することが、
前記受信されたオーディオ信号を処理することによって、1つのオーディエンスデバイスにおいて決定されたオーディオ品質レベルを取得することを含む、
請求項1に記載の方法。 - 前記受信されたオーディオ信号を処理することが、音声からテキストへの変換プロセスを使用して前記オーディオ信号を変換し、そして得られたテキストを解析して、オーディオ品質レベルを評価することを含む、請求項2に記載の方法。
- 前記得られたテキストを解析してオーディオ品質レベルを評価することが、前記オーディオ信号のサンプル期間におけるギャップに対する変換された語数の率を決定することを含む、請求項3に記載の方法。
- 送信セッションにおいて、複数のオーディエンスデバイスの少なくとも幾つかのオーディエンスデバイスによって受信されたオーディオ信号のオーディオ情報を取得することが、
前記複数のオーディエンスデバイスからオーディオ信号パラメータデータを取得すること、及び前記複数のオーディエンスデバイスのオーディオ信号パラメータ同士を比較して、受信された類似のオーディオ信号を有する複数のオーディエンスデバイスの1つのサブセットを決定すること
を含む、請求項1~4のいずれか1項に記載の方法。 - 前記複数のオーディエンスデバイスの1以上のサブセットを、サブセット当たり1以上の共通因子によって分類することが、
各オーディエンスデバイスの因子の詳細を取得すること、及び複数のオーディエンスデバイスの1つのサブセットを、1以上の同じ因子でグループ化すること
を含む、請求項1~5のいずれか1項に記載の方法。 - 前記複数のオーディエンスデバイスからの前記取得したオーディオ情報を解析して、前記オーディオ情報が全てのオーディエンスデバイスの為の閾値品質を下回っているかを判断すること、及び
受信された全体的なオーディオ品質が必要とされる品質を下回っているというフィードバックを前記ソースデバイスに提供すること
をさらに含む、請求項1~6のいずれか1項に記載の方法。 - 前記送信セッションにおいて、送信されたオーディオ信号のソースデバイスを検出すること、及び前記送信セッションにおいてどのオーディエンスデバイスからオーディオ情報を取得するかを決めることをさらに含む、請求項1~6のいずれか1項に記載の方法。
- 前記複数のオーディエンスデバイスの前記1以上のサブセットの分類を用いて、前記複数のオーディエンスデバイスからの前記取得したオーディオ情報を解析することが、1以上の共通因子と、識別されたサブセットのオーディオ品質レベルとの間の相関関係を決定することを含む、請求項1~9のいずれか1項に記載の方法。
- 前記オーディオ品質レベルが、低品質のレベルから高品質のレベルまでのオーディオ品質レベルの構成された範囲のうちの1つである、請求項9に記載の方法。
- 前記複数のオーディエンスデバイスを共通因子によって分類することが、場所、通信チャネル、伝送媒体、及びオーディエンスデバイスの構成又はタイプのグループのうちの1以上によって分類することを含む、請求項1~10のいずれか1項に記載の方法。
- 複数のオーディエンスデバイスにおいて受信される、ソースデバイスからのライブ送信の間のオーディオ品質フィードバックの為のコンピュータ実装方法であって、該方法はサーバで実行され、及び該方法は、
送信セッションにおいて、前記複数のオーディエンスデバイスの少なくとも幾つかのオーディエンスデバイスによって受信されたオーディオ信号のオーディオ情報を取得すること、
前記送信セッションにおいて、前記複数のオーディエンスデバイスの少なくとも幾つかのオーディエンスデバイスに関連する因子を取得すること、
オーディオ情報及び前記因子を解析して、前記受信されたオーディオ信号の品質と、前記複数のオーディエンスデバイスのサブセットの為の1以上の共通因子との間の相関関係を決定すること、及び
前記1以上の共通因子のフィードバックを、前記サブセットにおける複数のオーディエンスデバイスの少なくとも1つに又は前記ソースデバイスに提供すること
を含む、前記方法。 - 前記オーディオ情報及び前記因子を解析することが、品質レベルの形式でのオーディオ情報を解析すること、及び1以上の共通因子を有する複数のオーディエンスデバイスのグループ内及び該グループの間で品質レベルを比較して、共有された品質レベルを有する複数のオーディエンスデバイスの1つのサブセットを決定することを含む、請求項12に記載の方法。
- 複数のオーディエンスデバイスにおいて受信される、ソースデバイスからのライブ送信の間のオーディオ品質フィードバックの為のシステムであって、前記システムは、プロセッサと、該プロセッサにコンピュータ・プログラム命令を提供して、フィードバックシステムの機能を実行するように構成されたメモリとを有するサーバを備えており、前記フィードバックシステムは、
送信セッションにおいて、複数のオーディエンスデバイスの少なくとも幾つかのオーディエンスデバイスによって受信されたオーディオ信号のオーディオ情報を取得する為のオーディオ情報取得コンポーネントと、
前記複数のオーディエンスデバイスの1以上のサブセットを、サブセット当たり1以上の共通因子によって分類する為の分類コンポーネントと、
前記複数のオーディエンスデバイスの前記1以上のサブセットの分類を用いて、前記複数のオーディエンスデバイスからの前記取得されたオーディオ情報を解析して、前記1以上の共通因子によって分類された前記複数のオーディエンスデバイスの識別されたサブセットにおいて、受信されたオーディオ品質に影響を与える1以上の共通因子を決定する為の解析コンポーネントと、
前記1以上の共通因子のフィードバックを、前記識別されたサブセットにおける複数のオーディエンスデバイスの少なくとも1つに又は前記ソースデバイスに提供する為のフィードバックコンポーネントと
を備えている、
前記システム。 - 前記システムが、オーディエンスデバイスにおいて用意されるフィードバックシステムコンポーネントを備えており、該フィードバックシステムコンポーネントが、前記受信されたオーディオ信号を処理することによって1つのオーディエンスデバイスにおいて決定されたオーディオ品質レベルを取得する為のオーディオ品質レベルコンポーネントを備えている、請求項14に記載のシステム。
- 前記オーディオ品質レベルコンポーネントが、前記受信されたオーディオ信号を処理する為の処理コンポーネントを備えており、該処理コンポーネントが、音声からテキストへの変換プロセスを使用して前記オーディオ信号を変換し、そして得られたテキストを解析して、オーディオ品質レベルを評価する為の音声からテキストへの変換コンポーネントを備えている、請求項15に記載のシステム。
- 前記オーディオ情報取得コンポーネントが、前記複数のオーディエンスデバイスからオーディオ信号パラメータデータを取得し、及び前記システムが、複数のオーディエンスデバイスのオーディオ信号パラメータ同士を比較して、複数のオーディエンスデバイスの、受信した類似のオーディオ信号を有するサブセットを決定するオーディオ比較コンポーネントを備えている、請求項14~16のいずれか1項に記載のシステム。
- 前記分類コンポーネントが、各オーディエンスデバイスの因子の詳細を取得し、及び複数のオーディエンスデバイスの1つのサブセットを、1以上の同じ因子でグループ化する、請求項14~17のいずれか1項に記載のシステム。
- 前記システムが、前記複数のオーディエンスデバイスからの前記取得したオーディオ情報を解析して、前記オーディオ情報が全てのオーディエンスデバイスの為の閾値品質を下回っているかを判断する為の全体的な品質コンポーネントをさらに備えており、及び前記フィードバックコンポーネントが、受信された全体的なオーディオ品質が必要とされる品質を下回っているというフィードバックを前記ソースデバイスに提供する、請求項14~18のいずれか1項に記載のシステム。
- 前記フィードバックコンポーネントが、前記ライブ送信の間に1以上の共通因子のフィードバックを動的に提供する、請求項14~19いずれか1項に記載のシステム。
- 前記送信セッションにおいて、送信されたオーディオ信号のソースデバイスを検出し、及び前記送信セッションにおいてどのオーディエンスデバイスからオーディオ情報を取得するかを決める為のデバイス検出コンポーネントをさらに備えている、請求項14~20いずれか1項に記載のシステム。
- 前記複数のオーディエンスデバイスの前記1以上のサブセットの分類を用いて前記複数のオーディエンスデバイスからの前記取得したオーディオ情報を解析する為の前記解析コンポーネントが、1以上の共通因子と、前記識別されたサブセットのオーディオ品質レベルとの間の相関を決定する為の相関コンポーネントを備えている、請求項14~22いずれか1項に記載のシステム。
- オーディオ品質レベルの構成を受信する為の構成コンポーネントをさらに備えている、請求項22に記載のシステム。
- 複数のオーディエンスデバイスにおいて受信される、ソースデバイスからのライブ送信の間のオーディオ品質フィードバックの為のシステムであって、前記システムは、プロセッサと、該プロセッサにコンピュータ・プログラム命令を提供して、フィードバックシステムの機能を実行するように構成されたメモリとを有するサーバを備えており、前記フィードバックシステムは、
送信セッションにおいて、複数のオーディエンスデバイスの少なくとも幾つかのオーディエンスデバイスによって受信されたオーディオ信号のオーディオ情報を取得する為のオーディオ情報取得コンポーネントと、
前記送信セッションにおいて、前記複数のオーディエンスデバイスの少なくとも幾つかのオーディエンスデバイスに関連する因子を取得する為の因子取得コンポーネントと、
オーディオ情報及び前記因子を解析して、前記受信されたオーディオ信号の品質と、前記複数のオーディエンスデバイスのサブセットの為の1以上の共通因子との間の相関関係を決定する為の解析コンポーネントと、
前記1以上の共通因子のフィードバックを、前記サブセットにおける複数のオーディエンスデバイスの少なくとも1つに又は前記ソースデバイスに提供する為のフィードバックコンポーネントと
を備えている、
前記システム。 - 複数のオーディエンスデバイスにおいて受信される、ソースデバイスからのライブ送信の間のオーディオ品質フィードバックの為のコンピュータ・プログラムであって、
送信セッションにおいて、前記複数のオーディエンスデバイスの少なくとも幾つかのオーディエンスデバイスによって受信されたオーディオ信号のオーディオ情報を取得すること、
前記複数のオーディエンスデバイスの1以上のサブセットを、サブセット当たり1以上の共通因子によって分類すること、
前記複数のオーディエンスデバイスの前記1以上のサブセットの分類を用いて、前記複数のオーディエンスデバイスからの前記取得したオーディオ情報を解析して、前記1以上の共通因子によって分類された前記複数のオーディエンスデバイスの識別されたサブセットにおいて、受信されたオーディオ品質に影響を与える1以上の共通因子を決定すること、及び
前記1以上の共通因子のフィードバックを、前記識別されたサブセットにおける複数のオーディエンスデバイスの少なくとも1つに又は前記ソースデバイスに提供すること
をコンピュータに実行させる、前記コンピュータ・プログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/083,389 US11785136B2 (en) | 2020-10-29 | 2020-10-29 | Audio quality feedback during live transmission from a source |
US17/083,389 | 2020-10-29 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022074021A true JP2022074021A (ja) | 2022-05-17 |
Family
ID=78463550
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021170272A Pending JP2022074021A (ja) | 2020-10-29 | 2021-10-18 | ソースデバイスからのライブ送信の間のオーディオ品質フィードバックの為のコンピュータ実装方法、コンピュータ・プログラム及びコンピュータシステム |
Country Status (4)
Country | Link |
---|---|
US (1) | US11785136B2 (ja) |
JP (1) | JP2022074021A (ja) |
DE (1) | DE102021123577A1 (ja) |
GB (1) | GB2603995B (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11785136B2 (en) | 2020-10-29 | 2023-10-10 | International Business Machines Corporation | Audio quality feedback during live transmission from a source |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11581007B2 (en) * | 2021-04-27 | 2023-02-14 | Kyndryl, Inc. | Preventing audio delay-induced miscommunication in audio/video conferences |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6275797B1 (en) * | 1998-04-17 | 2001-08-14 | Cisco Technology, Inc. | Method and apparatus for measuring voice path quality by means of speech recognition |
US6967998B1 (en) * | 1999-11-12 | 2005-11-22 | Qualcomm Incorporated | Method and apparatus for monitoring transmission quality |
US8756057B2 (en) | 2005-11-02 | 2014-06-17 | Nuance Communications, Inc. | System and method using feedback speech analysis for improving speaking ability |
US9838544B2 (en) | 2014-06-27 | 2017-12-05 | Agora Lab, Inc. | Systems and methods for improved quality of a call over network with load leveling and last mile signal indication |
WO2016176371A1 (en) | 2015-04-27 | 2016-11-03 | TalkIQ, Inc. | Methods and systems for determining conversation quality |
US10218852B2 (en) | 2017-02-23 | 2019-02-26 | Fuji Xerox Co., Ltd. | Methods and systems for providing teleconference participant quality feedback |
US10540971B2 (en) | 2017-12-15 | 2020-01-21 | Blue Jeans Network, Inc. | System and methods for in-meeting group assistance using a virtual assistant |
US11785136B2 (en) | 2020-10-29 | 2023-10-10 | International Business Machines Corporation | Audio quality feedback during live transmission from a source |
-
2020
- 2020-10-29 US US17/083,389 patent/US11785136B2/en active Active
-
2021
- 2021-09-13 DE DE102021123577.4A patent/DE102021123577A1/de active Granted
- 2021-10-08 GB GB2114408.4A patent/GB2603995B/en active Active
- 2021-10-18 JP JP2021170272A patent/JP2022074021A/ja active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11785136B2 (en) | 2020-10-29 | 2023-10-10 | International Business Machines Corporation | Audio quality feedback during live transmission from a source |
Also Published As
Publication number | Publication date |
---|---|
US11785136B2 (en) | 2023-10-10 |
GB202114408D0 (en) | 2021-11-24 |
DE102021123577A1 (de) | 2022-05-05 |
GB2603995A (en) | 2022-08-24 |
US20220141331A1 (en) | 2022-05-05 |
GB2603995B (en) | 2023-07-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10902842B2 (en) | System and method for cognitive intervention on human interactions | |
US10757366B1 (en) | Videoconferencing dynamic host controller | |
US11095997B2 (en) | Undesirable noise detection and management | |
US11150965B2 (en) | Facilitation of real time conversations based on topic determination | |
US10971168B2 (en) | Dynamic communication session filtering | |
US11212129B1 (en) | Profile virtual conference attendees to enhance meeting interactions | |
US11895263B2 (en) | Interpreting conference call interruptions | |
US10506089B2 (en) | Notification bot for topics of interest on voice communication devices | |
JP2022074021A (ja) | ソースデバイスからのライブ送信の間のオーディオ品質フィードバックの為のコンピュータ実装方法、コンピュータ・プログラム及びコンピュータシステム | |
US11093903B2 (en) | Monitoring meeting participation level | |
US10448154B1 (en) | Enhancing voice quality for online meetings | |
US10069878B1 (en) | Audiovisual norms from shared communities | |
US20210083889A1 (en) | Efficient meeting management | |
US10373515B2 (en) | System and method for cognitive intervention on human interactions | |
US10205688B2 (en) | Online chat questions segmentation and visualization | |
WO2023098513A1 (en) | Ameloriative resource action during an e-conference | |
US20160308750A1 (en) | Identifying end users in need of technical assistance | |
US11374986B1 (en) | Collaborative meeting interest analyzer based on capture attempts | |
US20230065847A1 (en) | Network bandwidth conservation during video conferencing | |
US11516579B2 (en) | Echo cancellation in online conference systems | |
US11153436B2 (en) | Automatic nuisance call management | |
US20170134447A1 (en) | Real time voice participate self-assessment | |
US11856327B2 (en) | Adaptive audio quality amelioration for video conferencing | |
US10075480B2 (en) | Notification bot for topics of interest on voice communication devices | |
US20230177305A1 (en) | Ai-based presenter selection for web conference |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD16 | Notification of change of power of sub attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7436 Effective date: 20211125 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20211125 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20220518 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240307 |