JP7508586B2 - 没入型テレカンファレンスおよびテレプレゼンスのためのマルチグルーピングの方法、装置、およびコンピュータプログラム - Google Patents
没入型テレカンファレンスおよびテレプレゼンスのためのマルチグルーピングの方法、装置、およびコンピュータプログラム Download PDFInfo
- Publication number
- JP7508586B2 JP7508586B2 JP2022566437A JP2022566437A JP7508586B2 JP 7508586 B2 JP7508586 B2 JP 7508586B2 JP 2022566437 A JP2022566437 A JP 2022566437A JP 2022566437 A JP2022566437 A JP 2022566437A JP 7508586 B2 JP7508586 B2 JP 7508586B2
- Authority
- JP
- Japan
- Prior art keywords
- media
- client device
- video
- grouping
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 54
- 238000004590 computer program Methods 0.000 title claims 2
- 238000012545 processing Methods 0.000 claims description 110
- 230000002452 interceptive effect Effects 0.000 claims description 2
- 230000008569 process Effects 0.000 description 27
- 238000004891 communication Methods 0.000 description 12
- 230000001419 dependent effect Effects 0.000 description 9
- 230000008859 change Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000002093 peripheral effect Effects 0.000 description 5
- 230000004886 head movement Effects 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 210000003813 thumb Anatomy 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000010348 incorporation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 238000013403 standard screening design Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
- H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
- H04L51/10—Multimedia information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/02—Details
- H04L12/16—Arrangements for providing special services to substations
- H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
- H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
- H04L12/1822—Conducting the conference, e.g. admission, detection, selection or grouping of participants, correlating users to one or more conference sessions, prioritising transmission
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/02—Details
- H04L12/16—Arrangements for providing special services to substations
- H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
- H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
- H04L12/1827—Network arrangements for conference optimisation or adaptation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/1066—Session management
- H04L65/1101—Session protocols
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/1066—Session management
- H04L65/1101—Session protocols
- H04L65/1104—Session initiation protocol [SIP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/40—Support for services or applications
- H04L65/403—Arrangements for multi-party communication, e.g. for conferences
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/54—Presence management, e.g. monitoring or registration for receipt of user log-on information, or the connection status of the users
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- General Business, Economics & Management (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Telephonic Communication Services (AREA)
Description
本出願は、2022年5月10日に出願された米国特許出願第17/741,351号「MULTIPLE GROUPING FOR IMMERSIVE TELECONFERENCING AND TELEPRESENCE」に対する優先権の利益を主張し、この出願は、2021年5月11日に出願された米国仮出願第63/187,346号「Multiple Grouping of 360 Video for Immersive Teleconferencing and Telepresence for Remote Terminals」に対する優先権の利益を主張する。先行出願の開示は、その全体が参照により本明細書に組み込まれる。
m=<media><port>...
ここで、<media>が、「オーディオ」、「ビデオ」、「テキスト」等のメディアタイプに対するサブフィールドであり、<port>が、メディアストリームが送信されるトランスポートポートのサブフィールドである。
a=<attribute>
a=<attribute>:<value>
m=video
a=3gpp_360video
a=content:main
m=video
a=3gpp_360video
a=content:alt
m=video
a=3gpp_360video
a=itt4rt_group:<mid-360A><mid-OA1><mid-OA2>
a=itt4rt_group:<mid-360B><mid-OB1><mid-OB2>;<mid-360C><mid-OC1><mid-OC2>
a=other_overlay
a=allowed_content:video
a=other_overlay
a=allowed_content:image
a=other_overlay
a=allowed_content:slides
101、108、201 ネットワーク
110、210A~210Z、310A~310C サブシステム
111 広角カメラ
112、906 マイクロフォン
113 コントローラ
114 表示画面
120、130、220、230 ユーザデバイス
240 ネットワークベースメディア処理サーバ
320 ユーザデバイス
340 ネットワークベースメディア処理サーバ
360A~360C 360度ビデオ
700、800 プロセス
900 コンピュータシステム
901 キーボード
902 マウス
903 トラックパッド
905 ジョイスティック
907 スキャナ
908 カメラ
909 スピーカ
910 タッチ画面
921 メディア
922 サムドライブ
923 ソリッドステートドライブ
940 コア
943 フィールドプログラマブルゲートエリア
944 ハードウェアアクセラレータ
944 アクセラレータ
945 読出し専用メモリROM
945 ROM
946 ランダムアクセスメモリ
947 コア内部大容量ストレージ
948 システムバス
949 周辺バス
950 グラフィックアダプタ
954 インタフェース
955 通信ネットワーク
Claims (13)
- ビデオカンファレンスのための方法であって、
前記ビデオカンファレンスの第1のクライアントデバイスによって、第2のクライアントデバイスからのオーバーレイメディアの、前記第1のクライアントデバイスの没入型メディアとのグルーピングを制限するグルーピング制御を決定するステップと、
前記第1のクライアントデバイスによって、前記グルーピング制御を示すグルーピング制御信号を送信してメディア制御デバイスに他のクライアントデバイスからのオーバーレイが許可されるかどうかを通知するステップと、
前記第1のクライアントデバイスによって、前記没入型メディアを含む1つ以上のメディアストリームを前記メディア制御デバイスに提供するステップと、
前記メディア制御デバイスによって、前記第1のクライアントデバイスを含む複数のクライアントデバイスから受信した前記グルーピング制御信号に基づいて、前記第1のクライアントデバイスを含む複数のクライアントデバイスから提供された複数のメディアストリームをシングルグループまたはマルチグループにグルーピングする、ステップと、
前記メディア制御デバイスによってグルーピングされたメディアストリームを、前記第1のクライアントデバイスによって受信するステップと
を含む、方法。 - 前記没入型メディアが、全方位ビデオ、360度ビデオ、および広角ビデオのうちの少なくとも1つを備える、請求項1に記載の方法。
- 前記グルーピング制御を示す前記グルーピング制御信号を送信して前記メディア制御デバイスに通知する前記ステップが、
前記グルーピング制御を示す属性フィールドを有するセッション記述プロトコル(SDP)メッセージを送信するステップ
をさらに含む、請求項1に記載の方法。 - 前記グルーピング制御を示す前記属性フィールドを有する前記SDPメッセージを送信する前記ステップが、
前記第2のクライアントデバイスからの前記オーバーレイメディアの、前記第1のクライアントデバイスの前記没入型メディアとの、グルーピングの不許可を示す前記属性フィールドを有する前記SDPメッセージを送信するステップ
をさらに含む、請求項3に記載の方法。 - 前記属性フィールドが、「a=no_other_overlays」または「a=other_overlays」の形式である、請求項4に記載の方法。
- 前記グルーピング制御を示す前記属性フィールドを有する前記SDPメッセージを送信する前記ステップが、
前記第2のクライアントデバイスからの前記オーバーレイメディアの、前記第1のクライアントデバイスの前記没入型メディアとの、グルーピングの許可を示す前記属性フィールドを有する前記SDPメッセージを送信するステップ
をさらに含む、請求項3に記載の方法。 - 前記メディア制御デバイスが、前記シングルグループまたはマルチグループにグルーピングされたメディアストリームを、遠隔端末(ITT4RT)受信機(Rx)クライアントのための遠隔没入型テレカンファレンスおよびテレプレゼンスに提供する、請求項1に記載の方法。
- 前記グルーピング制御を示す前記属性フィールドを有する前記SDPメッセージを送信する前記ステップが、
前記第1のクライアントデバイスの前記没入型メディアとグルーピングすることが許可されているメディアタイプを示す前記属性フィールドを有する前記SDPメッセージを送信するステップ
をさらに含む、請求項3に記載の方法。 - 前記属性フィールドが、「a=allowed_content」の形式である、請求項8に記載の方法。
- 前記メディアタイプが、双方向ビデオ、画像、およびスライドのうちの少なくとも1つを含む、請求項8に記載の方法。
- 前記グルーピング制御を示す前記属性フィールドを有する前記SDPメッセージを送信する前記ステップが、
前記第2のクライアントデバイスからの前記オーバーレイメディアの、前記第1のクライアントデバイスの前記没入型メディアとのグルーピングの許可を示す第1の属性フィールドと、許可されるメディアタイプを示す第2の属性フィールドとを有する前記SDPメッセージを送信するステップ
をさらに含む、請求項3に記載の方法。 - ビデオカンファレンスのための装置であって、
請求項1から11のいずれか一項に記載の方法を行うように構成された処理回路を備える、装置。 - コンピュータに、請求項1から11のいずれか一項に記載の方法を実行させるためのコンピュータプログラム。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202163187346P | 2021-05-11 | 2021-05-11 | |
US63/187,346 | 2021-05-11 | ||
US17/741,351 US11943073B2 (en) | 2021-05-11 | 2022-05-10 | Multiple grouping for immersive teleconferencing and telepresence |
US17/741,351 | 2022-05-10 | ||
PCT/US2022/072246 WO2022241429A1 (en) | 2021-05-11 | 2022-05-11 | Multiple grouping for immersive teleconferencing and telepresence |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023529285A JP2023529285A (ja) | 2023-07-10 |
JP7508586B2 true JP7508586B2 (ja) | 2024-07-01 |
Family
ID=83998163
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022566437A Active JP7508586B2 (ja) | 2021-05-11 | 2022-05-11 | 没入型テレカンファレンスおよびテレプレゼンスのためのマルチグルーピングの方法、装置、およびコンピュータプログラム |
Country Status (6)
Country | Link |
---|---|
US (1) | US11943073B2 (ja) |
EP (1) | EP4128745A4 (ja) |
JP (1) | JP7508586B2 (ja) |
KR (1) | KR20230006495A (ja) |
CN (1) | CN115606170A (ja) |
WO (1) | WO2022241429A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11979244B2 (en) * | 2021-09-30 | 2024-05-07 | Snap Inc. | Configuring 360-degree video within a virtual conferencing system |
US20240054688A1 (en) * | 2022-08-11 | 2024-02-15 | Qualcomm Incorporated | Enhanced Dual Video Call with Augmented Reality Stream |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210029326A1 (en) | 2019-10-15 | 2021-01-28 | Intel Corporation | Session description protocol (sdp) based signaling of camera calibration parameters |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8446454B2 (en) | 2007-05-21 | 2013-05-21 | Polycom, Inc. | Dynamic adaption of a continuous presence videoconferencing layout based on video content |
US20100014825A1 (en) * | 2008-07-18 | 2010-01-21 | Porto Technology, Llc | Use of a secondary device to overlay disassociated media elements onto video content |
EP2730073B1 (en) * | 2011-07-07 | 2019-09-04 | Telefonaktiebolaget LM Ericsson (publ) | Media stream grouping in multimedia communication networks |
US8752113B1 (en) * | 2013-03-15 | 2014-06-10 | Wowza Media Systems, LLC | Insertion of graphic overlays into a stream |
KR20180097017A (ko) | 2017-02-22 | 2018-08-30 | 한국전자통신연구원 | 몰입도 증강을 위한 영상회의 장치 및 방법 |
US10455259B2 (en) * | 2017-08-23 | 2019-10-22 | Intel Corporation | Enhanced text rendering and readability in images |
US11102549B2 (en) * | 2017-09-27 | 2021-08-24 | Wurl Inc. | Selective video overlay |
US11651752B2 (en) * | 2018-06-01 | 2023-05-16 | Nokia Technologies Oy | Method and apparatus for signaling user interactions on overlay and grouping overlays to background for omnidirectional content |
US11528312B2 (en) | 2019-06-25 | 2022-12-13 | Apple Inc. | Immersive teleconferencing and telepresence |
KR20220073851A (ko) * | 2019-10-14 | 2022-06-03 | 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. | 몰입형 뷰포트 종속 다자간 비디오 통신 |
EP4140145A4 (en) * | 2020-04-22 | 2024-04-24 | Nokia Technologies Oy | SESSION DESCRIPTION FOR COMMUNICATION SESSION |
WO2022211476A1 (en) * | 2021-03-30 | 2022-10-06 | Samsung Electronics Co., Ltd. | Method and apparatus for supporting teleconferencing and telepresence containing multiple 360 degree videos |
-
2022
- 2022-05-10 US US17/741,351 patent/US11943073B2/en active Active
- 2022-05-11 WO PCT/US2022/072246 patent/WO2022241429A1/en active Application Filing
- 2022-05-11 KR KR1020227039752A patent/KR20230006495A/ko active IP Right Grant
- 2022-05-11 EP EP22789150.4A patent/EP4128745A4/en active Pending
- 2022-05-11 CN CN202280004028.5A patent/CN115606170A/zh active Pending
- 2022-05-11 JP JP2022566437A patent/JP7508586B2/ja active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210029326A1 (en) | 2019-10-15 | 2021-01-28 | Intel Corporation | Session description protocol (sdp) based signaling of camera calibration parameters |
Non-Patent Citations (1)
Title |
---|
Nokia Corporation (ITT4RT Rapporteur),ITT4RT Permanent Document - Requirements, Working Assumptions and Potential Solutions[online],3GPP TSG SA WG4 #113-e S4-210540,[検索日 2023.11.13], インターネット<URL:https://www.3gpp.org/ftp/tsg_sa/WG4_CODEC/TSGS4_113-e/Docs/S4-210540.zip>,2021年04月22日,PP.10-12,29,42-43 |
Also Published As
Publication number | Publication date |
---|---|
JP2023529285A (ja) | 2023-07-10 |
KR20230006495A (ko) | 2023-01-10 |
WO2022241429A1 (en) | 2022-11-17 |
US20220368550A1 (en) | 2022-11-17 |
US11943073B2 (en) | 2024-03-26 |
CN115606170A (zh) | 2023-01-13 |
EP4128745A1 (en) | 2023-02-08 |
EP4128745A4 (en) | 2023-10-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11914922B2 (en) | Audio mixing for teleconferencing | |
JP7508586B2 (ja) | 没入型テレカンファレンスおよびテレプレゼンスのためのマルチグルーピングの方法、装置、およびコンピュータプログラム | |
JP7411791B2 (ja) | リモート端末の没入型遠隔会議及びテレプレセンスのためのオーバーレイ処理のパラメータ | |
JP7518195B2 (ja) | テレコンファレンス及びリモートターミナル用のテレプレゼンスのための複数のオーディオミキシングゲインをシグナリングするための技術 | |
JP7399549B2 (ja) | リモート端末向けの遠隔会議およびテレプレゼンスにおいてオーディオミキシングゲインをシグナリングする手法 | |
US12044845B2 (en) | Towards subsiding motion sickness for viewport sharing for teleconferencing and telepresence for remote terminals | |
JP7419529B2 (ja) | 遠隔端末のための没入型テレカンファレンス及びテレプレゼンスのインタラクティブオーバーレイ処理 | |
JP2024512904A (ja) | Rtcpフィードバックを使用したリモート端末のためのテレコンファレンス及びリモートターミナルのためのテレプレゼンスのための複数のオーディオミキシングゲインをシグナリングするための技術 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221031 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221031 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231109 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231120 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240208 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240520 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240619 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7508586 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |