JP7419529B2 - 遠隔端末のための没入型テレカンファレンス及びテレプレゼンスのインタラクティブオーバーレイ処理 - Google Patents
遠隔端末のための没入型テレカンファレンス及びテレプレゼンスのインタラクティブオーバーレイ処理 Download PDFInfo
- Publication number
- JP7419529B2 JP7419529B2 JP2022530324A JP2022530324A JP7419529B2 JP 7419529 B2 JP7419529 B2 JP 7419529B2 JP 2022530324 A JP2022530324 A JP 2022530324A JP 2022530324 A JP2022530324 A JP 2022530324A JP 7419529 B2 JP7419529 B2 JP 7419529B2
- Authority
- JP
- Japan
- Prior art keywords
- overlay
- video stream
- user terminal
- computer
- overlays
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 26
- 230000002452 interceptive effect Effects 0.000 title description 3
- 238000000034 method Methods 0.000 claims description 68
- 238000004590 computer program Methods 0.000 claims description 20
- 238000004891 communication Methods 0.000 claims description 8
- 230000011664 signaling Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 9
- 238000013475 authorization Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 6
- 230000001419 dependent effect Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000002093 peripheral effect Effects 0.000 description 5
- 230000003993 interaction Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000003491 array Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 241000197200 Gallinago media Species 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/156—Mixing image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/167—Synchronising or controlling image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
- H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/194—Transmission of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- User Interface Of Digital Computer (AREA)
- Telephonic Communication Services (AREA)
Description
本出願は、2020年8月11日に出願された米国仮特許出願第63/064,252号及び2020年11月15日に出願された米国特許出願第17/098,388号からの優先権を主張し、これらの全内容を援用する。
本開示は、概してデータ処理の分野に関し、より詳細には、遠隔端末のための没入型テレカンファレンス及びテレプレゼンス(ITT4RT, Immersive Teleconferencing and Telepresence for Remote Terminals)のインタラクティブ多重オーバーレイ処理のようなオーバーレイ処理に関する。例えば、プレゼンテーション/画面共有ストリーム又は二次元(2D)ビデオが、表示された360°ビデオストリームの上にオーバーレイとして表示されているときのような、全方向ビデオ及び画像のための多重インタラクティブオーバーレイのシグナリングである。
a.オーバーレイとして使用される画像又はビデオを指定するオーバーレイソース
b.オーバーレイが表示域又は球面に対してアンカーされているか否かを記述するオーバーレイレンダリングタイプ
c.不透明度のようなレンダリング特性
d.ユーザ相互作用特性
図2A及び2Bを参照すると、全方向カメラを有する複数の会議室がテレカンファレンスにあり、ユーザは、没入型ビデオとして表示されるように、会議室のうち1つからのビデオストリームを選択する。ここで、ユーザがストリーミングしている360°ビデオでいずれかの更なるプレゼンテーション材料/共有画面が使用された場合、これは、360°ビデオの上のオーバーレイとして、別のストリームとして送信される。
Claims (14)
- ユーザ端末により、電子デバイス又はサーバから360°ビデオストリームを受信するステップであり、前記360°ビデオストリームは、2つ以上のオーバーレイで前記360°ビデオストリームをオーバーレイすることが前記ユーザ端末によって許容されるか否かを示す多重オーバーレイパラメータを含む、ステップと、
前記ユーザ端末により、前記360°ビデオストリームを表示するステップと、
前記多重オーバーレイパラメータが第1の値である場合、前記ユーザ端末により、2つ以上のオーバーレイで前記360°ビデオストリームをオーバーレイすることが前記ユーザ端末によって許容されると決定し、前記ユーザ端末により、前記2つ以上のオーバーレイで前記360°ビデオストリームを表示するステップと、
前記多重オーバーレイパラメータが第2の値である場合、前記ユーザ端末により、2つ以上のオーバーレイで前記360°ビデオストリームをオーバーレイすることが前記ユーザ端末によって許容されないと決定し、前記ユーザ端末によって、ゼロのオーバーレイ又は1つのオーバーレイで前記360°ビデオストリームを表示するステップと
を含み、
前記第1の値は前記第2の値と異なり、
前記オーバーレイは、他のビデオストリーム又は画像のうち1つ以上を含み、
前記360°ビデオストリームは、いつユーザが送信者のストリーム情報を他の送信者と共有することを許容されるかをシグナリングするためのフラグを含む、方法。 - 前記360°ビデオストリームは、前記2つ以上のオーバーレイの使用を許容するコンテンツベースの属性を含む、請求項1に記載の方法。
- ユーザ端末により、電子デバイス又はサーバから360°ビデオストリームを受信するステップであり、前記360°ビデオストリームは、2つ以上のオーバーレイで前記360°ビデオストリームをオーバーレイすることが前記ユーザ端末によって許容されるか否かを示す多重オーバーレイパラメータを含む、ステップと、
前記ユーザ端末により、前記360°ビデオストリームを表示するステップと、
前記多重オーバーレイパラメータが第1の値である場合、前記ユーザ端末により、2つ以上のオーバーレイで前記360°ビデオストリームをオーバーレイすることが前記ユーザ端末によって許容されると決定し、前記ユーザ端末により、前記2つ以上のオーバーレイで前記360°ビデオストリームを表示するステップと、
前記多重オーバーレイパラメータが第2の値である場合、前記ユーザ端末により、2つ以上のオーバーレイで前記360°ビデオストリームをオーバーレイすることが前記ユーザ端末によって許容されないと決定し、前記ユーザ端末によって、ゼロのオーバーレイ又は1つのオーバーレイで前記360°ビデオストリームを表示するステップと
を含み、
前記第1の値は前記第2の値と異なり、
前記オーバーレイは、他のビデオストリーム又は画像のうち1つ以上を含み、
当該方法は、
前記ユーザ端末により、前記電子デバイス又はサーバから要求を受信するステップであり、前記要求は、テレカンファレンスにおける1人以上のユーザがメディアストリーム属性を共有するための要求である、ステップと、
前記ユーザ端末により、前記ユーザ端末が共有する権限を有するメディアストリーム属性に関する情報を、前記電子デバイス又はサーバに送信するステップと
を更に含む方法。 - 前記ユーザが共有することを望む前記メディアストリーム属性に関する情報は、送信者IDに対応する識別子(ID)を含む、請求項3に記載の方法。
- 前記電子デバイス又はサーバにより、少なくとも1つの送信者IDを少なくとも1つのオーバーレイIDと組み合わせることによって、固有のオーバーレイIDを割り当てるステップを更に含む、請求項4に記載の方法。
- 初期オファー・アンサー交渉の間に、或いはセッションの間に、前記多重オーバーレイパラメータを交渉するステップを更に含む、請求項1に記載の方法。
- 前記多重オーバーレイパラメータは、前記360°ビデオストリームのセッション記述プロトコル(SDP)において提供される、請求項1に記載の方法。
- 初期オファー・アンサー交渉の間に、或いはセッションの間に、前記コンテンツベースの属性を交渉するステップを更に含む、請求項2に記載の方法。
- 前記コンテンツベースの属性は、前記360°ビデオストリームのセッション記述プロトコル(SDP)において提供される、請求項2に記載の方法。
- 前記ユーザ端末により、他のユーザが前記ユーザ端末によって共有されたストリーム情報を他の電子デバイスと共有する権限を有するか否かを、前記電子デバイス又はサーバに通信するステップを更に含む、請求項1に記載の方法。
- 前記ユーザ端末により、他のユーザが前記ユーザ端末によって共有されたストリーム情報を他の電子デバイスと共有する権限を有するか否かを、前記電子デバイス又はサーバに通信するステップを更に含む、請求項3に記載の方法。
- 前記電子デバイス又はサーバにより、前記電子デバイス又はサーバによって生成されたいずれかのオーバーレイの他に、少なくとも1つの更なるオーバーレイを前記他の電子デバイスと共有するステップであり、前記少なくとも1つの更なるオーバーレイは、対応するオーバーレイビデオの送信者が前記オーバーレイを共有する権限を有するオーバーレイのみを含む、ステップを更に含む、請求項10に記載の方法。
- ビデオ会議のためのコンピュータシステムであって、
通信インタフェースと、
ディスプレイと、
コンピュータプログラムコードを記憶するように構成された1つ以上のコンピュータ読み取り可能な非一時的な記憶媒体と、
前記コンピュータプログラムコードにアクセスして前記コンピュータプログラムコードによって命令される通りに動作するように構成された1つ以上のコンピュータプロセッサと
を含み、
前記コンピュータプログラムコードは、前記1つ以上のコンピュータプロセッサに対して、請求項1乃至12のうちいずれか1項に記載の方法を実行させる、コンピュータシステム。 - ビデオ通話を処理するためのコンピュータプログラムであって、
1つ以上のコンピュータプロセッサに対して、請求項1乃至12のうちいずれか1項に記載の方法を実行させるコンピュータプログラム。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202063064252P | 2020-08-11 | 2020-08-11 | |
US63/064,252 | 2020-08-11 | ||
US17/098,388 US11431956B2 (en) | 2020-08-11 | 2020-11-15 | Interactive overlay handling for immersive teleconferencing and telepresence for remote terminals |
US17/098,388 | 2020-11-15 | ||
PCT/US2021/031548 WO2022035482A1 (en) | 2020-08-11 | 2021-05-10 | Interactive overlay handling for immersive teleconferencing and telepresence for remote terminals |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023502789A JP2023502789A (ja) | 2023-01-25 |
JP7419529B2 true JP7419529B2 (ja) | 2024-01-22 |
Family
ID=80223439
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022530324A Active JP7419529B2 (ja) | 2020-08-11 | 2021-05-10 | 遠隔端末のための没入型テレカンファレンス及びテレプレゼンスのインタラクティブオーバーレイ処理 |
Country Status (6)
Country | Link |
---|---|
US (1) | US11431956B2 (ja) |
EP (1) | EP4011062A4 (ja) |
JP (1) | JP7419529B2 (ja) |
KR (1) | KR102586860B1 (ja) |
CN (1) | CN114503548A (ja) |
WO (1) | WO2022035482A1 (ja) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8572183B2 (en) * | 2006-06-26 | 2013-10-29 | Microsoft Corp. | Panoramic video in a live meeting client |
US20180316948A1 (en) * | 2012-04-24 | 2018-11-01 | Skreens Entertainment Technologies, Inc. | Video processing systems, methods and a user profile for describing the combination and display of heterogeneous sources |
US11689705B2 (en) * | 2018-01-17 | 2023-06-27 | Nokia Technologies Oy | Apparatus, a method and a computer program for omnidirectional video |
WO2019235849A1 (ko) * | 2018-06-06 | 2019-12-12 | 엘지전자 주식회사 | 360 비디오 시스템에서 오버레이 미디어 처리 방법 및 그 장치 |
US10931930B2 (en) * | 2018-07-06 | 2021-02-23 | Mediatek Singapore Pte. Ltd. | Methods and apparatus for immersive media content overlays |
-
2020
- 2020-11-15 US US17/098,388 patent/US11431956B2/en active Active
-
2021
- 2021-05-10 EP EP21856378.1A patent/EP4011062A4/en active Pending
- 2021-05-10 WO PCT/US2021/031548 patent/WO2022035482A1/en unknown
- 2021-05-10 KR KR1020227011300A patent/KR102586860B1/ko active IP Right Grant
- 2021-05-10 JP JP2022530324A patent/JP7419529B2/ja active Active
- 2021-05-10 CN CN202180005495.5A patent/CN114503548A/zh active Pending
Non-Patent Citations (2)
Title |
---|
INTEL ET AL,ITT4RTPermanent Document - Requirements, Working Assumptions and Potential Solutions,3GPP DRAFT; S4-200507, 3RD GENERATION PARTNERSHIP PROJECT,vol.SA WG4, no. Online;20200406 -2020040,2020年03月31日,pp.18-20,https://ftp.3gpp.org/tsg_sa/WG4_CODEC/TSGS4_108-e/Docs/S4-20057.zip |
TENCENT,ITT4RT:Potential Solutions for multiple overlays,3GPP DRAFT; S4-AHM563.DOC, 3RD GENERATION PARTNERSHIP PROJECT,vol.SA WG4, no. e-meeting;20200708,2020年07月08日,pp.1-3,https://ftp.3gpp.org/tsg_sa/WG4_CODEC/Ad-hoc_MTSI/Docs/S4-AHM563.doc.zip |
Also Published As
Publication number | Publication date |
---|---|
JP2023502789A (ja) | 2023-01-25 |
EP4011062A4 (en) | 2022-10-12 |
KR20220058610A (ko) | 2022-05-09 |
CN114503548A (zh) | 2022-05-13 |
EP4011062A1 (en) | 2022-06-15 |
US11431956B2 (en) | 2022-08-30 |
KR102586860B1 (ko) | 2023-10-11 |
WO2022035482A1 (en) | 2022-02-17 |
US20220053176A1 (en) | 2022-02-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7411791B2 (ja) | リモート端末の没入型遠隔会議及びテレプレセンスのためのオーバーレイ処理のパラメータ | |
US11662975B2 (en) | Method and apparatus for teleconference | |
JP7508586B2 (ja) | 没入型テレカンファレンスおよびテレプレゼンスのためのマルチグルーピングの方法、装置、およびコンピュータプログラム | |
US11937070B2 (en) | Layered description of space of interest | |
US20220311814A1 (en) | Techniques for signaling multiple audio mixing gains for teleconferencing and telepresence for remote terminals | |
JP7419529B2 (ja) | 遠隔端末のための没入型テレカンファレンス及びテレプレゼンスのインタラクティブオーバーレイ処理 | |
JP2024512629A (ja) | ライトフィールド/ホログラフィック媒体のアセット再利用性 | |
JP7518195B2 (ja) | テレコンファレンス及びリモートターミナル用のテレプレゼンスのための複数のオーディオミキシングゲインをシグナリングするための技術 | |
JP7399549B2 (ja) | リモート端末向けの遠隔会議およびテレプレゼンスにおいてオーディオミキシングゲインをシグナリングする手法 | |
JP2024512904A (ja) | Rtcpフィードバックを使用したリモート端末のためのテレコンファレンス及びリモートターミナルのためのテレプレゼンスのための複数のオーディオミキシングゲインをシグナリングするための技術 | |
KR20220157436A (ko) | 원격 단말들을 위한 원격회의 및 텔레프레즌스에서 뷰포트 공유할 때 멀미를 진정시키기 위한 기법 | |
JP2024509837A (ja) | 360ビデオ会議においてオクルードフリー領域をシグナリングするための方法、装置およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220524 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230626 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230711 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231010 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231212 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240110 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7419529 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |