JP2020167660A - 画像データ伝送方法、コンテンツ処理装置、ヘッドマウントディスプレイ、中継装置、および、コンテンツ処理システム - Google Patents
画像データ伝送方法、コンテンツ処理装置、ヘッドマウントディスプレイ、中継装置、および、コンテンツ処理システム Download PDFInfo
- Publication number
- JP2020167660A JP2020167660A JP2019185341A JP2019185341A JP2020167660A JP 2020167660 A JP2020167660 A JP 2020167660A JP 2019185341 A JP2019185341 A JP 2019185341A JP 2019185341 A JP2019185341 A JP 2019185341A JP 2020167660 A JP2020167660 A JP 2020167660A
- Authority
- JP
- Japan
- Prior art keywords
- image
- data
- display
- value
- combined
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 185
- 238000000034 method Methods 0.000 title claims description 73
- 230000005540 biological transmission Effects 0.000 title claims description 39
- 238000004891 communication Methods 0.000 claims abstract description 46
- 239000002131 composite material Substances 0.000 claims abstract description 43
- 230000010354 integration Effects 0.000 claims abstract description 11
- 238000007906 compression Methods 0.000 claims description 46
- 230000006835 compression Effects 0.000 claims description 46
- 230000015572 biosynthetic process Effects 0.000 claims description 44
- 238000003786 synthesis reaction Methods 0.000 claims description 44
- 239000000203 mixture Substances 0.000 claims description 27
- 230000002194 synthesizing effect Effects 0.000 claims description 10
- 239000003086 colorant Substances 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 abstract description 10
- 238000012937 correction Methods 0.000 description 32
- 238000006073 displacement reaction Methods 0.000 description 25
- 230000008569 process Effects 0.000 description 23
- 239000013598 vector Substances 0.000 description 21
- 230000004075 alteration Effects 0.000 description 18
- 238000010191 image analysis Methods 0.000 description 16
- 238000000926 separation method Methods 0.000 description 16
- 230000033001 locomotion Effects 0.000 description 15
- 238000003702 image correction Methods 0.000 description 12
- 230000015654 memory Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 10
- 210000003128 head Anatomy 0.000 description 10
- 230000036544 posture Effects 0.000 description 9
- 241000282326 Felis catus Species 0.000 description 7
- 230000006837 decompression Effects 0.000 description 6
- 230000003190 augmentative effect Effects 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 5
- 230000000740 bleeding effect Effects 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000002156 mixing Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 238000012905 input function Methods 0.000 description 2
- 230000014759 maintenance of location Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 241000226585 Antennaria plantaginifolia Species 0.000 description 1
- 101100226347 Escherichia phage lambda exo gene Proteins 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000011049 filling Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 206010025482 malaise Diseases 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000001308 synthesis method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Controls And Circuits For Display Device (AREA)
- Processing Or Creating Images (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
Fout=(1−α)Fi+αFo
Claims (27)
- 画像生成装置が、
表示画像に合成すべき画像と、当該合成すべき画像の画素の透明度を表すα値を生成するステップと、
前記合成すべき画像と前記α値のデータを1つの画像平面に表してなる合成用データを生成するステップと、
前記合成用データを、前記表示画像を生成する装置に送信するステップと、
を含むことを特徴とする画像データ伝送方法。 - 前記合成用データを生成するステップは、接眼レンズを介して鑑賞される表示画像に与えるべき歪みを前記合成すべき画像に付加し、前記画像平面において、前記歪みにより前記合成すべき画像が表されない領域に、前記α値を埋め込むことを特徴とする請求項1に記載の画像データ伝送方法。
- 前記合成用データを生成するステップは、前記合成すべき画像と前記α値を表す画像とを所定方向に縮小して接続することにより、前記1つの画像平面に表すことを特徴とする請求項1に記載の画像データ伝送方法。
- 前記合成用データを生成するステップは、前記合成すべき画像と前記α値を表す画像とを、画像平面の縦方向に縮小したうえ、所定数の行ごとに交互に接続することにより、前記1つの画像平面に表すことを特徴とする請求項1に記載の画像データ伝送方法。
- 前記合成すべき画像は平板型ディスプレイに表示させることを前提として生成された歪みのない画像であることを特徴とする請求項3または4に記載の画像データ伝送方法。
- 前記合成用データを生成するステップは、前記合成用データにおいて、1つの画素に複数の画素のα値を対応づけることを特徴とする請求項1から5のいずれかに記載の画像データ伝送方法。
- 前記合成用データを生成するステップは、前記1つの画素が有する複数の原色に割り当てられた記憶領域ごとに、1つまたは複数の画素のα値を格納することを特徴とする請求項6に記載の画像データ伝送方法。
- 前記合成用データを生成するステップは、前記1つの画素が有する複数の原色に割り当てられた記憶領域ごとに、各原色に対し設定する1つまたは複数の画素のα値を格納することを特徴とする請求項6に記載の画像データ伝送方法。
- 前記合成用データを生成するステップは、前記1つの画素が有する複数の原色に割り当てられた記憶領域ごとに、全原色に共通に設定する1つまたは複数の画素のα値を格納することを特徴とする請求項6に記載の画像データ伝送方法。
- 中継装置が、
前記合成用データを取得し、前記合成すべき画像と前記α値のデータを分離するステップと、
前記合成すべき画像と前記α値のデータを異なる方式で圧縮符号化するステップと、
圧縮符号化されたデータを、前記表示画像を生成する装置に送信するステップと、
をさらに含むことを特徴とする請求項1から9のいずれかに記載の画像データ伝送方法。 - 前記圧縮符号化するステップは、前記合成すべき画像を非可逆圧縮し、前記α値のデータを可逆圧縮することを特徴とする請求項10に記載の画像データ伝送方法。
- 前記表示画像を生成する装置が、被写体の位置および姿勢の情報を取得するステップをさらに含み、
前記合成用データを生成するステップは、
前記表示画像を生成する装置から送信された前記位置および姿勢の情報に基づき、所定時間後の被写体の位置および姿勢を予測したうえ、その結果に対応するように前記合成すべき画像を生成することを特徴とする請求項1から11のいずれかに記載の画像データ伝送方法。 - 前記合成用データを生成するステップは、前記表示画像を生成する装置と共有された、前記α値を表す範囲に係る情報に基づき、前記画像平面にα値を表すことを特徴とする請求項1から12のいずれかに記載の画像データ伝送方法。
- 前記合成用データを生成するステップは、前記α値を表す範囲を前記画像平面に表したマップに基づき、前記画像平面にα値を表すことを特徴とする請求項13に記載の画像データ伝送方法。
- 前記合成用データを生成するステップは、前記合成すべき画像より小さい解像度で生成されたα値を前記画像平面に表すことを特徴とする請求項1から14のいずれかに記載の画像データ伝送方法。
- 前記合成用データを生成するステップは、前記表示画像のうち前記合成によって表される像を含む所定範囲の領域のα値を前記画像平面に表すことを特徴とする請求項1から14のいずれかに記載の画像データ伝送方法。
- 前記合成用データを生成するステップは、前記1つの画像平面に前記α値のデータを表す代わりに、前記合成によって表すべき像以外の領域に所定の画素値を与えた合成用データを生成し、
前記送信するステップは、前記合成用データを非可逆圧縮して送信し、
前記表示画像を生成する装置が、
前記合成用データを伸張するステップと、
当該合成用データのうち前記所定の画素値から所定範囲の値を有する画素の領域以外の領域を前記表示画像に表すステップと、
を含むことを特徴とする請求項1から16のいずれかに記載の画像データ伝送方法。 - 表示画像に合成すべき画像を生成する画像描画部と、
前記合成すべき画像と、当該合成すべき画像の画素の透明度を表すα値のデータとを1つの画像平面に表してなる合成用データを生成する合成情報統合部と、
前記合成用データを出力する通信部と、
を備えたことを特徴とするコンテンツ処理装置。 - 前記画像描画部は、接眼レンズを介して鑑賞される表示画像に与えるべき歪みを前記合成すべき画像に付加することを特徴とする請求項18に記載のコンテンツ処理装置。
- 実空間を撮影するカメラと、
表示画像に合成すべき画像と、当該合成すべき画像の画素の透明度を表すα値のデータとを1つの画像平面に表してなる合成用データを、外部の装置から受信し、前記α値に基づき、前記カメラによる撮影画像に前記合成すべき画像を合成して表示画像を生成する画像処理用集積回路と、
前記表示画像を出力する表示パネルと、
を備えたことを特徴とするヘッドマウントディスプレイ。 - 前記画像処理用集積回路は、接眼レンズを介して鑑賞される表示画像に与えるべき歪みを前記撮影画像に付加し、前記外部の装置から送信された、前記歪みが付加されている前記合成すべき画像を合成することを特徴とする請求項20に記載のヘッドマウントディスプレイ。
- 前記画像処理用集積回路は、前記撮影画像を解析して被写体の位置および姿勢の情報を取得し、前記外部の装置に送信することを特徴とする請求項20または21に記載のヘッドマウントディスプレイ。
- 表示画像に合成すべき画像と、当該合成すべき画像の画素の透明度を表すα値のデータとを1つの画像平面に表してなる合成用データを、合成すべき画像と前記α値のデータに分離するデータ分離部と、
前記合成すべき画像と前記α値のデータを異なる方式で圧縮符号化する圧縮符号化部と、
前記合成用データを、画像を生成する装置から取得し、前記圧縮符号化されたデータを、前記表示画像を生成する装置に送信する通信部と、
を備えたことを特徴とする中継装置。 - 表示装置と、当該表示装置に表示させる画像を生成するコンテンツ処理装置と、を含み、
前記コンテンツ処理装置は、
表示画像に合成すべき画像と、当該合成すべき画像の画素の透明度を表すα値のデータとを1つの画像平面に表してなる合成用データを生成する合成用データ生成部と、
前記合成用データを出力する通信部と、
を備え、
前記表示装置は、
実空間を撮影するカメラと、
前記合成用データのα値に基づき、前記カメラによる撮影画像に前記合成すべき画像を合成して表示画像を生成する画像処理用集積回路と、
前記表示画像を出力する表示パネルと、
を備えたことを特徴とするコンテンツ処理システム。 - 表示画像に合成すべき画像を生成する機能と、
前記合成すべき画像と、当該合成すべき画像の画素の透明度を表すα値のデータとを1つの画像平面に表してなる合成用データを生成する機能と、
前記合成用データを出力する機能と、
をコンピュータに実現させることを特徴とするコンピュータプログラム。 - 表示画像に合成すべき画像と、当該合成すべき画像の画素の透明度を表すα値のデータとを1つの画像平面に表してなる合成用データを取得する機能と、
前記合成すべき画像と前記α値のデータを分離する機能と、
前記合成すべき画像と前記α値のデータを異なる方式で圧縮符号化する機能と、
圧縮符号化されたデータを、前記表示画像を生成する装置に送信する機能と、
をコンピュータに実現させることを特徴とするコンピュータプログラム。 - 表示画像に合成すべき画像と、当該合成すべき画像の画素の透明度を表すα値のデータとを1つの画像平面に表してなる合成用データを取得する機能と、
前記合成すべき画像と前記α値のデータを復元する機能と、
前記α値に基づき、撮影画像に前記合成すべき画像を合成して表示パネルに出力する機能と、
をコンピュータに実現させることを特徴とするコンピュータプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/825,317 US11659153B2 (en) | 2019-03-29 | 2020-03-20 | Image data transmission method, content processing apparatus, head-mounted display, relay apparatus and content processing system |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019068189 | 2019-03-29 | ||
JP2019068189 | 2019-03-29 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020167660A true JP2020167660A (ja) | 2020-10-08 |
JP7365185B2 JP7365185B2 (ja) | 2023-10-19 |
Family
ID=72714644
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019185341A Active JP7365185B2 (ja) | 2019-03-29 | 2019-10-08 | 画像データ伝送方法、コンテンツ処理装置、ヘッドマウントディスプレイ、中継装置、および、コンテンツ処理システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7365185B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112383788A (zh) * | 2020-11-11 | 2021-02-19 | 成都威爱新经济技术研究院有限公司 | 一种基于智能ai技术的直播实时图像提取***及方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005107780A (ja) * | 2003-09-30 | 2005-04-21 | Sony Corp | 画像混合方法および混合画像データ生成装置 |
JP2007286851A (ja) * | 2006-04-14 | 2007-11-01 | Canon Inc | 画像処理システム、画像処理装置、撮像装置、及びそれらの制御方法 |
JP2014502451A (ja) * | 2010-11-15 | 2014-01-30 | エルジー エレクトロニクス インコーポレイティド | フレームフォーマット変換方法及びその方法を使用する装置 |
JP2015073273A (ja) * | 2013-10-02 | 2015-04-16 | 惟成科技有限公司 | カラーフレームとオリジナルデプスフレームをパック及びアンパックする方法、装置並びにシステム |
WO2017139871A1 (en) * | 2016-02-18 | 2017-08-24 | Vrvana Inc. | Head-mounted display for virtual and mixed reality with inside-out positional, user body and environment tracking |
JP2017174125A (ja) * | 2016-03-23 | 2017-09-28 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置、情報処理システム、および情報処理方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7119813B1 (en) | 2000-06-02 | 2006-10-10 | Nintendo Co., Ltd. | Variable bit field encoding |
JP5074777B2 (ja) | 2006-05-22 | 2012-11-14 | キヤノン株式会社 | 撮像機能付表示装置、画像処理装置、画像処理方法、および、画像表示システム |
JP4989417B2 (ja) | 2007-10-26 | 2012-08-01 | キヤノン株式会社 | 画像表示システム、画像表示装置及びその制御方法、コンピュータプログラム |
-
2019
- 2019-10-08 JP JP2019185341A patent/JP7365185B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005107780A (ja) * | 2003-09-30 | 2005-04-21 | Sony Corp | 画像混合方法および混合画像データ生成装置 |
JP2007286851A (ja) * | 2006-04-14 | 2007-11-01 | Canon Inc | 画像処理システム、画像処理装置、撮像装置、及びそれらの制御方法 |
JP2014502451A (ja) * | 2010-11-15 | 2014-01-30 | エルジー エレクトロニクス インコーポレイティド | フレームフォーマット変換方法及びその方法を使用する装置 |
JP2015073273A (ja) * | 2013-10-02 | 2015-04-16 | 惟成科技有限公司 | カラーフレームとオリジナルデプスフレームをパック及びアンパックする方法、装置並びにシステム |
WO2017139871A1 (en) * | 2016-02-18 | 2017-08-24 | Vrvana Inc. | Head-mounted display for virtual and mixed reality with inside-out positional, user body and environment tracking |
JP2017174125A (ja) * | 2016-03-23 | 2017-09-28 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置、情報処理システム、および情報処理方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112383788A (zh) * | 2020-11-11 | 2021-02-19 | 成都威爱新经济技术研究院有限公司 | 一种基于智能ai技术的直播实时图像提取***及方法 |
CN112383788B (zh) * | 2020-11-11 | 2023-05-26 | 成都威爱新经济技术研究院有限公司 | 一种基于智能ai技术的直播实时图像提取***及方法 |
Also Published As
Publication number | Publication date |
---|---|
JP7365185B2 (ja) | 2023-10-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7689031B2 (en) | Video filtering for stereo images | |
US9159135B2 (en) | Systems, methods, and computer program products for low-latency warping of a depth map | |
KR102453512B1 (ko) | 투영 기반 프레임을 프로세싱하기 위한 방법 | |
JP5388534B2 (ja) | 画像処理装置およびその方法、頭部装着型ディスプレイ、プログラム、記録媒体 | |
JPWO2007116549A1 (ja) | 画像処理装置 | |
JP2007219082A (ja) | 複合現実感表示システム | |
KR20200052846A (ko) | 데이터 처리 시스템 | |
US20230236425A1 (en) | Image processing method, image processing apparatus, and head-mounted display | |
US9723290B2 (en) | Method for generating, transmitting and receiving stereoscopic images and relating devices | |
JP7365185B2 (ja) | 画像データ伝送方法、コンテンツ処理装置、ヘッドマウントディスプレイ、中継装置、および、コンテンツ処理システム | |
US11659153B2 (en) | Image data transmission method, content processing apparatus, head-mounted display, relay apparatus and content processing system | |
US20210304494A1 (en) | Image processing apparatus, 3d data generation apparatus, control program, and recording medium | |
JP7365184B2 (ja) | 画像処理装置、ヘッドマウントディスプレイ、および画像表示方法 | |
US11614627B2 (en) | Image processing apparatus, head-mounted display, and image displaying method | |
US11106042B2 (en) | Image processing apparatus, head-mounted display, and image displaying method | |
JP7429515B2 (ja) | 画像処理装置、ヘッドマウントディスプレイ、および画像表示方法 | |
WO2022054118A1 (ja) | 画像表示システム、ヘッドマウントディスプレイ、および画像表示方法 | |
Ruijters et al. | IGLANCE: transmission to medical high definition autostereoscopic displays | |
WO2019026183A1 (ja) | 画像生成装置および画像生成方法 | |
WO2022158221A1 (ja) | 画像表示システム、表示装置、および画像表示方法 | |
WO2019166013A1 (en) | Cube-based projection method that applies different mapping functions to different square projection faces, different axes, and/or different locations of axis | |
JP7365183B2 (ja) | 画像生成装置、ヘッドマウントディスプレイ、コンテンツ処理システム、および画像表示方法 | |
JPH06105340A (ja) | 複数視点3次元画像入力装置 | |
JP2023105524A (ja) | 表示制御装置、ヘッドマウントディスプレイ、および表示制御方法 | |
CN115129288A (zh) | 用于渲染三维图像内容的***和方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220825 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230428 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230509 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230703 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231003 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231006 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7365185 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |