JP7119425B2 - 画像処理装置、符号化装置、復号化装置、画像処理方法、プログラム、符号化方法及び復号化方法 - Google Patents
画像処理装置、符号化装置、復号化装置、画像処理方法、プログラム、符号化方法及び復号化方法 Download PDFInfo
- Publication number
- JP7119425B2 JP7119425B2 JP2018036225A JP2018036225A JP7119425B2 JP 7119425 B2 JP7119425 B2 JP 7119425B2 JP 2018036225 A JP2018036225 A JP 2018036225A JP 2018036225 A JP2018036225 A JP 2018036225A JP 7119425 B2 JP7119425 B2 JP 7119425B2
- Authority
- JP
- Japan
- Prior art keywords
- time
- model
- subject
- image
- viewpoint images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 80
- 238000000034 method Methods 0.000 title claims description 77
- 238000003672 processing method Methods 0.000 title claims description 9
- 238000003384 imaging method Methods 0.000 claims description 97
- 239000002131 composite material Substances 0.000 claims description 71
- 230000002194 synthesizing effect Effects 0.000 claims description 17
- 230000008859 change Effects 0.000 claims description 11
- 238000006243 chemical reaction Methods 0.000 claims description 11
- 238000010586 diagram Methods 0.000 description 31
- 230000033001 locomotion Effects 0.000 description 28
- 230000015572 biosynthetic process Effects 0.000 description 24
- 238000003786 synthesis reaction Methods 0.000 description 24
- 230000005540 biological transmission Effects 0.000 description 22
- 230000008569 process Effects 0.000 description 14
- 238000001514 detection method Methods 0.000 description 9
- 230000000007 visual effect Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 239000003550 marker Substances 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 2
- 101100072569 Drosophila melanogaster IM18 gene Proteins 0.000 description 1
- 101000661807 Homo sapiens Suppressor of tumorigenicity 14 protein Proteins 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/16—Spatio-temporal transformations, e.g. video cubism
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/564—Depth or shape recovery from multiple images from contours
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Library & Information Science (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Studio Circuits (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Processing Or Creating Images (AREA)
Description
第1時刻に被写体を撮像した複数の視点画像と、第2時刻に被写体を撮像した複数の視点画像と、第3時刻に被写体を撮像した複数の視点画像を取得する取得部と、
各時刻の被写***置に基づいて、第1時刻から第3時刻の少なくとも2つの時刻における各時刻の複数の視点画像に基づいて生成された各時刻の被写体の3Dモデルを含む、合成3Dモデルを生成する画像生成部と、
3Dモデルを生成する際に用いられる複数の視点画像を選択する選択部とを有し、
3Dモデルを生成する際に用いられる複数の視点画像は、少なくとも、時刻が異なる被写体間の干渉度を参照して選択部により選択された画像であり、
干渉度は、所定の複数の視点画像に基づいて生成された3Dモデルと、他の複数の視点画像に基づいて生成された3Dモデルとの3次元空間における重なりの度合いを示す情報である
画像処理装置である。
第1時刻、第2時刻及び第3時刻における各時刻の被写***置に基づいて、第1時刻から第3時刻の少なくとも2つの時刻における各時刻の複数の視点画像に基づいて生成された各時刻の被写体の3Dモデル、及び、3Dモデルから変換された2D画像データ及び当該2D画像データに含まれる被写体の奥行を示すデプス画像データのうち、少なくとも一方と、
各時刻における3Dモデルが3次元空間において干渉していないことを示すフラグとを
所定の符号化方式で符号化することにより符号化データを生成する符号化部を有する
符号化装置である。
第1時刻、第2時刻及び第3時刻における各時刻の被写***置に基づいて、第1時刻から第3時刻の少なくとも2つの時刻における各時刻の複数の視点画像に基づいて生成された各時刻の被写体の3Dモデル、及び、3Dモデルから変換された2D画像データ及び当該2D画像データに含まれる被写体の奥行を示すデプス画像データのうち、少なくとも一方と、視点画像を取得する撮像装置のカメラパラメータと、視点画像の背景画像と、各時刻における3Dモデルが3次元空間において干渉していないことを示すフラグとが含まれる符合化データを復号する復号部と、
背景画像とカメラパラメータとフラグとに基づいて、各時刻における被写体が分離された画像を生成し、生成された画像に基づいて3Dモデルを生成する変換部とを有する
復号化装置である。
取得部が、第1時刻に被写体を撮像した複数の視点画像と、第2時刻に被写体を撮像した複数の視点画像と、第3時刻に被写体を撮像した複数の視点画像を取得し、
画像生成部が、各時刻の被写***置に基づいて、第1時刻から第3時刻の少なくとも2つの時刻における各時刻の複数の視点画像に基づいて生成された各時刻の被写体の3Dモデルを含む、合成3Dモデルを生成し、
選択部が、3Dモデルを生成する際に用いられる複数の視点画像を選択し、
3Dモデルを生成する際に用いられる複数の視点画像は、少なくとも、時刻が異なる被写体間の干渉度を参照して選択部により選択された画像であり、
干渉度は、所定の複数の視点画像に基づいて生成された3Dモデルと、他の複数の視点画像に基づいて生成された3Dモデルとの3次元空間における重なりの度合いを示す情報である
画像処理方法である。
取得部が、第1時刻に被写体を撮像した複数の視点画像と、第2時刻に被写体を撮像した複数の視点画像と、第3時刻に被写体を撮像した複数の視点画像を取得し、
画像生成部が、各時刻の被写***置に基づいて、第1時刻から第3時刻の少なくとも2つの時刻における各時刻の複数の視点画像に基づいて生成された各時刻の被写体の3Dモデルを含む、合成3Dモデルを生成し、
選択部が、3Dモデルを生成する際に用いられる複数の視点画像を選択し、
3Dモデルを生成する際に用いられる複数の視点画像は、少なくとも、時刻が異なる被写体間の干渉度を参照して選択部により選択された画像であり、
干渉度は、所定の複数の視点画像に基づいて生成された3Dモデルと、他の複数の視点画像に基づいて生成された3Dモデルとの3次元空間における重なりの度合いを示す情報である
画像処理方法をコンピュータに実行させるプログラムである。
符号化部が、
第1時刻、第2時刻及び第3時刻における各時刻の被写***置に基づいて、第1時刻から第3時刻の少なくとも2つの時刻における各時刻の複数の視点画像に基づいて生成された各時刻の被写体の3Dモデル、及び、3Dモデルから変換された2D画像データ及び当該2D画像データに含まれる被写体の奥行を示すデプス画像データのうち、少なくとも一方と、
各時刻における3Dモデルが3次元空間において干渉していないことを示すフラグとを
所定の符号化方式で符号化することにより符号化データを生成する
符号化方法である。
復号化部が、第1時刻、第2時刻及び第3時刻における各時刻の被写***置に基づいて、第1時刻から第3時刻の少なくとも2つの時刻における各時刻の複数の視点画像に基づいて生成された各時刻の被写体の3Dモデル、及び、3Dモデルから変換された2D画像データ及び当該2D画像データに含まれる被写体の奥行を示すデプス画像データのうち、少なくとも一方と、視点画像を取得する撮像装置のカメラパラメータと、視点画像の背景画像と、各時刻における3Dモデルが3次元空間において干渉していないことを示すフラグとが含まれる符合化データを復号し、
変換部が、背景画像とカメラパラメータとフラグとに基づいて、各時刻における被写体が分離された画像を生成し、生成された画像に基づいて3Dモデルを生成する
復号化方法である。
<実施形態に関連する技術及び考慮すべき問題について>
<実施形態>
[画像処理部の構成例]
[実施形態における処理の流れ]
[伝送システム]
[表示例]
<変形例>
始めに、本開示の理解を容易とするために、実施形態に関連する技術及び考慮すべき問題について説明する。なお、以下では、説明に必要な範囲で実施形態の概要についても言及する。
[画像処理装置の構成例]
本実施形態では、被写体を取り囲むように配置された複数台(少なくとも2台以上)の撮像装置を含む自由視点撮像システムが採用される。一例として、自由視点撮像システムは、6台の撮像装置を有している。6台の撮像装置は、少なくとも一部が同一である被写体の動画像の2次元画像データを同期したタイミングで撮像することで、各撮像装置の配置位置(視点)に応じた画像(視点画像)を得る。
次に、本実施形態において行われる処理の流れの一例について説明する。図8は、当該処理の流れを示すフローチャートである。特に断らない限り、図8に示すフローチャートにおける処理は、画像処理装置1により行われる。
ステップST11では、自由視点撮像システムにより取得された2次元画像データを含むデータ(以下、データセットと適宜、称する)が画像処理装置1に入力される。ステップST12では、画像処理装置1が被写体の動きを判定する。ステップST13では、ステップST12の判定結果に基づいて、画像処理装置1が、3Dストロボ合成が可能であるか否かを判定する。ここで、3Dストロボ合成が可能でないと判定された場合には、処理がステップST16に進み、3Dストロボ合成に関する処理が行われない。ステップST13で、3Dストロボ合成が可能であると判定さされた場合には、処理がステップST14に進む。ステップST14では、画像処理装置1がモデリングするフレームを選択する。ステップST15では、画像処理装置1が、ステップST14で選択されたフレームに基づいて3Dストロボ合成を行い、3Dストロボ合成映像を生成する。
各処理について、詳細に説明する。ステップST11では、データセットが画像処理装置1に入力される。本実施形態におけるデータセットには、自由視点撮像システムにより取得された2次元画像データと、測距装置により取得された被写体の奥行情報(デプス情報)と、カメラパラメータとが含まれる。
ステップST12では、画像処理装置1が被写体の動きを判定する。具体的には、3Dストロボ合成判定部14が、データセットに含まれる被写体の奥行情報(距離情報)に基づいて、被写体の動きを判定する。
ステップST13では、3Dストロボ合成判定部14が、3Dストロボ合成が可能であるか否かを判定する。2次元(2D)であれ、3次元(3D)であれ、ストロボ合成映像の一つの利点は、被写体の動きの軌跡を知ることができる点である。従って、3Dストロボ合成判定部14は、ステップST12において被写体の動きがあると判定された場合に、3Dストロボ合成が可能であると判定する。
ステップST14では、3Dモデルを生成する際(モデリングする際)に使用される複数の視点画像、即ち、フレームが選択される。ステップST14では、例えば、画像処理装置1における干渉検出部15及びフレーム選択部16により行われる。3Dモデルを生成する際にデータセットを構成する全ての2次元画像データを使用しても良いが、本実施形態では、処理の負荷や、得られる3Dストロボ合成映像の見やすさ等を考慮して、3Dモデルを生成する際に使用されるフレームを選択するようにしている。具体的には、データセットを構成する2次元画像データを時間方向に間引く。なお、間引く際は、ある時刻tで同期して撮像された6枚の2次元画像データが間引かれる。換言すれば、ある時刻tにおける6枚の2次元画像データのセットを単位として、3Dモデルの生成に用いるセットと、間引くフレームのセットとが選択される。
ステップST15では、3Dストロボ合成処理が行われる。3Dストロボ合成処理は、例えば、3Dモデル生成部17及び3Dストロボ合成部18により行われる。3Dモデル生成部17は、フレーム選択部16により選択された、ある時刻tにおける6枚の2次元画像データに対応する6枚のシルエット画像を使用して、3Dモデルを生成する。同様に、3Dモデル生成部17は、フレーム選択部16により選択された、他の時刻における6枚の2次元画像データに対応する6枚のシルエット画像を使用して、3Dモデルを生成する。そして、3Dストロボ合成部18は、生成した各3Dモデルを所定の背景の所定の位置にそれぞれマッピングし、図16に例示するような3Dストロボ合成映像を生成する。なお、図16は、図示の制約上、被写体AEが2次元的に示されているが、実際には3Dモデルにて表示される。また、図16に示す例は、3Dストロボ合成映像における各3Dモデルが互いに干渉していない例を示しているが、一部が干渉していても良い。上述したように、3Dストロボ合成映像における3次元空間における干渉度が所定以下であれば良い。
次に、本実施形態にかかる伝送システムについて説明する。本出願人は、3Dデータを効率的に伝送する手法として、国際公開2017/082076号に記載の技術を先に提案している。先の提案にて開示されている事項は、本開示に対して適用することができる。
先に提案された技術を踏まえつつ、本実施形態にかかる伝送システムについて説明する。図17は、実施形態にかかる伝送システム(以下、伝送システム100と適宜、称する)を示している。伝送システム100は、送信側として、3次元データ撮像装置101と、変換装置102と、符号化装置103とを有している。また、伝送システム100は、受信側として、復号化装置201と、変換装置202と、3次元データ表示装置203とを有している。
図18は、上述した伝送システム100をより簡略化して示している。送信側では、3Dモデルが生成され、3Dモデルが2次元画像データ(RGB等の色情報を含む)及びデプス画像データに変換される。2次元画像データ、デプス画像データ等が符号化装置103により符号化されて伝送される。
なお、図21に示すように、被写体間の干渉度が所定以下の場合に、3次元空間において被写体が干渉していないことを示すフラグを付加して良いことは既に述べた通りである。かかるフラグを伝送することで、受信側における物体分離が可能となる。この点について詳細に説明する。
次に、3Dストロボ合成映像における各3Dモデルの表示例について説明する。なお、以下に説明する表示に関する制御は、例えば、3Dストロボ合成部18により行われる。本実施形態では、3Dストロボ合成部18を表示制御部の一例として説明するが、画像処理装置1が、3Dストロボ合成部18とは異なる表示制御部を有する構成でも良い。
第1の表示例は、被写体が視聴者から遠ざかる場合に、時間的に最新の被写体(オブジェクト)、換言すれば、位置的に奥側にある被写体をより鮮明に見えるようにする表示例である。例えば、図27に示す3Dストロボ合成映像では、時間的に最新(図示の例では時刻t4)の被写体が見えない若しくは見づらくなってしまう。そこで、図28に示すように、時間的に最新の被写体が鮮明に見えるようにする。例えば、時間的に前の被写体(図示の例では、時刻t0~時刻t3の被写体)をワイヤフレーム表示したり、半透明にしたり、疎なポイントクラウドにする。また、時間的に前の被写体(時刻t0における被写体)から最新の被写体(時刻t4における被写体)にかけて、被写体の濃度が濃くなるようにしても良い。かかる表示により、視聴者は奥にある3Dモデルを鮮明に見ることが可能となる。
第2の表示例は、生成した3Dモデルを本来の位置と異なる位置に配置する例である。被写体の動きがない場合や、被写体の動きが所定以下の場合であっても3Dストロボ合成映像を生成しても良いことは、既に説明した通りである。かかる場合に、生成した3Dモデルを本来の位置で単純に配置してしまうと、図29Aに模式的に示すように、3Dモデルが特定の領域に集中した映像となってしまう。
以上、本開示の実施形態について具体的に説明したが、本開示の内容は上述した実施形態に限定されるものではなく、本開示の技術的思想に基づく各種の変形が可能である。
(1)
第1時刻に被写体を撮像した複数の視点画像と、第2時刻に上記被写体を撮像した複数の視点画像と、第3時刻に上記被写体を撮像した複数の視点画像を取得する取得部と、
各時刻の被写***置に基づいて、前記第1時刻から前記第3時刻の少なくとも2つの時刻における各時刻の複数の視点画像に基づいて生成された各時刻の被写体の3Dモデルを含む、合成3Dモデルを生成する画像生成部とを有する
画像処理装置。
(2)
前記被写体の位置の変化に応じて前記被写体の動きの有無を判定する判定部を有し、
前記画像生成部は、前記判定部により前記被写体の動きがあると判定された場合に、前記合成3Dモデルを生成する
(1)に記載の画像処理装置。
(3)
前記3Dモデルを生成する際に用いられる前記複数の視点画像を選択する選択部を有する
(1)又は(2)に記載の画像処理装置。
(4)
前記3Dモデルを生成する際に用いられる前記複数の視点画像は、少なくとも、時刻が異なる被写体間の干渉度を参照して前記選択部により選択された画像である
(3)に記載の画像処理装置。
(5)
前記干渉度は、所定の複数の視点画像に基づいて生成された3Dモデルと、他の複数の視点画像に基づいて生成された3Dモデルとの3次元空間における重なりの度合いを示す情報である
(4)に記載の画像処理装置。
(6)
前記干渉度は、所定の複数の視点画像のうちの一部の視点画像に基づいて生成された擬似的な3Dモデルと、他の複数の視点画像のうちの一部の視点画像に基づいて生成された擬似的な3Dモデルとの3次元空間における重なりの度合いを示す情報である
(4)に記載の画像処理装置。
(7)
前記合成3Dモデルに含まれる各3Dモデルの3次元空間における干渉度が所定以下である
(1)から(6)までの何れかに記載の画像処理装置。
(8)
前記合成3Dモデルに含まれる各3Dモデルが、3次元空間において互いに干渉していない
(7)に記載の画像処理装置。
(9)
前記3Dモデルは、対応する時刻で得られた複数の視点画像に基づいて、リアルタイムに生成される
(1)から(8)までの何れかに記載の画像処理装置。
(10)
前記3Dモデルは、各時刻の複数の視点画像を視点毎に合成した合成画像に基づいて生成される
(1)から(9)までの何れかに記載の画像処理装置。
(11)
前記3Dモデルは、前記視点画像から被写体と背景とを分離したシルエット画像に基づいて生成される
(1)から(10)までの何れかに記載の画像処理装置。
(12)
前記合成3Dモデルを表示装置へ表示する表示制御部を有する
(1)から(11)までの何れかに記載の画像処理装置。
(13)
前記表示制御部は、前記合成3Dモデルに含まれる複数の3Dモデルのうち、時間的に後の3Dモデルを他の3Dモデルに比べて鮮明に表示する
(12)に記載の画像処理装置。
(14)
前記表示制御部は、前記被写体の位置の変化が所定以下の場合に、前記3Dモデルの表示位置を本来の位置と異なる位置に配置して生成された合成3Dモデルを表示する
(12)に記載の画像処理装置。
(15)
第1時刻、第2時刻及び第3時刻における各時刻の被写***置に基づいて、前記第1時刻から前記第3時刻の少なくとも2つの時刻における各時刻の複数の視点画像に基づいて生成された各時刻の被写体の3Dモデル、及び、前記3Dモデルから変換された2D画像データ及び当該2D画像データに含まれる被写体の奥行を示すデプス画像データのうち、少なくとも一方と、
前記各時刻における3Dモデルが干渉していないことを示すフラグとを
所定の符号化方式で符号化することにより符号化データを生成する符号化部を有する符号化装置。
(16)
第1時刻、第2時刻及び第3時刻における各時刻の被写***置に基づいて、前記第1時刻から前記第3時刻の少なくとも2つの時刻における各時刻の複数の視点画像に基づいて生成された各時刻の被写体の3Dモデル、及び、前記3Dモデルから変換された2D画像データ及び当該2D画像データに含まれる被写体の奥行を示すデプス画像データのうち、少なくとも一方と、前記視点画像を取得する撮像装置のカメラパラメータと、前記視点画像の背景画像が含まれる符合化データを復号する復号部を有し、
前記復号部は、前記背景画像と前記カメラパラメータとに基づいて、前記3Dモデルを含む合成3Dモデルを生成し、当該合成3Dモデルに基づく画像から、所定の時刻における被写体を分離する
復号化装置。
(17)
取得部が、第1時刻に被写体を撮像した複数の視点画像と、第2時刻に上記被写体を撮像した複数の視点画像と、第3時刻に上記被写体を撮像した複数の視点画像を取得し、
画像生成部が、各時刻の被写***置に基づいて、前記第1時刻から前記第3時刻の少なくとも2つの時刻における各時刻の複数の視点画像に基づいて生成された各時刻の被写体の3Dモデルを含む、合成3Dモデルを生成する
画像処理方法。
(18)
取得部が、第1時刻に被写体を撮像した複数の視点画像と、第2時刻に上記被写体を撮像した複数の視点画像と、第3時刻に上記被写体を撮像した複数の視点画像を取得し、
画像生成部が、各時刻の被写***置に基づいて、前記第1時刻から前記第3時刻の少なくとも2つの時刻における各時刻の複数の視点画像に基づいて生成された各時刻の被写体の3Dモデルを含む、合成3Dモデルを生成する
画像処理方法をコンピュータに実行させるプログラム。
(19)
符号化部が、
第1時刻、第2時刻及び第3時刻における各時刻の被写***置に基づいて、前記第1時刻から前記第3時刻の少なくとも2つの時刻における各時刻の複数の視点画像に基づいて生成された各時刻の被写体の3Dモデル、及び、前記3Dモデルから変換された2D画像データ及び当該2D画像データに含まれる被写体の奥行を示すデプス画像データのうち、少なくとも一方と、
前記各時刻における3Dモデルが干渉していないことを示すフラグとを
所定の符号化方式で符号化することにより符号化データを生成する
符号化方法。
(20)
復号化部が、
第1時刻、第2時刻及び第3時刻における各時刻の被写***置に基づいて、前記第1時刻から前記第3時刻の少なくとも2つの時刻における各時刻の複数の視点画像に基づいて生成された各時刻の被写体の3Dモデル、及び、前記3Dモデルから変換された2D画像データ及び当該2D画像データに含まれる被写体の奥行を示すデプス画像データのうち、少なくとも一方と、前記視点画像を取得する撮像装置のカメラパラメータと、前記視点画像の背景画像が含まれる符合化データを復号し、
前記背景画像と前記カメラパラメータとに基づいて、前記3Dモデルを含む合成3Dモデルを生成し、当該合成3Dモデルに基づく画像から、所定の時刻における被写体を分離する
復号化方法。
Claims (17)
- 第1時刻に被写体を撮像した複数の視点画像と、第2時刻に前記被写体を撮像した複数の視点画像と、第3時刻に前記被写体を撮像した複数の視点画像を取得する取得部と、
各時刻の被写***置に基づいて、前記第1時刻から前記第3時刻の少なくとも2つの時刻における各時刻の複数の視点画像に基づいて生成された各時刻の被写体の3Dモデルを含む、合成3Dモデルを生成する画像生成部と、
前記3Dモデルを生成する際に用いられる前記複数の視点画像を選択する選択部とを有し、
前記3Dモデルを生成する際に用いられる前記複数の視点画像は、少なくとも、時刻が異なる被写体間の干渉度を参照して前記選択部により選択された画像であり、
前記干渉度は、所定の複数の視点画像に基づいて生成された3Dモデルと、他の複数の視点画像に基づいて生成された3Dモデルとの3次元空間における重なりの度合いを示す情報である
画像処理装置。 - 前記被写体の位置の変化に応じて前記被写体の動きの有無を判定する判定部を有し、
前記画像生成部は、前記判定部により前記被写体の動きがあると判定された場合に、前記合成3Dモデルを生成する
請求項1に記載の画像処理装置。 - 前記所定の複数の視点画像に基づいて生成された3Dモデルは、前記所定の複数の視点画像のうちの一部の視点画像に基づいて生成された擬似的な3Dモデルであり、前記他の複数の視点画像に基づいて生成された3Dモデルは、前記他の複数の視点画像のうちの一部の視点画像に基づいて生成された擬似的な3Dモデルである
請求項2に記載の画像処理装置。 - 前記合成3Dモデルに含まれる各3Dモデルの前記3次元空間における干渉度が所定以下である
請求項1に記載の画像処理装置。 - 前記合成3Dモデルに含まれる各3Dモデルが、前記3次元空間において互いに干渉していない
請求項4に記載の画像処理装置。 - 前記3Dモデルは、対応する時刻で得られた複数の視点画像に基づいて、リアルタイムに生成される
請求項1に記載の画像処理装置。 - 前記3Dモデルは、各時刻の複数の視点画像を視点毎に合成した合成画像に基づいて生成される
請求項1に記載の画像処理装置。 - 前記3Dモデルは、前記視点画像から被写体と背景とを分離したシルエット画像に基づいて生成される
請求項1に記載の画像処理装置。 - 前記合成3Dモデルを表示装置へ表示する表示制御部を有する
請求項1に記載の画像処理装置。 - 前記表示制御部は、前記合成3Dモデルに含まれる複数の3Dモデルのうち、時間的に後の3Dモデルを他の3Dモデルに比べて鮮明に表示する
請求項9に記載の画像処理装置。 - 前記表示制御部は、前記被写体の位置の変化が所定以下の場合に、前記3Dモデルの表示位置を本来の位置と異なる位置に配置して生成された合成3Dモデルを表示する
請求項9に記載の画像処理装置。 - 第1時刻、第2時刻及び第3時刻における各時刻の被写***置に基づいて、前記第1時刻から前記第3時刻の少なくとも2つの時刻における各時刻の複数の視点画像に基づいて生成された各時刻の被写体の3Dモデル、及び、前記3Dモデルから変換された2D画像データ及び当該2D画像データに含まれる被写体の奥行を示すデプス画像データのうち、少なくとも一方と、
前記各時刻における3Dモデルが3次元空間において干渉していないことを示すフラグとを
所定の符号化方式で符号化することにより符号化データを生成する符号化部を有する
符号化装置。 - 第1時刻、第2時刻及び第3時刻における各時刻の被写***置に基づいて、前記第1時刻から前記第3時刻の少なくとも2つの時刻における各時刻の複数の視点画像に基づいて生成された各時刻の被写体の3Dモデル、及び、前記3Dモデルから変換された2D画像データ及び当該2D画像データに含まれる被写体の奥行を示すデプス画像データのうち、少なくとも一方と、前記視点画像を取得する撮像装置のカメラパラメータと、前記視点画像の背景画像と、前記各時刻における3Dモデルが3次元空間において干渉していないことを示すフラグとが含まれる符合化データを復号する復号部と、
前記背景画像と前記カメラパラメータと前記フラグとに基づいて、各時刻における被写体が分離された画像を生成し、生成された画像に基づいて3Dモデルを生成する変換部とを有する
復号化装置。 - 取得部が、第1時刻に被写体を撮像した複数の視点画像と、第2時刻に前記被写体を撮像した複数の視点画像と、第3時刻に前記被写体を撮像した複数の視点画像を取得し、
画像生成部が、各時刻の被写***置に基づいて、前記第1時刻から前記第3時刻の少なくとも2つの時刻における各時刻の複数の視点画像に基づいて生成された各時刻の被写体の3Dモデルを含む、合成3Dモデルを生成し、
選択部が、前記3Dモデルを生成する際に用いられる前記複数の視点画像を選択し、
前記3Dモデルを生成する際に用いられる前記複数の視点画像は、少なくとも、時刻が異なる被写体間の干渉度を参照して前記選択部により選択された画像であり、
前記干渉度は、所定の複数の視点画像に基づいて生成された3Dモデルと、他の複数の視点画像に基づいて生成された3Dモデルとの3次元空間における重なりの度合いを示す情報である
画像処理方法。 - 取得部が、第1時刻に被写体を撮像した複数の視点画像と、第2時刻に前記被写体を撮像した複数の視点画像と、第3時刻に前記被写体を撮像した複数の視点画像を取得し、
画像生成部が、各時刻の被写***置に基づいて、前記第1時刻から前記第3時刻の少なくとも2つの時刻における各時刻の複数の視点画像に基づいて生成された各時刻の被写体の3Dモデルを含む、合成3Dモデルを生成し、
選択部が、前記3Dモデルを生成する際に用いられる前記複数の視点画像を選択し、
前記3Dモデルを生成する際に用いられる前記複数の視点画像は、少なくとも、時刻が異なる被写体間の干渉度を参照して前記選択部により選択された画像であり、
前記干渉度は、所定の複数の視点画像に基づいて生成された3Dモデルと、他の複数の視点画像に基づいて生成された3Dモデルとの3次元空間における重なりの度合いを示す情報である
画像処理方法をコンピュータに実行させるプログラム。 - 符号化部が、
第1時刻、第2時刻及び第3時刻における各時刻の被写***置に基づいて、前記第1時刻から前記第3時刻の少なくとも2つの時刻における各時刻の複数の視点画像に基づいて生成された各時刻の被写体の3Dモデル、及び、前記3Dモデルから変換された2D画像データ及び当該2D画像データに含まれる被写体の奥行を示すデプス画像データのうち、少なくとも一方と、
前記各時刻における3Dモデルが3次元空間において干渉していないことを示すフラグとを
所定の符号化方式で符号化することにより符号化データを生成する
符号化方法。 - 復号化部が、第1時刻、第2時刻及び第3時刻における各時刻の被写***置に基づいて、前記第1時刻から前記第3時刻の少なくとも2つの時刻における各時刻の複数の視点画像に基づいて生成された各時刻の被写体の3Dモデル、及び、前記3Dモデルから変換された2D画像データ及び当該2D画像データに含まれる被写体の奥行を示すデプス画像データのうち、少なくとも一方と、前記視点画像を取得する撮像装置のカメラパラメータと、前記視点画像の背景画像と、前記各時刻における3Dモデルが3次元空間において干渉していないことを示すフラグとが含まれる符合化データを復号し、
変換部が、前記背景画像と前記カメラパラメータと前記フラグとに基づいて、各時刻における被写体が分離された画像を生成し、生成された画像に基づいて3Dモデルを生成する
復号化方法。
Priority Applications (8)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018036225A JP7119425B2 (ja) | 2018-03-01 | 2018-03-01 | 画像処理装置、符号化装置、復号化装置、画像処理方法、プログラム、符号化方法及び復号化方法 |
CN201880090216.8A CN111788601A (zh) | 2018-03-01 | 2018-07-23 | 图像处理设备、编码装置、解码装置、图像处理方法、程序、编码方法和解码方法 |
EP18753472.2A EP3759683B1 (en) | 2018-03-01 | 2018-07-23 | Image processing device, encoding device, decoding device, image processing method, program, encoding method, and decoding method |
US16/970,506 US11508123B2 (en) | 2018-03-01 | 2018-07-23 | Image processing device, encoding device, decoding device, image processing method, program, encoding method, and decoding method for processing multiple video camera image streams to generate stroboscopic images |
KR1020207023991A KR20200116947A (ko) | 2018-03-01 | 2018-07-23 | 화상 처리 디바이스, 인코딩 디바이스, 디코딩 디바이스, 화상 처리 방법, 프로그램, 인코딩 방법, 및 디코딩 방법 |
BR112020017315-0A BR112020017315A2 (pt) | 2018-03-01 | 2018-07-23 | Aparelhos, método e dispositivo para processamento de imagem. |
PCT/JP2018/027530 WO2019167300A1 (en) | 2018-03-01 | 2018-07-23 | Image processing device, encoding device, decoding device, image processing method, program, encoding method, and decoding method |
TW108105536A TWI702568B (zh) | 2018-03-01 | 2019-02-20 | 影像處理裝置、編碼裝置、解碼裝置、影像處理方法、程式、編碼方法及解碼方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018036225A JP7119425B2 (ja) | 2018-03-01 | 2018-03-01 | 画像処理装置、符号化装置、復号化装置、画像処理方法、プログラム、符号化方法及び復号化方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019153863A JP2019153863A (ja) | 2019-09-12 |
JP7119425B2 true JP7119425B2 (ja) | 2022-08-17 |
Family
ID=63174359
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018036225A Active JP7119425B2 (ja) | 2018-03-01 | 2018-03-01 | 画像処理装置、符号化装置、復号化装置、画像処理方法、プログラム、符号化方法及び復号化方法 |
Country Status (8)
Country | Link |
---|---|
US (1) | US11508123B2 (ja) |
EP (1) | EP3759683B1 (ja) |
JP (1) | JP7119425B2 (ja) |
KR (1) | KR20200116947A (ja) |
CN (1) | CN111788601A (ja) |
BR (1) | BR112020017315A2 (ja) |
TW (1) | TWI702568B (ja) |
WO (1) | WO2019167300A1 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019244944A1 (ja) * | 2018-06-19 | 2019-12-26 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 三次元再構成方法および三次元再構成装置 |
CN110012310B (zh) * | 2019-03-28 | 2020-09-25 | 北京大学深圳研究生院 | 一种基于自由视点的编解码方法及装置 |
JP7459870B2 (ja) | 2019-04-18 | 2024-04-02 | ソニーグループ株式会社 | 画像処理装置、画像処理方法、及び、プログラム |
WO2020242047A1 (en) * | 2019-05-30 | 2020-12-03 | Samsung Electronics Co., Ltd. | Method and apparatus for acquiring virtual object data in augmented reality |
WO2021006047A1 (ja) * | 2019-07-08 | 2021-01-14 | ソニー株式会社 | 表示制御装置、表示制御方法、及び、プログラム |
CN114430800B (zh) * | 2019-10-02 | 2024-04-02 | 富士通株式会社 | 生成方法、记录介质和信息处理装置 |
WO2022075078A1 (ja) * | 2020-10-06 | 2022-04-14 | ソニーグループ株式会社 | 画像処理装置および方法 |
US20240203020A1 (en) * | 2021-04-16 | 2024-06-20 | Hover Inc. | Systems and methods for generating or rendering a three-dimensional representation |
WO2023282619A1 (ko) * | 2021-07-06 | 2023-01-12 | 주식회사 메디트 | 3차원 모델 상에 텍스트를 추가하는 방법 및 3차원 모델 처리 장치 |
KR102680644B1 (ko) * | 2021-07-06 | 2024-07-03 | 주식회사 메디트 | 3차원 모델 상에 텍스트를 추가하는 방법 및 3차원 모델 처리 장치 |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004056359A (ja) | 2002-07-18 | 2004-02-19 | Fuji Photo Film Co Ltd | 画像合成装置及び画像合成プログラム |
JP2005517253A (ja) | 2001-11-02 | 2005-06-09 | サーノフ・コーポレーション | 潜入型見張りを提供する方法及び装置 |
JP2007259477A (ja) | 2002-09-30 | 2007-10-04 | Toshiba Corp | 画像合成方法、画像合成装置、画像合成プログラム |
JP2008187678A (ja) | 2007-01-31 | 2008-08-14 | Nippon Hoso Kyokai <Nhk> | 映像生成装置及び映像生成プログラム |
JP2008217593A (ja) | 2007-03-06 | 2008-09-18 | Nippon Hoso Kyokai <Nhk> | 被写体領域抽出装置及び被写体領域抽出プログラム |
JP2009075880A (ja) | 2007-09-20 | 2009-04-09 | Nippon Hoso Kyokai <Nhk> | 仮想顔モデル変形装置及び仮想顔モデル変形プログラム |
JP2010157825A (ja) | 2008-12-26 | 2010-07-15 | Victor Co Of Japan Ltd | 画像符号化装置、画像符号化方法およびそのプログラム |
JP2010200360A (ja) | 2010-04-26 | 2010-09-09 | Casio Computer Co Ltd | 撮像装置、ストロボ画像生成方法、および、プログラム |
JP2011176557A (ja) | 2010-02-24 | 2011-09-08 | Casio Computer Co Ltd | 画像処理装置及び方法、並びにプログラム |
JP2011234113A (ja) | 2010-04-27 | 2011-11-17 | Sony Corp | 送信装置、送信方法、受信装置および受信方法 |
US20120002112A1 (en) | 2010-07-02 | 2012-01-05 | Sony Corporation | Tail the motion method of generating simulated strobe motion videos and pictures using image cloning |
JP2015045920A (ja) | 2013-08-27 | 2015-03-12 | 日本電信電話株式会社 | 仮想視点映像生成装置、仮想視点映像生成方法、及び仮想視点映像生成プログラム |
JP2016535552A (ja) | 2014-08-29 | 2016-11-10 | シャオミ・インコーポレイテッド | 写真を取得するための方法及び装置 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6665342B1 (en) * | 1999-07-02 | 2003-12-16 | International Business Machines Corporation | System and method for producing a still image representation of a motion video |
ATE481695T1 (de) * | 2000-04-07 | 2010-10-15 | Dartfish Sa | Automatisiertes stroboskop-verfahren für videosequenzen |
JP2004164563A (ja) * | 2002-09-26 | 2004-06-10 | Toshiba Corp | 画像解析方法、画像解析装置、画像解析プログラム |
EP1862969A1 (en) * | 2006-06-02 | 2007-12-05 | Eidgenössische Technische Hochschule Zürich | Method and system for generating a representation of a dynamically changing 3D scene |
JP4415198B2 (ja) | 2007-08-30 | 2010-02-17 | カシオ計算機株式会社 | 画像合成装置及びプログラム |
JP4735693B2 (ja) | 2008-09-22 | 2011-07-27 | ソニー株式会社 | 画像処理装置、撮像装置、画像処理方法およびプログラム |
JP4947389B2 (ja) * | 2009-04-03 | 2012-06-06 | ソニー株式会社 | 画像信号復号装置、画像信号復号方法、および画像信号符号化方法 |
US9210468B2 (en) * | 2011-03-22 | 2015-12-08 | Sony Corporation | System and method for effectively implementing a stroboscopic visual effect |
US8736704B2 (en) * | 2011-03-25 | 2014-05-27 | Apple Inc. | Digital camera for capturing an image sequence |
JP5978580B2 (ja) * | 2011-09-26 | 2016-08-24 | 日本電気株式会社 | 電子機器、その制御方法及びプログラム |
US8719687B2 (en) | 2011-12-23 | 2014-05-06 | Hong Kong Applied Science And Technology Research | Method for summarizing video and displaying the summary in three-dimensional scenes |
US9001737B2 (en) | 2012-03-29 | 2015-04-07 | Qualcomm Incorporated | EMBMS service activation and maintenance procedure in multi-frequency networks |
TWI466062B (zh) | 2012-10-04 | 2014-12-21 | Ind Tech Res Inst | 重建三維模型的方法與三維模型重建裝置 |
TWI508027B (zh) | 2013-08-08 | 2015-11-11 | Huper Lab Co Ltd | 三維偵測裝置及其偵測影像之方法 |
KR101538947B1 (ko) | 2014-03-03 | 2015-07-29 | 서울과학기술대학교 산학협력단 | 실감형 자유시점 영상 제공 장치 및 방법 |
CN106104418B (zh) * | 2014-03-20 | 2019-12-20 | 索尼公司 | 生成针对视频数据的轨迹数据的方法以及用户设备 |
WO2017082076A1 (ja) | 2015-11-11 | 2017-05-18 | ソニー株式会社 | 符号化装置および符号化方法、復号装置および復号方法 |
-
2018
- 2018-03-01 JP JP2018036225A patent/JP7119425B2/ja active Active
- 2018-07-23 CN CN201880090216.8A patent/CN111788601A/zh active Pending
- 2018-07-23 WO PCT/JP2018/027530 patent/WO2019167300A1/en active Application Filing
- 2018-07-23 EP EP18753472.2A patent/EP3759683B1/en active Active
- 2018-07-23 US US16/970,506 patent/US11508123B2/en active Active
- 2018-07-23 BR BR112020017315-0A patent/BR112020017315A2/pt unknown
- 2018-07-23 KR KR1020207023991A patent/KR20200116947A/ko not_active Application Discontinuation
-
2019
- 2019-02-20 TW TW108105536A patent/TWI702568B/zh not_active IP Right Cessation
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005517253A (ja) | 2001-11-02 | 2005-06-09 | サーノフ・コーポレーション | 潜入型見張りを提供する方法及び装置 |
JP2004056359A (ja) | 2002-07-18 | 2004-02-19 | Fuji Photo Film Co Ltd | 画像合成装置及び画像合成プログラム |
JP2007259477A (ja) | 2002-09-30 | 2007-10-04 | Toshiba Corp | 画像合成方法、画像合成装置、画像合成プログラム |
JP2008187678A (ja) | 2007-01-31 | 2008-08-14 | Nippon Hoso Kyokai <Nhk> | 映像生成装置及び映像生成プログラム |
JP2008217593A (ja) | 2007-03-06 | 2008-09-18 | Nippon Hoso Kyokai <Nhk> | 被写体領域抽出装置及び被写体領域抽出プログラム |
JP2009075880A (ja) | 2007-09-20 | 2009-04-09 | Nippon Hoso Kyokai <Nhk> | 仮想顔モデル変形装置及び仮想顔モデル変形プログラム |
JP2010157825A (ja) | 2008-12-26 | 2010-07-15 | Victor Co Of Japan Ltd | 画像符号化装置、画像符号化方法およびそのプログラム |
JP2011176557A (ja) | 2010-02-24 | 2011-09-08 | Casio Computer Co Ltd | 画像処理装置及び方法、並びにプログラム |
JP2010200360A (ja) | 2010-04-26 | 2010-09-09 | Casio Computer Co Ltd | 撮像装置、ストロボ画像生成方法、および、プログラム |
JP2011234113A (ja) | 2010-04-27 | 2011-11-17 | Sony Corp | 送信装置、送信方法、受信装置および受信方法 |
US20120002112A1 (en) | 2010-07-02 | 2012-01-05 | Sony Corporation | Tail the motion method of generating simulated strobe motion videos and pictures using image cloning |
JP2015045920A (ja) | 2013-08-27 | 2015-03-12 | 日本電信電話株式会社 | 仮想視点映像生成装置、仮想視点映像生成方法、及び仮想視点映像生成プログラム |
JP2016535552A (ja) | 2014-08-29 | 2016-11-10 | シャオミ・インコーポレイテッド | 写真を取得するための方法及び装置 |
Also Published As
Publication number | Publication date |
---|---|
BR112020017315A2 (pt) | 2020-12-15 |
WO2019167300A1 (en) | 2019-09-06 |
TWI702568B (zh) | 2020-08-21 |
CN111788601A (zh) | 2020-10-16 |
KR20200116947A (ko) | 2020-10-13 |
EP3759683A1 (en) | 2021-01-06 |
JP2019153863A (ja) | 2019-09-12 |
EP3759683B1 (en) | 2024-02-14 |
US11508123B2 (en) | 2022-11-22 |
US20200410754A1 (en) | 2020-12-31 |
TW201946027A (zh) | 2019-12-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7119425B2 (ja) | 画像処理装置、符号化装置、復号化装置、画像処理方法、プログラム、符号化方法及び復号化方法 | |
US11010958B2 (en) | Method and system for generating an image of a subject in a scene | |
US20180176545A1 (en) | Virtual reality display | |
JP6340017B2 (ja) | 被写体と3次元仮想空間をリアルタイムに合成する撮影システム | |
CN102938844B (zh) | 利用立体成像生成自由视点视频 | |
JP4804256B2 (ja) | 情報処理方法 | |
CN108885342A (zh) | 用于低延迟渲染的宽基线立体 | |
CN105611267B (zh) | 现实世界和虚拟世界图像基于深度和色度信息的合并 | |
US11710273B2 (en) | Image processing | |
JP6775669B2 (ja) | 情報処理装置 | |
JP2023033975A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
Louis et al. | Rendering stereoscopic augmented reality scenes with occlusions using depth from stereo and texture mapping | |
WO2018173206A1 (ja) | 情報処理装置 | |
KR20210090180A (ko) | 화상 처리 디바이스, 화상 처리 방법, 프로그램, 및 표시 디바이스 | |
RU2788994C2 (ru) | Прибор и способ захвата изображений | |
JP7044846B2 (ja) | 情報処理装置 | |
US20220174259A1 (en) | Image signal representing a scene | |
CN117716419A (zh) | 图像显示***及图像显示方法 | |
EP3267682A1 (en) | Multiview video encoding | |
de Sorbier et al. | Depth Camera to Generate On-line Content for Auto-Stereoscopic Displays |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210115 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220228 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220308 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220422 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220705 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220718 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7119425 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |