JP2018033123A - 従来型描画機器及び没入型描画機器用の没入型ビデオのフォーマット化の方法、装置及びストリーム - Google Patents
従来型描画機器及び没入型描画機器用の没入型ビデオのフォーマット化の方法、装置及びストリーム Download PDFInfo
- Publication number
- JP2018033123A JP2018033123A JP2017099485A JP2017099485A JP2018033123A JP 2018033123 A JP2018033123 A JP 2018033123A JP 2017099485 A JP2017099485 A JP 2017099485A JP 2017099485 A JP2017099485 A JP 2017099485A JP 2018033123 A JP2018033123 A JP 2018033123A
- Authority
- JP
- Japan
- Prior art keywords
- mapping
- immersive
- information
- video
- video frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000009877 rendering Methods 0.000 title claims abstract description 20
- 238000013507 mapping Methods 0.000 claims abstract description 174
- 230000001052 transient effect Effects 0.000 claims abstract description 7
- 238000004891 communication Methods 0.000 claims description 11
- 230000000153 supplemental effect Effects 0.000 claims description 8
- 230000006870 function Effects 0.000 description 45
- 230000015654 memory Effects 0.000 description 21
- 230000007704 transition Effects 0.000 description 20
- 238000012545 processing Methods 0.000 description 12
- 230000004048 modification Effects 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000000875 corresponding effect Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 229920001690 polydopamine Polymers 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000002596 correlated effect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000032258 transport Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/16—Spatio-temporal transformations, e.g. video cubism
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/08—Volume rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
- G06T17/205—Re-meshing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/18—Image warping, e.g. rearranging pixels individually
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/395—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability involving distributed video coding [DVC], e.g. Wyner-Ziv video coding or Slepian-Wolf video coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/2362—Generation or processing of Service Information [SI]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
- A63F2300/8082—Virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2004—Aligning objects, relative positioning of parts
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04H—BROADCAST COMMUNICATION
- H04H20/00—Arrangements for broadcast or for distribution combined with broadcast
- H04H20/86—Arrangements characterised by the broadcast information itself
- H04H20/95—Arrangements characterised by the broadcast information itself characterised by a specific format, e.g. an encoded audio stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- General Engineering & Computer Science (AREA)
- Geometry (AREA)
- Human Computer Interaction (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Computer Hardware Design (AREA)
- Acoustics & Sound (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Databases & Information Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
【解決手段】生成されたストリームは、矩形マッピングに従って符号化された第1の区域と、矩形マッピングから没入マッピングへの過渡的なマッピングに従って符号化された第2の区域と、没入型マッピングに従って符号化された第3の区域とを含むレイアウトに従って編成されたフレームから構成される没入型ビデオを表すデータを搬送する。このストリームは後方互換を実現するために、ビデオフレーム内における第1の区域のサイズ及び位置を表す第1の情報と、選択されたレイアウトのタイプ、第1の区域の視野、ビデオフレーム内における第2の区域のサイズ、及び基準方向を含む第2の情報とを含む。
【選択図】図10
Description
ビデオ・ストリームから元のビデオ・フレームを取得することと、
ビデオ・ストリームから第1の情報を取得することであって、第1の情報は、元のビデオ・フレームの第1の区域のサイズと位置とを表している、上記取得することと、
を含んでおり、
描画機器が従来型ビデオ描画機器である場合は、
元のビデオ・フレームの第1の区域によってビデオ・フレームを構成することを含み、
描画機器が没入型ビデオ描画機器である場合は、
ビデオ・ストリームから第2の情報を取得することであって、第2の情報は、レイアウトのタイプ、第1の部分の視野、第2の区域のサイズ、及び、基準方向を表している、上記取得することと、
第1及び第2の情報に従って、かつ、元のビデオ・フレームを用いて、マッピング済み表面を作成することと、
マッピング済み表面の一部分を捕捉する少なくとも1つの仮想カメラを用いてビデオ・フレームを構成することと、
を含んでいる。
ビデオ・ストリームから元のビデオ・フレームを取得する手段と、
ビデオ・ストリームから第1の情報を取得する手段であって、第1の情報は、元のビデオ・フレームの第1の区域のサイズと位置とを表している、上記手段と、
を備えており、
描画機器が従来型ビデオ描画機器である場合は、
元のビデオ・フレームの第1の区域によってビデオ・フレームを構成するように構成されたプロセッサを備えており、
描画機器が没入型ビデオ描画機器である場合は、
ビデオ・ストリームから第2の情報を取得する手段であって、第2の情報は、レイアウトのタイプ、第1の部分の視野、第2の区域のサイズ、及び、基準方向を表している、上記手段と、
第1及び第2の情報に従って、かつ、元のビデオ・フレームを用いて、マッピング済み表面を作成するように構成されたプロセッサと、
マッピング済み表面の一部分を捕捉する少なくとも1つの仮想カメラを用いてビデオ・フレームを構成するように構成されたプロセッサと、
を備えている。
矩形マッピングに従って没入型ビデオ・フレームの第1の部分を符号化することと、
矩形マッピングから没入型マッピングへの過渡的なマッピングに従って、没入型ビデオ・フレームの第2の部分を符号化することと、
没入型マッピングに従って没入型ビデオ・フレームの第3の部分を符号化することと、
第1の部分を第1の区域として、第2の部分を第2の区域として、及び、第3の部分を第3の区域として備えたレイアウトに従って、ビデオ・フレームを構成することと、
構成されたビデオ・フレームと、第1の区域のサイズと位置とに関する第1の情報と、少なくとも、レイアウトのタイプ、第1の部分の視野、第2の区域のサイズ、及び、基準方向を含む第2の情報と、を含むビデオ・ストリームを生成することと、
を含んでいる。
矩形マッピングに従って没入型ビデオ・フレームの第1の部分を符号化するように構成された符号化器と、
矩形マッピングから没入型マッピングへの過渡的なマッピングに従って、没入型ビデオ・フレームの第2の部分を符号化するように構成された符号化器と、
没入型マッピングに従って没入型ビデオ・フレームの第3の部分を符号化するように構成された符号化器と、
第1の部分を第1の区域として、第2の部分を第2の区域として、及び、第3の部分を第3の区域として備えたレイアウトに従って、ビデオ・フレームを構成するように構成されたプロセッサと、
構成されたビデオ・フレームと、第1の区域のサイズと位置とに関する第1の情報と、少なくとも、レイアウトのタイプ、第1の部分の視野、第2の区域のサイズ、及び、基準方向を含む第2の情報と、を含むビデオ・ストリームを生成するように構成されたビデオ・ストリーム生成器と、
を備えている。
矩形マッピングに従って符号化された第1の区域と、矩形マッピングから没入型マッピングへの過渡的なマッピングに従って符号化された第2の区域と、没入型マッピングに従って符号化された第3の区域と、を備えたレイアウトに従って編成されたビデオ・フレームと、
ビデオ・フレーム内における第1の区域のサイズ及び位置を表す第1の情報と、
少なくとも、レイアウトのタイプ、第1の部分の視野、ビデオ・フレーム内における第2の区域のサイズ、及び、基準方向を含む第2の情報と、
を含んでいる。
f:(i,j)→(θ,φ)
φ=(i−h/2)/h*2π
θ=(j−w/2)/w*π
(式4a)
デルタ:(θ,φ)→(X,Y,Z)
X=sin(φ)cos(θ)
Y=sin(φ)sin(θ)
Z=cos(φ)
・例えばデジタル信号プロセッサ(Digital Signal Processor:DSP)であるマイクロプロセッサ(即ち、CPU)92と、
・読み出し専用メモリ(リード・オンリー・メモリ:ROM)タイプの不揮発性メモリ93と、
・ランダム・アクセス・メモリ、即ち、RAM94と、
・送信すべきデータをアプリケーションから受信するI/O(入出力)インタフェース95と、
・ランダム・アクセス・メモリのレジスタを組み込み得るグラフィックス・カード96と、
・電源97と、
が備えられている。
・例えばビデオ・メモリ、RAM(即ち、ランダム・アクセス・メモリ)、フラッシュ・メモリ、ROM(即ち、リード・オンリー・メモリ)、或いは、ハード・ディスクのようなローカル・メモリ(93,94又は96)と、
・例えば、大容量記憶装置、RAM、フラッシュ・メモリ、ROM、光ディスク、或いは、マグネティック・サポート(magnetic support)とのインタフェースのような記憶装置用インタフェース(95)と、
・例えば有線インタフェース(例えば、バス・インタフェース、ワイド・エリア・ネットワーク・インタフェース又はローカル・エリア・ネットワーク・インタフェース)、或いは、無線インタフェース(例えば、IEEE802.11インタフェース又はBluetooth(登録商標)インタフェース)のような通信インタフェース(95)と、
を含む集合に属する。
・モバイル機器、
・通信機器、
・ゲーム機器、
・タブレット(即ち、タブレット型コンピュータ)、
・ラップトップ、
・符号化チップ、
・静止画像サーバ、及び、
・ビデオ・サーバ(例えば、ブロードキャスト・サーバ、ビデオオンデマンド・サーバ又はウェブサーバ)
を含む集合に属する。
・モバイル機器、
・通信機器、
・ゲーム機器、
・セットトップ・ボックス、
・TV受像機、
・タブレット(即ち、タブレット型コンピュータ)、
・ラップトップ、
・ディスプレイ、及び、
・復号チップ
を含む集合に属する送信先に送られる。
Claims (16)
- ビデオ・ストリームから描画機器用のビデオ・フレームを構成する方法(110)において、前記方法は、
前記ビデオ・ストリームから第1の情報を取得すること(113)であって、前記第1の情報は、前記ビデオ・ストリームから得られる元のビデオ・フレームの第1の区域のサイズと位置とを表している、該取得することを含んでおり、
前記描画機器が没入型ビデオ描画機器である場合は、
前記ビデオ・ストリームから第2の情報を取得すること(115)であって、前記第2の情報は、レイアウトのタイプ、前記第1の部分の視野、第2の区域のサイズ、及び、基準方向を表している、該取得することと、
前記第1及び第2の情報に従って、かつ、前記元のビデオ・フレームを用いて、マッピング済み表面を作成すること(116)と、
前記マッピング済み表面の一部分によって前記ビデオ・フレームを構成すること(117)と、を含み、
その他の場合は、
前記元のビデオ・フレームの前記第1の区域によって前記ビデオ・フレームを構成すること(114)を含む、
ことを特徴とする、前記方法。 - 前記レイアウトは、エクイレクタングラー・マッピング、キューブ・マッピング及びピラミッド・マッピングを含む没入型マッピングの集合に属する1つの没入型マッピングに基づいている、請求項1に記載の方法。
- 前記第1の情報はConformance Windowのパラメータによって搬送され、前記第2の情報はSupplemental Enhancement Information(SEI)によって搬送される、請求項1又は2に記載の方法。
- ビデオ・ストリームから描画機器用のビデオ・フレームを構成するように構成された装置(90)において、前記装置は、
前記ビデオ・ストリームから第1の情報を取得する手段であって、前記第1の情報は、前記ビデオ・ストリームから得られる元のビデオ・フレームの第1の区域のサイズと位置とを表している、該手段を備えており、
前記描画機器が没入型ビデオ描画機器である場合は、
前記ビデオ・ストリームから第2の情報を取得する手段であって、前記第2の情報は、レイアウトのタイプ、前記第1の部分の視野、第2の区域のサイズ、及び、基準方向を表している、該手段と、
前記第1及び第2の情報に従って、かつ、前記元のビデオ・フレームを用いて、マッピング済み表面を作成するように構成されたプロセッサと、
前記マッピング済み表面の一部分によって前記ビデオ・フレームを構成するように構成されたプロセッサと、を備え、
その他の場合は、
前記元のビデオ・フレームの前記第1の区域によって前記ビデオ・フレームを構成するように構成されたプロセッサを備えている、
ことを特徴とする、前記装置。 - 前記レイアウトは、エクイレクタングラー・マッピング、キューブ・マッピング及びピラミッド・マッピングを含む没入型マッピングの集合に属する1つの没入型マッピングに基づいている、請求項4に記載の装置。
- 前記第1の情報はConformance Windowのパラメータによって搬送され、前記第2の情報はSupplemental Enhancement Information(SEI)によって搬送される、請求項4又は5に記載の装置。
- 前記装置が、モバイル機器、通信機器、ゲーム機器、タブレット型コンピュータ、ラップトップ、符号化チップ、静止画像サーバ、ビデオ・サーバ、ブロードキャスト・サーバ、ビデオオンデマンド・サーバ、及び、ウェブサーバを含む装置の集合に属する、請求項4から6のいずれか1項に記載の装置。
- 没入型ビデオからビデオ・ストリームを生成する方法(100)において、前記方法は、
矩形マッピングに従って没入型ビデオ・フレームの第1の部分を符号化すること(104)と、
前記矩形マッピングから没入型マッピングへの過渡的なマッピングに従って、前記没入型ビデオ・フレームの第2の部分を符号化すること(105)と、
前記没入型マッピングに従って前記没入型ビデオ・フレームの第3の部分を符号化すること(106)と、
前記第1の部分を第1の区域として、前記第2の部分を第2の区域として、及び、前記第3の部分を第3の区域として備えたレイアウトに従って、ビデオ・フレームを構成すること(103)と、
前記構成されたビデオ・フレームと、前記第1の区域のサイズと位置とに関する第1の情報と、少なくとも、前記レイアウトのタイプ、前記第1の部分の視野、前記第2の区域のサイズ、及び、基準方向を含む第2の情報と、を含む前記ビデオ・ストリームを生成すること(107)と、
を含んでいることを特徴とする、前記方法。 - 前記レイアウトは、エクイレクタングラー・マッピング、キューブ・マッピング及びピラミッド・マッピングを含む没入型マッピングの集合に属する1つの没入型マッピングに基づいている、請求項8に記載の方法。
- 前記第1の情報はConformance Windowのパラメータによって搬送され、前記第2の情報はSupplemental Enhancement Information(SEI)によって搬送される、請求項8又は9に記載の方法。
- 没入型ビデオからビデオ・ストリームを生成するように構成された装置(90)において、前記装置は、
矩形マッピングに従って没入型ビデオ・フレームの第1の部分を符号化するように構成された符号化器と、
前記矩形マッピングから没入型マッピングへの過渡的なマッピングに従って、前記没入型ビデオ・フレームの第2の部分を符号化するように構成された符号化器と、
前記没入型マッピングに従って前記没入型ビデオ・フレームの第3の部分を符号化するように構成された符号化器と、
前記第1の部分を第1の区域として、前記第2の部分を第2の区域として、及び、前記第3の部分を第3の区域として備えたレイアウトに従って、ビデオ・フレームを構成するように構成されたプロセッサと、
前記構成されたビデオ・フレームと、前記第1の区域のサイズと位置とに関する第1の情報と、少なくとも、前記レイアウトのタイプ、前記第1の部分の視野、前記第2の区域のサイズ、及び、基準方向を含む第2の情報と、を含む前記ビデオ・ストリームを生成するように構成されたビデオ・ストリーム生成器と、
を備えていることを特徴とする、前記装置。 - 前記レイアウトは、エクイレクタングラー・マッピング、キューブ・マッピング及びピラミッド・マッピングを含む没入型マッピングの集合に属する1つの没入型マッピングに基づいている、請求項11に記載の装置。
- 前記第1の情報はConformance Windowのパラメータによって搬送され、前記第2の情報はSupplemental Enhancement Information(SEI)によって搬送される、請求項11又は12に記載の装置。
- 没入型ビデオを表すデータを搬送するストリーム(70)であって、前記データは、
矩形マッピングに従って符号化された第1の区域と、前記矩形マッピングから没入型マッピングへの過渡的なマッピングに従って符号化された第2の区域と、前記没入型マッピングに従って符号化された第3の区域とを含むレイアウトに従って編成されたビデオ・フレームと、
前記ビデオ・フレーム内における前記第1の区域のサイズ及び位置を表す第1の情報と、
少なくとも、前記レイアウトのタイプ、第1の部分の視野、前記ビデオ・フレーム内における前記第2の区域のサイズ、及び、基準方向を含む第2の情報と、
を含んでいることを特徴とする、前記ストリーム。 - 前記レイアウトは、エクイレクタングラー・マッピング、キューブ・マッピング及びピラミッド・マッピングを含む没入型マッピングの集合に属する1つの没入型マッピングに基づいている、請求項14に記載のストリーム。
- 前記第1の情報はConformance Windowのパラメータによって搬送され、前記第2の情報はSupplemental Enhancement Information(SEI)によって搬送される、請求項14又は15に記載のストリーム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP16305592.4A EP3249928A1 (en) | 2016-05-23 | 2016-05-23 | Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices |
EP16305592.4 | 2016-05-23 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2018033123A true JP2018033123A (ja) | 2018-03-01 |
JP2018033123A5 JP2018033123A5 (ja) | 2020-07-02 |
JP7017866B2 JP7017866B2 (ja) | 2022-02-09 |
Family
ID=56101403
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017099485A Active JP7017866B2 (ja) | 2016-05-23 | 2017-05-19 | 従来型描画機器及び没入型描画機器用の没入型ビデオのフォーマット化の方法、装置及びストリーム |
Country Status (9)
Country | Link |
---|---|
US (1) | US10523980B2 (ja) |
EP (2) | EP3249928A1 (ja) |
JP (1) | JP7017866B2 (ja) |
KR (1) | KR102307819B1 (ja) |
CN (1) | CN107454468B (ja) |
BR (1) | BR102017010791A2 (ja) |
CA (1) | CA2967418A1 (ja) |
MX (1) | MX2017006677A (ja) |
RU (1) | RU2742344C2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022518169A (ja) * | 2019-01-09 | 2022-03-14 | ホアウェイ・テクノロジーズ・カンパニー・リミテッド | ビデオエンコーダ、ビデオデコーダ、および対応する方法 |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018025660A1 (ja) * | 2016-08-05 | 2018-02-08 | ソニー株式会社 | 画像処理装置および画像処理方法 |
US10818087B2 (en) | 2017-10-02 | 2020-10-27 | At&T Intellectual Property I, L.P. | Selective streaming of immersive video based on field-of-view prediction |
US11272209B2 (en) | 2018-04-03 | 2022-03-08 | Samsung Electronics Co., Ltd. | Methods and apparatus for determining adjustment parameter during encoding of spherical multimedia content |
CN110516681A (zh) * | 2018-05-21 | 2019-11-29 | 孙民 | 影像特征提取方法及其显著物体预测方法 |
EP3595319A1 (en) * | 2018-07-12 | 2020-01-15 | InterDigital VC Holdings, Inc. | Methods and apparatus for volumetric video transport |
CN110944109B (zh) * | 2018-09-21 | 2022-01-14 | 华为技术有限公司 | 一种拍照方法、装置与设备 |
US11132837B2 (en) | 2018-11-06 | 2021-09-28 | Lucasfilm Entertainment Company Ltd. LLC | Immersive content production system with multiple targets |
CN111198734B (zh) * | 2018-11-20 | 2024-03-15 | 西安诺瓦星云科技股份有限公司 | 窗口设置方法和装置、电子设备和非易失性存储介质 |
EP3761647A1 (en) | 2019-07-05 | 2021-01-06 | Tiledmedia B.V. | Methods and devices for rendering a video on a display |
MX2022000333A (es) * | 2019-07-08 | 2022-03-17 | Huawei Tech Co Ltd | Manejo de múltiples tamaños de imagen y ventanas de conformidad para el remuestreo de imágenes de referencia en la codificación de video. |
US20220329886A1 (en) * | 2019-08-19 | 2022-10-13 | Telefonaktiebolaget Lm Ericsson (Publ) | Methods and devices for handling media data streams |
CN110910485B (zh) * | 2019-12-16 | 2023-07-25 | 山东东艺数字科技有限公司 | 一种沉浸式cave影像制作方法 |
US11991376B2 (en) * | 2020-04-09 | 2024-05-21 | Intel Corporation | Switchable scalable and multiple description immersive video codec |
CN111729283B (zh) * | 2020-06-19 | 2021-07-06 | 杭州赛鲁班网络科技有限公司 | 一种基于混合现实技术的训练***及其方法 |
US11887251B2 (en) | 2021-04-23 | 2024-01-30 | Lucasfilm Entertainment Company Ltd. | System and techniques for patch color correction for an immersive content production system |
US11978154B2 (en) | 2021-04-23 | 2024-05-07 | Lucasfilm Entertainment Company Ltd. | System and techniques for lighting adjustment for an immersive content production system |
WO2023070387A1 (zh) * | 2021-10-27 | 2023-05-04 | 深圳市大疆创新科技有限公司 | 一种图像处理方法、装置、拍摄设备及可移动平台 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004187298A (ja) * | 2002-12-03 | 2004-07-02 | Docomo Communications Laboratories Usa Inc | パノラマ画像および全方位画像の描画および符号化 |
US20100299630A1 (en) * | 2009-05-22 | 2010-11-25 | Immersive Media Company | Hybrid media viewing application including a region of interest within a wide field of view |
JP2013057993A (ja) * | 2011-09-07 | 2013-03-28 | Ricoh Co Ltd | 画像処理装置、画像処理方法、プログラムおよび画像処理システム |
JP2013526145A (ja) * | 2010-04-12 | 2013-06-20 | シズベル テクノロジー エス.アール.エル. | 立体視に対応したビデオストリームを生成、再構築する方法、および関連する符号化および復号化デバイス |
WO2014197337A1 (en) * | 2013-06-08 | 2014-12-11 | Sony Computer Entertainment Inc. | Systems and methods for transitioning between transparent mode and non-transparent mode in a head mounted display |
Family Cites Families (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6249616B1 (en) * | 1997-05-30 | 2001-06-19 | Enroute, Inc | Combining digital images based on three-dimensional relationships between source image data sets |
JP2003536160A (ja) | 2000-06-09 | 2003-12-02 | インタラクティブ イメイジング システムズ、 インコーポレイテッド | 画像およびビデオをマッピングして操作可能で仮想現実感のあるビデオおよび画像をつくる方法と装置 |
JP2005347813A (ja) * | 2004-05-31 | 2005-12-15 | Olympus Corp | 画像変換方法および画像変換装置、並びにマルチプロジェクションシステム |
JP2010530086A (ja) * | 2006-12-19 | 2010-09-02 | 創太 清水 | イメージングモデル及び画像処理装置 |
US8730130B1 (en) * | 2008-12-04 | 2014-05-20 | RPA Electronic Solutions, Inc. | System and method for automatically aligning immersive displays |
JP2010192971A (ja) | 2009-02-16 | 2010-09-02 | Nippon Telegr & Teleph Corp <Ntt> | 選択領域符号化映像データ配信方法、符号化映像データ復号方法、配信サーバ、再生端末、プログラムおよび記録媒体 |
US9167289B2 (en) | 2010-09-02 | 2015-10-20 | Verizon Patent And Licensing Inc. | Perspective display systems and methods |
US8908103B2 (en) * | 2010-10-01 | 2014-12-09 | Sony Corporation | Content supplying apparatus, content supplying method, content reproduction apparatus, content reproduction method, program and content viewing system |
US9397338B2 (en) * | 2010-12-22 | 2016-07-19 | Enevate Corporation | Electrodes, electrochemical cells, and methods of forming electrodes and electrochemical cells |
EP2645713A1 (en) | 2012-03-30 | 2013-10-02 | Alcatel Lucent | Method and apparatus for encoding a selected spatial portion of a video stream |
EP2870751A4 (en) | 2012-07-04 | 2016-03-09 | Intel Corp | PANORAMIC 3D VIDEO CODING |
CN102945563B (zh) * | 2012-09-26 | 2017-05-24 | 天津游奕科技有限公司 | 一种全景视频的展示与交互***及方法 |
EP2713593B1 (en) * | 2012-09-28 | 2015-08-19 | Alcatel Lucent, S.A. | Immersive videoconference method and system |
FR3004881B1 (fr) * | 2013-04-19 | 2015-04-17 | Kolor | Procede de generation d'un flux video de sortie a partir d'un flux video large champ |
JP6150011B2 (ja) * | 2013-07-15 | 2017-06-21 | ソニー株式会社 | インタラクティビティのための動き制約タイルセットseiメッセージの拡張 |
CN103777455B (zh) * | 2014-02-25 | 2016-08-17 | 浙江大学 | 基于光场拼接的球形沉浸式三维显示方法及*** |
US10764655B2 (en) * | 2014-04-03 | 2020-09-01 | Nbcuniversal Media, Llc | Main and immersive video coordination system and method |
US9641851B2 (en) * | 2014-04-18 | 2017-05-02 | Qualcomm Incorporated | Conformance window information in multi-layer coding |
WO2015197818A1 (en) * | 2014-06-27 | 2015-12-30 | Koninklijke Kpn N.V. | Hevc-tiled video streaming |
US10204658B2 (en) * | 2014-07-14 | 2019-02-12 | Sony Interactive Entertainment Inc. | System and method for use in playing back panorama video content |
JP6501904B2 (ja) * | 2015-05-27 | 2019-04-17 | グーグル エルエルシー | 球面ビデオのストリーミング |
US10043237B2 (en) * | 2015-08-12 | 2018-08-07 | Gopro, Inc. | Equatorial stitching of hemispherical images in a spherical image capture system |
US10491711B2 (en) * | 2015-09-10 | 2019-11-26 | EEVO, Inc. | Adaptive streaming of virtual reality data |
JP6784767B2 (ja) * | 2016-02-09 | 2020-11-11 | フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ | 効率的削減または効率的ランダムアクセスを可能にする画像/ビデオデータストリームについての概念 |
US10334224B2 (en) * | 2016-02-19 | 2019-06-25 | Alcacruz Inc. | Systems and method for GPU based virtual reality video streaming server |
EP3223524A1 (en) * | 2016-03-22 | 2017-09-27 | Thomson Licensing | Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices |
-
2016
- 2016-05-23 EP EP16305592.4A patent/EP3249928A1/en not_active Withdrawn
-
2017
- 2017-05-05 RU RU2017115882A patent/RU2742344C2/ru active
- 2017-05-09 US US15/590,134 patent/US10523980B2/en active Active
- 2017-05-15 CA CA2967418A patent/CA2967418A1/en not_active Abandoned
- 2017-05-18 EP EP17171783.8A patent/EP3249930B1/en active Active
- 2017-05-19 JP JP2017099485A patent/JP7017866B2/ja active Active
- 2017-05-22 MX MX2017006677A patent/MX2017006677A/es active IP Right Grant
- 2017-05-22 KR KR1020170062900A patent/KR102307819B1/ko active IP Right Grant
- 2017-05-23 BR BR102017010791-4A patent/BR102017010791A2/pt not_active IP Right Cessation
- 2017-05-23 CN CN201710367388.2A patent/CN107454468B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004187298A (ja) * | 2002-12-03 | 2004-07-02 | Docomo Communications Laboratories Usa Inc | パノラマ画像および全方位画像の描画および符号化 |
US20100299630A1 (en) * | 2009-05-22 | 2010-11-25 | Immersive Media Company | Hybrid media viewing application including a region of interest within a wide field of view |
JP2013526145A (ja) * | 2010-04-12 | 2013-06-20 | シズベル テクノロジー エス.アール.エル. | 立体視に対応したビデオストリームを生成、再構築する方法、および関連する符号化および復号化デバイス |
JP2013057993A (ja) * | 2011-09-07 | 2013-03-28 | Ricoh Co Ltd | 画像処理装置、画像処理方法、プログラムおよび画像処理システム |
WO2014197337A1 (en) * | 2013-06-08 | 2014-12-11 | Sony Computer Entertainment Inc. | Systems and methods for transitioning between transparent mode and non-transparent mode in a head mounted display |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022518169A (ja) * | 2019-01-09 | 2022-03-14 | ホアウェイ・テクノロジーズ・カンパニー・リミテッド | ビデオエンコーダ、ビデオデコーダ、および対応する方法 |
US11949893B2 (en) | 2019-01-09 | 2024-04-02 | Huawei Technologies Co., Ltd. | Sub-picture level indicator signaling in video coding |
Also Published As
Publication number | Publication date |
---|---|
RU2017115882A3 (ja) | 2020-08-26 |
RU2742344C2 (ru) | 2021-02-04 |
EP3249928A1 (en) | 2017-11-29 |
CN107454468A (zh) | 2017-12-08 |
BR102017010791A2 (pt) | 2017-12-05 |
US20170339440A1 (en) | 2017-11-23 |
RU2017115882A (ru) | 2018-11-06 |
CN107454468B (zh) | 2021-09-14 |
JP7017866B2 (ja) | 2022-02-09 |
KR102307819B1 (ko) | 2021-10-05 |
US10523980B2 (en) | 2019-12-31 |
KR20170132098A (ko) | 2017-12-01 |
CA2967418A1 (en) | 2017-11-23 |
EP3249930A1 (en) | 2017-11-29 |
MX2017006677A (es) | 2018-08-28 |
EP3249930B1 (en) | 2020-09-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7017866B2 (ja) | 従来型描画機器及び没入型描画機器用の没入型ビデオのフォーマット化の方法、装置及びストリーム | |
US11700352B2 (en) | Rectilinear viewport extraction from a region of a wide field of view using messaging in video transmission | |
US20210014467A1 (en) | Suggested viewport indication for panoramic video | |
US11699211B2 (en) | Spherical rotation for encoding wide view video | |
JP2020515937A (ja) | 没入型ビデオフォーマットのための方法、装置、及びストリーム | |
US20190387212A1 (en) | 360 video processing method and apparatus therefor | |
TW202041020A (zh) | 用信號通知點雲多媒體資料軌道的空間關係的方法和裝置 | |
JP7177034B2 (ja) | レガシー及び没入型レンダリングデバイスのために没入型ビデオをフォーマットする方法、装置、及びストリーム | |
KR20200088485A (ko) | 카메라 렌즈 정보를 포함한 360도 비디오를 송수신하는 방법 및 그 장치 | |
JP2022541908A (ja) | ボリュメトリックビデオコンテンツを配信するための方法および装置 | |
CN114503554A (zh) | 用于传送体积视频内容的方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20180223 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20181220 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20181227 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20191106 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200514 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200514 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210528 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210608 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210907 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220114 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220128 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7017866 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |