WO2020261617A1 - 画像処理システム、画像処理用集積回路、および画像処理方法 - Google Patents
画像処理システム、画像処理用集積回路、および画像処理方法 Download PDFInfo
- Publication number
- WO2020261617A1 WO2020261617A1 PCT/JP2019/051271 JP2019051271W WO2020261617A1 WO 2020261617 A1 WO2020261617 A1 WO 2020261617A1 JP 2019051271 W JP2019051271 W JP 2019051271W WO 2020261617 A1 WO2020261617 A1 WO 2020261617A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- data
- image
- unit
- interface
- display
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
- G09G3/2092—Details of a display terminals using a flat panel, the details relating to the control arrangement of the display terminal and to the interfaces thereto
- G09G3/2096—Details of the interface to the display terminal specific for a flat panel
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/04—Generating or distributing clock signals or signals derived directly therefrom
- G06F1/14—Time supervision arrangements, e.g. real time clock
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/163—Wearable computers, e.g. on a belt
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
- G09G5/006—Details of the interface to the display terminal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/643—Communication protocols
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/66—Transforming electric information into light information
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/602—Providing cryptographic facilities or services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2310/00—Command of the display device
- G09G2310/02—Addressing, scanning or driving the display screen or processing steps related thereto
- G09G2310/0202—Addressing of scan or signal lines
- G09G2310/0221—Addressing of scan or signal lines with use of split matrices
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/02—Handling of images in compressed format, e.g. JPEG, MPEG
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/04—Changes in size, position or resolution of an image
- G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
- G09G2340/0428—Gradation resolution change
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2350/00—Solving problems of bandwidth in display systems
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2370/00—Aspects of data communication
- G09G2370/08—Details of image data interface between the display device controller and the data line driver circuit
Definitions
- This image processing method includes a step of compressing image data to be transmitted via the first interface and a step of relaying the transmission of image data from the first interface to a second interface having a different protocol. , The step of displaying the image data transmitted via the second interface, and the step of relaying the image data without decompressing the image data, and the step of displaying the image data of the image data being decompressed. It is characterized by displaying.
- the content processing device 200 specifies the position of the viewpoint and the direction of the line of sight based on the position and posture of the head of the user wearing the head-mounted display 100, and generates a display image of the corresponding visual field at a predetermined rate. To do.
- the head-mounted display 100 and the flat-plate display 302 receive the data of the display image and display it as an image of the content. To this extent, the purpose of displaying the image is not particularly limited.
- the interface 304 between the image processing integrated circuit 120 and the display panel 122 inside the head-mounted display 100 can connect a short distance with a large bit width, so that the bit rate can be suppressed. Further, since the interface 306 with the speaker 110 bears the audio data, the protocol of the interface 304 can be specialized for the image data. Further, in general, short-distance connection using a printed circuit board or a flexible cable enables transfer with a low power profile on the premise of low loss on the route.
- the image data is irreversibly compressed by the content processing device 200, which is the transmission source, to reduce the size of the data to be transmitted as much as possible, and the expansion of the data is displayed on the display panel 122.
- the content processing device 200 which is the transmission source
- the data is not decompressed or newly compressed.
- deterioration of image quality can be minimized even with lossy compression, and high-speed transmission by reducing the data size, low power consumption, and high-quality image display can be achieved at the same time.
- the CPU 222 controls the entire content processing device 200 by executing the operating system stored in the storage unit 234.
- the CPU 222 also executes various programs read from the removable recording medium, loaded into the main memory 226, or downloaded via the communication unit 232.
- the GPU 224 has a geometry engine function and a rendering processor function, performs drawing processing according to a drawing instruction from the CPU 222, and outputs the drawing process to the output unit 236.
- the main memory 226 is composed of RAM (Random Access Memory) and stores programs and data required for processing.
- the data generation unit 20 generates image and audio data to be presented to the user as content. For example, the data generation unit 20 advances the game according to a user operation on an input device (not shown), a movement of the user's head, or the like, and generates a corresponding display image or sound at a predetermined rate. Alternatively, the data generation unit 20 generates an image of a region to be displayed in the panoramic image at a predetermined rate in a field of view corresponding to the movement of the user's head. Therefore, the data generation unit 20 internally holds model data of an object to appear in the image, video data to be displayed, a frame buffer for temporarily storing the drawn image, and the like.
- the data forming unit 30 forms output data by sequentially connecting audio data and image data in a predetermined format.
- the image data is irreversibly compressed for each compression unit region by the compression unit 28 as described above. Therefore, the data forming unit 30 connects the compressed data for each compression unit region in the order of raster on the image plane, and further connects the compressed data in the order of frames to obtain stream data.
- audio data may be further connected so as to synchronize with the blanking period between frames.
- the clock control unit 56 adjusts the clock for synchronizing the generation / output of the content data in the content processing device 200 with the output of the content data in the head-mounted display 100. Specifically, the clock phase and frequency of the content processing device 200 are detected, and the clock frequency and clock phase inside the head-mounted display 100 are adjusted to suppress the difference between the two to a predetermined value or less.
- the image data output unit 44 outputs the compressed data of the image whose output order is appropriately optimized by the output order control unit 54 to the display unit 123 via the interface 304.
- the audio data output unit 46 outputs the audio data separated by the data separation unit 52 to the speaker 110 via the interface 306.
- the data analysis unit 58 When the data analysis unit 58 generates control information for the display panel 122 and the speaker 110, the image data output unit 44 and the audio data output unit 46 also transmit the information to the display unit 123 and the speaker 110. In order to transmit these control information, the data analysis unit 58 may be connected to the display unit 123 or the speaker 110 by a dedicated transmission line (not shown).
- FIG. 6 is a diagram for explaining changes in image data in the content processing device 200.
- the data generation unit 20 of the content processing device 200 draws an image for one frame in the internal frame buffer 70.
- FIG. 7 shows a structural example of data transmitted by the data input / output unit 26 of the content processing device 200 via the interface 300.
- the transmission data 76 has a stream structure in which the header information 78, the compressed data 80 of the image, and the horizontal synchronization signal 82 are connected line by line in the compression unit region.
- each rectangle constituting the compressed data 80 indicates one unit of compressed data.
- the display panel 122 has a structure that can be driven independently for each display unit area.
- the resolution of the image to be displayed increases, it becomes difficult to route high-speed signals operating at the same clock to both ends of the screen.
- the higher the resolution and frame rate the higher the speed of the panel drive circuit is required. Therefore, a display device capable of independently driving one screen for each divided region is becoming widespread (see, for example, Japanese Patent Application Laid-Open No. 5-80714). For example, by driving pixels in a plurality of display unit regions in parallel, the number of pixels that require scanning per unit time is reduced, so that the speed of the drive circuit can be suppressed.
- the data compressed and encoded by the source and transmitted can be separated without being decrypted and decompressed.
- the compression coding method performed by the compression coding units 132a and 132b may be the same as or different from the compression unit 28 of the content processing device 200.
- the compression coding units 132a and 132b may adopt an error detection and correction method such as FEC (Forward Error Correction).
- FEC Forward Error Correction
- the decoding / decompression units 134a and 134b decode and decompress the data received by the corresponding wireless transmission / reception units 142a and 142b, that is, the data input from the input B in the figure.
- the decoding / decompression units 134a and 134b may correspond to both the compression coding method performed by the compression unit 28 of the content processing device 200 and the compression coding method performed by the compression coding units 132a and 132b.
- the data input to the input A of the wireless conversion unit 130a is, for example, content data such as an image or sound generated by the content processing device 200.
- the data input to the input A of the wireless conversion unit 130b is, for example, an image taken by a camera included in the head-mounted display 100, audio data acquired by a microphone, or the result of image analysis performed inside the head-mounted display 100. is there.
- the data compressed and encoded by the compression unit 28 of the content processing device 200 by the “method a” is compressed and encoded by the compression coding unit 132a of the wireless conversion unit 130a by another method for wireless transfer (“method b). ”)
- method b For compression coding. That is, in this case, the transfer data is doubly compressed and encoded.
- the decoding / stretching unit 134b decodes / decompresses the data by the “method b”
- the decoding / stretching unit 60 of the head-mounted display 100 decodes / decompresses the data by the “method a”.
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Computer Hardware Design (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Controls And Circuits For Display Device (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
コンテンツ処理装置200はコンテンツの画像データを非可逆圧縮し、インターフェース300を介してヘッドマウントディスプレイ100に送信する。ヘッドマウントディスプレイ100の画像処理用集積回路120は、当該画像データを復号伸張することなく、インターフェース300とプロトコルの異なるインターフェース304を介して表示パネル122に送信する。表示パネル122は、インターフェース304を伝送した後で復号伸張された画像を表示する。
Description
この発明は、画像表示を含むコンテンツの処理を行う画像処理システム、画像処理用集積回路、および画像処理方法に関する。
近年の情報処理技術や画像表示技術の向上により、様々な形態で映像世界を体験することができるようになってきた。例えばヘッドマウントディスプレイにパノラマ映像を表示し、ユーザの視線に対応する画像を表示させることにより、映像世界への没入感を高めたり、ゲームなどのアプリケーションの操作性を向上させたりできる。また、ヘッドマウントディスプレイを装着したユーザが物理的に移動することで、映像として表示された空間内を仮想的に歩き回ることのできるウォークスルーシステムも開発されている。
上述のような画像体験の品質向上には、画像の高解像度化、高フレームレート化が求められるが、処理すべきデータサイズの増加と処理速度の高速化を両立させることは容易でない。例えば画像の生成や再生を行う装置と表示装置との間のビデオインターフェースに着目すると、ビット幅を拡大したりビットレートを引き上げたりすることにより、サイズの大きなデータを高速に伝送できるようになる一方、消費電力や電磁ノイズの増加が問題となる。また基板内の配線やケーブルの引き回しにも限界がある。
また一般に、画像の生成から表示に至るデータの伝送経路には、異なる転送プロトコルや電気的規格を有する複数のインターフェースが含まれ得る。例えば画像の生成装置をヘッドマウントディスプレイとは別に設けた場合、ユーザの可動範囲をカバーするのに十分な長さの通信経路を確保する必要があるため、ヘッドマウントディスプレイ内部でのデータ伝送路と比較しビット幅を抑え、結果的に高いビットレートでデータを伝送する必要が生じる。このように、インターフェースごとに求められる特性によって生じる拘束条件のもとで、消費電力や電磁ノイズなどへの影響を抑えつつ、高解像度の画像データを高いフレームレートで安定的に伝送することが求められている。
本発明はこうした課題に鑑みてなされたものであり、その目的は、プロトコルの異なる複数のインターフェースを含む伝送経路を用いて、高品質の画像データを安定して伝送できる技術を提供することにある。
上記課題を解決するために、本発明のある態様は画像処理システムに関する。この画像処理システムは、第1のインターフェースを介して送信すべき画像のデータを圧縮する圧縮部と、第1のインターフェースから、プロトコルの異なる第2のインターフェースへの画像のデータの伝送を中継する中継部と、第2のインターフェースを介して伝送された画像のデータを表示する表示部と、を備え、中継部は画像のデータを伸張することなく中継し、表示部は画像のデータを伸張して表示することを特徴とする。
本発明の別の態様は画像処理用集積回路に関する。この画像処理用集積回路は、第1のインターフェースを介して送信された、圧縮された画像のデータを取得する画像データ取得部と、画像のデータを、第1のインターフェースとプロトコルの異なる第2のインターフェースを介して表示パネルに伝送させる中継部と、を備え、中継部は、画像のデータを伸張することなく伝送させることを特徴とする。
本発明のさらに別の態様は画像処理方法に関する。この画像処理方法は、第1のインターフェースを介して送信すべき画像のデータを圧縮するステップと、第1のインターフェースから、プロトコルの異なる第2のインターフェースへの画像のデータの伝送を中継するステップと、第2のインターフェースを介して伝送された画像のデータを表示するステップと、を含み、中継するステップは、画像のデータを伸張することなく中継し、表示するステップは、画像のデータを伸張して表示することを特徴とする。
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。
本発明によれば、プロトコルの異なる複数のインターフェースを含む伝送経路を用いて、高品質の画像データを安定して伝送できる。
図1は、本実施の形態におけるコンテンツ処理システムの構成例を示す。このコンテンツ処理システム1は、コンテンツ処理装置200、ヘッドマウントディスプレイ100、平板型ディスプレイ302を含む。コンテンツ処理装置200とヘッドマウントディスプレイ100、平板型ディスプレイ302とは、無線通信またはUSB Type-Cなどの周辺機器を接続するインターフェース300、303によりそれぞれ接続される。
コンテンツ処理装置200は、さらにネットワークを介してサーバに接続されてもよい。その場合、サーバは、複数のユーザがネットワークを介して参加できるゲームなどのオンラインアプリケーションをコンテンツ処理装置200に提供してもよい。コンテンツ処理装置200は基本的に、コンテンツのプログラムを処理し、表示画像を生成してヘッドマウントディスプレイ100や平板型ディスプレイ302に送信する。
ある態様においてコンテンツ処理装置200は、ヘッドマウントディスプレイ100を装着したユーザの頭部の位置や姿勢に基づき視点の位置や視線の方向を特定し、それに対応する視野の表示画像を所定のレートで生成する。ヘッドマウントディスプレイ100や平板型ディスプレイ302は、当該表示画像のデータを受信し、コンテンツの画像として表示する。この限りにおいて画像を表示する目的は特に限定されない。
例えばコンテンツ処理装置200は、電子ゲームを進捗させつつゲームの舞台である仮想世界を表示画像として生成してもよいし、仮想世界か実世界かに関わらず観賞や情報提供のために静止画像または動画像を表示させてもよい。ただし本実施の形態におけるコンテンツ処理システムの構成は図示するものに限らない。例えばコンテンツ処理装置200はヘッドマウントディスプレイ100と平板型ディスプレイ302のどちらか一方に接続されていてもよいし、複数のヘッドマウントディスプレイ100や平板型ディスプレイ302に接続されていてもよい。
またコンテンツ処理装置200の機能を、インターネットなどのネットワークを介してヘッドマウントディスプレイ100や平板型ディスプレイ302と接続されるサーバに設けてもよい。あるいはコンテンツ処理装置200の機能を、ヘッドマウントディスプレイ100や平板型ディスプレイ302の内部に設けてもよい。これらの接続態様に応じて、インターフェース300、303のプロトコルが適宜変化し得ることは当業者には理解されるところである。
このように、本実施の形態におけるコンテンツ処理システムの構成は特に限定されず、異なるプロトコルの複数のインターフェースを介してデータを伝送する構成であれば適用できる。以下はその代表例として、コンテンツの画像を含むデータの送信元であるコンテンツ処理装置200と、画像の表示先であるヘッドマウントディスプレイ100を含むシステムを例に説明する。
図2は、本実施の形態のコンテンツ処理システムにおけるデータの経路を模式的に示している。ヘッドマウントディスプレイ100は、ユーザの眼前に画像を表示させる表示パネル122や、ユーザの耳に音響を到達させるスピーカー110のほか、CPUを含む様々な機能モジュールを搭載したシステムオンチップである画像処理用集積回路120を備える。なおヘッドマウントディスプレイ100はこのほか、ユーザの顔の向きに対応する視野で動画撮影する単眼あるいは多眼のカメラや、ユーザの頭部の動きを検出する各種モーションセンサーなどを備えてよいが、ここでは図示を省略している。
表示パネル122は、液晶ディスプレイや有機ELディスプレイなどの一般的な表示機構を有するパネルであり、画像処理用集積回路120から入力された画像信号を適宜処理し画像として出力する。スピーカー110はヘッドフォンやイヤホンなどの一般的な音響装置であり、画像処理用集積回路120から入力された音声信号を適宜処理して音響として出力する。なおスピーカー110には、ユーザが発した音声を信号に変換し画像処理用集積回路120に入力するマイクロフォンの機能を設けてもよい。
このような構成において、高解像度、高フレームレートの画像のデータをコンテンツ処理装置200からヘッドマウントディスプレイ100に送信し表示することを考える。このときコンテンツ処理装置200とヘッドマウントディスプレイ100の間のインターフェース300は、有線か無線かによらず、ユーザの可動範囲をカバーできる十分な長さに対応させる必要がある。例えばケーブルを介して伝送する場合、ビット幅が大きいとケーブルが太くなり取り回しに苦労する。
ユーザの可動性を妨げることなく長い距離でのデータ伝送を保証するには、インターフェース300においてはビット幅を抑え、結果としてビットレートを上げる必要がある。またインターフェース300においては、音声データなども同時に伝送可能なプロトコルが必要となる。さらに最低でも数メートルの距離を確保するため、伝送経路における損失を考慮した、比較的大きな電力プロファイルでの伝送が求められる。
一方、ヘッドマウントディスプレイ100の内部における、画像処理用集積回路120と表示パネル122の間のインターフェース304は、短い距離を大きいビット幅で接続できるため、ビットレートを抑えることができる。また音声データはスピーカー110との間のインターフェース306が担うことにより、インターフェース304のプロトコルを画像データに特化したものにできる。さらに一般には、プリント基板やフレキシブルケーブルを用いた短距離の接続により、経路での低損失を前提として低電力プロファイルでの転送が可能である。
このようなデータ伝送経路において、ビット幅の拡張やビットレートの引き上げのみによって、画像の高解像度化、高フレームレート化に対応させようとすると、消費電力や電磁ノイズの増加、ケーブルや配線の引き回しの難しさといった問題が顕在化しやすい。さらに上述のとおり、インターフェースによってビット幅やビットレートの許容値に差がある。そこでそれらの対策とともに、伝送すべきデータを圧縮してデータ量を削減することが考えられる。
ここで可逆圧縮方式を採用した場合、画質の劣化は避けられるが、一般には圧縮後のデータサイズは画像の内容に依存して変化するため、動画を構成する一連のフレームデータが常時同じ条件で安定して伝送される保証はない。例えば圧縮後のデータレートが、インターフェースが対応可能な範囲を超えていれば、フレーム欠けなどが起こり得る。非可逆圧縮方式を採用した場合、データサイズを所定値以下に抑えることができ伝送を安定化できる。ただし画質が劣化するため、各インターフェースを経由するたびに伸張し別途圧縮する処理を繰り返すと、画質の劣化がさらに進んでしまう。また圧縮や伸張の処理に要する時間がデータ遅延の原因になり得る。
そこで本実施の形態では、送信元であるコンテンツ処理装置200において画像データを非可逆圧縮することにより、伝送すべきデータのサイズをできるだけ削減するとともに、当該データの伸張を、表示パネル122において表示の直前のみに実施する。すなわち画像処理用集積回路120において異なるプロトコル間でデータを伝送させる際、当該データに対して伸張や新たな圧縮を行わない。これにより、非可逆圧縮としても画質の劣化を最小限にでき、データサイズの縮小による高速伝送、低消費電力と高品質の画像表示とを両立できる。
図3は、コンテンツ処理装置200の内部回路構成を示している。コンテンツ処理装置200は、CPU(Central Processing Unit)222、GPU(Graphics Processing Unit)224、メインメモリ226を含む。これらの各部は、バス230を介して相互に接続されている。バス230にはさらに入出力インターフェース228が接続されている。
入出力インターフェース228には、USBやPCIeなどの周辺機器インターフェースや、有線又は無線LANのネットワークインターフェースからなる通信部232、ハードディスクドライブや不揮発性メモリなどの記憶部234、ヘッドマウントディスプレイ100や平板型ディスプレイ302へのデータを出力する出力部236、ヘッドマウントディスプレイ100などからのデータを入力する入力部238、磁気ディスク、光ディスクまたは半導体メモリなどのリムーバブル記録媒体を駆動する記録媒体駆動部240が接続される。
CPU222は、記憶部234に記憶されているオペレーティングシステムを実行することによりコンテンツ処理装置200の全体を制御する。CPU222はまた、リムーバブル記録媒体から読み出されてメインメモリ226にロードされた、あるいは通信部232を介してダウンロードされた各種プログラムを実行する。GPU224は、ジオメトリエンジンの機能とレンダリングプロセッサの機能とを有し、CPU222からの描画命令に従って描画処理を行い、出力部236に出力する。メインメモリ226はRAM(Random Access Memory)により構成され、処理に必要なプログラムやデータを記憶する。
図4は、コンテンツ処理装置200の機能ブロックの構成を示している。同図および後述する図5に示す機能ブロックは、ハードウェア的にはCPU、GPU、マイクロコントローラ、ハードワイヤードブロック、各種メモリなどの構成で実現でき、ソフトウェア的には、記録媒体などからメモリにロードした、データ入力機能、データ保持機能、画像処理機能、通信機能などの諸機能を発揮するプログラムで実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
また同図および後述する図5には、本実施の形態の実現に用いる機能ブロックのみを示しているが、必要に応じてその他の機能ブロックを様々に設けることができることは当業者には理解されるところである。図示するコンテンツ処理装置200は、出力すべきコンテンツのデータを生成するデータ生成部20、コンテンツのデータを出力形式にするデータ変換部24、およびヘッドマウントディスプレイ100との間でデータの送受を行うデータ入出力部26を備える。
データ生成部20は、コンテンツとしてユーザに提示すべき画像や音声のデータを生成する。データ生成部20は例えば、図示しない入力装置に対するユーザ操作や、ユーザの頭部の動きなどに応じてゲームを進捗させ、対応する表示画像や音声を所定のレートで生成する。あるいはデータ生成部20は、ユーザの頭部の動きに応じた視野で、パノラマ画像のうち表示すべき領域の画像を所定のレートで生成する。このためデータ生成部20は、画像に登場させるオブジェクトのモデルデータや表示対象の映像データ、描画した画像を一旦、格納するフレームバッファなどを内部に保持する。
データ変換部24は、データ生成部20が生成したコンテンツのデータに、ヘッドマウントディスプレイ100へ出力するために必要な処理を施す。詳細にはデータ変換部24は、圧縮部28、データ形成部30、暗号処理部32を備える。圧縮部28は、コンテンツのデータを所定の方式で圧縮することにより、伝送すべきデータのサイズを削減する。特に画像のデータに対し非可逆圧縮を行うことにより、画像の内容にかかわらず圧縮後の単位面積あたりのデータサイズが一定値以下となるようにする。
ここで圧縮部28は、エントロピー符号化やインデックススカラー符号化などの圧縮方式により、1フレームの画像全体より小さい所定サイズの領域単位で圧縮を行うことにより、ヘッドマウントディスプレイ100においても当該領域単位で復号伸張ができるようにする。以後、圧縮部28が画像を圧縮する際の単位となる領域を「圧縮単位領域」と呼ぶ。圧縮単位領域のサイズは、表示パネル122の表示方式などに基づき、ヘッドマウントディスプレイ100とのハンドシェイクにより決定する。
データ形成部30は、音声のデータと画像のデータを所定の形式で順次つなげて出力データを形成する。ここで少なくとも画像のデータは、上述のとおり圧縮部28によって圧縮単位領域ごとに非可逆圧縮されている。そこでデータ形成部30は、圧縮単位領域ごとの圧縮データを画像平面上のラスタ順につなげ、さらにフレーム順につなげたストリームデータとする。この際、フレームとフレームの間のブランキング期間に同期するように、音声データをさらにつなげてもよい。
暗号処理部32は、公開鍵方式など所定のアルゴリズムで、出力すべきデータを暗号化する。公開鍵など暗号化に必要なデータはヘッドマウントディスプレイ100から取得しておく。データ入出力部26は、データ変換部24が出力形式にし、暗号化されたコンテンツのデータを、インターフェース300を介してヘッドマウントディスプレイ100へストリーム転送する。この際、データ入出力部26はインターフェース300に適した形式でデータをパケット化してから送信してよい。
またデータ入出力部26は、データ生成部20やデータ変換部24が行う各処理に必要なデータを、ヘッドマウントディスプレイ100からインターフェース300を介して取得する。ここで「必要なデータ」とは、ヘッドマウントディスプレイが備えるカメラによる撮影画像や、各種センサーが取得した計測値などのほか、圧縮単位領域のサイズを決定づける表示方式などの情報を含んでよい。
さらにデータ入出力部26は、インターフェース300を介した画像データの伝送タイミングを決定づけるクロックや位相に係る情報を、インターフェース300を介してヘッドマウントディスプレイ100に送信する。例えばピクセルクロック、水平同期信号(H-sync)、垂直同期信号(V-sync)などのうち、少なくともいずれかを送信する。これによりヘッドマウントディスプレイ100において、画像の表示タイミングを決定づけるクロックを調整し、コンテンツ処理装置200からのデータの伝送と、ヘッドマウントディスプレイ100における表示との同期をとる。
図5は、ヘッドマウントディスプレイ100の機能ブロックの構成を示している。ヘッドマウントディスプレイ100は上述のとおり、画像処理用集積回路120、表示パネル122を含む表示部123、スピーカー110のほか、モーションセンサーやカメラなどのセンサー112を備える。本実施の形態において画像処理用集積回路120は、コンテンツ処理装置200から送信された画像のデータを、1フレーム分のデータ受信を待たずに表示パネル122に順次出力させる。そのため当該画像のデータを一時格納するバッファメモリ(図示せず)を設ける場合も、1フレーム分のデータサイズより小さい容量とすることができる。
画像処理用集積回路120は、コンテンツ処理装置200との間でデータの送受を行うデータ入出力部40、異なるプロトコルのインターフェース間を中継する中継部42、コンテンツのデータのうち画像のデータを出力する画像データ出力部44、音声のデータを出力する音声データ出力部46、および、センサー112から検出値を取得する検出値取得部48を備える。
データ入出力部40は、画像データ取得部として、コンテンツ処理装置200から送信されたコンテンツのデータを、インターフェース300を介して取得する。この際、データ入出力部40は、コンテンツ処理装置200における画像データの伝送クロックに係る情報も取得する。またデータ入出力部40は、センサー112が取得した撮影画像のデータやモーションセンサーなどの計測値を、インターフェース300を介してコンテンツ処理装置200へ送信する。
中継部42はコンテンツ処理装置200との間のインターフェース(第1のインターフェース)であるインターフェース300と、ヘッドマウントディスプレイ100内部の表示部123、スピーカー110、センサー112との間のインターフェース(第2のインターフェース)である、インターフェース304、306、308との間でデータの伝送を中継する。コンテンツ処理装置200との間のインターフェース300は例えば、USB Type-C、DisplayPort、HDMI2.1(High-Definition Multimedia Interface)(登録商標)などである。
表示部123との間のインターフェース304は例えばMIPI DSI(Display Serial Interface)、スピーカー110との間のインターフェース306は例えばI2S(Inter-IC Sound)、センサー112との間のインターフェース308は例えばMIPI CSI(Camera Serial Interface)やMIPI I2C(Inter-Integrated Circuit)、I3Cなどである。上述のとおりシステム構成によっては、インターフェース300はインターネットなどの広域ネットワークやLANなどでもよいし、画像処理用集積回路120内のオンチップバスでもよい。
一般に、送信元で圧縮符号化されたデータはインターフェースを伝送したあと送信先でまず復号伸張され、その先の処理やさらなる伝送がなされる。ここでさらに別のインターフェースを介してデータを伝送する場合は、プロトコルやペイロードのフォーマットが異なるため、新たに圧縮符号化する必要に迫られることがある。一方、本実施の形態における中継部42は上述のとおり、コンテンツ処理装置200が圧縮符号化した画像のデータを、復号伸張することなく中継する。これにより非可逆圧縮を複数回行うことによる画質の劣化を回避するとともに、中継時になすべき処理を最小限にする。
データの円滑な中継および画像表示を実現するため、コンテンツ処理装置200は、データ送信先のヘッドマウントディスプレイ100の特性に適した形式で、送信データを形成しておく。このため中継部42は、ヘッドマウントディスプレイ100とコンテンツ処理装置200が接続された際などに、ハンドシェイクにより送信データの形式について取り決める。具体的には、表示パネル122と中継部42の構成に基づいた、画像表示方法、画像解像度、フレームレート、ピクセルフォーマット、ピクセルクロック動作周波数、水平同期信号(H-sync)・垂直同期信号(V-sync)のタイミング、圧縮単位領域のサイズ、圧縮方式、圧縮データ長(圧縮率)、第1・第2のインターフェースが対応可能なストリームデータ構成、音声データの有無、暗号化の有無、公開鍵などの少なくともいずれかを決定しておく。
例えば表示パネル122が、画面を分割してなる単位領域ごとに独立した駆動が可能な表示方式を有する場合、当該単位領域(以下、「表示単位領域」と呼ぶ)のサイズもコンテンツ処理装置200に通知する。これに応じてコンテンツ処理装置200が、当該表示単位領域、またはそれを分割してなる領域を圧縮単位領域に定めてデータ圧縮することにより、圧縮単位のデータが複数の表示単位領域をまたぐことを防ぐ。これにより、表示単位領域ごとに独立して表示処理を行える。
なおヘッドマウントディスプレイ100とコンテンツ処理装置200は、ピクセルフォーマット、すなわちRGB、YUV444、YUV422、YUV420など画素を表す色空間やフォーマット、色深度などについても取り決めてよい。中継部42は、暗号処理部50、データ分離部52、出力順制御部54、クロック制御部56、およびデータ分析部58を備える。暗号処理部50は、データ入出力部40が取得したコンテンツのデータが暗号化されている場合に、それを復号する。伝送対象のデータを暗号化するか否かをインターフェースごとに独立して制御できるようにすることで、各インターフェースが本来備える機密性に応じて暗号化の有無を適正化できる。
例えばコンテンツ処理装置200とヘッドマウントディスプレイ100の間のデータ伝送は、ヘッドマウントディスプレイ100内部でのデータ伝送と比較し元来の機密性が低い。そこでインターフェース300の伝送時にはデータを暗号化し、ヘッドマウントディスプレイ100がデータを取得した時点でその暗号を解除することにより、必要十分の機密性が保たれる。ただし実際にどのインターフェースでデータを暗号化するかは特に限定されない。
データ分離部52は、一連のコンテンツのデータをヘッダ、画像データ、および音声データに分離する。クロックに関する情報を同時に取得する場合は、その情報も分離する。出力順制御部54は、圧縮単位ごとのデータの羅列である画像のデータを、表示パネル122での表示順に適した順序とする。この際、個々の圧縮データ自体は復号伸張することなく、必要に応じて順序を入れ替えたり複数のストリームに分岐させたりする。
上述のとおり表示単位領域ごとに駆動される方式の表示パネル122の場合は、各圧縮単位のデータを、対応する表示単位領域に分配する。圧縮単位領域を、表示単位領域の単位と同じか、それをさらに分割した単位とすることにより、圧縮された状態のまま適切に分配できる。
クロック制御部56は、コンテンツ処理装置200におけるコンテンツデータの生成・出力と、ヘッドマウントディスプレイ100におけるコンテンツデータの出力を同期させるためのクロック調整を行う。具体的には、コンテンツ処理装置200のクロック位相や周波数を検出し、ヘッドマウントディスプレイ100内部のクロック周波数やクロック位相を調整することにより、両者の差を所定値以下に抑え込む。
このようにすることで、ヘッドマウントディスプレイ100は、順次取得したデータストリームを、少ない時間調整で破綻なく出力できるようになる。結果として、ヘッドマウントディスプレイ100内部でコンテンツのデータを一時格納しておく場合であっても、バッファメモリのサイズを最小限にできる。
データ分析部58は、コンテンツのデータを分析し、適切な条件で出力されるように表示パネル122やスピーカー110の制御情報を決定する。この目的のためデータ分析部58は、画像データを復号伸張したうえで画像解析を実施してもよい。表示パネル122として液晶パネルを採用した場合、高解像度化が可能な反面、ダイナミックレンジが不十分で反応速度が遅い。有機ELパネルを採用した場合は反応速度が速い反面、高解像度化が難しく、また黒色領域とその周辺で色にじみが発生するBlack Smearingと呼ばれる現象が生じ得る。このような表示パネルによる様々な悪影響を解消するように補正を行ってもよい。
例えば液晶パネルにおいて、暗いシーンや領域を画像解析により特定し、対応するフレームや領域においてダイナミックレンジを向上させるため、表示パネル122を構成する液晶パネルのバックライトの輝度を下げるなどの制御情報を決定する。例えば液晶パネルにおいて、動きの激しいシーンや領域を画像解析により特定し、対応するフレーム間において、黒い画像を挿入することにより液晶をリセットし、反応速度を向上させる。
例えば有機ELパネルの場合、Black Smearingが生じやすい黒色領域とその周辺を画像解析により特定し、輝度値や、ガンマ補正におけるガンマ値にオフセットをかけ色にじみを目立ちにくくする。そのほか、表示輝度を決定づける電圧、色域などを制御対象としてもよい。これらの制御情報に基づいた処理は、表示部123やスピーカー110、または画像処理用集積回路120のいずれで行ってもよい。
データ分析部58による画像データの復号伸張および分析は、表示部123への画像データの伝送とは独立して実施する。すなわち表示パネル122に表示させる画像のデータは圧縮された状態のまま中継する一方、データ分析部58における画像分析を別途実施する。データ分析部58からの出力は、表示パネル122やスピーカー110の制御情報に限られるため、伝送経路が圧迫されたり画像や音声の出力レートが影響されたりすることはない。なおデータ分析部58は表示部123に設けてもよい。
画像データ出力部44は、出力順制御部54により適宜出力順が適正化された画像の圧縮データを、インターフェース304を介して表示部123に出力する。音声データ出力部46は、データ分離部52が分離した音声データを、インターフェース306を介してスピーカー110に出力する。データ分析部58が表示パネル122やスピーカー110の制御情報を生成した場合、画像データ出力部44や音声データ出力部46はそれらの情報も表示部123やスピーカー110に伝送する。なお、これらの制御情報を送信するために、図示しない専用の伝送路で、データ分析部58と、表示部123やスピーカー110を接続してもよい。
検出値取得部48は、インターフェース308を介してセンサー112から検出値を取得し、中継部42に出力する。ここで検出値とは、モーションセンサーの計測値やカメラの撮影画像などである。中継部42はそれらのデータを随時、データ入出力部40、インターフェース300を介してコンテンツ処理装置200に送信する。
表示部123は、画像データを表示させる表示素子のマトリクスおよび、それを駆動する制御部からなる表示パネル122と、画像処理用集積回路120から取得した、圧縮された状態の画像データを復号伸張する復号伸張部60を備える。上述のとおり表示パネル122が、所定の表示単位領域ごとに駆動される方式を有する場合、当該表示単位領域ごとに独立して復号伸張部60を設けることにより、復号伸張を並列に行えるようにしてもよい。
いずれにしろ、画像データの復号伸張を表示の直前に行うようにすることで、非可逆圧縮としても画質の劣化を最低限に抑えられ、全てのインターフェースでデータの高速伝送を容易に実現できる。なおデータ分析部58を表示部123に設ける場合、復号伸張部60が復号伸張した画像を分析対象とすることができる。表示パネル122、スピーカー110は、データ分析部58が決定した制御情報に基づき、表示や音声出力の設定を適宜調整する。
図6は、コンテンツ処理装置200における画像データの変化を説明するための図である。まずコンテンツ処理装置200のデータ生成部20は、内部のフレームバッファ70に1フレーム分の画像を描画する。図示するフレームバッファ70は画像平面を矩形で表しており、例えば横方向のサイズH=3840画素、縦方向のサイズV=2160画素の画素値のデータを格納する。
データ生成部20は、フレームバッファ70に矢印で示すように、左から右への走査を1行目(Line0)、2行目(Line1)、・・・と下方向に繰り返すラスタ順に画素のデータを格納していくことで、1フレーム分の画像を生成する。コンテンツ処理装置200の圧縮部28は、当該画像のデータをフレームバッファ70から順次読み出し、圧縮符号化した画像データ72を生成する。
この際、圧縮部28は上述のように、所定の圧縮単位領域ごとに非可逆圧縮を行うことで、復号伸張時にも当該領域単位で独立した処理ができるようにする。図示する画像データ72は、画像平面における各圧縮単位領域の区画を示している。この例では、画像平面の1行分の領域の長さを4等分した領域を圧縮単位領域(例えば圧縮単位領域74)としている。つまり圧縮単位領域の幅Ph=H/4(画素)、高さPv=1(画素)である。ただし圧縮単位領域のサイズPh×Pvは限定されず、表示パネル122の表示方式、解像度、フレームレート、各インターフェースの特性、圧縮方式などに基づき最適化する。
なお図示する画像データ72は画像平面における圧縮単位領域の設定例を示しているに過ぎず、圧縮後の画像データを図のように形成する趣旨ではない。すなわち実際には圧縮部28は、各圧縮単位領域を構成する画素のデータがフレームバッファ70に格納される都度、当該データを圧縮符号化して順次出力する。結果として圧縮符号化された画像のデータは、画像平面における圧縮単位領域のラスタ順に出力されることになる。
図7は、コンテンツ処理装置200のデータ入出力部26がインターフェース300を介して送信するデータの構造例を示している。図示する例で送信データ76は、ヘッダ情報78、画像の圧縮データ80、水平同期信号82を、圧縮単位領域の行ごとに連ねたストリームの構造を有する。図において圧縮データ80を構成する各矩形が、1単位の圧縮データを示している。
ここで矩形内の数字は、(横方向の位置,縦方向の位置)の形式で圧縮単位領域の位置座標を示しており、この例では図6で示したように、画像平面の1行分の領域の長さを4等分した場合を想定しているため、横方向の位置座標は0、1、2、3のいずれかとなる。非可逆圧縮により、各圧縮単位領域の圧縮後のデータサイズを画像内容によらず制御できる。なお、あるフレームの最終行から次のフレーム先頭行までの垂直帰線期間には、送信データ76に垂直同期信号を含めるが、ここでは図示を省略している。この期間にさらに音声データを含めてもよい。データ入出力部26は、一連の送信データ76を順次パケット化してインターフェース300を伝送させる。
図8は、ヘッドマウントディスプレイ100における画像データの流れを説明するための図である。コンテンツ処理装置200からは図7で示したような構造のコンテンツのデータが、インターフェース300を介してヘッドマウントディスプレイ100に送信される。中継部42の出力順制御部54は、そのうち画像の圧縮データを取得し、表示部123とその間のインターフェース304に適合させるために必要な処理を施す。この際、データの復号伸張や新たな圧縮符号化は行わない。
この例で表示パネル122は、表示単位領域ごとに独立して駆動可能な構造を有する。表示すべき画像の解像度が高くなるにつれ、同じクロックで動作する高速信号を画面の両端まで引き回すことが困難になってきている。また解像度やフレームレートが高くなるほどパネルの駆動回路の高速化が必要になる。そのため、1画面を分割した領域ごとに独立して駆動させることのできる表示装置が普及しつつある(例えば特開平5-80714号公報参照)。例えば複数の表示単位領域の画素を並行して駆動することにより、単位時間あたりに走査が必要な画素数が減少するため、駆動回路の速度を抑制することができる。
図示する例では、表示パネル122は画面を縦に4等分してなる表示単位領域(例えば表示単位領域92)ごとに、矢印で示すようにラスタ順に画素を駆動する構造を有する。このような表示パネル122に対し、隣り合う表示単位領域をまたがないように圧縮単位領域を決定することにより、画像データを圧縮した状態のままで各表示単位領域の駆動部に分配することができる。そして表示単位領域ごとに復号伸張部60a、60b、60c、60dを設けることにより、復号伸張処理自体も並列に行うことができる。
すなわち表示単位領域の幅をDhとすると、圧縮単位領域の幅Phを、次の条件を満たすように決定する。
Ph=Dh/n1 (n1は自然数)
この場合、圧縮単位領域の高さPvは1画素でもよいし複数画素でもよい。一方、画面を横方向に分割した表示単位領域を有する表示パネルの場合は、その高さをDvとすると、圧縮単位領域の高さPvを、次の条件を満たすように決定する。
Pv=Dv/n2 (n2は自然数)
この場合、圧縮単位領域の幅Phは1画素でもよいし複数画素でもよい。
Ph=Dh/n1 (n1は自然数)
この場合、圧縮単位領域の高さPvは1画素でもよいし複数画素でもよい。一方、画面を横方向に分割した表示単位領域を有する表示パネルの場合は、その高さをDvとすると、圧縮単位領域の高さPvを、次の条件を満たすように決定する。
Pv=Dv/n2 (n2は自然数)
この場合、圧縮単位領域の幅Phは1画素でもよいし複数画素でもよい。
画面を縦横双方向に分割した表示単位領域を有する表示パネルの場合は、圧縮単位領域の幅Phおよび高さPvの双方が上記条件を満たすように決定する。コンテンツ処理装置200とヘッドマウントディスプレイ100は、表示パネル122における表示単位領域のサイズなどに基づき、圧縮単位領域のサイズPh、Pvを事前のハンドシェイクにより決定しておく。
ヘッドマウントディスプレイ100の出力順制御部54は、送信されたストリームデータにおける各圧縮単位のデータを、元の画像平面における位置と、表示パネル122の画面における表示単位領域の位置との対応関係に基づき分配する。そして画像データ出力部44は、分配された圧縮データを適宜パケット化し、各表示単位領域に対し個別に設けられたインターフェース304を介して、それぞれを表示部123に送信する。
表示部123の各復号伸張部60a、60b、60c、60dは、取得した圧縮データを並列に復号伸張し、その結果を図示しない駆動部に供給することにより、対応する表示単位領域の表示画素を駆動させる。このように、出力順制御部54が画像データを適切に分配することにより、その後の処理を個別に進捗させることができ、表示を効率化できる。
図9は、クロック制御部56の機能ブロックの構成を示している。クロック制御部56は、クロック発生部98、位相比較部94、およびクロック調整部96を備える。クロック発生部98は、ヘッドマウントディスプレイ100内での動作タイミングを決定づけるクロックの発生源である。位相比較部94は、コンテンツ処理装置200からの画像データの伝送タイミングを決定づけているクロックに係るデータを、インターフェース300を介して取得し、ヘッドマウントディスプレイ100内部のクロックとの位相比較を行う。
比較対象はピクセルクロック、水平同期信号、垂直同期信号の少なくともいずれかである。コンテンツ処理装置200とヘッドマウントディスプレイ100でクロック動作周波数が異なる場合は、水平同期信号や垂直同期信号の位相差を比較することが望ましい。なおクロック制御部56は、図示しないクロック分周器を内蔵してもよい。この場合、クロック分周期によって分周されたクロックを位相比較部94が使用してもよい。クロック調整部96は、位相比較部94による比較結果に基づき、クロック発生部98が発生させたクロックのタイミングを調整して出力する。
すなわちコンテンツ処理装置200からインターフェース300を介した伝送に対する、ヘッドマウントディスプレイ100内部でのデータ伝送の位相差が所定値以下に収まるように、ヘッドマウントディスプレイ100内部でのクロックを調整する。クロック調整部96により調整されたクロックは位相比較部94にも入力し、インターフェース300におけるクロックとの比較を再度行う。そしてその比較結果に基づきクロック調整部96が必要に応じてさらなる調整を実施する、といったフィードバック制御を行うことにより、異なるインターフェースを介したデータ伝送であっても安定的に同期をとることができる。
このような構成により、両インターフェースの間で生じる転送タイミングのジッタは最小限に抑えられる。結果として、コンテンツ処理装置200から送信された画像のデータを、大幅な時間調整の必要なく表示まで到達させることができる。これにより低遅延の表示を実現できるうえ、時間調整のために画像データを一時保存しておくバッファメモリの容量を1フレーム分より小さくできる。
以上述べた本実施の形態によれば、異なるプロトコルを有する複数のインターフェースを介して画像データを伝送し表示するシステムにおいて、送信元で圧縮符号化され送信されたデータを、復号伸張することなく別のインターフェースに入力する中継部を設ける。これにより、非可逆圧縮しても画質の低下を最小限にでき、高解像度、高フレームレートの画像であっても伝送すべきデータのサイズを格段に抑制できる。結果として、消費電力、電磁ノイズ、ケーブルや配線の構成などへの影響を抑えつつ高品質の画像を表示できる。
また、最初に圧縮符号化する段階で、表示パネルが有する表示方式などに適合するようにデータを生成しておくことにより、圧縮データをそのまま中継しても破綻せず容易な処理で表示まで到達させることができる。さらに、送信元と表示先が個別のクロックで動作している場合に、中継部が表示先のクロックを調整して位相差を最小限に抑える。これにより、送信されたデータを停滞なく出力することができ、データをバッファしておくメモリの容量を節約できるとともに低遅延での出力を実現できる。
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
例えばコンテンツ処理装置200とヘッドマウントディスプレイ100の間のインターフェース300を無線通信とした場合、以下に述べる構成を導入してもよい。図10は、本実施の形態に適用できる、2つの装置間の無線通信インターフェースの構成を示している。インターフェース310は、無線変換部130aおよび無線送受信部142aの組と、無線変換部130bおよび無線送受信部142bの組を含む。無線送受信部142aと無線送受信部142bは無線で互いに通信を確立し、データの送受信を行う。通信のプロトコルには従来の技術を適用できる。
無線変換部130a、130bは、無線で送受信するデータに必要な変換処理を施す。詳細には無線変換部130a、130bはそれぞれ、圧縮符号化部132a、132b、復号伸張部134a、134b、データ結合・分離部136a、136b、暗号処理部138a、138b、およびデータ入出力部140a、140bを含む。圧縮符号化部132a、132bは、対応する無線送受信部142a、142bから送信すべきデータ、すなわち図の入力Aから入力されたデータを所定の符号化方式で圧縮符号化する。
ここで圧縮符号化部132a、132bが行う圧縮符号化の方式は、コンテンツ処理装置200の圧縮部28と同じであっても異なっていてもよい。なお無線を介したデータ転送では、転送中のデータ欠落の発生頻度が有線の場合より増加する。このため圧縮符号化部132a、132bは、FEC(Forward Error Correction)などのエラー検出訂正方式を採用してもよい。復号伸張部134a、134bは、対応する無線送受信部142a、142bが受信したデータ、すなわち図の入力Bから入力されたデータを復号伸張する。ここで復号伸張部134a、134bは、コンテンツ処理装置200の圧縮部28が行う圧縮符号化の方式と、圧縮符号化部132a、132bが行う圧縮符号化の方式の双方に対応してよい。
本実施の形態に適用した場合、無線変換部130aの入力Aに入力されるデータは例えば、コンテンツ処理装置200が生成した画像や音声などコンテンツのデータである。また無線変換部130bの入力Aに入力されるデータは例えば、ヘッドマウントディスプレイ100が備えるカメラによる撮影画像やマイクロフォンが取得した音声のデータ、あるいはヘッドマウントディスプレイ100内部で行った画像解析の結果などである。
データ結合・分離部136a、136bは、対応する無線送受信部142a、142bから送信すべき、種類の異なるデータを結合させたり、無線送受信部142a、142bが受信したデータを種類別に分離したりする。暗号処理部138a、138bは、対応する無線送受信部142a、142bから送信すべきデータを暗号化したり、無線送受信部142a、142bが受信した、暗号化されたデータを復号したりする。データ入出力部140a、140bは、対応する無線送受信部142a、142bとのインターフェースである。
図11は、図10で示したインターフェース310を導入した場合のコンテンツ処理システムの全体構成を例示する。コンテンツ処理システム2は、コンテンツ処理装置200およびヘッドマウントディスプレイ100に加え、コンテンツ処理装置200と接続する情報処理装置用無線接続アダプタ150と、ヘッドマウントディスプレイ100と接続するディスプレイ用無線接続アダプタ152を含む。情報処理装置用無線接続アダプタ150は、図10で示した無線変換部130aおよび無線送受信部142aを備える。ディスプレイ用無線接続アダプタ152は、図10で示した無線変換部130bおよび無線送受信部142bを備える。
コンテンツ処理装置200と情報処理装置用無線接続アダプタ150、ヘッドマウントディスプレイ100とディスプレイ用無線接続アダプタ152はそれぞれ、USB Type-Cなどの規格により有線で接続してよい。例えばディスプレイ用無線接続アダプタ152を据え置き型とし、ヘッドマウントディスプレイ100を装着したユーザの近傍に設置する。あるいはディスプレイ用無線接続アダプタ152を携帯型、例えばバックパック、ショルダーバッグ、ウエストバッグなどの形状とし、ヘッドマウントディスプレイ100を装着したユーザが携帯するようにしてもよい。
あるいはディスプレイ用無線接続アダプタ152を、ヘッドマウントディスプレイ100にコネクタ接続可能な形状とし、ヘッドマウントディスプレイ100内部の中継部42と基板上の配線で接続してもよい。これらの構成により、無線機能のないコンテンツ処理装置200やヘッドマウントディスプレイ100であっても無線通信を実現でき、ヘッドマウントディスプレイ100の可動範囲をより広げることができる。
なおディスプレイ用無線接続アダプタ152を接続する対象はヘッドマウントディスプレイに限らず、一般的な平板型の表示装置などでもよい。例えば鉄道、自動車、飛行機といった乗り物における座席のモニタのように、画像の出力元の装置と表示装置が離れていたり表示装置が多数あったりする場合、図示するような無線接続アダプタにより無線通信を実現すれば、ケーブルの引き回しに係る問題を解消できる。
図示するようにインターフェース310を本実施の形態に適用した場合、コンテンツ処理装置200やヘッドマウントディスプレイ100と重複する機能についてはどちらか一方をオフにしてもよいし、組み合わせて利用してもよい。図12は、インターフェース310を導入した場合に実現できる、圧縮符号化と復号伸張処理の流れを例示している。(a)のケースでは、無線変換部130a、130bにおける圧縮符号化処理と復号伸張処理の機能をオフにし、コンテンツ処理装置200の圧縮部28が圧縮符号化したデータを、ヘッドマウントディスプレイ100の復号伸張部60が復号伸張する。
(b)のケースでは、コンテンツ処理装置200の圧縮部28が「方式a」で圧縮符号化したデータを、無線変換部130aの圧縮符号化部132aが無線転送用に別の方式(「方式b」)で圧縮符号化する。すなわちこの場合、転送データは二重に圧縮符号化される。そして受信側の無線変換部130bにおいて復号伸張部134bが「方式b」で復号伸張したデータを、ヘッドマウントディスプレイ100の復号伸張部60が「方式a」で復号伸張する。(c)のケースでは、コンテンツ処理装置200の圧縮部28が「方式a」で圧縮符号化したデータを、無線変換部130aの復号伸張部134aが復号伸張したうえで、圧縮符号化部132aが無線転送用の方式(「方式b」)で圧縮符号化する。
そして受信側の無線変換部130bにおいて復号伸張部134bが「方式b」で復号伸張したデータを、圧縮符号化部132bが圧縮部28と同じ「方式a」で圧縮符号化する。そのデータを、ヘッドマウントディスプレイ100の復号伸張部60が「方式a」で復号伸張する。このような処理の流れのいずれか、あるいはそれ以外の組み合わせにより、インターフェース310を本実施の形態に導入でき、上述したような効果を得ることができる。
以上のように本発明は、コンテンツ処理装置、画像処理装置、ゲーム装置、表示装置、ヘッドマウントディスプレイ、およびそれらを含むコンテンツ処理システムなどに利用可能である。
20 データ生成部、 24 データ変換部、 26 データ入出力部、 28 圧縮部、 30 データ形成部、 32 暗号処理部、 40 データ入出力部、 42 中継部、 44 画像データ出力部、 46 音声データ出力部、 48 検出値取得部、 50 暗号処理部、 52 データ分離部、 54 出力順制御部、 56 クロック制御部、 58 データ分析部、 60 復号伸張部、 94 位相比較部、 96 クロック調整部、 98 クロック発生部、 100 ヘッドマウントディスプレイ、 110 スピーカー、 112 センサー、 122 表示パネル、 123 表示部、 130a 無線変換部、 142a 無線送受信部、 150 情報処理装置用無線接続アダプタ、 152 ディスプレイ用無線接続アダプタ、 200 コンテンツ処理装置。
Claims (12)
- 第1のインターフェースを介して送信すべき画像のデータを圧縮する圧縮部と、
前記第1のインターフェースから、プロトコルの異なる第2のインターフェースへの前記画像のデータの伝送を中継する中継部と、
前記第2のインターフェースを介して伝送された前記画像のデータを表示する表示部と、
を備え、
前記中継部は前記画像のデータを伸張することなく中継し、前記表示部は前記画像のデータを伸張して表示することを特徴とする画像処理システム。 - 前記圧縮部は、前記表示部が備える表示パネルの方式に基づき決定した領域単位で、前記画像のデータを圧縮することを特徴とする請求項1に記載の画像処理システム。
- 前記表示部は、前記表示パネルの画面を複数の領域に分割してなる表示単位領域ごとに前記表示パネルを駆動し、
前記圧縮部は、前記表示単位領域またはそれを分割してなる領域ごとに、前記画像のデータを非可逆圧縮することを特徴とする請求項2に記載の画像処理システム。 - 前記中継部は、前記表示単位領域と、前記圧縮部が圧縮の単位とした領域との位置関係に基づき、前記表示単位領域ごとに設けられた前記第2のインターフェースのうち、対応するインターフェースに前記画像のデータを分配することを特徴とする請求項3に記載の画像処理システム。
- 前記表示部は、前記表示単位領域ごとに前記画像のデータを伸張する伸張部を備えることを特徴とする請求項3または4に記載の画像処理システム。
- 前記中継部は、前記第1のインターフェースにおける前記画像のデータの伝送タイミングを決定づけるクロックに係る情報を取得し、前記表示部における画像の表示タイミングを決定づけるクロックを調整するクロック制御部を備えることを特徴とする請求項1から5のいずれかに記載の画像処理システム。
- 前記中継部は、1フレーム分の画像のデータの取得を待たずに前記画像のデータを表示部に出力することを特徴とする請求項1から6のいずれかに記載の画像処理システム。
- 前記中継部は、前記第1のインターフェースを介して取得した、暗号化された前記画像のデータを復号したうえで、前記第2のインターフェースに入力する暗号処理部を備えることを特徴とする請求項1から7のいずれかに記載の画像処理システム。
- 前記中継部は、前記画像のデータを分析することにより、前記表示部における表示パネルの制御情報を決定し、前記表示部に送信するデータ分析部を備えることを特徴とする請求項1から8のいずれかに記載の画像処理システム。
- 第1のインターフェースを介して送信された、圧縮された画像のデータを取得する画像データ取得部と、
前記画像のデータを、前記第1のインターフェースとプロトコルの異なる第2のインターフェースを介して表示パネルに伝送させる中継部と、
を備え、
前記中継部は、前記画像のデータを伸張することなく伝送させることを特徴とする画像処理用集積回路。 - 第1のインターフェースを介して送信すべき画像のデータを圧縮するステップと、
前記第1のインターフェースから、プロトコルの異なる第2のインターフェースへの前記画像のデータの伝送を中継するステップと、
前記第2のインターフェースを介して伝送された前記画像のデータを表示するステップと、
を含み、
前記中継するステップは、前記画像のデータを伸張することなく中継し、前記表示するステップは、前記画像のデータを伸張して表示することを特徴とする画像処理システムによる画像処理方法。 - 第1のインターフェースを介して送信された、圧縮された画像のデータを取得する機能と、
前記画像のデータを、前記第1のインターフェースとプロトコルの異なる第2のインターフェースを介して表示パネルに伝送させる機能と、
をコンピュータに実現させ、
前記伝送させる機能は、前記画像のデータを伸張することなく伝送させることを特徴とするコンピュータプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021527333A JP7307794B2 (ja) | 2019-06-27 | 2019-12-26 | 画像処理システム、画像処理用集積回路、および画像処理方法 |
US17/617,408 US20220246085A1 (en) | 2019-06-27 | 2019-12-26 | Image processing system, image processing integrated circuit, and image processing method |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019120106 | 2019-06-27 | ||
JP2019-120106 | 2019-06-27 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2020261617A1 true WO2020261617A1 (ja) | 2020-12-30 |
Family
ID=74060568
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2019/051271 WO2020261617A1 (ja) | 2019-06-27 | 2019-12-26 | 画像処理システム、画像処理用集積回路、および画像処理方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20220246085A1 (ja) |
JP (1) | JP7307794B2 (ja) |
WO (1) | WO2020261617A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3893098B1 (en) * | 2019-01-24 | 2023-07-26 | Huawei Technologies Co., Ltd. | Image sharing method and mobile device |
CN114063947A (zh) * | 2020-07-31 | 2022-02-18 | 华为技术有限公司 | 屏幕显示的方法、装置、电子设备、计算机存储介质 |
US11934339B2 (en) * | 2022-03-07 | 2024-03-19 | Synaptics Incorporated | Image data reception via non-video interface |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012077392A1 (ja) * | 2010-12-10 | 2012-06-14 | 三菱電機株式会社 | マルチ画面表示システム |
US20170032761A1 (en) * | 2014-03-18 | 2017-02-02 | Mediatek Inc. | Data processing apparatus capable of performing optimized compression for compressed data transmission over multiple display ports of display interface and related data processing method |
JP2018011198A (ja) * | 2016-07-13 | 2018-01-18 | 日本電信電話株式会社 | 映像符号化装置、映像符号化方法及び映像符号化プログラム |
JP2019008199A (ja) * | 2017-06-27 | 2019-01-17 | 株式会社システム・サイエンス | 画像表示システム及びプログラム |
JP2019028368A (ja) * | 2017-08-02 | 2019-02-21 | 株式会社ソニー・インタラクティブエンタテインメント | レンダリング装置、ヘッドマウントディスプレイ、画像伝送方法、および画像補正方法 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004023328A (ja) * | 2002-06-14 | 2004-01-22 | Matsushita Electric Ind Co Ltd | 画像処理装置、画像処理方法、プログラム、および媒体 |
US7404645B2 (en) * | 2005-06-20 | 2008-07-29 | Digital Display Innovations, Llc | Image and light source modulation for a digital display system |
US20090109988A1 (en) * | 2007-10-26 | 2009-04-30 | Chowdhary Musunuri | Video Decoder with an Adjustable Video Clock |
US20090147840A1 (en) * | 2007-12-05 | 2009-06-11 | Kuldip Sahdra | Video encoding system with universal transcoding and method for use therewith |
KR101428504B1 (ko) * | 2010-02-22 | 2014-08-11 | 돌비 레버러토리즈 라이쎈싱 코오포레이션 | 비트스트림에 임베딩된 메타데이터를 이용하는 렌더링 제어부를 갖는 비디오 디스플레이 |
KR20140088924A (ko) * | 2012-12-14 | 2014-07-14 | 삼성전자주식회사 | 이미지 데이터 표시장치 및 방법 |
FR3054945B1 (fr) * | 2016-08-05 | 2019-09-06 | Viaccess | Procede de lecture et de generation d'un flux video contenant des images compressees et chiffrees |
CN108206930A (zh) * | 2016-12-16 | 2018-06-26 | 杭州海康威视数字技术股份有限公司 | 基于隐私遮蔽显示图像的方法及装置 |
US10694170B2 (en) * | 2018-03-05 | 2020-06-23 | Valve Corporation | Controlling image display via real-time compression in peripheral image regions |
US10672098B1 (en) * | 2018-04-05 | 2020-06-02 | Xilinx, Inc. | Synchronizing access to buffered data in a shared buffer |
-
2019
- 2019-12-26 US US17/617,408 patent/US20220246085A1/en active Pending
- 2019-12-26 JP JP2021527333A patent/JP7307794B2/ja active Active
- 2019-12-26 WO PCT/JP2019/051271 patent/WO2020261617A1/ja active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012077392A1 (ja) * | 2010-12-10 | 2012-06-14 | 三菱電機株式会社 | マルチ画面表示システム |
US20170032761A1 (en) * | 2014-03-18 | 2017-02-02 | Mediatek Inc. | Data processing apparatus capable of performing optimized compression for compressed data transmission over multiple display ports of display interface and related data processing method |
JP2018011198A (ja) * | 2016-07-13 | 2018-01-18 | 日本電信電話株式会社 | 映像符号化装置、映像符号化方法及び映像符号化プログラム |
JP2019008199A (ja) * | 2017-06-27 | 2019-01-17 | 株式会社システム・サイエンス | 画像表示システム及びプログラム |
JP2019028368A (ja) * | 2017-08-02 | 2019-02-21 | 株式会社ソニー・インタラクティブエンタテインメント | レンダリング装置、ヘッドマウントディスプレイ、画像伝送方法、および画像補正方法 |
Also Published As
Publication number | Publication date |
---|---|
JP7307794B2 (ja) | 2023-07-12 |
US20220246085A1 (en) | 2022-08-04 |
JPWO2020261617A1 (ja) | 2020-12-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2020261617A1 (ja) | 画像処理システム、画像処理用集積回路、および画像処理方法 | |
US7359511B2 (en) | Encryption transmission system | |
US8810563B2 (en) | Transmitting apparatus, stereoscopic image data transmitting method, receiving apparatus, and stereoscopic image data receiving method | |
EP2312849A1 (en) | Methods, systems and devices for compression of data and transmission thereof using video transmisssion standards | |
JP5448558B2 (ja) | 送信装置、立体画像データの送信方法、受信装置、立体画像データの受信方法、中継装置および立体画像データの中継方法 | |
US20070263937A1 (en) | Method and apparatus for serving audiovisual content | |
JP5162845B2 (ja) | 伝送方法、伝送システム、送信方法、送信装置、受信方法及び受信装置 | |
JP4375313B2 (ja) | 画像音声出力システム、画像音声データ出力装置、音声処理プログラム、及び記録媒体 | |
TW200931268A (en) | Method, apparatus and system for generating and facilitating mobile high-definition multimedia interface | |
US20130100247A1 (en) | Image data transmission apparatus, control method for image data transmission apparatus, image data transmission method, and image data reception apparatus | |
JP2011114861A (ja) | 3次元映像ディスプレイ装置及びディスプレイ方法 | |
US20110157302A1 (en) | Three-dimensional video display system with multi-stream sending/receiving operation | |
JP5577789B2 (ja) | 画像データ送信装置、画像データ送信方法および画像データ受信装置 | |
CN110213645B (zh) | 影像传输*** | |
JP2001069530A (ja) | 立体映像高能率符号化装置 | |
CN102611900A (zh) | 同屏幕双3d显示实现方法 | |
WO2021193362A1 (ja) | 画像処理装置および画像処理方法 | |
US10469727B2 (en) | Imaging apparatus, imaging method, and imaging system | |
KR20180083041A (ko) | 무선 디스플레이 서브시스템 및 시스템-온-칩 | |
JP5583297B2 (ja) | 立体画像データ受信方法および立体画像データ受信装置 | |
JP5577477B1 (ja) | 立体画像データ受信方法および立体画像データ受信装置 | |
JP5577476B1 (ja) | 立体画像データ送信方法および立体画像データ送信装置 | |
JP5538604B2 (ja) | 立体画像データ送信方法および立体画像データ送信装置 | |
JP2011160364A (ja) | 画像表示装置および画像表示方法 | |
WO2015145745A1 (ja) | 画像出力表示システム及び画像出力装置、画像表示装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 19934816 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2021527333 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 19934816 Country of ref document: EP Kind code of ref document: A1 |