JPWO2010079682A1 - Image compression method, image processing apparatus, image display apparatus, and image display system - Google Patents
Image compression method, image processing apparatus, image display apparatus, and image display system Download PDFInfo
- Publication number
- JPWO2010079682A1 JPWO2010079682A1 JP2010513212A JP2010513212A JPWO2010079682A1 JP WO2010079682 A1 JPWO2010079682 A1 JP WO2010079682A1 JP 2010513212 A JP2010513212 A JP 2010513212A JP 2010513212 A JP2010513212 A JP 2010513212A JP WO2010079682 A1 JPWO2010079682 A1 JP WO2010079682A1
- Authority
- JP
- Japan
- Prior art keywords
- image
- external
- local background
- external image
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2380/00—Specific applications
- G09G2380/02—Flexible displays
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Theoretical Computer Science (AREA)
- Optics & Photonics (AREA)
- Controls And Circuits For Display Device (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
画像処理装置は、画像表示装置から送信される現実画像から局所背景画像を生成する局所背景画像生成部と、局所背景画像及び外部から入力される外部画像に基づいて対象領域を設定するとともに外部画像の対象領域に鮮明度を低減させる更新処理を行う外部画像更新処理部と、を備える。The image processing apparatus sets a target area based on a local background image generation unit that generates a local background image from a real image transmitted from an image display apparatus, and an external image input from the outside and an external image An external image update processing unit that performs an update process for reducing the sharpness of the target area.
Description
本発明は、入力される外部画像を圧縮する圧縮方法や、当該圧縮方法によって画像を圧縮する画像処理装置、画像表示装置及び画像表示システムに関する。特に、透明な表示部に外部画像を表示することで、外部画像と表示部越しの現実像とを同時に観察者に視認させる画像表示装置、例えば、シースルー型のヘッドマウントディスプレイ(以下、HMDとする)に関するものである。 The present invention relates to a compression method for compressing an input external image, and an image processing device, an image display device, and an image display system for compressing an image by the compression method. In particular, by displaying an external image on a transparent display unit, an image display device that allows an observer to visually recognize the external image and the real image through the display unit at the same time, for example, a see-through type head mounted display (hereinafter referred to as HMD). ).
現実像と外部画像とを同時に観察者に視認させるHMDとして、例えば、特許文献1及び2に開示されるHMDがある。特許文献1に開示されるHMDは、透明な表示部を備え、当該表示部に外部から入力される画像である外部画像を表示することで、外部画像と表示部越しの現実像とを同時に観察者に視認させる(シースルー型HMD)。一方、特許文献2に記載のHMDは、表示部越しの光学像を撮像して現実画像を得るとともに、当該現実画像に外部画像を合成することで表示画像を生成し、表示部において表示する(ビデオシースルー型HMD)。このビデオシースルー型HMDでは、現実画像の一部の情報に基づいて現実画像に対応した外部画像を作成する。また、特許文献3に記載のHMDは、撮像により現実画像を生成する撮像部を備え、外部の画像処理装置との間で現実画像と外部画像とを通信する。
Examples of HMDs that allow an observer to visually recognize a real image and an external image at the same time include HMDs disclosed in
ところで、HMDと外部の画像処理装置との通信に際して、動画像などの情報量の大きなデータが通信される場合、遅延の問題が生じ得る。そのため、上記の動画像のようにリアルタイム性が要求されるデータを通信する場合は、通信するデータの情報量を小さくすることで伝送量を小さくして遅延を抑制する。しかしながら、通信する画像のデータの情報量を小さくすると、画像の画質が劣化することが問題となる。例えば、画像処理装置からHMDに送られる画像の画素数を減らす(低解像度化を行う)などして伝送量を小さくすると、表示部で表示する前に補間処理等を行って画素数を補ったとしても、表示される画像の画質が劣化する。 By the way, in communication between the HMD and an external image processing apparatus, when data having a large amount of information such as a moving image is communicated, a delay problem may occur. For this reason, when communicating data that requires real-time properties, such as the above moving image, the amount of data to be communicated is reduced to reduce the amount of transmission, thereby suppressing delay. However, if the information amount of the image data to be communicated is reduced, there is a problem that the image quality of the image is deteriorated. For example, if the transmission amount is reduced by reducing the number of pixels of the image sent from the image processing device to the HMD (reducing the resolution), interpolation processing or the like is performed before displaying on the display unit to compensate for the number of pixels. However, the image quality of the displayed image deteriorates.
そこで、本発明は、画質の劣化を抑制するとともに伝送量を小さくすることを可能とする圧縮方法、当該圧縮方法で画像の圧縮を行う画像処理装置、画像表示装置及び画像表示システムを提供することを目的とする。 Accordingly, the present invention provides a compression method capable of suppressing deterioration in image quality and reducing the transmission amount, an image processing device, an image display device, and an image display system that perform image compression using the compression method. With the goal.
本発明の映像表示装置は、当該装置の外部から入力される外部画像及び観察者の視認している現実像を示す局所背景画像を対応する位置毎に比較し、前記外部画像の前記局所背景画像に類似する領域を対象領域として設定するとともに、鮮明度を低減する処理である更新処理を前記外部画像の前記対象領域に対して行う外部画像更新処理部と、前記更新処理後の前記外部画像を符号化する外部画像符号化部と、を備えることを特徴とする。 The video display device of the present invention compares an external image input from the outside of the device and a local background image showing a real image visually recognized by an observer for each corresponding position, and the local background image of the external image An external image update processing unit that sets an area similar to the target area and performs update processing that is processing for reducing the sharpness on the target area of the external image, and the external image after the update processing And an external image encoding unit for encoding.
また、上記構成の画像処理装置において、前記外部画像更新処理部で行われる前記更新処理が、平滑化処理であることとしても構わない。 In the image processing apparatus having the above configuration, the update process performed by the external image update processing unit may be a smoothing process.
このように構成すると、平滑化処理されて低減される高周波成分を示す信号値が効率よく省略されることとなる。そのため、外部画像の情報量を低減することが可能となる。例えば、外部画像を周波数領域の信号により構成される信号列に変換するとともに、当該信号列を省略表記する場合などに平滑化処理を適用すると、好適に情報量を低減することが可能となる。なお、この信号列が周波数成分の大きさにしたがって信号値を整列させたものであり、隣接する等しい信号値を省略表記するものとしても構わない。 If comprised in this way, the signal value which shows the high frequency component reduced by smoothing will be omitted efficiently. Therefore, it is possible to reduce the information amount of the external image. For example, when an external image is converted into a signal sequence composed of frequency domain signals and a smoothing process is applied when the signal sequence is omitted, the amount of information can be suitably reduced. Note that this signal sequence is obtained by arranging signal values according to the magnitude of the frequency component, and adjacent equal signal values may be abbreviated.
また、上記構成の画像処理装置において、前記外部画像更新処理部で行われる前記更新処理が、低解像度化処理であることとしても構わない。 In the image processing apparatus having the above-described configuration, the update process performed by the external image update processing unit may be a resolution reduction process.
このように構成すると、対象領域の画素数が低減されるため、情報量を低減することが可能となる。なお、画素値の所定の成分、特に色を示す成分のみ低解像度化することとすると、外部画像の画質の劣化を抑制することができるため好ましい。 With this configuration, the number of pixels in the target area is reduced, and thus the amount of information can be reduced. Note that it is preferable to reduce the resolution of only a predetermined component of a pixel value, particularly a component indicating a color, because deterioration in image quality of an external image can be suppressed.
また、上記構成の画像処理装置において、前記外部画像の画素の画素値が複数の成分を備えるものであり、前記外部画像更新処理部が、前記成分のうち人間が敏感に感じる成分に対して鮮明度を低減する効果が小さい前記更新処理を行うまたは前記更新処理を行わないものとし、前記成分のうち人間が鈍感に感じる成分に対して鮮明度を低減する効果が大きい前記更新処理を行うこととしても構わない。 In the image processing apparatus having the above-described configuration, the pixel value of the pixel of the external image includes a plurality of components, and the external image update processing unit clearly displays a component that is sensitive to humans among the components. The update process with a small effect of reducing the degree is performed or the update process is not performed, and the update process with a large effect of reducing the sharpness is performed on a component that is insensitive to humans among the components. It doesn't matter.
このように構成すると、外部画像を表示したときに観察者が感じる画質の劣化を、効率よく抑制することが可能となる。 If comprised in this way, it will become possible to suppress efficiently the degradation of the image quality which an observer feels when displaying an external image.
また、上記構成の画像処理装置において、前記外部画像更新処理部が、前記局所背景画像及び前記外部画像を所定の大きさの領域であるブロック毎に比較するとともに、前記外部画像の前記ブロックのうち前記局所背景画像の前記ブロックに類似するものを前記対象領域とすることとしても構わない。特に、前記外部画像更新処理部が、前記外部画像及び前記局所背景画像のそれぞれの前記ブロックの代表値を比較するものであり、当該代表値を、前記ブロックに含まれる画素の画素値の中央値、前記ブロックに含まれる画素の画素値の平均値及び画素値を周波数領域の信号に変換して得られる直流成分の値、のいずれかを用いて算出することとしても構わない。 Further, in the image processing apparatus having the above configuration, the external image update processing unit compares the local background image and the external image for each block that is an area having a predetermined size, and among the blocks of the external image. A thing similar to the block of the local background image may be set as the target area. In particular, the external image update processing unit compares the representative values of the blocks of the external image and the local background image, and the representative value is the median of the pixel values of the pixels included in the block. The average value of the pixel values of the pixels included in the block and the value of the direct current component obtained by converting the pixel value into a frequency domain signal may be used.
このように構成すると、ブロック単位で簡易的に対象領域を設定することが可能となる。 If comprised in this way, it will become possible to set an object area | region simply in a block unit.
また、上記構成の画像処理装置において、前記外部画像の前記ブロックに属する画素の画素値の分散が所定の値よりも大きい場合、当該ブロックを前記対象領域として設定しないこととしても構わない。 In the image processing apparatus having the above configuration, when the variance of pixel values of pixels belonging to the block of the external image is larger than a predetermined value, the block may not be set as the target region.
このように構成すると、ブロック内の画像にエッジ部分が含まれる場合など、対象領域として不適当である場合に当該ブロックを対象領域から除外することが可能となる。これにより、画像のエッジ部分がぼけるなどして画像が不鮮明になることを抑制することが可能となる。また、予め分散が大きいブロックを除外することとすると、比較するブロックの数を低減することが可能となるため好ましい。 With this configuration, it is possible to exclude the block from the target area when it is inappropriate as the target area, for example, when an edge portion is included in the image in the block. As a result, it is possible to suppress blurring of the image due to blurring of an edge portion of the image. In addition, it is preferable to exclude blocks having a large variance in advance because the number of blocks to be compared can be reduced.
また、上記構成の画像処理装置において、前記外部画像更新処理部が、前記外部画像及び前記局所背景画像のそれぞれを画素値が略等しくなる領域毎に分割するとともに、当該領域に属する画素の画素値に応じたラベルを付し、前記外部画像及び前記局所背景画像を重ねたとき、略等しいラベルが付されている領域の重なる領域を対象領域とすることとしても構わない。 In the image processing apparatus having the above configuration, the external image update processing unit divides each of the external image and the local background image into regions where pixel values are substantially equal, and pixel values of pixels belonging to the region. When the external image and the local background image are overlapped with each other, a region that overlaps a region with a substantially equal label may be set as a target region.
このように構成すると、精度良く対象領域を設定することが可能となる。特に、画素単位の境界を有する対象領域を設定することが可能となる。 If comprised in this way, it will become possible to set an object area | region accurately. In particular, it is possible to set a target region having a pixel unit boundary.
また、上記構成の画像処理装置において、前記外部画像及び前記局所背景画像のそれぞれの画素の画素値を低階調化した後に、前記領域毎に分割して前記対象領域を設定することとしても構わない。 In the image processing apparatus having the above-described configuration, after the pixel values of the pixels of the external image and the local background image are reduced in gradation, the target region may be set by being divided for each region. Absent.
このように構成すると、付されるラベルの種類を少なくするとともに各領域を大きくして、設定される対象領域を大きくすることが可能となる。したがって、更新処理による効果を十分に得ることが可能となる。 If comprised in this way, it will become possible to reduce the kind of label attached and to enlarge each area | region and to enlarge the object area | region set. Therefore, it is possible to sufficiently obtain the effect of the update process.
また、上記構成の画像処理装置において、前記外部画像更新処理部が、前記外部画像に設定された前記対象領域と、前記局所背景画像の前記対象領域に対応する対応領域と、に含まれるそれぞれの画素の画素値に対して線形分離を行い、分離可能である場合に当該対象領域を除外することとしても構わない。 In the image processing apparatus having the above configuration, the external image update processing unit includes each of the target area set in the external image and a corresponding area corresponding to the target area of the local background image. Linear separation may be performed on the pixel values of the pixels, and the target area may be excluded when separation is possible.
このように構成すると、設定された対象領域が類似せずに不適である場合、当該対象領域を除外することが可能となる。そのため、より精度良く対象領域を設定することが可能となる。 If comprised in this way, when the set object area | region is unsimilar and unsuitable, it becomes possible to exclude the object area | region. Therefore, it is possible to set the target area with higher accuracy.
また、本発明の画像表示システムは、上記の前記画像処理装置と、前記画像処理装置と通信する画像表示装置と、を備え、前記画像表示装置が、前記画像処理装置から送信処理される前記更新処理後の前記外部画像を受信処理する外部画像受信処理部と、前記更新処理後の前記外部画像を表示するとともに現実像を透過させて視認可能とする表示部と、撮像により前記現実像を示す現実画像を生成する撮像部と、前記現実画像を前記画像処理装置に送信処理する現実画像送信処理部と、を備え、前記画像処理装置が、前記画像表示装置から送信処理される前記現実画像を受信処理する現実画像受信処理部と、前記表示部に表示される前記更新処理後の前記外部画像越しに視認される前記現実像の重畳部分を示す画像である前記局所背景画像を、前記現実画像から生成する局所背景画像生成部と、前記更新処理後の前記外部画像を前記画像表示装置に送信処理する外部画像送信処理部と、をさらに備えることを特徴とする。 The image display system of the present invention includes the image processing device described above and an image display device that communicates with the image processing device, and the image display device is subjected to transmission processing from the image processing device. An external image reception processing unit that receives and processes the external image after processing, a display unit that displays the external image after the update processing and allows a real image to pass therethrough, and shows the real image by imaging An imaging unit that generates a real image; and a real image transmission processing unit that transmits the real image to the image processing device, and the image processing device transmits the real image to be transmitted from the image display device. A local image that is an image showing a superimposed portion of the real image that is visually recognized through the external image after the update process displayed on the display unit and a real image reception processing unit that performs reception processing; And local background image generating unit that generates from the real image, and further comprising an external image transmission processing unit, a for transmitting processing the external image after the updating process on the image display device.
このように構成すると、画像処理装置に、画像表示装置で撮像された現実画像が入力されることとなる。そのため、画像処理装置が現実画像を記録したり、他の装置に送信したり、表示したりすることが可能となる。 If comprised in this way, the real image imaged with the image display apparatus will be input into an image processing apparatus. Therefore, the image processing apparatus can record a real image, transmit it to another apparatus, and display it.
また、本発明の画像表示システムは、請求項1〜請求項11のいずれかに記載の前記画像処理装置と、前記画像処理装置と通信する画像表示装置と、を備え、前記画像表示装置が、前記画像処理装置から送信処理される前記更新処理後の前記外部画像を受信処理する外部画像受信処理部と、前記更新処理後の前記外部画像を表示するとともに現実像を透過させて視認可能とする表示部と、撮像により前記現実像を示す現実画像を生成する撮像部と、前記表示部に表示される前記更新処理後の前記外部画像越しに視認される前記現実像の重畳部分を示す前記局所背景画像を、前記現実画像から生成する局所背景画像生成部と、前記局所背景画像を前記画像処理装置に送信処理する局所背景画像送信処理部と、を備え、前記画像処理装置が、前記画像表示装置から送信される前記局所背景画像を受信処理する局所背景画像受信処理部と、前記更新処理後の前記外部画像を前記画像表示装置に送信処理する外部画像送信処理部と、をさらに備えることを特徴とする。
An image display system of the present invention includes the image processing device according to any one of
このように構成すると、画像表示装置から画像処理装置に送信処理される画像が、局所背景画像となる。そのため、現実画像を送信処理する場合と比較して、伝送量を低減することが可能となる。 With this configuration, an image that is transmitted from the image display device to the image processing device is a local background image. Therefore, it is possible to reduce the transmission amount as compared with the case where a real image is transmitted.
また、本発明の画像表示装置は、画像を表示する画像表示装置において、前記画像表示装置が、当該画像表示装置と同様の構成を備える他の画像処理装置と画像を通信するものであり、前記他の画像表示装置で表示するための外部画像を生成する他機用外部画像生成部と、前記他の画像表示装置から送信処理される他機用局所背景画像を受信処理する他機用局所背景画像受信処理部と、前記他機用外部画像及び前記他機用局所背景画像を対応する位置毎に比較し、前記他機用外部画像の前記他機用局所背景画像に類似する領域を対象領域として設定するとともに、鮮明度を低減する処理である更新処理を前記他機用外部画像の前記対象領域に対して行う他機用外部画像更新処理部と、前記更新処理後の前記他機用外部画像を前記他の画像表示装置に送信処理する他機用外部画像送信部と、前記他の画像表示装置から送信処理される自機用外部画像を受信処理する自機用外部画像受信処理部と、前記自機用外部画像を表示するとともに現実像を透過させて視認可能とする表示部と、撮像により前記現実像を示す現実画像を生成する撮像部と、前記表示部に表示される前記自機用外部画像越しに視認される前記現実像の重畳部分を示す自機用局所背景画像を、前記現実画像から生成する自機用局所背景画像生成部と、前記自機用局所背景画像を前記他の画像表示装置に送信処理する自機用局所背景画像送信処理部と、を備えることを特徴とする。 The image display device of the present invention is an image display device that displays an image, wherein the image display device communicates an image with another image processing device having the same configuration as the image display device, An external image generating unit for other devices that generates an external image to be displayed on another image display device, and a local background for other devices that receives and processes a local background image for other devices that is transmitted from the other image display device The image reception processing unit is compared with the external image for the other device and the local background image for the other device for each corresponding position, and the region similar to the local background image for the other device of the external image for the other device is the target region And an external image update processing unit for the other device that performs an update process that is a process for reducing the sharpness on the target area of the external image for the other device, and the external for the other device after the update process. Display the image as the other image An external image transmission unit for other device that performs transmission processing on a device, an external image reception processing unit for own device that receives and processes an external image for own device that is transmitted from the other image display device, and the external image for the own device A display unit that transmits a real image and is visible, an imaging unit that generates a real image showing the real image by imaging, and a visual recognition through the external image for the own device displayed on the display unit A local background image for the own device that generates a local background image for the own device indicating a superimposed portion of the real image to be generated from the real image, and the local background image for the own device is transmitted to the other image display device A local background image transmission processing unit for the own device to be processed.
このように構成すると、複数の画像表示装置が直接的に画像の通信を行うことが可能となる。特に、仲介装置である画像処理装置を不要とすることが可能となる。 If comprised in this way, it will become possible for a some image display apparatus to communicate an image directly. In particular, an image processing apparatus that is an intermediary apparatus can be eliminated.
また、上記構成の画像表示装置において、前記他機用外部画像生成部が、前記撮像部で生成される前記現実画像から前記他機用外部画像を生成することとしても構わない。 In the image display device having the above-described configuration, the external device external image generation unit may generate the external device external image from the real image generated by the imaging unit.
また、本発明の画像圧縮方法は、外部画像及び局所背景画像を対応する位置毎に比較する第1ステップと、前記第1ステップによって前記外部画像の前記局所背景画像に類似すると判定した領域を対象領域として設定する第2ステップと、前記外部画像の前記第2ステップによって設定された前記対象領域に対して、鮮明度を低減する処理である更新処理を行う第3ステップと、前記更新処理後の前記外部画像を符号化する第4ステップと、を備えることを特徴とする。 The image compression method according to the present invention targets a first step of comparing an external image and a local background image for each corresponding position, and an area determined to be similar to the local background image of the external image by the first step. A second step of setting as a region, a third step of performing an update process that is a process of reducing the sharpness on the target region set by the second step of the external image, and a step after the update process And a fourth step of encoding the external image.
本発明によれば、外部画像中の局所背景画像と類似した領域の鮮明度を低減することにより、外部画像の情報量の低減化を図ることが可能となる。また、このような類似する領域は、外部画像を表示した際に観察者に認識されにくい領域である。そのため、情報量を低減化したとしても、観察者に画質の劣化を感じられにくくすることが可能となる。 According to the present invention, it is possible to reduce the amount of information of an external image by reducing the sharpness of a region similar to a local background image in the external image. Such a similar region is a region that is difficult for an observer to recognize when an external image is displayed. Therefore, even if the amount of information is reduced, it is possible to make it difficult for the observer to perceive deterioration in image quality.
以下、本発明における圧縮方法や画像処理装置、画像表示装置の実施形態について、図面を参照して説明する。最初に、画像表示装置の一例であるシースルー型HMDの構成例について、図1及び図2を参照して説明する。 Hereinafter, embodiments of a compression method, an image processing apparatus, and an image display apparatus according to the present invention will be described with reference to the drawings. First, a configuration example of a see-through HMD which is an example of an image display device will be described with reference to FIGS. 1 and 2.
<<画像表示装置>>
図1は、本発明の実施形態に係る画像表示装置(シースルー型HMD)の構成の一例を示した斜視図である。図1に示すように、本例の画像表示装置1は眼鏡をベースとしたものである。画像表示装置1は、フレーム2と、外部画像の表示を行う表示部3と、表示部3の一部である右眼用レンズ31と、左眼用レンズ4と、撮像によって現実画像を生成する撮像部5と、外部の画像処理装置(不図示)と通信を行う本体部6と、表示部3及び撮像部5と本体部6とを接続するケーブル7と、を備える。また、本体部6はケーブル7を介して表示部3に外部画像や電力を供給するとともに、撮像部5が生成した現実画像を取得する。さらに、本体部6は画像処理装置に現実画像を送信するとともに、画像処理装置から外部画像を受信する。<< Image display device >>
FIG. 1 is a perspective view showing an example of the configuration of an image display device (see-through type HMD) according to an embodiment of the present invention. As shown in FIG. 1, the
表示部3は、上記の右眼用レンズ31と、ケーブル7を介して入力される外部画像に基づく光学像を右眼用レンズ31に投影する投影部32と、を備える。投影部32は右眼用レンズ31の上部に備えられ、その内部には外部画像の光学像を投影するための光源(不図示)や表示素子(不図示)が備えられる。なお、光源をLED(Light Emitting Diode)やLD(Laser Diode)で構成しても構わない。さらに、表示素子を、光源から出射される光を選択的に透過させて光学像を投影する液晶パネルで構成しても構わない。
The
表示部3の表示動作の一例について、図2に示す。図2は、表示部の表示動作の一例を示す断面図である。図2に示すように、投影部32から投影された外部画像の光学像は、右眼用レンズ31の上端からその内部へと入射される。入射された光学像は、右眼用レンズ31内を全反射しながら下部へと進み、右眼用レンズ31の下部に備えられるホログラフィック光学素子HOEによって反射される。そして、反射された光学像が観察者の目に入射することによって、観察者が外部画像を視認する。同時に、右眼用レンズ13を透過した現実像も観察者の目に入射され、観察者に視認される。そのため、観察者は現実像と外部画像とを同時に視認することができる。換言すると、観察者は外部画像が重畳された現実像を視認することができる。
An example of the display operation of the
撮像部5は、図1に示すように表示部3の投影部32に一体となって備えられ、観察者が視認する方向(右眼用レンズ31の観察者が存在する方向とは反対となる方向)の現実像の撮像を行う。上記のように、撮像部5によって撮像されて生成された現実画像は、ケーブル7を介して本体部6に入力される。なお、撮像部5が、固体撮像素子(例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)など)を備えるものとしても構わない。
The
なお、表示部3を構成しないレンズ(左眼用レンズ4)を、画像表示装置1に備えない構成としても構わないし、本例のようにダミーレンズとして備えることとしても構わない。また、投影部32が片眼のレンズ(右眼用レンズ31)にのみ備えられる構成について示したが、両眼のレンズに備えられる構成としても構わない。撮像部5についても同様に、両眼のレンズに備えられる構成としても構わない。
The lens (lens 4 for the left eye) that does not constitute the
また、本体部6とケーブル7とを備える構成について示したが、本体部6の機能を投影部32の内部に備えるなどして、本体部6及びケーブル7を備えない構成としても構わない。 In addition, the configuration including the main body 6 and the cable 7 has been described. However, the main body 6 and the cable 7 may be omitted by providing the function of the main body 6 inside the projection unit 32.
また、本体部6が画像処理装置から取得する外部画像として、例えば、コンピュータや携帯電話などの表示画像や、ウェブカメラなどによって撮像された動画像などを適用することが可能である。また、他の画像表示装置(HMD)によって撮像された現実画像などを外部画像としても構わない。 Further, as an external image acquired by the main body unit 6 from the image processing apparatus, for example, a display image of a computer or a mobile phone, a moving image captured by a web camera, or the like can be applied. In addition, a real image captured by another image display device (HMD) may be used as an external image.
<<画像表示システム>>
<第1実施例>
次に、上述した画像表示装置と画像処理装置とを備える画像表示システムの第一実施例について、図面を参照して説明する。図3は、本発明の実施形態に係る画像表示システムの第1実施例の構成について示すブロック図である。なお、図1と同様となる部分には同じ符号を付し、その詳細な説明については省略する。<< Image display system >>
<First embodiment>
Next, a first embodiment of an image display system including the above-described image display device and image processing device will be described with reference to the drawings. FIG. 3 is a block diagram showing the configuration of the first example of the image display system according to the embodiment of the present invention. Parts that are the same as those in FIG. 1 are denoted by the same reference numerals, and detailed description thereof is omitted.
図3に示すように、本例の画像表示システムSは、上述した画像表示装置1と画像処理装置20とを備える。上述のように、画像表示装置1は画像処理装置に対して現実画像を送信する。また、画像処理装置20は、画像表示装置1に対して外部画像を送信する。この画像表示装置1と画像処理装置20との間の画像通信は、無線LAN(Local Area Network)や赤外線などを用いた無線通信や、有線LANを用いた有線でのネットワーク通信でもよい。
As shown in FIG. 3, the image display system S of the present example includes the
画像表示装置1は、現実像を撮像して現実画像を生成し出力する撮像部5と、撮像部5から出力される現実画像を符号化して現実画像信号を生成し出力する現実画像符号化部11と、現実画像符号化部11から出力される現実画像信号を画像処理装置20に送信する現実画像送信部12と、画像処理装置20から送信される外部画像信号を受信する外部画像受信部13と、外部画像受信部13で受信される外部画像信号を復号化して外部画像を生成し出力する外部画像復号化部14と、外部画像復号化部14から出力される外部画像を表示する表示部3と、を備える。
The
また、画像処理装置20は、画像表示装置1から送信される現実画像信号を受信する現実画像受信部21と、現実画像受信部21で受信される現実画像信号を復号化して現実画像を生成し出力する現実画像復号化部22と、現実画像復号化部22から出力される現実画像に基づいて局所背景画像を生成し出力する局所背景画像生成部23と、局所背景画像生成部23から出力される局所背景画像に基づいて外部から入力される外部画像に更新処理を施して更新処理後の外部画像を出力する外部画像更新処理部24と、外部画像更新処理部24から出力される外部画像を符号化して外部画像信号を生成し出力する外部画像符号化部25と、外部画像符号化部25から出力される外部画像信号を画像表示装置1に送信する外部画像送信部26と、を備える。
Further, the
次に、本実施例の画像表示システムSの動作について図面を参照して説明する。図4は、第1実施例の画像表示システムの動作について示すフローチャートである。なお、図4は1つの現実画像に対応する外部画像を表示する場合について示したものであり、連続的に現実画像を撮像するとともに00外部画像を表示する場合は、図4に示す一連の動作を繰り返し行うものとする。 Next, the operation of the image display system S of the present embodiment will be described with reference to the drawings. FIG. 4 is a flowchart showing the operation of the image display system of the first embodiment. FIG. 4 shows a case where an external image corresponding to one real image is displayed. When a real image is continuously captured and 00 external images are displayed, a series of operations shown in FIG. Shall be repeated.
図4に示すように、最初に撮像部5が現実像を撮像して現実画像を生成する(STEP1)。次に、現実画像符号化部11が現実画像を圧縮及び符号化し、現実画像信号を生成する(STEP2)。このとき、例えば離散コサイン変換(Discrete Cosine Transform、以下DCTとする)を用いる圧縮符号化方法(例えば、JPEG(Joint Photographic Experts Group)、Motion−JPEG、MPEG(Moving Picture Experts Group)など)を適用しても構わない。
As shown in FIG. 4, first, the
DCTを用いる場合、まず位置(画素)毎の画素値で表現される空間領域の信号が、周波数成分毎の信号値(DCT係数)で表現される周波数領域の信号へと変換される。このとき、画像を複数のブロック(以下、マクロブロックとする)に分割し、それぞれのマクロブロック毎にDCTを行うこととしても構わない。得られるDCT係数は、量子化処理がなされることで圧縮される。 In the case of using DCT, first, a spatial domain signal expressed by a pixel value for each position (pixel) is converted into a frequency domain signal expressed by a signal value (DCT coefficient) for each frequency component. At this time, the image may be divided into a plurality of blocks (hereinafter referred to as macroblocks), and DCT may be performed for each macroblock. The obtained DCT coefficient is compressed by being quantized.
量子化処理として、例えば、DCT係数のそれぞれを、所定の値である量子化定数でそれぞれ割るとともに、小数点以下の端数を切り捨てる処理を適用することが可能である。なお、低周波数成分のDCT係数を割る量子化定数を小さく、高周波数成分のDCT係数を割る量子化定数を大きく設定しても構わない。 As the quantization process, for example, it is possible to apply a process of dividing each of the DCT coefficients by a quantization constant that is a predetermined value and rounding off fractions after the decimal point. Note that the quantization constant for dividing the DCT coefficient of the low frequency component may be set small, and the quantization constant for dividing the DCT coefficient of the high frequency component may be set large.
上記の処理により得られるDCT係数は、例えばジグザグスキャンが行われることによって信号列となる。ジグザグスキャンについて図5に示す。図5は、1つのマクロブロックにおける量子化後のDCT係数をマトリクス状に並べた状態を示す模式図である。特に、8×8画素のマクロブロックについてDCTを行って得られる8×8個のDCT係数を示すものである。図5では、右方のDCT係数ほど垂直方向の周波数が大きい成分を示し、下方のDCT係数ほど水平方向の周波数が大きい成分を示すものとなる。即ち、左上のDCT係数が示す周波数成分が最も小さいもの(周波数が0の成分、即ち直流成分)となり、右下のDCT係数が示す周波数成分が最も大きいものとなる。 The DCT coefficient obtained by the above processing becomes a signal sequence by performing, for example, zigzag scanning. The zigzag scan is shown in FIG. FIG. 5 is a schematic diagram showing a state where DCT coefficients after quantization in one macroblock are arranged in a matrix. In particular, 8 × 8 DCT coefficients obtained by performing DCT on an 8 × 8 pixel macroblock are shown. In FIG. 5, the DCT coefficient on the right indicates a component with a higher vertical frequency, and the lower DCT coefficient indicates a component with a higher horizontal frequency. That is, the frequency component indicated by the DCT coefficient at the upper left is the smallest (the component having a frequency of 0, that is, a direct current component), and the frequency component indicated by the DCT coefficient at the lower right is the largest.
ジグザグスキャンは、左上のDCT係数Ddcから右下のDCT係数D63にかけて斜め方向に往復しながらスキャンすることで信号列を生成するものである。即ち、Ddc、D1、D2、D3、D4、D5、・・・、D61、D62、D63の順にDCT係数が並ぶ信号列が生成される。得られる信号列は、例えばランレングス符号化によって符号化される。これは、DCT係数の値Xが、信号列中でm回連続して出現する場合に、当該部分をまとめてmXと省略表記する符号化である。 In the zigzag scan, a signal sequence is generated by scanning while moving back and forth in an oblique direction from the upper left DCT coefficient Ddc to the lower right DCT coefficient D63. That is, a signal sequence in which DCT coefficients are arranged in the order of Ddc, D1, D2, D3, D4, D5,..., D61, D62, and D63 is generated. The obtained signal sequence is encoded by, for example, run length encoding. This is a coding in which when the value X of the DCT coefficient appears m times continuously in the signal sequence, the portion is collectively abbreviated as mX.
以上の符号化は、現実画像の画素値の成分毎に行われる。例えば、現実画像がコンポーネント信号で構成される場合、Y(輝度成分)、Cb(青の色差成分)、Cr(赤の色差成分)のそれぞれの成分に対して、それぞれ符号化が行われる。なお、現実画像がR(赤)G(緑)B(青)や、H(色相)S(彩度)V(明度)などの各成分で構成されている場合も、同様にそれぞれの成分毎に符号化が行われる。The above encoding is performed for each component of the pixel value of the real image. For example, when a real image is composed of component signals, encoding is performed for each of Y (luminance component), C b (blue color difference component), and C r (red color difference component). . In the case where the real image is composed of components such as R (red), G (green), B (blue), H (hue), S (saturation), and V (brightness), each component is similarly processed. Is encoded.
STEP2で生成される現実画像信号は、現実画像送信部12から画像処理装置20へと送信される(STEP3)。送信された現実画像信号は、画像処理装置20の現実画像受信部21で受信される(STEP4)。
The real image signal generated in
STEP4で受信された現実画像信号は、現実画像復号化部22によって復号化され、現実画像が生成される(STEP5)。このとき、上述の符号化と逆の処理が行われる。例えば、符号化された信号列の復号化、信号列のマトリクス状への書き出し、逆量子化(例えば、それぞれのDTC係数に上記の量子化定数をそれぞれ乗算する処理)、逆離散コサイン変換、が順に行われて現実画像が生成される。なお、上述した符号化と同様に、例えばYCbCrの成分毎に復号化が行われる。The real image signal received in STEP 4 is decoded by the real
STEP5で得られた現実画像は、局所背景画像生成部23において局所背景画像に変換される(STEP6)。局所背景画像への変換について、図6を参照して説明する。図6は、撮像部及び観察者のそれぞれの視野(画角)について示した断面図であり、図2と同様の断面について示すものである。
The real image obtained in
図6に示すように、撮像部5と観察者の眼の位置とは若干異なるものとなる。そのため、撮像部5で得られる現実画像と、観察者が現に視認している現実像とは異なるものとなる。そこで、STEP6では、現実画像を変換して、観察者の視認している現実像を示す画像である局所背景画像を生成する。特に、観察者が表示部3に表示される外部画像越しに視認する現実像を示す画像が、局所背景画像になるものとする。
As shown in FIG. 6, the
変換処理として、例えば、現実画像から不要な部分を削除する処理や、現実画像中の画素の座標を変換するなどの処理が行われる。なお、上記の局所背景画像への変換に際して、特開2003−91720の技術を利用しても構わない。当該技術は、仮想的に撮像部5の視点を変換(具体的には、現実画像の座標を変換)することによって、観察者の視点から見た画像を生成するものである。 As the conversion process, for example, a process of deleting an unnecessary part from the real image or a process of converting the coordinates of the pixels in the real image is performed. Note that the technique disclosed in Japanese Patent Application Laid-Open No. 2003-91720 may be used for the conversion to the local background image. This technique generates an image viewed from the observer's viewpoint by virtually converting the viewpoint of the imaging unit 5 (specifically, converting the coordinates of the real image).
次に、外部画像更新処理部24が、STEP6で生成された局所背景画像に基づいて、取得した外部画像の更新処理を行う(STEP7)。更新処理の概要について、図7及び図8を参照して説明する。図7は、更新処理の概要を示す局所背景画像及び外部画像の模式図であり、図8は、更新処理の概要を示すフローチャートである。
Next, the external image
図8に示すように、更新処理が開始されると、最初に対応する領域(外部画像を表示部3に表示したときに現実像(局所背景画像)と重畳する領域)について両画像の比較が行われる(STEP71)。STEP71による比較の結果、両画像が類似すると判定される外部画像中の当該領域を、更新処理対象となる領域(以下、対象領域とする)として設定する(STEP72)。例えば、図7に示す例では、外部画像内の領域A2が対象領域となり、この領域に対応する局所背景画像内の領域A1が対応領域となる。 As shown in FIG. 8, when the update process is started, comparison of both images is performed for the first corresponding region (region that overlaps the real image (local background image) when the external image is displayed on the display unit 3). Is performed (STEP 71). As a result of the comparison in STEP 71, the region in the external image determined to be similar to both images is set as a region to be updated (hereinafter referred to as a target region) (STEP 72). For example, in the example shown in FIG. 7, the area A2 in the external image is the target area, and the area A1 in the local background image corresponding to this area is the corresponding area.
STEP72によって外部画像に設定された対象領域に対して、更新処理を実行する(STEP73)。更新処理とは、画像の鮮明度を低減させる処理であり、例えば対象領域内の画素の画素値を平滑化する処理や、低解像度化する処理である。なお、本実施例では説明の具体化のため、更新処理が平滑化処理である場合について中心に説明する。また、上記STEP71〜STEP73の動作の詳細については、後述する。 Update processing is executed for the target area set in the external image in STEP 72 (STEP 73). The update process is a process for reducing the sharpness of an image, for example, a process for smoothing pixel values of pixels in a target area or a process for reducing resolution. In this embodiment, for the sake of concrete explanation, the case where the update process is a smoothing process will be mainly described. Details of the operations of STEP 71 to STEP 73 will be described later.
STEP7によって生成される更新処理された外部画像は、外部画像符号化部25において符号化され、外部画像信号が生成される(STEP8)。更新処理として平滑化処理を適用する場合、STEP2において説明したような符号化(即ち、DCTを利用した符号化)を行うこととすると好ましい。
The updated external image generated in STEP 7 is encoded by the external
具体的には、STEP7によって更新処理行われた対象領域は、平滑化処理によって高周波成分が低減されたものとなる。そのため、対象領域を含むマクロブロックに対してDCTを行い、得られるDCT係数を量子化すると、高周波成分のDCT係数(即ち、図5の右下付近のDCT係数)がまとまって0になりやすくなる。すると、ジグザグスキャンにより生成される信号列の後半は、0が連続したものとなる。このとき、ランレングス符号化を行うと、後半の連続した0を省略表記することが可能となる。即ち、外部画像信号の情報量を低減することが可能となる。 Specifically, the target region that has been updated in STEP 7 has a high-frequency component reduced by the smoothing process. Therefore, when DCT is performed on the macroblock including the target region and the obtained DCT coefficients are quantized, the DCT coefficients of the high-frequency components (that is, the DCT coefficients near the lower right in FIG. 5) are likely to be zero. . Then, in the second half of the signal sequence generated by the zigzag scan, 0 is continuous. At this time, if run-length encoding is performed, it is possible to abbreviate consecutive zeros in the latter half. That is, the amount of information of the external image signal can be reduced.
STEP8において生成される外部画像信号は、外部画像送信部26から画像表示装置1へと送信される(STEP9)。送信された外部画像信号は、画像表示装置1の外部画像受信部13で受信される(STEP10)。
The external image signal generated in STEP 8 is transmitted from the external
STEP10で受信される外部画像信号は、外部画像復号化部14で復号化され、外部画像が生成される(STEP11)。このとき、上述の現実画像復号化部22と同様に、符号化と逆の処理が行われる。そして、得られた外部画像が表示部3によって観察者に表示される。
The external image signal received in STEP 10 is decoded by the external
外部画像は、観察者が視認する現実像に重畳して表示される。表示される外部画像のうち、現実像と類似する対象領域は、高周波成分(鮮明度)が低減されたものとなる。しかしながら、このような対象領域は重畳する現実像と類似した領域であるため、観察者が細部(例えば色の細かい濃淡など)を正確に認識することが困難となる領域である。そのため、対象領域の高周波成分を低減したとしても、観察者に画質の劣化はほとんど感じられない。したがって、観察者に外部画像の画質の劣化を強く感じさせることなく、伝送量を低減することが可能となる。 The external image is displayed superimposed on a real image visually recognized by the observer. Of the displayed external image, the target region similar to the real image has a reduced high-frequency component (definition). However, since such a target area is an area similar to the superimposed real image, it is difficult for the observer to accurately recognize details (for example, fine shades of color). Therefore, even if the high-frequency component in the target region is reduced, the image quality is hardly deteriorated by the observer. Therefore, it is possible to reduce the transmission amount without causing the observer to feel the deterioration of the image quality of the external image.
なお、現実画像符号化部11と外部画像符号化部25とで同じ符号化方法を適用する場合について説明したが、それぞれで異なる符号化方法を適用することとしても構わない。ただし、外部画像符号化部25については、上述の符号化方法を適用することとすると好ましい。上述の符号化方法とは、周波数領域の信号により構成される信号列に対して、省略表記を行う符号化方法である。具体的には、周波数成分の大きさの順に信号値を整列させた信号列に対して、連続する同じ値の信号を省略表記する符号化方法である。
Although the case where the same encoding method is applied to the real
また、符号化方法としてランレングス符号化を例示したが、本発明の符号化方法はこの限りではない。例えば、信号値0についてのみ省略表記を行う、いわゆるゼロランレングス符号化を用いても構わないし、信号列の最後まで0が続く場合(即ち、ある周波数以上の成分の信号値が全て0の場合)にEOB(End Of Block)コードを出力して省略表記する符号化方法を用いても構わない。 Moreover, although run length encoding was illustrated as an encoding method, the encoding method of this invention is not this limitation. For example, a so-called zero-run length coding that omits only the signal value 0 may be used, and when 0 continues to the end of the signal sequence (that is, when the signal values of components above a certain frequency are all 0) ) May be used in which an EOB (End Of Block) code is output and abbreviated.
また、図3に示すように、画像処理装置20の現実画像復号化部22から出力される現実画像を他の者(例えば、画像表示装置1を使用する観察者と共同で作業をする者など)に確認させたり、記録したりするために、画像処理装置20から現実画像を出力可能な構成としても構わない。
Further, as shown in FIG. 3, the real image output from the real
<第2実施例>
次に、画像表示システムの第2実施例について図面を参照して説明する。図9は、本発明の実施形態に係る画像表示システムの第2実施例の構成について示すブロック図であり、第1実施例について示した図3に相当するものである。なお、第1実施例と同様となる部分については同様の番号を付し、その詳細な説明については省略する。<Second embodiment>
Next, a second embodiment of the image display system will be described with reference to the drawings. FIG. 9 is a block diagram showing the configuration of the second example of the image display system according to the embodiment of the present invention, and corresponds to FIG. 3 showing the first example. In addition, the same number is attached | subjected about the part similar to 1st Example, and the detailed description is abbreviate | omitted.
本実施例の画像表示システムSaは、第1実施例と同様に、画像表示装置1aと画像処理装置20aとを備える。ただし、画像表示装置1aに局所背景画像生成部23aが備えられる点が、第1実施例とは異なる。
Similar to the first embodiment, the image display system Sa of the present embodiment includes an
画像表示装置1aは、撮像部5と、撮像部5から出力される現実画像に基づいて局所背景画像を生成し出力する局所背景画像生成部23aと、局所背景画像生成部23aから出力される局所背景画像を符号化して局所背景画像信号を生成し出力する局所背景画像符号化部11aと、局所背景画像符号化部11aから出力される局所背景画像信号を画像処理装置20aに送信する局所背景画像送信部12aと、外部画像受信部13と、外部画像復号化部14と、表示部3と、を備える。
The
また、画像処理装置20aは、画像表示装置1aから送信される局所背景画像信号を受信する局所背景画像受信部21aと、局所背景画像受信部21aで受信される局所背景画像信号を復号化して局所背景画像を生成し出力する局所背景画像復号化部22aと、外部画像更新処理部24と、外部画像符号化部25と、外部画像送信部26と、を備える。
In addition, the
次に、本実施例の画像表示システムSaの動作について図面を参照して説明する。図10は、第2実施例の画像表示システムの動作について示すフローチャートであり、第1実施例の画像表示システムの動作について示した図4に相当するものである。なお、図4と同様の動作となる部分については同様のSTEP番号を付し、その詳細な説明については省略する。 Next, the operation of the image display system Sa of the present embodiment will be described with reference to the drawings. FIG. 10 is a flowchart showing the operation of the image display system of the second embodiment, and corresponds to FIG. 4 showing the operation of the image display system of the first embodiment. It should be noted that the same STEP numbers are assigned to parts that operate in the same manner as in FIG. 4, and detailed descriptions thereof are omitted.
図10に示すように、最初に撮像部5が現実像を撮像して現実画像を生成する(STEP1)。本実施例では、次に局所背景画像生成部23aが、撮像部5から出力される現実画像から局所背景画像を生成する(STEP6a)。なお、局所背景画像の生成方法は、第1実施例の局所背景画像生成部23による生成方法と同様である。
As shown in FIG. 10, first, the
生成される局所背景画像は、局所背景画像符号化部11aにおいて符号化されて、局所背景画像信号が生成される(STEP2a)。また、生成される局所背景画像信号は、局所背景画像送信部12aから画像処理装置20aへと送信される(STEP3a)。なお、局所背景画像符号化部11aによる符号化方法は、第1実施例の現実画像符号化部11による符号化方法と同様である。
The generated local background image is encoded by the local background
STEP3aで送信された局所背景画像信号は、画像処理装置20aの局所背景画像受信部21aで受信される(STEP4a)。受信された局所背景画像信号は、局所背景画像復号化部22aによって復号化され、局所背景画像が生成される(STEP5a)。なお、局所背景画像復号化部22aによる復号化方法は、第1実施例の現実画像復号化部22による復号化方法と同様である。
The local background image signal transmitted in STEP 3a is received by the local background
また、これ以降の動作である、外部画像更新処理部24による外部画像の更新処理(STEP7)、外部画像符号化部25による更新処理後の外部画像の符号化(STEP8)、外部画像送信部26による外部画像信号の送信(STEP9)、外部画像受信部による外部画像信号の受信(STEP10)、外部画像復号化部による外部画像の復号化(STEP11)、表示部3による外部画像の表示(STEP12)、については第1実施例と同様のものとなる。
Further, the following operations are the external image update processing by the external image update processing unit 24 (STEP 7), the external image encoding after the update processing by the external image encoding unit 25 (STEP 8), and the external
本実施例のように構成しても、第1実施例と同様の効果を得ることができる。即ち、観察者に外部画像の画質の劣化を強く感じさせることなく、伝送量を低減することが可能となる。 Even if it is configured as in the present embodiment, the same effect as in the first embodiment can be obtained. That is, it is possible to reduce the transmission amount without causing the observer to strongly feel the deterioration of the image quality of the external image.
本実施例ではさらに、画像表示装置1aにおいて局所背景画像を生成し、これを現実画像に代えて画像処理装置20aに送信することとしている。即ち、現実画像よりも情報量の少ない局所背景画像を通信する。そのため、画像表示装置1aと画像処理装置20aとの伝送量を、第1実施例よりもさらに低減することが可能となる。
Further, in the present embodiment, a local background image is generated in the
なお、図9では画像処理装置20aの局所背景画像復号化部22aから出力される局所背景画像が、画像処理装置20aから出力されない構成として図示しているが、出力可能な構成としても構わない。特に、他の者に確認させたり記録したりする画像が局所背景画像で足りる場合は、第2実施例を適用することが可能である。しかしながら、画像処理装置から現実画像を出力する必要がある場合は、第1実施例を適用する方が好ましい。
In FIG. 9, the local background image output from the local background
<第3実施例>
次に、画像表示システムの第3実施例について図面を参照して説明する。図11は、本発明の実施形態に係る画像表示システムの第3実施例の構成について示すブロック図であり、第1実施例について示した図3に相当するものである。なお、第1実施例と同様となる部分については同様の番号を付し、その詳細な説明については省略する。<Third embodiment>
Next, a third embodiment of the image display system will be described with reference to the drawings. FIG. 11 is a block diagram showing the configuration of the third example of the image display system according to the embodiment of the present invention, and corresponds to FIG. 3 showing the first example. In addition, the same number is attached | subjected about the part similar to 1st Example, and the detailed description is abbreviate | omitted.
本実施例の画像表示システムSbは、第1実施例や第2実施例において示した画像表示装置の機能と画像処理装置の機能とを併せ持つ画像表示装置を、複数備える。そして、本実施例の画像表示システムSbでは、同様の構成を備えた複数の画像表示装置が直接的に通信を行う。 The image display system Sb of the present embodiment includes a plurality of image display devices that have both the functions of the image display device and the functions of the image processing device shown in the first and second embodiments. In the image display system Sb of the present embodiment, a plurality of image display devices having the same configuration communicate directly.
以下、主として説明を行う画像表示装置を第1画像表示装置100とし、当該第1画像表示装置100と通信する画像表示装置を第2画像表示装置101とする。なお、以下おいて名称に「第1」が付されたものは、第1画像表示装置100の表示動作に関するものを示すこととし、「第2」が付されたものは第2画像表示装置101の表示動作に関するものを示すこととする。
Hereinafter, an image display apparatus that will be mainly described is referred to as a first
また、以下では第1画像表示装置100の構成及び動作についてのみ説明することとして、第2画像表示装置101の構成及び動作については同様のものとして省略する。なお、以下の説明における「第1」及び「第2」のそれぞれを、「第2」及び「第1」にそれぞれ読み替えたものが、第2画像表示装置101における構成及び動作となる。
Hereinafter, only the configuration and operation of the first
第1画像表示装置100は、撮像により第1現実画像を生成し出力する撮像部5と、撮像部5から出力される第1現実画像に基づいて第1局所背景画像を生成し出力する第1局所背景画像生成部23bと、第1局所背景画像生成部23bから出力される第1局所背景画像を符号化して第1局所背景画像信号を生成し出力する第1局所背景画像符号化部11bと、第1局所背景画像符号化部11bから出力される第1局所背景画像信号を第2画像表示装置101に送信する第1局所背景画像送信部12bと、第2外部画像を生成し出力する第2外部画像生成部31と、第2画像表示装置101から送信される第2局所背景画像信号を受信する第2局所背景画像受信部21bと、第2局所背景画像受信部21bで受信される第2局所背景画像信号を復号化して第2局所背景画像を生成し出力する第2局所背景画像復号化部22bと、第2局所背景画像復号化部22bから出力される第2局所背景画像に基づいて第2外部画像生成部31から出力される第2外部画像に更新処理を施して更新処理後の第2外部画像を出力する第2外部画像更新処理部24bと、第2外部画像更新処理部24bから出力される第2外部画像を符号化して第2外部画像信号を生成し出力する第2外部画像符号化部25bと、第2外部画像符号化部25bから出力される第2外部画像信号を第2画像表示装置101に送信する第2外部画像送信部26bと、第2画像表示装置101から送信される第1外部画像信号を受信する第1外部画像受信部13bと、第1外部画像受信部13bで受信される第1外部画像信号を復号化して第1外部画像を生成し出力する第1外部画像復号化部14bと、第1外部画像復号化部14bから出力される第1外部画像を表示する表示部3と、を備える。
The first
次に、本実施例の画像表示システムSbの動作について図面を参照して説明する。図12及び図13は、第3実施例の画像表示システムの動作について示すフローチャートであり、第1実施例の画像表示システムの動作について示した図4に相当するものである。なお、図4と同様の動作となる部分については同様のSTEP番号を付し、その詳細な説明については省略する。なお、図12は、第1画像表示装置100が行う第1画像表示装置100の表示動作のためのフローチャートである。図13は、第1画像表示装置100が行う第2画像表示装置101の表示動作のためのフローチャートである。
Next, the operation of the image display system Sb of the present embodiment will be described with reference to the drawings. FIGS. 12 and 13 are flowcharts showing the operation of the image display system of the third embodiment, and correspond to FIG. 4 showing the operation of the image display system of the first embodiment. It should be noted that the same STEP numbers are assigned to parts that operate in the same manner as in FIG. 4, and detailed descriptions thereof are omitted. FIG. 12 is a flowchart for the display operation of the first
図12に示すように、最初に撮像部5が現実像を撮像して第1現実画像を生成する(STEP1b)。次に局所背景画像生成部23bが、撮像部5から出力される第1現実画像から第1局所背景画像を生成する(STEP6b)。なお、第1局所背景画像の生成方法は、第1実施例の局所背景画像生成部23による生成方法と同様である。
As shown in FIG. 12, first, the
生成される第1局所背景画像は、第1局所背景画像符号化部11bにおいて符号化されて、第1局所背景画像信号が生成される(STEP2b)。また、生成される第1局所背景画像信号は、第1局所背景画像送信部12bから第2画像表示装置101へと送信される(STEP3b)。なお、局所背景画像符号化部11bによる符号化方法は、第1実施例の現実画像符号化部11による符号化方法と同様である。
The generated first local background image is encoded by the first local background
本実施例では、第2画像表示装置101が第1画像表示装置で表示する第1外部画像を生成する(STEPα)。具体的に第2画像表示装置101は、第1外部画像を生成するとともに、第1画像表示装置100から送信される第1局所背景画像を利用して第1外部画像を更新処理し、これを第1画像表示装置100に送信する動作を行う。なお、この第2画像表示装置101のSTEPαの動作は、図13を参照して後述する第1画像表示装置100の動作と同様のものであるため、詳細な説明については省略する。
In this embodiment, the second
第2画像表示装置101から送信される信号は、第1画像表示装置100の第1外部画像受信部13bで受信される(STEP10b)。生成された第1外部画像信号は、第1外部画像復号化部14bによって復号化され、第1外部画像が生成される(STEP11b)。そして、この第1外部画像が表示部3によって表示される(STEP12)。なお、第1外部画像復号化部14bによる復号化方法は、第1実施例の外部画像復号化部14による復号化方法と同様である。
The signal transmitted from the second
また、第1画像表示装置101は、図12の動作と同時に、図13に示す動作(即ち、第2画像表示装置101の表示動作のための動作)も行う。図13に示すように、まず、第2画像表示装置101から送信される第2局所背景画像信号が、第2局所背景画像受信部21bで受信される(STEP4b)。受信された第2局所背景画像信号は、第2局所背景画像復号化部22bによって復号化され、第2局所背景画像が生成される(STEP5b)。なお、第2局所背景画像復号化部22bによる復号化方法は、第1実施例の現実画像復号化部22による復号化方法と同様である。
The first
第1画像表示装置100では、第2画像表示装置101で表示するための第2外部画像の生成を、第2外部画像生成部31が行う(STEPβ)。例えば、撮像部5で撮像された第1現実画像の一部または全部を利用して、第2外部画像を生成しても構わない。また、撮像部5以外の撮像部で撮像された画像を利用して第2外部画像を生成しても構わないし、メモリ(不図示)などに記録された画像や第1画像表示装置100に外部から入力される画像を利用して第2外部画像を生成しても構わない。また、第2外部画像を生成及び出力するタイミングは図13の例に限られず、後述するSTEP7bよりも前であれば、どのタイミングで生成及び出力することとしても構わない。
In the first
そして、外部画像更新処理部24bが、STEP5bで生成された第2局所背景画像に基づいて、STEPβで生成された第2外部画像の更新処理を行う(STEP7b)。なお、第2外部画像更新処理部24bによる更新処理は、第1実施例の外部画像更新処理部24の更新処理と同様である。
And the external image
第2外部画像更新処理部24bによって生成される更新処理後の第2外部画像は、第2外部画像符号化部25bによって符号化され、第2外部画像信号が生成される(STEP8b)。STEP8bにおいて生成される第2外部画像信号は、第2外部画像送信部26bから第2画像表示装置101へと送信される(STEP9b)。
The second external image after update processing generated by the second external image
図12に示した第2画像表示装置101によるSTEPαの動作は、図13に示す第1画像表示装置100の動作(STEP4b、5b、β、7b〜9b)と同様のものである。なお、上述のように「第1」及び「第2」をそれぞれ読み替えることで、第2画像表示装置101の動作(即ちSTEPα)を示すものとなる。
The operation of STEPα by the second
本実施例のように構成しても、第1実施例と同様の効果を得ることができる。即ち、観察者に外部画像の画質の劣化を強く感じさせることなく、伝送量を低減することが可能となる。特に、第1外部画像及び第2外部画像の情報量が大きく、これらの画像を直接的に送受信すると伝送量が大きくなる場合に、本実施例の構成を適用すると好適となる。 Even if it is configured as in the present embodiment, the same effect as in the first embodiment can be obtained. That is, it is possible to reduce the transmission amount without causing the observer to strongly feel the deterioration of the image quality of the external image. In particular, when the amount of information of the first external image and the second external image is large and the amount of transmission increases when these images are directly transmitted and received, it is preferable to apply the configuration of this embodiment.
本実施例ではさらに、仲介装置である画像処理装置を不要とすることが可能となる。例えば、複数の画像表示装置の相互表示を行う場合(即ち、一方で表示する外部画像が、他方の画像表示装置で撮像された現実画像に基づく画像となる場合)、第1実施例や第2実施例の構成を適用することとすると、外部画像の更新処理や送受信を行う画像処理装置が不可欠となる。しかしながら、本実施例の構成とすることで、各画像表示装置100,101が外部画像の更新処理及び送受信をそれぞれ行うことが可能となるため、画像処理装置を要することなく相互表示を行うことが可能となる。
In this embodiment, it is possible to eliminate the need for an image processing apparatus that is an intermediary apparatus. For example, when mutual display of a plurality of image display devices is performed (that is, when an external image displayed on one side is an image based on a real image captured by the other image display device), the first embodiment or the second example If the configuration of the embodiment is applied, an image processing apparatus that performs update processing and transmission / reception of external images is indispensable. However, with the configuration of this embodiment, the
なお、図11に示す例では、第1画像表示装置100が第1局所背景画像を生成し、第2画像表示装置101に送信する構成(即ち、第2実施例と同様の構成)としたが、第1現実画像を第2画像表示装置101に送信し、第2画像表示装置101で第1局所背景画像を生成する構成(即ち、第1実施例と同様の構成)としても構わない。ただし、第2画像表示装置101が第1現実画像を記録したり、他に送信したりするなどのように、第2画像表示装置101側で第1現実画像を必要とする特段の事情がない限り、伝送量低減の観点から図11に示す構成とすると好ましい。
In the example illustrated in FIG. 11, the first
<変形例>
なお、上記の第1〜第3実施例において、更新処理前の外部画像と局所背景画像とが同じ大きさ(画素数)であるものとして説明したが、異なるものとしても構わない。また、大きさが異なる場合、外部画像更新処理部がいずれか一方の画像の大きさを変換(例えば、補間処理などによる画素数の増大や、間引処理などによる画像数の低減)することとしても構わない。このように構成すると、更新処理時に比較する両画像の画素数が同じものとなるため、容易に比較を行うことが可能となる。また、この場合、外部画像が表示部の表示解像度よりも大きくならないように変換を行うこととしても構わない。<Modification>
In the first to third embodiments described above, the external image before the update process and the local background image are described as having the same size (number of pixels), but may be different. If the sizes are different, the external image update processing unit converts the size of one of the images (for example, increasing the number of pixels by interpolation processing or reducing the number of images by thinning processing). It doesn't matter. If comprised in this way, since the pixel number of both the images compared at the time of an update process will become the same, it will become possible to compare easily. In this case, conversion may be performed so that the external image does not become larger than the display resolution of the display unit.
また、第1及び第2実施例における画像表示装置及び画像処理装置、第3実施例における第1画像表示装置及び第2画像表示装置は、有線により通信することとしても構わないし、無線により通信することとしても構わない。 Further, the image display device and the image processing device in the first and second embodiments, and the first image display device and the second image display device in the third embodiment may communicate with each other by wire or communicate by radio. It doesn't matter.
<<更新処理>>
上述した画像表示システムにおいて行われる更新処理の具体例について、以下図面を参照してそれぞれ説明する。特に、図8に示したSTEP71及びSTEP72の処理(画像比較及び対象領域設定)と、STEP73の処理(更新処理の実行)と、についてそれぞれ説明する。<< Update process >>
Specific examples of update processing performed in the above-described image display system will be described below with reference to the drawings. In particular, the processing of STEP 71 and STEP 72 shown in FIG. 8 (image comparison and target area setting) and the processing of STEP 73 (execution of update processing) will be described.
<画像比較及び対象領域設定>
[第1例]
画像比較及び対象領域設定の第1例について、図面を参照して説明する。図14は、画像比較及び対象領域設定の第1例について示す局所背景画像及び外部画像の模式図である。<Image comparison and target area setting>
[First example]
A first example of image comparison and target area setting will be described with reference to the drawings. FIG. 14 is a schematic diagram of a local background image and an external image shown for a first example of image comparison and target area setting.
本例では、局所背景画像及び外部画像を、同数の所定の大きさのブロックに分割する。図14に示す例は、局所背景画像及び外部画像をそれぞれ(N+1)×(M+1)個のブロックに分割する場合について示したものである(N及びMは自然数)。また、各ブロックの位置を[x,y]の座標によって表現するものとし、右方ほどxの値が大きくなり、下方ほどyの値が大きくなるものとする。また、局所背景画像の左上のブロックをA1[0,0]、右下のブロックをA1[N,M]とする。外部画像も同様であり、左上のブロックをA2[0,0]、右下のブロックをA2[N,M]とする。 In this example, the local background image and the external image are divided into the same number of blocks having a predetermined size. The example shown in FIG. 14 shows a case where the local background image and the external image are each divided into (N + 1) × (M + 1) blocks (N and M are natural numbers). Further, the position of each block is expressed by the coordinates of [x, y], and the value of x increases toward the right, and the value of y increases toward the bottom. Also, the upper left block of the local background image is A1 [0,0], and the lower right block is A1 [N, M]. The same applies to the external image, where the upper left block is A2 [0,0] and the lower right block is A2 [N, M].
局所背景画像及び外部画像の各ブロックについて、対応する位置のブロック(即ち、x及びyが共に等しくなるブロック)を比較処理する。例えば、図14に図示するように、A1[s,t]とA2[s,t]とを比較する(ただし、0≦s≦Nかつ0≦t≦M)。 For each block of the local background image and the external image, a block at a corresponding position (that is, a block where x and y are both equal) is compared. For example, as shown in FIG. 14, A1 [s, t] and A2 [s, t] are compared (where 0 ≦ s ≦ N and 0 ≦ t ≦ M).
比較方法として、例えば、比較するブロックに含まれる画素の画素値の平均値や、中央値(メディアン)などを用いてブロックの代表値を決定し、この代表値を比較する方法を用いることが可能である。 As a comparison method, for example, it is possible to use a method in which a representative value of a block is determined using an average value or a median value of pixels included in a block to be compared, and the representative value is compared. It is.
代表値は、上述のYCrCbなどの画素値の成分毎に算出し、それぞれ比較する。そして、全ての成分の代表値が類似する場合(例えば、それぞれの成分の差分値が所定の大きさ以下となる場合や、低階調化した代表値が略等しくなる場合)、当該比較したブロックが類似するものと判定する。そして、外部画像の当該ブロックを対象領域として設定する。なお、YCrCbの成分を備える画素値に限らず、RGBやHSVなどの成分を備える画素値であっても同様に比較処理をすることが可能である。The representative value is calculated for each pixel value component such as YC r C b described above and compared. Then, when the representative values of all the components are similar (for example, when the difference value of each component is equal to or smaller than a predetermined size, or when the representative values after gradation reduction are substantially equal), the compared blocks Are determined to be similar. Then, the block of the external image is set as the target area. The present invention is not limited to the pixel values having the components of YC r C b, it is possible to similarly compare process even pixel values with a component such as RGB or HSV.
このように構成すると、ブロック毎の代表値を比較するのみで類似の判定を行うことが可能となるため、迅速に比較処理を行うことが可能となる。特に、各ブロックを大きく設定するほど、判定精度は劣化するものの処理の迅速化を図ることが可能となる。反対に、判定の精度を向上させる場合は、ブロックを小さく設定する。ブロックの大きさについては、このような観点から適宜調整可能である。 If comprised in this way, it will become possible to perform a similar determination only by comparing the representative value for every block, Therefore A comparison process can be performed rapidly. In particular, as each block is set larger, the determination accuracy is degraded, but the processing can be speeded up. Conversely, to improve the accuracy of determination, the block is set to be small. About the size of a block, it can adjust suitably from such a viewpoint.
なお、通信に際して上述のような周波数領域の信号を用いる符号化方法を用いる場合、代表値として周波数が0の成分(直流成分)を使用しても構わない。この成分は、ブロック内の平均的な画素値の大きさを示すものとなるため、代表値に利用することが可能である。さらに、例えば図3の現実画像復号化部22や図9の局所背景画像復号化部22a、図11の第2局所背景画像復号化部22bから、外部画像更新処理部24及び第2外部画像更新処理部24bが直流成分をそれぞれ取得することとしても構わない。ただし、図3の現実画像復号化部22から直流成分を取得する場合は、局所背景画像に変換後のブロックに関する直流成分を取得する必要がある。
Note that when the encoding method using the frequency domain signal as described above is used for communication, a component having a frequency of 0 (DC component) may be used as a representative value. Since this component indicates the average pixel value in the block, it can be used as a representative value. Further, for example, the external image
このように構成すると、画素値から代表値を算出することなく、マクロブロック毎に得られる直流成分を用いて各ブロックの代表値を算出することが可能となり、処理を簡略化することができる。さらに、マクロブロックの大きさと本比較処理のブロックの大きさとを同じものとすると、マクロブロックの直流成分をブロックの代表値に直接的に流用することが可能となり、さらに処理を簡略化することができるため好ましい。 If comprised in this way, it will become possible to calculate the representative value of each block using the direct-current component obtained for every macroblock, without calculating a representative value from a pixel value, and can simplify a process. Furthermore, if the macroblock size and the block size of this comparison processing are made the same, the direct current component of the macroblock can be directly used for the representative value of the block, and the processing can be further simplified. This is preferable because it is possible.
また、外部画像の各ブロックの画素値の分散を算出し、分散が所定の値よりも大きいブロックを対象領域から除外しても構わない。分散が大きいブロックには、エッジ部分(例えば、物体の輪郭部分であり画素値が急峻に変化し得る部分)が含まれている可能性が大きい。このような部分に対して後述する更新処理を施して鮮明度を低減すると、エッジ部分がぼけて外部画像が不明瞭となる可能性がある。そのため、このように分散が大きいブロックを対象領域から除外することにより、外部画像の画質を良好なものとすることが可能となる。さらに、比較処理に先立ってこの除外処理を行うことにより、無用な比較処理が行われることを抑制し、処理を簡略化することが可能となる。 Alternatively, the variance of the pixel values of each block of the external image may be calculated, and blocks having a variance greater than a predetermined value may be excluded from the target region. There is a high possibility that a block having a large variance includes an edge portion (for example, a contour portion of an object and a pixel value that can change sharply). If the sharpness is reduced by performing an update process to be described later on such a portion, the edge portion may be blurred and the external image may become unclear. Therefore, it is possible to improve the image quality of the external image by excluding blocks with such a large variance from the target area. Furthermore, by performing this exclusion process prior to the comparison process, it is possible to suppress the unnecessary comparison process and simplify the process.
[第2例]
画像比較及び対象領域設定の第2例について、図面を参照して説明する。図15は、画像比較及び対象領域設定の第2例について示す局所背景画像、外部画像及び重畳画像の模式図である。[Second example]
A second example of image comparison and target area setting will be described with reference to the drawings. FIG. 15 is a schematic diagram of a local background image, an external image, and a superimposed image shown in a second example of image comparison and target area setting.
本例では、画素値に基づいて領域分割を行う。このとき、まず局所背景画像及び外部画像のそれぞれの画素値の成分(例えば、YCrCbなど)毎に低階調化する。そして、低階調化後のそれぞれの画素値が略等しいことを条件として、ラベリング処理(隣接する画素値が略等しい画素をつないで領域を形成してラベルを付す処理)を行う。このとき、領域に属する画素の画素値に応じたラベルが付されるものとする。なお、あるラベルの領域が他のラベルの極小領域(例えば数画素分の領域)を囲むような場合、当該極小領域をあるラベルの領域とみなす処理を行うこととしても構わない。In this example, area division is performed based on the pixel value. In this case, first, components of the respective pixel values of the local background image and an external image (e.g., YC r C b, etc.) to the low gradation of each. Then, on the condition that the respective pixel values after the gradation reduction are substantially equal, a labeling process (a process for forming a label by connecting adjacent pixels having substantially the same pixel value and attaching a label) is performed. At this time, a label corresponding to the pixel value of the pixel belonging to the region is attached. When a region of a certain label surrounds a minimum region of another label (for example, a region corresponding to several pixels), processing for regarding the minimum region as a region of a certain label may be performed.
また例えば、画素値のヒストグラムに基づいて画素値の閾値を検出し、当該閾値に基づいて画素値が略等しいか否かの判断をして領域の分割を行う閾値分割法を用いても構わない。また、ある画素から出発して同様の画素値となる近傍の画素を取り込んで領域形成を試みる領域拡張法を用いても構わない。また、これらの方法の他に、周知の種々の領域分割法を使用することが可能である。なお、これらの方法を用いる場合であっても、上述のように予め画像を低階調化しておくと好ましい。 Further, for example, a threshold value division method may be used in which a threshold value of a pixel value is detected based on a histogram of pixel values, and a region is divided by determining whether the pixel values are substantially equal based on the threshold value. . Alternatively, a region expansion method may be used in which a neighboring pixel having a similar pixel value starts from a certain pixel and attempts to form a region. In addition to these methods, various well-known region segmentation methods can be used. Even when these methods are used, it is preferable to reduce the gradation of the image in advance as described above.
図15では、以上のような方法によって分割された領域と、それぞれの領域に付されたラベルと、を併せて表示している。なお、局所領域画像中のラベルG1及び外部画像中のラベルg1は、略等しい画素値の画素を備える領域に付されるラベルを示している。同様に、G5とg5も略等しい画素値の画素を備える領域に付されるラベルを示す。 In FIG. 15, the areas divided by the above method and the labels attached to the respective areas are displayed together. Note that the label G1 in the local region image and the label g1 in the external image indicate labels attached to regions including pixels with substantially equal pixel values. Similarly, G5 and g5 also indicate labels attached to regions including pixels having substantially the same pixel value.
図15の重畳画像に示すように、局所領域画像に外部画像を重ねた場合に、ラベルが略等しくなる領域(例えば、G1及びg1が重なる領域や、G5及びg5が重なる領域)を、対象領域として設定する。 As shown in the superimposed image of FIG. 15, when an external image is superimposed on a local area image, an area where labels are substantially equal (for example, an area where G1 and g1 overlap or an area where G5 and g5 overlap) Set as.
このように対象領域を設定すると、精度良く局所領域画像に類似した外部画像の領域を対象領域として設定することが可能となる。特に、画素単位の境界を有する対象領域を設定することが可能となる。したがって、表示部3に表示される外部画像の画質を良好なものにすることが可能となる。
When the target area is set in this way, an external image area similar to the local area image can be accurately set as the target area. In particular, it is possible to set a target region having a pixel unit boundary. Therefore, the quality of the external image displayed on the
また、領域分割を行う前に画素値を低階調化することで、付されるラベルの種類を少なくするとともに各領域を大きくして、設定される対象領域を大きくすることが可能となる。したがって、更新処理による情報量を低減する効果を十分に得ることが可能となる。 Also, by reducing the gradation of the pixel values before dividing the area, it is possible to reduce the types of labels to be attached and enlarge each area to increase the set target area. Therefore, it is possible to sufficiently obtain the effect of reducing the information amount by the update process.
[第3例]
画像比較及び対象領域設定の第3例について、図面を参照して説明する。図16A及び図16Bは、画像比較及び対象領域設定の第3例について示す画素値のグラフである。なお、本例の方法は、上述の第1例及び第2例などの方法によって設定される各対象領域が、適当なものであるか否かを判定する判定処理として適用すると好適となる方法である。また図16は、画像の各画素の画素値がYCrCbの3種類の成分を備える場合について示すものである。[Third example]
A third example of image comparison and target area setting will be described with reference to the drawings. FIG. 16A and FIG. 16B are pixel value graphs showing a third example of image comparison and target area setting. It should be noted that the method of this example is a method that is preferably applied as a determination process for determining whether or not each target region set by the methods of the first example and the second example described above is appropriate. is there. FIG. 16 shows a case where the pixel value of each pixel of the image includes three types of components YC r C b .
本例の判定処理は、外部画像の対象領域及び局所背景画像の対応領域にそれぞれ備えられる画素の画素値の分布に基づいて、判定を行うものである。具体的には、図16A及び図16Bに示すように、両画像の当該領域中の各画素をその画素値に基づいてプロットした後に、所定の分離方法を試みて局所背景画像の画素値の集合と外部画像の画素値の集合とが分離可能か否かによって判定する。なお、図16A及び図16Bに示すグラフは、YCrCbの軸がそれぞれ直交する3次元的なグラフであり、局所背景画像の画素を三角形、外部画像の画素を十字形でそれぞれ示している。The determination process of this example performs determination based on the distribution of pixel values of pixels provided in the target region of the external image and the corresponding region of the local background image. Specifically, as shown in FIG. 16A and FIG. 16B, after plotting each pixel in the region of both images based on the pixel value, a predetermined separation method is tried and a set of pixel values of the local background image And whether or not a set of pixel values of the external image is separable. The graph shown in FIGS. 16A and 16B are three-dimensional graph axes are perpendicular each YC r C b, respectively show pixels in the local background image triangle, the pixel of the external image in cross .
図16Aは、局所背景画像の画素値の集合と外部画像の画素値の集合とに対して所定の方法で線形分離を試みた結果、分離可能となる場合について示している(図中の破線は、線形分離によって引かれた直線である)。このような場合、外部画像の対象領域及び局所背景画像の対応領域は、類似していないものとなる。即ち、外部画像のこの対象領域の鮮明度を低減して表示部3に表示した場合、観察者に画質の劣化が確認されやすくなる。したがって、このような外部画像の領域は、対象領域から除外する。
FIG. 16A shows a case where separation is possible as a result of performing linear separation on a set of pixel values of the local background image and a set of pixel values of the external image by a predetermined method (the broken lines in the figure are , Straight line drawn by linear separation). In such a case, the target area of the external image and the corresponding area of the local background image are not similar. That is, when the sharpness of the target area of the external image is reduced and displayed on the
一方、図16Bは、局所背景画像の画素値の集合と外部画像の画素値の集合とに対して所定の方法で線形分離を試みた結果、分離不可能となる場合について示している。このような場合、外部画像の対象領域及び局所背景画像の対応領域は、類似しているものとなる。即ち、外部画像のこの対象領域の鮮明度を低減して表示部3に表示した場合、観察者に画質の劣化が確認されにくくなる。したがって、このような外部画像の領域は、対称領域から除外しない。
On the other hand, FIG. 16B shows a case where separation is impossible as a result of performing linear separation on a set of pixel values of the local background image and a set of pixel values of the external image by a predetermined method. In such a case, the target area of the external image and the corresponding area of the local background image are similar. That is, when the sharpness of the target area of the external image is reduced and displayed on the
このように判定処理を行うこととすると、外部画像の対象領域の選択精度を向上させることが可能となる。そのため、表示部3に表示される外部画像の画質をさらに良好なものにすることが可能となる。
By performing the determination process in this way, it is possible to improve the selection accuracy of the target area of the external image. Therefore, it is possible to further improve the image quality of the external image displayed on the
なお、上記の線形分離を行う所定の方法として、例えば、サポートベクターマシン、ニューラルネットワーク、k−近傍法、k−means法などの周知の種々の方法を適用することが可能である。 As a predetermined method for performing the above linear separation, for example, various known methods such as a support vector machine, a neural network, a k-neighbor method, and a k-means method can be applied.
また、上記の第1例〜第3例において、画素の画素値が備える全種類の成分を用いて局所背景画像と外部画像との類否の判定を行い、対象領域を設定することとしたが、所定の種類の成分を用いて類否の判定を行うこととしても構わない。例えば、色を示す成分のみを用いて類否の判定を行うこととしても構わない。 In the first to third examples, the determination of similarity between the local background image and the external image is performed using all types of components included in the pixel value of the pixel, and the target region is set. The determination of similarity may be performed using a predetermined type of component. For example, the similarity determination may be performed using only the color component.
<更新処理の実行>
次に、上記の方法で選択された外部画像の対象領域に対して実行される更新処理について説明する。上述のように、本実施形態では更新処理として、例えば平滑化処理を適用することが可能である。更新処理として平滑化処理を適用する場合、例えば下記式(1)に示すようなn×nの平均値フィルタ(例えば、フィルタ係数が全て1のフィルタ)を用いたフィルタ処理を行うこととしても構わない。なお、下記式(1)中のf(i,j)は更新処理前の対象領域中の画素値であり、g(i,j)は更新処理後の対象領域中の画素値を示すものとする。また、[n/2]は、n/2を超えない最大の整数を示すものとする。また、nは2以上の自然数とする。<Execution of update processing>
Next, update processing executed on the target area of the external image selected by the above method will be described. As described above, in the present embodiment, for example, a smoothing process can be applied as the update process. When the smoothing process is applied as the update process, for example, a filter process using an n × n average value filter (for example, a filter whose filter coefficients are all 1) as shown in the following formula (1) may be performed. Absent. In the following formula (1), f (i, j) is a pixel value in the target area before the update process, and g (i, j) is a pixel value in the target area after the update process. To do. [N / 2] represents a maximum integer not exceeding n / 2. N is a natural number of 2 or more.
このように演算することにより、対象領域の高周波成分を低減することが可能となる。そのため、上述のように符号化後の信号の情報量を低減することが可能となり、伝送量を低減することが可能となる。 By calculating in this way, it is possible to reduce high frequency components in the target region. Therefore, as described above, the information amount of the encoded signal can be reduced, and the transmission amount can be reduced.
なお、平滑化フィルタ以外にも、メディアンフィルタ(例えば、算出対象画素及びその周囲の画素の画素値の中央値を、フィルタ処理後の算出対象画素の画素値として出力するフィルタ)やガウシアンフィルタ(例えば、フィルタ係数がガウス分布に略等しい値となるフィルタ)などを用いて、平滑化処理を行っても構わない。また、その他周知の平滑化フィルタを用いても構わない。 In addition to the smoothing filter, a median filter (for example, a filter that outputs a median value of pixel values of a calculation target pixel and its surrounding pixels as a pixel value of a calculation target pixel after filtering) or a Gaussian filter (for example, The smoothing process may be performed using a filter whose filter coefficient is substantially equal to the Gaussian distribution. Other known smoothing filters may be used.
また、このような更新処理を、画素値の特定の成分にのみ行うこととしても構わないし、画素値の種類に応じて処理内容を異ならせても構わない。例えば画素にYCrCbの各成分が備えられる場合、人間(観察者)が敏感に感じる輝度成分Yの成分については平滑化処理を行わない、または、平滑化の程度を弱くすることとしても構わない。一方、人間が鈍感に感じる色差成分CrCb(特に、青色の色差成分Cb)については平滑化処理を行う。特に、これらの成分に対しては平滑化の程度を大きくしても構わない。このように構成すると、観察者が感じる画質の劣化を効率よく抑制することが可能となる。Further, such update processing may be performed only on a specific component of the pixel value, or the processing content may be varied depending on the type of the pixel value. For example, when each pixel is provided with each component of YC r C b, the smoothing process is not performed on the luminance component Y that the human (observer) feels sensitively, or the degree of smoothing may be reduced. I do not care. On the other hand, the color difference component C r C b (particularly the blue color difference component C b ) that humans feel insensitive is subjected to a smoothing process. In particular, the degree of smoothing may be increased for these components. If comprised in this way, it will become possible to suppress degradation of the image quality which an observer feels efficiently.
また、各種画素値に対する平滑化処理の程度を変化させるために、フィルタサイズを適宜変更することとしても構わないし、適用するフィルタやフィルタ係数を適宜変更することとしても構わない。 Further, in order to change the degree of smoothing processing for various pixel values, the filter size may be changed as appropriate, or the applied filter and filter coefficient may be changed as appropriate.
また、上述の説明では、符号化後の情報量を低減するために平滑化処理を行う場合について中心に説明したが、対象領域の画素値の成分(特に、色を示す成分)の低解像化を行うこととしても、同様に符号化後の信号の情報量を低減することが可能である。なお、復号化時や再生時に補間処理などを適宜行い、低解像度化した対象領域の画素値の成分の数を低解像度化前の数に戻すこととすると好ましい。 Further, in the above description, the case where the smoothing process is performed in order to reduce the amount of information after encoding has been mainly described. Similarly, it is possible to reduce the information amount of the encoded signal. Note that it is preferable to appropriately perform interpolation processing at the time of decoding or reproduction to return the number of pixel value components of the target area whose resolution has been reduced to the number before the resolution reduction.
また、画像表示装置としてHMDを例に挙げて説明したが、本発明は例えばヘッドアップディスプレイ(HUD)にも適用することが可能である。 Further, although the HMD has been described as an example of the image display device, the present invention can be applied to, for example, a head-up display (HUD).
以上、本発明の実施形態についてそれぞれ説明したが、本発明の範囲はこれに限定されるものではなく、発明の主旨を逸脱しない範囲で種々の変更を加えて実行することができるものである。 As mentioned above, although each embodiment of the present invention was described, the scope of the present invention is not limited to this, and can be executed with various modifications without departing from the gist of the invention.
本発明は、HMDやHUDに利用可能である。 The present invention is applicable to HMD and HUD.
1,1a 画像表示装置
2 フレーム
3 表示部3
31 右眼用レンズ
32 投影部
4 左眼用レンズ
5 撮像部
6 本体部
7 ケーブル
11 現実画像符号化部
11a 局所背景画像符号化部
11b 第1局所背景画像符号化部
12 現実画像送信部
12a 局所背景画像送信部
12b 第1局所背景画像送信部
13 外部画像受信部
13b 第1外部画像受信部
14 外部画像復号化部
14b 第1外部画像復号化部
20,20a 画像処理装置
21 現実画像受信部
21a 局所背景画像受信部
21b 第2局所背景画像受信部
22 現実画像復号化部
22a 局所背景画像復号化部
22b 第2局所背景画像復号化部
23,23a 局所背景画像生成部
23b 第1局所背景画像生成部
24 外部画像更新処理部
24b 第2外部画像更新処理部
25 外部画像符号化部
25b 第2外部画像符号化部
26 外部画像送信部
26b 第2外部画像送信部
31 第2外部画像生成部
100 第1画像表示装置
101 第2画像表示装置
S,Sa,Sb 画像表示システム
HOE ホログラフィック光学素子1, 1a
31 Lens for right eye 32 Projection unit 4 Lens for
また、上記構成の画像処理装置において、前記外部画像の画素の画素値が、輝度成分と色差成分とを備えるものであり、前記外部画像更新処理部が、前記輝度成分に対して鮮明度を低減する効果が小さい前記更新処理を行うまたは前記更新処理を行わないものとし、前記色差成分に対して鮮明度を低減する効果が大きい前記更新処理を行うこととしても構わない。 In the image processing apparatus having the above configuration, the pixel value of the pixel of the external image includes a luminance component and a color difference component , and the external image update processing unit reduces the sharpness with respect to the luminance component . The update process with a small effect is performed or the update process is not performed, and the update process with a large effect of reducing the sharpness with respect to the color difference component may be performed.
Claims (15)
前記更新処理後の前記外部画像を符号化する外部画像符号化部と、を備えることを特徴とする画像処理装置。An external image input from the outside of the device and a local background image showing a real image visually recognized by an observer are compared for each corresponding position, and an area similar to the local background image of the external image is set as a target area. An external image update processing unit that performs an update process on the target area of the external image, which is a process of setting and reducing sharpness;
An image processing apparatus comprising: an external image encoding unit that encodes the external image after the update process.
当該代表値を、前記ブロックに含まれる画素の画素値の中央値、前記ブロックに含まれる画素の画素値の平均値及び画素値を周波数領域の信号に変換して得られる直流成分の値、のいずれかを用いて算出することを特徴とする請求項5に記載の画像処理装置。The external image update processing unit compares representative values of the blocks of the external image and the local background image,
The representative value is a median value of pixel values of pixels included in the block, an average value of pixel values of pixels included in the block, and a DC component value obtained by converting the pixel value into a frequency domain signal. The image processing apparatus according to claim 5, wherein the calculation is performed using any one of them.
前記画像処理装置と通信する画像表示装置と、を備え、
前記画像表示装置が、
前記画像処理装置から送信処理される前記更新処理後の前記外部画像を受信処理する外部画像受信処理部と、
前記更新処理後の前記外部画像を表示するとともに現実像を透過させて視認可能とする表示部と、
撮像により前記現実像を示す現実画像を生成する撮像部と、
前記現実画像を前記画像処理装置に送信処理する現実画像送信処理部と、を備え、
前記画像処理装置が、
前記画像表示装置から送信処理される前記現実画像を受信処理する現実画像受信処理部と、
前記表示部に表示される前記更新処理後の前記外部画像越しに視認される前記現実像の重畳部分を示す画像である前記局所背景画像を、前記現実画像から生成する局所背景画像生成部と、
前記更新処理後の前記外部画像を前記画像表示装置に送信処理する外部画像送信処理部と、をさらに備えることを特徴とする画像表示システム。The image processing apparatus according to any one of claims 1 to 10,
An image display device communicating with the image processing device,
The image display device
An external image reception processing unit that receives and processes the external image after the update process that is transmitted from the image processing apparatus;
A display unit that displays the external image after the update process and allows a real image to be transmitted and visible;
An imaging unit that generates a real image showing the real image by imaging;
A real image transmission processing unit that transmits the real image to the image processing device,
The image processing apparatus is
A real image reception processing unit for receiving and processing the real image to be transmitted from the image display device;
A local background image generation unit that generates the local background image from the real image, the local background image being an image showing a superimposed portion of the real image that is visually recognized through the external image after the update process displayed on the display unit;
An image display system, further comprising: an external image transmission processing unit configured to transmit the external image after the update process to the image display device.
前記画像処理装置と通信する画像表示装置と、を備え、
前記画像表示装置が、
前記画像処理装置から送信処理される前記更新処理後の前記外部画像を受信処理する外部画像受信処理部と、
前記更新処理後の前記外部画像を表示するとともに現実像を透過させて視認可能とする表示部と、
撮像により前記現実像を示す現実画像を生成する撮像部と、
前記表示部に表示される前記更新処理後の前記外部画像越しに視認される前記現実像の重畳部分を示す前記局所背景画像を、前記現実画像から生成する局所背景画像生成部と、
前記局所背景画像を前記画像処理装置に送信処理する局所背景画像送信処理部と、を備え、
前記画像処理装置が、
前記画像表示装置から送信される前記局所背景画像を受信処理する局所背景画像受信処理部と、
前記更新処理後の前記外部画像を前記画像表示装置に送信処理する外部画像送信処理部と、をさらに備えることを特徴とする画像表示システム。The image processing apparatus according to any one of claims 1 to 10,
An image display device communicating with the image processing device,
The image display device
An external image reception processing unit that receives and processes the external image after the update process that is transmitted from the image processing apparatus;
A display unit that displays the external image after the update process and allows a real image to be transmitted and visible;
An imaging unit that generates a real image showing the real image by imaging;
A local background image generation unit that generates the local background image indicating the superimposed portion of the real image that is visually recognized through the external image after the update process displayed on the display unit;
A local background image transmission processing unit for transmitting the local background image to the image processing device,
The image processing apparatus is
A local background image reception processing unit for receiving and processing the local background image transmitted from the image display device;
An image display system, further comprising: an external image transmission processing unit configured to transmit the external image after the update process to the image display device.
前記画像表示装置が、当該画像表示装置と同様の構成を備える他の画像処理装置と画像を通信するものであり、
前記他の画像表示装置で表示するための外部画像を生成する他機用外部画像生成部と、
前記他の画像表示装置から送信処理される他機用局所背景画像を受信処理する他機用局所背景画像受信処理部と、
前記他機用外部画像及び前記他機用局所背景画像を対応する位置毎に比較し、前記他機用外部画像の前記他機用局所背景画像に類似する領域を対象領域として設定するとともに、鮮明度を低減する処理である更新処理を前記他機用外部画像の前記対象領域に対して行う他機用外部画像更新処理部と、
前記更新処理後の前記他機用外部画像を前記他の画像表示装置に送信処理する他機用外部画像送信部と、
前記他の画像表示装置から送信処理される自機用外部画像を受信処理する自機用外部画像受信処理部と、
前記自機用外部画像を表示するとともに現実像を透過させて視認可能とする表示部と、
撮像により前記現実像を示す現実画像を生成する撮像部と、
前記表示部に表示される前記自機用外部画像越しに視認される前記現実像の重畳部分を示す自機用局所背景画像を、前記現実画像から生成する自機用局所背景画像生成部と、
前記自機用局所背景画像を前記他の画像表示装置に送信処理する自機用局所背景画像送信処理部と、を備えることを特徴とする画像表示装置。In an image display device that displays an image,
The image display device communicates an image with another image processing device having the same configuration as the image display device,
An external image generation unit for another device that generates an external image to be displayed on the other image display device;
A local background image reception processing unit for other machine that receives and processes a local background image for other machine that is transmitted from the other image display device;
The external image for the other device and the local background image for the other device are compared for each corresponding position, and an area similar to the local background image for the other device of the external image for the other device is set as a target region, and is clear An external image update processing unit for other device that performs an update process, which is a process of reducing the degree, on the target area of the external image for other device;
An external image transmission unit for other device that transmits the external image for other device after the update process to the other image display device;
A self-machine external image reception processing unit for receiving and processing a self-machine external image to be transmitted from the other image display device;
A display unit that displays the external image for the own device and allows the user to visually recognize a real image;
An imaging unit that generates a real image showing the real image by imaging;
A local background image generation unit for the own device that generates a local background image for the own device that shows a superimposed portion of the real image visually recognized through the external image for the own device displayed on the display unit;
An image display device comprising: a local background image transmission processing unit for own device that transmits the local background image for own device to the other image display device.
前記第1ステップによって前記外部画像の前記局所背景画像に類似すると判定した領域を対象領域として設定する第2ステップと、
前記外部画像の前記第2ステップによって設定された前記対象領域に対して、鮮明度を低減する処理である更新処理を行う第3ステップと、
前記更新処理後の前記外部画像を符号化する第4ステップと、を備えることを特徴とする画像圧縮方法。A first step of comparing, for each corresponding position, an external image input from the outside of the device and a local background image indicating a real image visually recognized by an observer;
A second step of setting, as a target region, a region determined by the first step to be similar to the local background image of the external image;
A third step of performing an update process, which is a process of reducing the sharpness, on the target area set by the second step of the external image;
And a fourth step of encoding the external image after the update process.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009003365 | 2009-01-09 | ||
JP2009003365 | 2009-01-09 | ||
PCT/JP2009/071202 WO2010079682A1 (en) | 2009-01-09 | 2009-12-21 | Image compression method, image processing apparatus, image display apparatus, and image display system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP4573001B2 JP4573001B2 (en) | 2010-11-04 |
JPWO2010079682A1 true JPWO2010079682A1 (en) | 2012-06-21 |
Family
ID=42316451
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010513212A Expired - Fee Related JP4573001B2 (en) | 2009-01-09 | 2009-12-21 | Image compression method, image processing apparatus, image display apparatus, and image display system |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP4573001B2 (en) |
WO (1) | WO2010079682A1 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5402293B2 (en) | 2009-06-22 | 2014-01-29 | ソニー株式会社 | Head-mounted display and image display method in head-mounted display |
JP6494439B2 (en) * | 2015-06-05 | 2019-04-03 | キヤノン株式会社 | COMMUNICATION DEVICE AND ITS CONTROL METHOD |
CN117957580A (en) * | 2021-10-13 | 2024-04-30 | 索尼集团公司 | Information processing apparatus, information processing method, and program |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH099253A (en) * | 1995-06-19 | 1997-01-10 | Toshiba Corp | Picture compression communication equipment |
JPH10112856A (en) * | 1996-10-04 | 1998-04-28 | Agency Of Ind Science & Technol | Image transmitting device and method |
JP2004056335A (en) * | 2002-07-18 | 2004-02-19 | Sony Corp | Information processing apparatus and method, display apparatus and method, and program |
JP2008300983A (en) * | 2007-05-29 | 2008-12-11 | Canon Inc | Head-mounted display apparatus and control method therefor |
-
2009
- 2009-12-21 WO PCT/JP2009/071202 patent/WO2010079682A1/en active Application Filing
- 2009-12-21 JP JP2010513212A patent/JP4573001B2/en not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH099253A (en) * | 1995-06-19 | 1997-01-10 | Toshiba Corp | Picture compression communication equipment |
JPH10112856A (en) * | 1996-10-04 | 1998-04-28 | Agency Of Ind Science & Technol | Image transmitting device and method |
JP2004056335A (en) * | 2002-07-18 | 2004-02-19 | Sony Corp | Information processing apparatus and method, display apparatus and method, and program |
JP2008300983A (en) * | 2007-05-29 | 2008-12-11 | Canon Inc | Head-mounted display apparatus and control method therefor |
Also Published As
Publication number | Publication date |
---|---|
WO2010079682A1 (en) | 2010-07-15 |
JP4573001B2 (en) | 2010-11-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6178017B2 (en) | Improved depth recognition for stereo video | |
US8488870B2 (en) | Multi-resolution, multi-window disparity estimation in 3D video processing | |
US7483486B2 (en) | Method and apparatus for encoding high dynamic range video | |
JP5763184B2 (en) | Calculation of parallax for 3D images | |
WO2012086120A1 (en) | Image processing apparatus, image pickup apparatus, image processing method, and program | |
USRE49077E1 (en) | Ultra low latency video communication | |
CN107950017B (en) | Image processing apparatus, image processing method, and image capturing apparatus | |
WO2018116603A1 (en) | Image processing device, image processing method, and program | |
KR20190010296A (en) | Electronic device and method for encoding image data in the electronic device | |
JP2019106572A (en) | Image encoding apparatus, and control method and program thereof | |
US8433132B2 (en) | Method for efficient representation and processing of color pixel data in digital pathology images | |
JP4573001B2 (en) | Image compression method, image processing apparatus, image display apparatus, and image display system | |
EP2415023A1 (en) | System and format for encoding data and three-dimensional rendering | |
Perra et al. | Light field compression on sliced lenslet array | |
US20110135199A1 (en) | Coding apparatus and method for simultaneous transmission of image processing information and color information | |
WO2023093768A1 (en) | Image processing method and apparatus | |
JP6341598B2 (en) | Image encoding device, image decoding device, image encoding program, and image decoding program | |
JP2016092589A (en) | Encoder and control method therefor | |
CN115272440A (en) | Image processing method, device and system | |
WO2011158562A1 (en) | Multi-viewpoint image encoding device | |
US11233999B2 (en) | Transmission of a reverse video feed | |
US20240233629A1 (en) | Display stream compression (dcs) with built-in high pass filter | |
Lebowsky | Optimizing color fidelity for display devices using contour phase predictive coding for text, graphics, and video content | |
JP2016213526A (en) | Image encoder and control method therefor | |
JP5694060B2 (en) | Image processing apparatus, image processing method, program, imaging apparatus, and television receiver |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100720 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100802 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4573001 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130827 Year of fee payment: 3 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |