WO2023032206A1 - データ処理装置、データ処理方法、及びプログラム - Google Patents

データ処理装置、データ処理方法、及びプログラム Download PDF

Info

Publication number
WO2023032206A1
WO2023032206A1 PCT/JP2021/032680 JP2021032680W WO2023032206A1 WO 2023032206 A1 WO2023032206 A1 WO 2023032206A1 JP 2021032680 W JP2021032680 W JP 2021032680W WO 2023032206 A1 WO2023032206 A1 WO 2023032206A1
Authority
WO
WIPO (PCT)
Prior art keywords
depth
region
data processing
area
mapping function
Prior art date
Application number
PCT/JP2021/032680
Other languages
English (en)
French (fr)
Inventor
卓 佐野
正人 小野
由実 菊地
真二 深津
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to PCT/JP2021/032680 priority Critical patent/WO2023032206A1/ja
Priority to JP2023544981A priority patent/JPWO2023032206A1/ja
Publication of WO2023032206A1 publication Critical patent/WO2023032206A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity

Definitions

  • Embodiments of the present invention relate to techniques for generating a depth map used when generating a three-dimensional (3D) video.
  • a depth map representing the depth information of an image is used to generate a 3D image.
  • a depth map is data generated by mapping distance information (depth information) from a viewpoint for each pixel of an image.
  • a depth map can be represented in grayscale. In general 8-bit gradation (0 to 255), the furthest is expressed with the minimum value of 0 (black) and the front with the maximum value of 255 (white).
  • the depth information is hereinafter referred to as a depth value.
  • Non-Patent Document 1 discloses a method of correcting the inversion of a mapping function generated when expanding depth values in a subject of interest using a nonlinear least squares method.
  • the present invention has been made with a focus on the above circumstances, and aims to provide a technique that reduces the sense of incongruity between the edge of the screen and the display surface and realizes more natural depth expression.
  • a data processing device processes a depth map in which depth values are mapped for each pixel of an image displayed on a display.
  • This data processing device includes an area setting section, a histogram generation section, a mapping function generation section, a first correction processing section, and a second correction processing section.
  • the region setting unit sets a contact region in contact with the display surface in the depth map to be processed.
  • the histogram generation unit generates a histogram in which the number of pixels belonging to each class is associated with each of a plurality of classes that divide the range of depth values for the non-contact region, which is the region other than the contact region of the depth map.
  • the mapping function generation unit clusters the histogram into a plurality of depth layers and generates a mapping function that converts the depth values of the non-contact regions into values based on the clustering.
  • the first correction processing section corrects the depth value of the non-contact area using a mapping function.
  • the second correction processing unit corrects the depth value of the contact area and continuously connects the depth value of the contact area to the corrected depth value of the non-contact area.
  • FIG. 1 is a block diagram showing an example of a data processing device according to an embodiment.
  • FIG. 2 is a diagram showing an example of an outer frame area of an image.
  • FIG. 3 is a diagram for explaining correction of the depth value of the outer frame area.
  • FIG. 4 is a flowchart showing an example of the processing procedure of the data processing device 1.
  • FIG. 5 is a diagram showing a state in which an object labeled in the gaze area protrudes into the outer frame area.
  • FIG. 6 is a diagram showing an example of a deformed central region.
  • FIG. 7 is a functional block diagram showing an example of a computer on which the functions of the data processing device 1 can be implemented.
  • FIG. 1 is a block diagram showing an example of a data processing device according to an embodiment.
  • the data processing device shown in FIG. 1 is a computer, and has a function of correcting and optimizing the depth values of the depth map of the 3D image frame, for example.
  • the data processing apparatus of the embodiments can be combined with a display for displaying images, and processes depth maps of images displayed on the display.
  • the data processing device 1 shown in FIG. 1 includes an area setting section 11 , a histogram generation section 12 , a mapping function generation section 13 , a correction processing section 14 and an optimization processing section 15 .
  • the region setting unit 11 sets a contact region in contact with the display surface in the depth map to be processed. That is, as shown in FIG. 2, the region setting unit 11 sets regions (indicated by hatching) having a constant width on the top, bottom, left, and right of the image. In the following description, this area will be referred to as an outer frame area.
  • w indicates the width of the outer frame area that contacts the display surface 2 .
  • w can be arbitrarily set according to the size of the image.
  • the left and right outer frame areas are set to a few percent of the horizontal size of the image
  • the top and bottom outer frame regions are set to a few percent of the vertical size of the image. do it.
  • it is not essential to provide frames all over the top, bottom, left, and right and it is possible to arbitrarily set only the horizontal frame, only the vertical frame, or only the left frame according to the content of the image.
  • Information about the set outer frame region and information about the region other than the outer frame region are output to the histogram generator 12 and the correction processor 14 .
  • the histogram generation unit 12 generates a histogram that associates the number of pixels belonging to each class for each of multiple classes that divide the range of depth values for the central region, which is the region other than the outer frame region of the depth map. That is, the histogram generation unit 12 generates a histogram in which the number of pixels belonging to each class is associated with a plurality of classes obtained by classifying depth values for the central region. The generated histogram is output to the mapping function generator 13 and referenced when generating the mapping function.
  • the mapping function generation unit 13 clusters the histogram into a plurality of depth layers and generates a mapping function that converts the depth value of the central region into a value based on clustering. That is, the mapping function generation unit 13 clusters the histogram into a plurality of depth layers having Gaussian distribution shapes. Then, the mapping function generation unit 13 generates a mapping function that converts the depth map values before correction to the depth map values after correction by extending the width of the classes belonging to a predetermined depth layer. Note that the method described in PCT/JP2020/028527, for example, can be used for the method of generating the histogram and the mapping function. Mapping functions are also sometimes referred to as depth compression functions.
  • the optimization processing unit 15 as the first correction processing unit corrects the depth value of the central region using the above mapping function. That is, the optimization processing unit 15 optimizes the depth values for the central region according to the mapping function generated by the mapping function generation unit 13 .
  • the correction processing unit 14 as a second correction processing unit corrects the depth value of the outer frame region so as to be continuously connected to the separately corrected depth value of the central region. That is, the correction processing unit 14 corrects the depth value for the region set as the outer frame region by the region setting unit 11 and outputs the corrected depth value to the optimization processing unit 15 .
  • FIG. 3 is a diagram for explaining correction of the depth value of the outer frame area.
  • FIG. 3 is an enlarged view of the left end of the outer frame area shown in FIG. 2, for example. Assume that the hatched portion is the outer frame area set by the area setting unit 11 and has an area width of 10 pixels. In the correction process, first, the depth value at the edge of the screen (0th column) is replaced with a depth value that makes up the display surface.
  • the correction value is 128, since the depth value of the display surface is generally the central value. From there, the depth value is corrected by linearly interpolating between the depth values (200) outside the region (10th column). Linear interpolation is similarly performed on the right side, upper side, and lower side of the image from the edge of the screen toward the center of the image.
  • FIG. 4 is a flowchart showing an example of the processing procedure of the data processing device 1.
  • the data processing device 1 sets an outer frame region and a central region in a depth map to be processed (step S1).
  • the data processing device 1 generates a histogram in which the number of pixels belonging to each class is associated with each of a plurality of classes that divide the range of depth values for the central region (step S2).
  • the data processing device 1 clusters the generated histograms into a plurality of depth layers, and generates a mapping function for converting depth values in the central region into values based on the clustering (step S3).
  • the data processing device 1 corrects the depth value of the central area using the mapping function (step S4). Further, the data processing apparatus 1 corrects the depth value of the outer frame region and continuously connects the depth value of the outer frame region to the corrected depth value of the central region (step S5).
  • the data processing device 1 uses the region setting unit 11 to determine the outer frame region of the image for the depth map to be processed.
  • the histogram generation unit 12 generates a histogram in which the number of pixels belonging to each class is associated with each of a plurality of classes that divide the range of depth values for the central region excluding the outer frame region.
  • the mapping function generation unit 13 clusters the histogram into a plurality of depth layers, and generates a mapping function that converts the depth values before optimization in the depth map to the depth values after optimization.
  • the optimization processing unit 15 corrects the depth value of the central area using a mapping function.
  • the correction processing unit 14 corrects the depth value of the outer frame area so as to be continuously connected to the depth value of the central area.
  • a certain area is set from the screen edge of the image, and the depth map is generated based on the mapping function calculated based on the central area excluding the outer frame area. Since this is done, the depth value of the depth map before processing can be optimized, thereby reducing the 3D discomfort in the outer frame area of the image and achieving highly accurate depth expression on the entire screen. becomes possible. That is, according to the embodiments, it is possible to provide a data processing device, a data processing method, and a program that reduce the sense of incongruity between the edge of the screen and the display surface and realize more natural depth expression.
  • the present invention is not limited to the above embodiments.
  • the shape of the central region is not limited to rectangular.
  • the shape of the central area is deformed so as to trace the outline of this object.
  • the image itself is not a rectangle such as a circle or an ellipse
  • the shape of the central area from which the outer frame area is removed may not be rectangular.
  • FIG. 5 is a diagram showing a state in which an object labeled in the gaze area protrudes into the outer frame area.
  • the region setting unit 11 determines whether the object is outside the outer frame region.
  • the protruding part is also set as the central area.
  • the central region is enlarged by the outline of the protruding object.
  • the data processing device 1 performs histogram generation (step S2 in FIG. 4), histogram clustering and mapping function generation (step S3), and depth value correction using the mapping function (step S4) for this region.
  • the outer frame area is reduced by the contour portion of the object, and processing is performed to continuously connect the depth value of that area to the corrected depth value of the central area (step S5).
  • the region has a depth value. No correction is made. This is to avoid the fact that correcting the depth of the gazed object makes the 3D image stand out.
  • the data processing device 1 may perform depth value correction processing only when the original image of the target location is flat. That is, the region setting unit 11 sets the outer frame region to a region in which the variance value of the pixel values is lower than the predetermined threshold value. In other words, if the original image is too fine, no processing can be performed.
  • the definition of an image can be determined, for example, by the maximum/minimum value of pixel values or the variance value.
  • the depth value is not corrected. This is because a region with fine high-frequency components in the original image is likely to be a region of interest, and correction of the depth may rather make the viewer feel uncomfortable as a 3D image.
  • a CPU Central Processing Unit
  • GPU Graphic Processing Unit
  • memory 33 storage 34
  • communication device 35 input device 36
  • output device 37 output device 37
  • the CPU 31 and the GPU 32 execute programs loaded in the memory 33, so that the area setting unit 11, the histogram generation unit 12, the mapping function generation unit 13, the correction processing unit 14, and the optimization processing unit 15 Realized.
  • the program can be recorded on a computer-readable recording medium such as an optical disc or semiconductor memory, or distributed via a network.
  • the present invention is not limited to the above embodiments.
  • the depth value is described as 8-bit 256-gradation, it is of course not limited to this value.
  • the flow of each process described above is not limited to the described procedures, and the order of some steps may be changed, and some steps may be performed in parallel. .
  • the series of processes described above need not be executed consecutively in terms of time, and each step may be executed at any timing.
  • a program that implements the above processing may be stored in a computer-readable recording medium (or storage medium) and provided.
  • the program is stored in the recording medium as an installable format file or an executable format file.
  • Examples of recording media include magnetic disks, optical disks (CD-ROM, CD-R, DVD-ROM, DVD-R, etc.), magneto-optical disks (MO, etc.), and semiconductor memories.
  • the program that implements the above processing may be stored on a computer (server) connected to a network such as the Internet, and downloaded to the computer (client) via the network.
  • the histogram clustering method, the depth layer setting method, the mapping function generation method, etc. can be modified in various ways without departing from the scope of the present invention.
  • the data processing device can construct the operation of each component as a program, install it on a computer used as the data processing device and execute it, or distribute it via a network.
  • the present invention is not limited to the above embodiments, and various modifications and applications are possible.
  • the present invention is not limited to the above-described embodiments, and can be modified in various ways without departing from the gist of the invention at the implementation stage. Further, each embodiment may be implemented in combination as appropriate, in which case the combined effect can be obtained. Furthermore, various inventions are included in the above embodiments, and various inventions can be extracted by combinations selected from a plurality of disclosed constituent elements. For example, even if some constituent elements are deleted from all the constituent elements shown in the embodiments, if the problem can be solved and effects can be obtained, the configuration with the constituent elements deleted can be extracted as an invention.
  • REFERENCE SIGNS LIST 1 data processing device 2 display surface 11 area setting unit 12 histogram generation unit 13 mapping function generation unit 14 correction processing unit 15 optimization processing unit 31 CPU 33... Memory 34... Storage 35... Communication device 36... Input device 37... Output device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

実施形態のデータ処理装置は、ディスプレイに表示される画像のピクセルごとにデプス値をマッピングしたデプスマップを処理する。このデータ処理装置は、領域設定部、ヒストグラム生成部、マッピング関数生成部、第１補正処理部、および、第２補正処理部を具備する。領域設定部は、処理対象のデプスマップに、ディスプレイ面に接する当接領域を設定する。ヒストグラム生成部は、デプスマップの当接領域以外の領域である非当接領域について、デプス値の範囲を区分する複数の階級ごとに各階級に属するピクセル数を対応づけたヒストグラムを生成する。マッピング関数生成部は、ヒストグラムを複数の奥行きレイヤにクラスタリングし、非当接領域のデプス値をクラスタリングに基づく値に変換するマッピング関数を生成する。第１補正処理部は、非当接領域のデプス値をマッピング関数により補正する。第２補正処理部は、当接領域のデプス値を補正して、当該当接領域のデプス値を補正された非当接領域のデプス値に連続的に接続する。

Description

データ処理装置、データ処理方法、及びプログラム
　本発明の実施形態は、３次元（３Ｄ）映像を生成する際に用いられるデプスマップを生成する技術に関する。
　３次元画像を生成するために、画像の奥行き情報を表すデプスマップが用いられる。デプスマップは、視点からの距離情報（奥行き情報）を、画像の画素（ピクセル）ごとにマッピングして生成されるデータである。デプスマップは、グレースケールで表現することができる。一般的な８ビット階調（０～２５５）であれば、最も奥が最小値０（黒）、最も手前が最大値２５５（白）で表現される。以下、奥行き情報をデプス値と表記する。
　デプスマップを用いて、フレーム内の注目すべき被写体に広い奥行き範囲をリマッピングすることで、注目すべき被写体の立体感を強調する手法が提案されている（例えば非特許文献１を参照）。非特許文献１は、注目すべき被写体におけるデプス値を伸長する際に生成したマッピング関数の反転を、非線形最小二乗法を用いて補正する手法を開示する。
　また、マッピング関数において伸長前のデプス値と伸長後のデプス値が負の相関を有する区域を特定し、特定した範囲にのみ正の相関となるように補正する手法が特許出願されている。
Sangwoo Lee, Younghui Kim, Jungjin Lee, Kyehyun Kim, Kyunghan Lee and Junyoung Noh, "Depth manipulationusing disparity histogram analysis for stereoscopic 3D", The Visual Computer 30(4):455-465, April2014.
　一般に、フレームの上下左右の端になるほど周囲の画像情報が少ない。このため単眼の２Ｄ映像、あるいは両眼のステレオ映像から推定したデプス情報に基づいてデプスマップを作成すると、デプス情報の推定精度が劣化する場合がある。精度の低いデプス情報に基づくマッピング関数を用いても、フレームの画面端のデータに影響され、効果的な奥行き表現を行うことは難しい。画面端での不正確なデプス値により３Ｄ映像を生成すると、元の映像に無いノイズを生じたりする。ひいては画面端とディスプレイ面との違和感が目立ち、視聴者の目を疲れさせる原因ともなる。
　この発明は上記事情に着目してなされたもので、画面端とディスプレイ面との違和感を低減し、より自然な奥行き表現を実現する技術を提供しようとするものである。
　この発明の一態様に係るデータ処理装置は、ディスプレイに表示される画像のピクセルごとにデプス値をマッピングしたデプスマップを処理する。このデータ処理装置は、領域設定部、ヒストグラム生成部、マッピング関数生成部、第１補正処理部、および、第２補正処理部を具備する。領域設定部は、処理対象のデプスマップに、ディスプレイ面に接する当接領域を設定する。ヒストグラム生成部は、デプスマップの当接領域以外の領域である非当接領域について、デプス値の範囲を区分する複数の階級ごとに各階級に属するピクセル数を対応づけたヒストグラムを生成する。マッピング関数生成部は、ヒストグラムを複数の奥行きレイヤにクラスタリングし、非当接領域のデプス値をクラスタリングに基づく値に変換するマッピング関数を生成する。第１補正処理部は、非当接領域のデプス値をマッピング関数により補正する。第２補正処理部は、当接領域のデプス値を補正して、当該当接領域のデプス値を補正された非当接領域のデプス値に連続的に接続する。
　この発明の一態様によれば、画面端とディスプレイ面との違和感を低減し、より自然な奥行き表現を実現することが可能になる。
図１は、実施形態に係わるデータ処理装置の一例を示すブロック図である。 図２は、画像の外枠領域の一例を示す図である。 図３は、外枠領域のデプス値の補正について説明するための図である。 図４は、データ処理装置１の処理手順の一例を示すフローチャートである。 図５は、注視領域にラベルされたオブジェクトが外枠領域にはみ出している状態を示す図である。 図６は、変形された中央領域の一例を示す図である。 図７は、データ処理装置１の機能を実装可能なコンピュータの一例を示す機能ブロック図である。
　以下、図面を参照してこの発明に係わる実施形態を説明する。　
　図１は、実施形態に係わるデータ処理装置の一例を示すブロック図である。図１に示すデータ処理装置はコンピュータであり、例えば３次元画像フレームのデプスマップのデプス値を補正し、最適化する機能を備える。実施形態のデータ処理装置は、画像を表示するディスプレイと組み合わせることができ、ディスプレイに表示される画像のデプスマップを処理する。　
　図１に示されるデータ処理装置１は、領域設定部１１、ヒストグラム生成部１２、マッピング関数生成部１３、補正処理部１４、および、最適化処理部１５を備える。
　領域設定部１１は、処理対象のデプスマップに、ディスプレイ面に接する当接領域を設定する。すなわち領域設定部１１は、図２に示すように、画像の上下左右に一定の幅の領域（ハッチングで示す）を設定する。以下の説明において、この領域を外枠領域と称する。
　図２において、ディスプレイ面２に当接する外枠領域の幅をｗで示す。ｗは画像のサイズに応じて任意に設定可能であり、例えば、左右の外枠領域については画像の横サイズの数％、上下の外枠領域については画像の縦サイズの数％というように設定すれば良い。また、上下左右全てに枠を設けることは必須ではなく、画像の内容に応じて横枠のみ、縦枠のみ、左枠のみ、というように任意に設定可能である。設定された外枠領域に関する情報と、外枠領域以外の領域（非当接領域：以下、中央領域と称する）に関する情報は、ヒストグラム生成部１２、および補正処理部１４に出力される。
　ヒストグラム生成部１２は、デプスマップの外枠領域以外の領域である中央領域について、デプス値の範囲を区分する複数の階級ごとに、各階級に属するピクセル数を対応づけたヒストグラムを生成する。すなわちヒストグラム生成部１２は、中央領域に対して、デプス値を区分した複数の階級と、階級に属するピクセル数を対応づけたヒストグラムを生成する。生成されたヒストグラムは、マッピング関数生成部１３に出力され、マッピング関数の生成の際に参照される。
　マッピング関数生成部１３は、ヒストグラムを複数の奥行きレイヤにクラスタリングし、中央領域のデプス値を、クラスタリングに基づく値に変換するマッピング関数を生成する。すなわちマッピング関数生成部１３は、ヒストグラムを、ガウス分布形状を有する複数の奥行きレイヤにクラスタリングする。そしてマッピング関数生成部１３は、所定の奥行きレイヤに属する階級の幅を伸長することで、補正前のデプスマップの値を補正後のデプスマップの値に変換する、マッピング関数を生成する。　
　なお、ヒストグラム、およびマッピング関数の生成方法には、例えばＰＣＴ／ＪＰ２０２０／０２８５２７に記載された手法を用いることができる。また、マッピング関数は、奥行き圧縮関数と称されることもある。
　第１補正処理部としての最適化処理部１５は、中央領域のデプス値を、上記マッピング関数を用いて補正する。すなわち最適化処理部１５は、中央領域に対して、マッピング関数生成部１３で生成したマッピング関数に応じたデプス値の最適化を行う。
　第２補正処理部としての補正処理部１４は、外枠領域のデプス値を、上記別途補正された中央領域のデプス値に連続的に接続するように、補正する。すなわち補正処理部１４は、領域設定部１１にて外枠領域として設定された領域についてデプス値を補正し、最適化処理部１５へ出力する。　
　図３は、外枠領域のデプス値の補正について説明するための図である。図３は、例えば図２に示される外枠領域の左端を拡大して示す図である。ハッチング部分が領域設定部１１で設定された外枠領域であり、１０画素の領域幅を持つとする。補正処理において、まず、画面端（０列目）のデプス値を、ディスプレイ面となるようなデプス値に置き換える。
　例えば８ビットのデプスマップでは、ディスプレイ面となるデプス値は中央の値とするのが一般的であるので、補正値は１２８となる。そこから領域外（１０列目）のデプス値（２００）の間を線形補間することでデプス値を補正する。画像の右側、上側、下側についても同様に、画面端から画像中央に向かって線形補間を行う。
　図４は、データ処理装置１の処理手順の一例を示すフローチャートである。図４において、データ処理装置１は、処理対象のデプスマップに、外枠領域と中央領域とを設定する（ステップＳ１）。次にデータ処理装置１は、中央領域について、デプス値の範囲を区分する複数の階級ごとに各階級に属するピクセル数を対応づけたヒストグラムを生成する（ステップＳ２）。
　次にデータ処理装置１は、生成したヒストグラムを複数の奥行きレイヤにクラスタリングし、中央領域のデプス値を前記クラスタリングに基づく値に変換するためのマッピング関数を生成する（ステップＳ３）。
　次にデータ処理装置１は、中央領域のデプス値をマッピング関数を用いて補正する（ステップＳ４）。さらにデータ処理装置１は、外枠領域のデプス値を補正して、この外枠領域のデプス値を、補正後の中央領域のデプス値に連続的に接続する（ステップＳ５）。
　以上説明したように、本発明の一態様のデータ処理装置１は、処理対象のデプスマップに対し、領域設定部１１により、画像の外枠領域を決定する。また、ヒストグラム生成部１２により、外枠領域を除いた中央領域に対して、デプス値の範囲を区分する複数の階級ごとに、階級に属するピクセル数を対応づけたヒストグラムを生成する。また、マッピング関数生成部１３により、ヒストグラムを複数の奥行きレイヤにクラスタリングし、デプスマップにおける最適化前のデプス値を最適化後のデプス値に変換するマッピング関数を生成する。また、最適化処理部１５により、中央領域のデプス値をマッピング関数を用いて補正する。さらに、補正処理部１４により、中央領域のデプス値に連続的に接続するように外枠領域のデプス値を補正する。
　つまり実施形態では、画像の画面端から一定のエリア（外枠領域）を設定し、当該外枠領域を除く中央領域を元に算出したマッピング関数を元にデプスマップを生成する。このようにしたので、処理前のデプスマップのデプス値を最適化することができ、これにより、画像の外枠領域の３Ｄの違和感を低減するとともに、画面全体として精度の高い奥行き表現を実現することが可能になる。すなわち実施形態によれば、画面端とディスプレイ面との違和感を低減し、より自然な奥行き表現を実現するデータ処理装置、データ処理方法、およびプログラムを提供することが可能になる。
　なお、この発明は上記実施の形態に限定されるものではない。例えば、中央領域の形状は矩形に限定されるものではない。例えば、画像が注視物体（オブジェクト）を含む場合で、このオブジェクトが外枠領域にはみ出している場合、中央領域の形状はこのオブジェクトの輪郭をなぞるように変形される。また、画像自体が円形や楕円形など矩形でない場合等、外枠領域が除かれた中央部の領域の形状が矩形とならない場合もある。
　図５は、注視領域にラベルされたオブジェクトが外枠領域にはみ出している状態を示す図である。図５に示されるように、ｐｅｒｓｏｎ、ｃａｒ、あるいはａｎｉｍａｌなど、注視領域に対応するラベルを付与されたオブジェクトが外枠領域にはみ出している場合、領域設定部１１は、このオブジェクトが外枠領域にはみ出した部分も中央領域として設定する。　
　図６に示されるように、はみ出したオブジェクトの輪郭の分だけ中央領域は拡大される。そしてデータ処理装置１は、この領域についてヒストグラムの生成（図４のステップＳ２）、ヒストグラムのクラスタリングおよびマッピング関数の生成（ステップＳ３）、マッピング関数によるデプス値の補正（ステップＳ４）を実施する。　
　一方、外枠領域はオブジェクトの輪郭部分だけ縮小され、その領域のデプス値を、補正後の中央領域のデプス値に連続的に接続する処理が行われる（ステップＳ５）。
　すなわち、例えば外部の処理ブロックから入力されたセグメンテーションの情報がある場合で、外枠領域にｐｅｒｓｏｎやｃａｒといった注視領域になるラベルを付与されたオブジェクトがある場合には、その領域にはデプス値の補正は行わない。これは、注視物体のデプスを補正することでかえって３Ｄとしての違和感が目立ってしまうことを避けるためである。
　また、データ処理装置１は、対象の個所の原画像が平坦な場合に限り、デプス値の補正処理を実施しても良い。すなわち領域設定部１１は、画素値の分散値が既定の閾値よりも低い領域に外枠領域を設定する。つまり、原画像が過度に精細な場合には処理を行わないこともできる。画像の精細度は、例えば画素値の最大値／最小値の値、あるいは分散値で判定することができる。
　すなわち、外枠領域（例えば、図３の０列から９列までの１０画素）の原画像の輝度の分散値が予め任意に設定した閾値以上である場合は、デプス値の補正を行わない。これは元画像に細かい高周波成分がある領域は注視領域になりやすく、かつ、デプスを補正することでかえって３Ｄとしての違和感が目立ってしまうことがあるからである。
　上記説明した領域設定部１１、ヒストグラム生成部１２、マッピング関数生成部１３、補正処理部１４、および、最適化処理部１５には、例えば、図７に示すような、ＣＰＵ（Central Processing Unit）３１、ＧＰＵ（Graphic Processing Unit）３２、メモリ３３、ストレージ３４、通信装置３５、入力装置３６、および、出力装置３７を備えるコンピュータを用いることができる。このコンピュータにおいて、メモリ３３にロードされたプログラムをＣＰＵ３１、ＧＰＵ３２が実行することにより、領域設定部１１、ヒストグラム生成部１２、マッピング関数生成部１３、補正処理部１４、および、最適化処理部１５が実現される。プログラムは、光ディスク、半導体メモリ等のコンピュータ読み取り可能な記録媒体に記録することも、ネットワークを介して配信することもできる。
　なお、この発明は上記実施の形態に限定されるものではない。例えば、デプス値を８ビット２５６階調として説明したが、もちろんこの値に限定されるものではない、
　さらに、以上で説明した各処理の流れは、説明した手順に限定されるものではなく、いくつかのステップの順序が入れ替えられてもよいし、いくつかのステップが同時並行で実施されてもよい。また、以上で説明した一連の処理は、時間的に連続して実行される必要はなく、各ステップは任意のタイミングで実行されてもよい。
　上記処理を実現するプログラムは、コンピュータで読み取り可能な記録媒体（または記憶媒体）に格納して提供されてもよい。プログラムは、インストール可能な形式のファイルまたは実行可能な形式のファイルとして記録媒体に記憶される。記録媒体の例は、磁気ディスク、光ディスク（ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＤＶＤ－ＲＯＭ、ＤＶＤ－Ｒなど）、光磁気ディスク（ＭＯなど）、半導体メモリを含む。また、上記処理を実現するプログラムを、インターネットなどのネットワークに接続されたコンピュータ（サーバ）上に格納し、ネットワーク経由でコンピュータ（クライアント）にダウンロードさせてもよい。
　その他、ヒストグラムのクラスタリング手法、奥行きレイヤの設定手法、マッピング関数の生成手法等についても、この発明の要旨を逸脱しない範囲で種々変形して実施可能である。
　実施形態に係わるデータ処理装置は、各構成要素の動作をプログラムとして構築し、データ処理装置として利用されるコンピュータにインストールして実行させる、またはネットワークを介して流通させることが可能である。本発明は上記の形態に限定されることなく、種々変更・応用が可能である。
　要するにこの発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の発明が含まれており、開示される複数の構成要件から選択された組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、課題が解決でき、効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
　１…データ処理装置
　２…ディスプレイ面
　１１…領域設定部
　１２…ヒストグラム生成部
　１３…マッピング関数生成部
　１４…補正処理部
　１５…最適化処理部
　３１…ＣＰＵ
　３３…メモリ
　３４…ストレージ
　３５…通信装置
　３６…入力装置
　３７…出力装置。

 

Claims (6)

  1. 　ディスプレイに表示される画像のピクセルごとにデプス値をマッピングしたデプスマップを処理するデータ処理装置であって、
    　処理対象のデプスマップに、ディスプレイ面に接する当接領域を設定する領域設定部と、
    　前記デプスマップの前記当接領域以外の領域である非当接領域について、デプス値の範囲を区分する複数の階級ごとに各階級に属するピクセル数を対応づけたヒストグラムを生成するヒストグラム生成部と、
    　前記ヒストグラムを複数の奥行きレイヤにクラスタリングし、前記非当接領域のデプス値を前記クラスタリングに基づく値に変換するマッピング関数を生成するマッピング関数生成部と、
    　前記非当接領域のデプス値を前記マッピング関数により補正する第１補正処理部と、
    　前記当接領域のデプス値を補正して、当該当接領域のデプス値を前記補正された非当接領域のデプス値に連続的に接続する第２補正処理部とを具備する、データ処理装置。
  2. 　前記領域設定部は、前記画像のサイズに応じた幅の枠状の領域を前記当接領域として設定する、請求項１に記載のデータ処理装置。
  3. 　前記領域設定部は、画素値の分散値が既定の閾値よりも低い領域に前記当接領域を設定する、請求項１に記載のデータ処理装置。
  4. 　注視領域に対応するラベルを付与されたオブジェクトが前記非当接領域から前記当接領域にはみ出す場合、前記領域設定部は、当該オブジェクトが前記当接領域にはみ出した部分も前記非当接領域として設定する、請求項１に記載のデータ処理装置。
  5. 　ディスプレイに表示される画像のピクセルごとにデプス値をマッピングしたデプスマップをコンピュータにより処理するデータ処理方法であって、
    　前記コンピュータが、処理対象のデプスマップに、ディスプレイ面に接する当接領域を設定することと、
    　前記コンピュータが、前記デプスマップの前記当接領域以外の領域である非当接領域について、デプス値の範囲を区分する複数の階級ごとに各階級に属するピクセル数を対応づけたヒストグラムを生成することと、
    　前記コンピュータが、前記ヒストグラムを複数の奥行きレイヤにクラスタリングし、前記非当接領域のデプス値を前記クラスタリングに基づく値に変換するマッピング関数を生成することと、
    　前記コンピュータが、前記非当接領域のデプス値を前記マッピング関数により補正することと、
    　前記コンピュータが、前記当接領域のデプス値を補正して、当該当接領域のデプス値を前記補正された非当接領域のデプス値に連続的に接続することとを含む、データ処理方法。
  6. 　コンピュータを、請求項１乃至４の何れか１項に記載のデータ処理装置の前記領域設定部と、前記ヒストグラム生成部と、前記マッピング関数生成部と、前記第１補正処理部と、前記第２補正処理部として機能させるためのプログラム。

     
PCT/JP2021/032680 2021-09-06 2021-09-06 データ処理装置、データ処理方法、及びプログラム WO2023032206A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2021/032680 WO2023032206A1 (ja) 2021-09-06 2021-09-06 データ処理装置、データ処理方法、及びプログラム
JP2023544981A JPWO2023032206A1 (ja) 2021-09-06 2021-09-06

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/032680 WO2023032206A1 (ja) 2021-09-06 2021-09-06 データ処理装置、データ処理方法、及びプログラム

Publications (1)

Publication Number Publication Date
WO2023032206A1 true WO2023032206A1 (ja) 2023-03-09

Family

ID=85411093

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/032680 WO2023032206A1 (ja) 2021-09-06 2021-09-06 データ処理装置、データ処理方法、及びプログラム

Country Status (2)

Country Link
JP (1) JPWO2023032206A1 (ja)
WO (1) WO2023032206A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011259045A (ja) * 2010-06-07 2011-12-22 Sony Corp 立体画像表示システム、視差変換装置、視差変換方法およびプログラム
JP2013070267A (ja) * 2011-09-22 2013-04-18 Toshiba Corp 立体画像変換装置、立体画像出力装置および立体画像変換方法
US20140118507A1 (en) * 2012-10-26 2014-05-01 Korea Advanced Institute Of Science And Technology Apparatus and method for depth manipulation of stereoscopic 3d image

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011259045A (ja) * 2010-06-07 2011-12-22 Sony Corp 立体画像表示システム、視差変換装置、視差変換方法およびプログラム
JP2013070267A (ja) * 2011-09-22 2013-04-18 Toshiba Corp 立体画像変換装置、立体画像出力装置および立体画像変換方法
US20140118507A1 (en) * 2012-10-26 2014-05-01 Korea Advanced Institute Of Science And Technology Apparatus and method for depth manipulation of stereoscopic 3d image

Also Published As

Publication number Publication date
JPWO2023032206A1 (ja) 2023-03-09

Similar Documents

Publication Publication Date Title
US8605994B2 (en) Stereoscopic image display system, disparity conversion device, disparity conversion method and program
WO2014083949A1 (ja) 立体画像処理装置、立体画像処理方法、及びプログラム
US11153552B2 (en) Image processing apparatus, image processing method and non-transitory computer-readable storage medium
GB2544596A (en) Style transfer for headshot portraits
JP5238767B2 (ja) 視差画像生成方法及び装置
JP5870598B2 (ja) 画像のホワイトバランス処理方法及び装置
US10116917B2 (en) Image processing apparatus, image processing method, and storage medium
US10297055B2 (en) Image processing apparatus and method for modifying a display texture of an image
CN111199518A (zh) Vr设备的图像呈现方法、装置、设备和计算机存储介质
JP5726646B2 (ja) 画像処理装置、方法、及びプログラム
US11908051B2 (en) Image processing system and method for generating image content
WO2013035551A1 (ja) 立体画像処理装置、立体画像処理方法、及びプログラム
KR20110041753A (ko) 시점간 크로스톡 저감 장치 및 방법
CN114862694A (zh) 一种保证图像质量的高动态范围图像重建方法及装置
JP2015056013A (ja) 画像処理装置
US20240202005A1 (en) Encoding stereo splash screen in static image
WO2023032206A1 (ja) データ処理装置、データ処理方法、及びプログラム
US9325962B2 (en) Method and system for creating dynamic floating window for stereoscopic contents
US10152818B2 (en) Techniques for stereo three dimensional image mapping
CN113012031A (zh) 图像处理方法和图像处理装置
KR101633634B1 (ko) 디지털 시네마에서 스테레오 카메라로 획득한 좌우 영상의 색 일치 방법 및 그 장치
Zhou et al. Visual comfort prediction for stereoscopic image using stereoscopic visual saliency
KR101803065B1 (ko) 영상 처리 방법 및 그 장치
JP7456553B2 (ja) 画像処理装置、方法およびプログラム
KR102368677B1 (ko) 어두운 영역 기반 저조도 영상 개선 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21956091

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023544981

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE