JP2021012751A - Image processing apparatus and image processing method - Google Patents
Image processing apparatus and image processing method Download PDFInfo
- Publication number
- JP2021012751A JP2021012751A JP2020186747A JP2020186747A JP2021012751A JP 2021012751 A JP2021012751 A JP 2021012751A JP 2020186747 A JP2020186747 A JP 2020186747A JP 2020186747 A JP2020186747 A JP 2020186747A JP 2021012751 A JP2021012751 A JP 2021012751A
- Authority
- JP
- Japan
- Prior art keywords
- image
- color
- image processing
- processing apparatus
- wavelength
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Generation (AREA)
Abstract
Description
本発明は、内部散乱光を考慮して半透明物体を再現する画像処理に関する。 The present invention relates to image processing that reproduces a translucent object in consideration of internally scattered light.
近年、コンピュータグラフィクス(CG)分野において、物体表面だけでなく物体内部で光が散乱する半透明物体を描画する技術が発展した。ここで、特に人肌は、内部散乱光の再現のみでなく、表面の皺、毛穴などの再現も重要であるため、描画処理の難易度が高い。皺や毛穴などの表面形状を以下では「物体表面の微細凹凸(fine irregurality of an object surface: FIOS)」と呼ぶことにする。また、半透明物体は、白濁したガラスやプラスチック、濁った液体、生体細胞など、その内部で光の透過と散乱が生じる物体である。 In recent years, in the field of computer graphics (CG), a technique for drawing a translucent object in which light is scattered not only on the surface of the object but also inside the object has been developed. Here, especially for human skin, not only the reproduction of the internally scattered light but also the reproduction of wrinkles and pores on the surface is important, so that the drawing process is difficult. The surface shapes such as wrinkles and pores will be referred to as "fine irregurality of an object surface (FIOS)" below. A translucent object is an object such as cloudy glass or plastic, a cloudy liquid, or a living cell, in which light is transmitted and scattered inside.
内部散乱光の再現手法として、特許文献1に開示された方法が知られている。特許文献1は、複数点におけるサンプリングを行い、双方向散乱面反射率分布関数(BSSRDF)を用いて画素値を積分し、暈し処理を行う。画像値の波長チャネルごとに暈け量が異なる暈し処理を行って内部散乱光を再現する手法も知られている。また、FIOSの再現手法として、表面形状を表すバンプマップを用いる処理がある。CGにより人肌を再現する場合、通常、FIOSを再現した後、暈し処理を実行する。 As a method for reproducing internally scattered light, the method disclosed in Patent Document 1 is known. In Patent Document 1, sampling is performed at a plurality of points, pixel values are integrated using a bidirectional scattering surface reflectance distribution function (BSSRDF), and a blurring process is performed. There is also known a method of reproducing internally scattered light by performing a blurring process in which the amount of blurring differs for each wavelength channel of the image value. In addition, as a method for reproducing FIOS, there is a process using a bump map showing the surface shape. When reproducing human skin by CG, usually, after reproducing FIOS, the blurring process is executed.
図1により内部散乱光の影響を受けたFIOSをもつ半透明物体のアピアランスを説明する。図1は、半透明物体101に光が入射した場合の内部散乱光の拡がりを断面方向から示す。図1(a)に示すように、半透明物体101の表面に垂直な方向から光が入射した場合、出射光は短波長光Bに比べ長波長光Rが大きく拡がる特徴を示す。 Figure 1 illustrates the appearance of translucent objects with FIOS affected by internally scattered light. FIG. 1 shows the spread of internally scattered light when light is incident on the translucent object 101 from the cross-sectional direction. As shown in FIG. 1A, when light is incident on the surface of the translucent object 101 from a direction perpendicular to the surface, the emitted light has a feature that the long wavelength light R is greatly expanded as compared with the short wavelength light B.
一方、図1(b)は、半透明物体101に斜めに光が入射した場合を示す。斜めから入射した光は、入射方向に拡がる特徴をもつ。そのため、斜めにカットされた半透明物体101の右部(以下、カット部)は、本来ならば光が入射せずシャドウが生じる部分であるが、内部散乱光が出射するためカット部が明るくなる。このとき、より拡がり易い長波長光がカット部からより多く出射し、内部散乱光がない場合はシャドウ部であるカット部が内部散乱光によって赤くかつ明るく観察される。内部散乱光がない場合はシャドウ部であるカット部は、人肌の場合、皺や毛穴などのFIOSに相当する。 On the other hand, FIG. 1B shows a case where light is obliquely incident on the translucent object 101. Light incident from an angle has the characteristic of spreading in the incident direction. Therefore, the right part (hereinafter referred to as the cut part) of the semi-transparent object 101 cut diagonally is a part where light is not incident and shadows are generated, but the cut part becomes bright because internally scattered light is emitted. .. At this time, more long-wavelength light, which is easier to spread, is emitted from the cut portion, and when there is no internally scattered light, the cut portion, which is a shadow portion, is observed red and bright by the internally scattered light. In the case of human skin, the cut portion, which is the shadow portion when there is no internally scattered light, corresponds to FIOS such as wrinkles and pores.
特許文献1の技術は、FIOSの影響を考慮せず一様に暈し処理を行うため、FIOSが赤くかつ明るくなる特徴を再現することができない。FIOSは半透明物体のアピアランスに大きく影響することから、この内部散乱光によりFIOSが赤くかつ明るくなる特徴(以下、明度上昇)を、忠実に再現する必要がある。 Since the technique of Patent Document 1 performs the blurring process uniformly without considering the influence of FIOS, it is not possible to reproduce the feature that FIOS becomes red and bright. Since FIOS greatly affects the appearance of translucent objects, it is necessary to faithfully reproduce the characteristic that FIOS becomes red and bright due to this internally scattered light (hereinafter referred to as "increased brightness").
本発明は、内部散乱光を考慮して半透明物体を再現することを目的とする。 An object of the present invention is to reproduce a translucent object in consideration of internally scattered light.
本発明は、前記の目的を達成する一手段として、以下の構成を備える。 The present invention includes the following configurations as one means for achieving the above object.
本発明にかかる画像処理装置は、複数の色成分からなり、物体の色を表す物体の色を表す色画像を入力する入力手段と、前記色画像における前記物体の表面の陰影を変更することで出力画像を生成する生成手段とを備え、前記生成手段は、前記色画像における前記物体のうち人肌の領域において、(a)前記人肌の表面の凹部の明るさと凸部の明るさとの差がより大きくなり、かつ、(b)前記凹部の少なくとも一部がより赤くなるように前記出力画像を生成することを特徴とする。 The image processing apparatus according to the present invention is composed of a plurality of color components, and by changing an input means for inputting a color image representing the color of an object representing the color of the object and a shadow on the surface of the object in the color image. The generation means includes a generation means for generating an output image, and the generation means (a) the difference between the brightness of the concave portion and the brightness of the convex portion on the surface of the human skin in the human skin region of the object in the color image. Is larger, and (b) the output image is generated so that at least a part of the recess becomes redder.
本発明によれば、内部散乱光を考慮して半透明物体を再現することができる。例えば、内部散乱光による物体表面の微細凹凸(FIOS)の明度上昇の再現が可能になる。 According to the present invention, a translucent object can be reproduced in consideration of internally scattered light. For example, it is possible to reproduce the increase in brightness of fine irregularities (FIOS) on the surface of an object due to internally scattered light.
以下、本発明にかかる実施例の画像処理装置および画像処理方法を図面を参照して詳細に説明する。なお、実施例は特許請求の範囲にかかる本発明を限定するものではなく、また、実施例において説明する構成の組み合わせのすべてが本発明の解決手段に必須とは限らない。 Hereinafter, the image processing apparatus and the image processing method according to the embodiment of the present invention will be described in detail with reference to the drawings. It should be noted that the examples do not limit the present invention in the scope of claims, and not all combinations of configurations described in the examples are essential for the means for solving the present invention.
近年、撮影画像に対して照明光を変更、追加するリライティングと呼ばれる画像処理手法が提案されている。リライティング処理は、対象物の形状情報を用いて、新たな照明環境下における描画処理を行う。特に人肌のリライティング処理を行う場合、内部散乱光の影響を考慮しないと、実際の人肌と異なる、不自然なアピアランスを生じる。 In recent years, an image processing method called rewriting has been proposed in which the illumination light is changed and added to the captured image. The rewriting process uses the shape information of the object to perform drawing processing under a new lighting environment. Especially when rewriting the human skin, if the influence of the internally scattered light is not taken into consideration, an unnatural appearance different from the actual human skin is generated.
以下の実施例においては、内部散乱光が物体表面の微細凹凸(FIOS)のアピアランスに与える影響を考慮した半透明物体の再現手法を説明する。人肌の忠実な再現を行うため、人肌が撮影された画像領域に理想のFIOS形状(キメ)を付加し、実施例で説明する再現手法を適用すれば、人肌における忠実な内部散乱光の再現が可能になる。 In the following examples, a method for reproducing a translucent object in consideration of the effect of internally scattered light on the appearance of fine irregularities (FIOS) on the surface of the object will be described. In order to faithfully reproduce the human skin, if the ideal FIOS shape (texture) is added to the image area where the human skin is photographed and the reproduction method described in the example is applied, the faithful internal scattered light in the human skin is applied. Can be reproduced.
実施例1として、描画対象の物体の表面の微細凹凸(FIOS)を示す情報を波長に応じて変更する描画技術を用いる半透明物体の再現手法を説明する。 As the first embodiment, a method for reproducing a translucent object using a drawing technique for changing information indicating fine irregularities (FIOS) on the surface of an object to be drawn according to a wavelength will be described.
[装置の構成]
図2のブロック図により実施例の画像処理装置として機能する情報処理装置の構成例を示す。マイクロプロセッサ(CPU)201は、メインメモリ202をワークメモリとして、記憶部203に格納されたプログラムなどを実行し、各種演算処理を行い、システムバス206を介して後述する構成を制御する。メインメモリ202は、例えばランダムアクセスメモリ(RAM)やリードオンリメモリ(ROM)から構成される。
[Device configuration]
The block diagram of FIG. 2 shows a configuration example of an information processing device that functions as the image processing device of the embodiment. The microprocessor (CPU) 201 uses the main memory 202 as a work memory to execute a program or the like stored in the storage unit 203, performs various arithmetic processes, and controls a configuration described later via the system bus 206. The main memory 202 is composed of, for example, a random access memory (RAM) or a read-only memory (ROM).
記憶部203は、ハードディスクドライブ(HDD)やソリッドステートドライブ(SSD)であり、画像処理プログラム、描画対象の物体を表すデータや光源の特性データなどが格納される。入力部204は、キーボードやマウスなどであり、ユーザ操作やユーザ指示を入力するためのデバイスである。表示部205は、CPU201が生成した画像やユーザインタフェイス(UI)を液晶パネルなどのモニタ207に表示する。 The storage unit 203 is a hard disk drive (HDD) or a solid state drive (SSD), and stores an image processing program, data representing an object to be drawn, characteristic data of a light source, and the like. The input unit 204 is a keyboard, a mouse, or the like, and is a device for inputting user operations and user instructions. The display unit 205 displays the image generated by the CPU 201 and the user interface (UI) on a monitor 207 such as a liquid crystal panel.
コンピュータ機器である情報処理装置は、図示しないネットワークインタフェイスを備えていてもよい。その場合、有線または無線ネットワークを介してサーバ装置にアクセスし、サーバ装置から各種プログラムや特性データを取得したり、演算処理結果をサーバ装置に出力することができる。また、情報処理装置は、後述する画像処理を実現するプログラムを実行するタブレットやスマートフォンでもよく、その場合、モニタ207と入力部204は一体化されたタッチパネルとして提供される。 The information processing device, which is a computer device, may have a network interface (not shown). In that case, the server device can be accessed via a wired or wireless network, various programs and characteristic data can be acquired from the server device, and the calculation processing result can be output to the server device. Further, the information processing device may be a tablet or a smartphone that executes a program that realizes image processing described later, and in that case, the monitor 207 and the input unit 204 are provided as an integrated touch panel.
●画像処理装置
図3により画像処理装置の処理構成例を説明する。図3に示す処理構成は、CPU201が画像処理プログラムを実行することにより実現される。入力部301-305は、システムバス206を介して次の情報をそれぞれ入力する。
● Image processing device Figure 3 describes an example of the processing configuration of the image processing device. The processing configuration shown in FIG. 3 is realized by the CPU 201 executing an image processing program. The input units 301-305 input the following information via the system bus 206, respectively.
頂点情報の入力部301は、記憶部203などから描画対象の物体の形状を表す頂点情報を入力する。光源情報の入力部302は、記憶部203または入力部204などから光源情報を入力する。拡散色情報の入力部303は、記憶部203などから描画対象の物体の色を表す拡散色マップを入力する。FIOS情報の入力部304は、記憶部203などから、FIOSの第一の情報FIOS1として描画対象の物体の表面の相対的な高さを表す、詳細を後述する高さマップを入力する。高さ情報λ-hの入力部305は、記憶部203または入力部204などから、詳細を後述する高さ情報λ-hを入力する。 The vertex information input unit 301 inputs vertex information representing the shape of the object to be drawn from the storage unit 203 or the like. The light source information input unit 302 inputs light source information from the storage unit 203, the input unit 204, or the like. The diffusion color information input unit 303 inputs a diffusion color map representing the color of the object to be drawn from the storage unit 203 or the like. The FIOS information input unit 304 inputs a height map, which will be described in detail later, from the storage unit 203 or the like as the first information FIOS1 of FIOS, which represents the relative height of the surface of the object to be drawn. The input unit 305 of the height information λ-h inputs the height information λ-h, which will be described in detail later, from the storage unit 203, the input unit 204, or the like.
頂点処理部306は、入力された頂点情報に基づき頂点処理を行い、頂点処理結果を算出画像生成部308に出力する。法線マップ生成部307は、高さマップFIOS1と高さ情報λ-hに基づき、FIOSの第二の情報FIOS2として波長ごとの法線マップを作成し、それら法線マップFIOS2iを算出画像生成部308に出力する。 The vertex processing unit 306 performs vertex processing based on the input vertex information, and outputs the vertex processing result to the calculation image generation unit 308. The normal map generation unit 307 creates a normal map for each wavelength as the second information FIOS2 of FIOS based on the height map FIOS1 and the height information λ-h, and calculates the normal map FIOS2i. Image generation unit Output to 308.
算出画像生成部308は、描画処理部309と画像合成部310を有する。描画処理部309は、頂点処理部306の頂点処理結果、光源情報、拡散色マップ、法線マップ生成部307から入力される波長ごとの法線マップFIOS2iに基づき、波長ごとに陰影処理を含む描画処理を行う。画像合成部310は、描画処理部309が作成した波長ごとのオブジェクトである陰影処理画像を合成した合成画像生成する。合成画像は、描画対象の物体を表す算出画像として出力部311から出力される。 The calculation image generation unit 308 includes a drawing processing unit 309 and an image composition unit 310. The drawing processing unit 309 draws including shading processing for each wavelength based on the vertex processing result of the vertex processing unit 306, the light source information, the diffuse color map, and the normal map FIOS2i for each wavelength input from the normal map generation unit 307. Perform processing. The image synthesizing unit 310 generates a composite image obtained by synthesizing a shading processed image which is an object for each wavelength created by the drawing processing unit 309. The composite image is output from the output unit 311 as a calculated image representing the object to be drawn.
[法線マッピング法の概要]
FIOSは微細であるため、ポリゴンを用いてFIOSを描画すれば膨大なデータ量の演算が必要になる。そのため、少ない演算量でFIOSを再現する手法が必要になる。法線マッピング法は、ポリゴンの代わりに法線方向を格納した画像データ(法線マップ)を用いることで疑似的にFIOSを再現する手法である。
[Overview of normal mapping method]
Since FIOS is fine, drawing FIOS using polygons requires a huge amount of data to be calculated. Therefore, a method to reproduce FIOS with a small amount of calculation is required. The normal mapping method is a method of reproducing FIOS in a pseudo manner by using image data (normal map) in which the normal direction is stored instead of polygons.
図4により描画処理における法線マッピング法の概要を説明する。図4(a)に示すように、平面上において法線は常に上向きである。図4(b)に示すように斜面が含まれる場合、斜面上の法線と平面上の法線の間に傾きが発生する。図4(c)に示すように、斜面の法線を平面に割り当てると、斜面同様にシャドウが発生するため、平面ではあるが斜面が存在するようなアピアランスを与えることができる。言い替えれば、法線マップによって、描画するオブジェクトの面の傾きを表すことができる。また、法線マッピング処理によって描画されるオブジェクトの精度は、法線マップに格納される法線の数の密度に依存する。 The outline of the normal mapping method in the drawing process will be described with reference to FIG. As shown in FIG. 4 (a), the normal is always upward on the plane. When a slope is included as shown in Fig. 4 (b), a slope occurs between the normal on the slope and the normal on the plane. As shown in FIG. 4 (c), when the normal of the slope is assigned to the plane, the shadow is generated like the slope, so that the appearance that the slope exists even though it is a plane can be given. In other words, a normal map can represent the slope of the surface of the object to be drawn. Also, the accuracy of the object drawn by the normal mapping process depends on the density of the number of normals stored in the normal map.
図5により法線マッピング処理を詳細に説明する。FIOS情報は、例えば、描画対象の物体の基準面と同じ高さを示す値として「0.0」、基準面から最も高い位置を示す値として「1.0」を有する。高さマップFIOS1は、FIOS情報の値0.0から1.0を示すグレイスケールデータである。例えば、描画対象の物体のFIOSの底(最深部)を基準面とすればよい。あるいは、FIOSを除く描画対象の物体の平均的な表面を基準面としてFIOS情報を作成してもよい。この場合、FIOS情報が正負の値を有することになるので、FIOS情報の最小値(負値)を「0.0」として正規化を行うことで、最深部が「0.0」、最も高い位置が「1.0」を有するFIOS情報が得られる。 The normal mapping process will be described in detail with reference to FIG. The FIOS information has, for example, "0.0" as a value indicating the same height as the reference plane of the object to be drawn, and "1.0" as a value indicating the highest position from the reference plane. The height map FIOS1 is grayscale data showing FIOS information values 0.0 to 1.0. For example, the bottom (deepest part) of FIOS of the object to be drawn may be used as a reference plane. Alternatively, FIOS information may be created using the average surface of the object to be drawn excluding FIOS as a reference plane. In this case, the FIOS information has positive and negative values, so by normalizing with the minimum value (negative value) of the FIOS information as "0.0", the deepest part is "0.0" and the highest position is "1.0". FIOS information with "is obtained.
法線マップ生成部307は、高さマップFIOS1から高さの変化を取得し、高さの変化に基づくベクトル情報(法線の単位ベクトル)を各画素に格納した法線マップFIOS2を生成する。なお、高さマップから法線マップを作成する例を挙げたが、高さ情報λ-hが取得可能な情報に基づき法線マップを作成してもよいし、法線マップが直接入力されてもよい。 The normal map generation unit 307 acquires a change in height from the height map FIOS1 and generates a normal map FIOS2 in which vector information (unit vector of normal) based on the change in height is stored in each pixel. In addition, although the example of creating a normal map from the height map is given, the normal map may be created based on the information that the height information λ-h can be acquired, or the normal map is directly input. May be good.
また、描画処理部309は、法線マップFIOS2と同様にベクトル情報を格納した照明マップを光源情報から生成する。照明マップの各画素は、光源を向き、入射光量に対応する長さを有するベクトルを格納する。法線マップFIOS2と照明マップの対応する画素のベクトルの内積をとると、描画すべき画素の輝度値が算出される。 Further, the drawing processing unit 309 generates an illumination map storing vector information from the light source information as in the normal map FIOS2. Each pixel of the illumination map points a light source and stores a vector having a length corresponding to the amount of incident light. By taking the inner product of the vectors of the corresponding pixels of the normal map FIOS2 and the illumination map, the brightness value of the pixel to be drawn is calculated.
[描画処理」
図6のフローチャートにより画像処理装置が実行する描画処理を説明する。入力部301は、描画対象の物体の形状を表す頂点情報を入力する(S601)。頂点処理部306は、入力された頂点情報に基づき頂点処理を行う(S602)。頂点処理には、頂点シェーダ、クリッピング、透視変換、ビューポート変換などのCG処理が含まれるが、それらの手法は既知であり、説明を省略する。
[Drawing process]
The drawing process executed by the image processing apparatus will be described with reference to the flowchart of FIG. The input unit 301 inputs vertex information representing the shape of the object to be drawn (S601). The vertex processing unit 306 performs vertex processing based on the input vertex information (S602). Vertex processing includes CG processing such as vertex shader, clipping, perspective conversion, and viewport conversion, but these methods are known and the description thereof will be omitted.
次に、入力部302は、光源情報を入力する(S603)。光源情報は、光源の波長ごとの明るさ情報である分光放射輝度と仮想空間上の光源位置を示す。入力部303は、描画対象の物体の色を表す拡散色マップを入力する(S604)。入力部304は、描画対象の物体のFIOS情報である高さマップFIOS1を入力する(S605)。入力部305は、高さ情報λ-hを入力する(S606)。なお、各情報の入力順は一例であり、上記に限定されず、任意の順に各情報を入力することができる。 Next, the input unit 302 inputs the light source information (S603). The light source information indicates the spectral radiance, which is the brightness information for each wavelength of the light source, and the position of the light source in the virtual space. The input unit 303 inputs a diffuse color map representing the color of the object to be drawn (S604). The input unit 304 inputs the height map FIOS1 which is the FIOS information of the object to be drawn (S605). The input unit 305 inputs the height information λ-h (S606). The input order of each information is an example, and the input order is not limited to the above, and each information can be input in any order.
図7により高さ情報λ-hを説明する。高さ情報λ-hは、波長と、高さマップの高さの最大値の関係を示す。図7(a)は高さ情報λ-hの一例であり、波長λiにおける高さマップの高さの最大値hを示すテーブル形式のデータである。例えば波長w1が赤(R)成分、波長w2が緑(G)成分、波長w3が青(B)成分に対応すると仮定するとw1>w2>w3の関係を有し、この場合、各波長に対応する高さの最大値の関係としてh1<h2<h3が設定される。つまり、高さ情報λ-hは、通常、長波長ほど小さな最大値hを有し、短波長ほど大きな最大値hを有する情報である。また、高さの最大値の関係としてh1=h2=h3を設定することで、不透明物体や半透明物体上の不透明物体による被覆部の明度上昇の処理を禁止することができる。 The height information λ-h will be described with reference to FIG. The height information λ-h indicates the relationship between the wavelength and the maximum value of the height of the height map. FIG. 7 (a) is an example of the height information λ-h, which is table-format data showing the maximum value h of the height of the height map at the wavelength λi. For example, assuming that the wavelength w1 corresponds to the red (R) component, the wavelength w2 corresponds to the green (G) component, and the wavelength w3 corresponds to the blue (B) component, there is a relationship of w1> w2> w3, and in this case, it corresponds to each wavelength. H1 <h2 <h3 is set as the relationship of the maximum value of the height to be used. That is, the height information λ-h is usually information having a smaller maximum value h as the wavelength is longer and a larger maximum value h as the wavelength is shorter. Further, by setting h1 = h2 = h3 as the relationship of the maximum value of the height, it is possible to prohibit the processing of increasing the brightness of the covering portion due to the opaque object on the opaque object or the translucent object.
法線ベクトルの向きの変化は図4に示すように斜面の傾きに依存する。図7(b)に示すように、最大値hが小さく傾きが小さい場合、法線ベクトルの向きは、平面に垂直な向き(図7(b)の破線矢印)に近い分布を示す。一方、最大値hが大きく、傾きが大きい場合、法線ベクトルの向きは、より分散した分布を示す。従って、長波長光ほど、最大値hを小さく設定して法線ベクトルの向きの変化を小さくし、短波長光ほど、最大値hを大きく設定して法線ベクトルの向きの変化を大きくすることができる。言い替えれば、波長λに対して高さの最大値hの差を与えることで、後述する画素値の計算処理において(内部散乱光がない場合はシャドウ部である)FIOSの明度上昇を得る。 The change in the direction of the normal vector depends on the slope of the slope as shown in Fig. 4. As shown in FIG. 7 (b), when the maximum value h is small and the slope is small, the direction of the normal vector shows a distribution close to the direction perpendicular to the plane (broken line arrow in FIG. 7 (b)). On the other hand, when the maximum value h is large and the slope is large, the direction of the normal vector shows a more dispersed distribution. Therefore, for longer wavelength light, the maximum value h should be set smaller to reduce the change in the direction of the normal vector, and for shorter wavelength light, the maximum value h should be set larger to increase the change in the direction of the normal vector. Can be done. In other words, by giving a difference in the maximum height value h with respect to the wavelength λ, the brightness of FIOS (which is the shadow portion when there is no internally scattered light) is increased in the pixel value calculation process described later.
図7(c)は、図7(a)に示す高さ情報λ-hを用いて高さマップFIOS1iを生成する場合の高さマップFIOS1の値(横軸)と、高さマップFIOS1iの値(縦軸)関係を示す。なお、高さマップの値と高さの関係の定義はテーブル形式に限定されず、多項式などを用いて定義してもよい。 FIG. 7 (c) shows the value of the height map FIOS1 (horizontal axis) and the value of the height map FIOS1i when the height map FIOS1i is generated using the height information λ-h shown in FIG. 7 (a). (Vertical axis) Shows the relationship. The definition of the relationship between the value of the height map and the height is not limited to the table format, and may be defined using a polynomial or the like.
次に、法線マップ生成部307は、高さマップFIOS1と高さ情報λ-hを用いて、波長ごとの法線マップFIOS2を生成する(S607)。算出画像生成部308は、ステップS602からS607において入力または生成された情報を用いて、陰影処理を含む画素値の計算処理(描画処理)を行って波長λiごとのオブジェクトである陰影処理画像を描画する(S608)。そして、波長λiごとのオブジェクトである陰影処理画像を合成し(S609)、合成によって得た算出画像を出力部311を介して出力する(S610)。描画対象の物体を表す算出画像は、表示部205によってモニタ207に表示されたり、記憶部203などに格納されたりする。 Next, the normal map generation unit 307 generates a normal map FIOS2 for each wavelength by using the height map FIOS1 and the height information λ-h (S607). Using the information input or generated in steps S602 to S607, the calculated image generation unit 308 performs pixel value calculation processing (drawing processing) including shading processing to draw a shading processed image which is an object for each wavelength λi. (S608). Then, a shading-processed image, which is an object for each wavelength λi, is synthesized (S609), and the calculated image obtained by the synthesis is output via the output unit 311 (S610). The calculated image representing the object to be drawn is displayed on the monitor 207 by the display unit 205, stored in the storage unit 203, or the like.
●法線マップ生成部
図8のフローチャートにより法線マップ生成部307による波長ごとの法線マップの生成処理(S607)を説明する。法線マップ生成部307は、カウンタiを0に初期化し(S801)、高さ情報λ-hからi番目の波長λiおよび高さの最大値hiを取得する(S802)。例えば、図7(a)に示す高さ情報λ-hが入力された場合、最初は波長w1および最大値h1が取得される。続いて、法線マップ生成部307は、最大の高さを最大値hiとした波長λiの高さマップFIOS1iを作成し(S803)、高さマップFIOS1iに基づき波長λiの法線マップFIOS2iを作成する(S804)。なお、法線マップFIOS2iのヘッダ情報として対応する波長λiが記録される。
● Normal map generation unit The normal map generation process (S607) for each wavelength by the normal map generation unit 307 will be described using the flowchart of FIG. The normal map generator 307 initializes the counter i to 0 (S801), and acquires the i-th wavelength λi from the height information λ-h and the maximum value hi of the height (S802). For example, when the height information λ-h shown in FIG. 7A is input, the wavelength w1 and the maximum value h1 are acquired first. Subsequently, the normal map generation unit 307 creates a height map FIOS1i of wavelength λi with the maximum height as the maximum value hi (S803), and creates a normal map FIOS2i of wavelength λi based on the height map FIOS1i. (S804). The corresponding wavelength λi is recorded as the header information of the normal map FIOS2i.
次に、法線マップ生成部307は、カウンタiをインクリメントし(S805)、カウント値iと高さ情報λ-hの波長数Nを比較することで、波長ごとの法線マップの生成処理を終了するか否かを判定する(S806)。つまり、i≦Nであれば処理をステップS802に戻して次の波長λiの法線マップを作成し、i>Nであれば波長ごとの法線マップの生成処理を終了する。 Next, the normal map generation unit 307 increments the counter i (S805) and compares the count value i with the wave number N of the height information λ-h to generate a normal map for each wavelength. Determine if it is finished (S806). That is, if i ≤ N, the process returns to step S802 to create a normal map of the next wavelength λi, and if i> N, the process of generating a normal map for each wavelength is completed.
●算出画像生成部
図9のフローチャートにより算出画像生成部308による算出画像の生成処理(S608-S609)を説明する。算出画像生成部308において、描画処理部309は、光源情報に基づき照明マップを生成し(S901)、カウンタiを0に初期化する(S902)。続いて、描画処理部309は、法線マップFIOS2iのヘッダ情報から波長λiを取得し(S903)、入力された拡散色マップから、波長λiに対応する拡散色マップを抽出する(S904)。そして、頂点処理結果、照明マップ、波長λiに対応する拡散色マップおよび法線マップFIOS2iを用いて陰影処理を含む描画処理を行い、波長λiのオブジェクトである陰影処理画像を生成する(S905)。
● Calculated image generation unit The calculation image generation process (S608-S609) by the calculated image generation unit 308 will be described using the flowchart of Fig. 9. In the calculated image generation unit 308, the drawing processing unit 309 generates an illumination map based on the light source information (S901) and initializes the counter i to 0 (S902). Subsequently, the drawing processing unit 309 acquires the wavelength λi from the header information of the normal map FIOS2i (S903), and extracts the diffused color map corresponding to the wavelength λi from the input diffused color map (S904). Then, drawing processing including shading processing is performed using the vertex processing result, the illumination map, the diffuse color map corresponding to the wavelength λi, and the normal map FIOS2i, and a shading processed image which is an object of the wavelength λi is generated (S905).
波長ごとの陰影処理画像は、例えば、R成分、G成分またはB成分のグレイスケール画像に相当する。ただし、波長λiは、R成分、G成分またはB成分の主波長に限られず、三波長以上あればよく、波長λiの各陰影処理画像を合成することでフルカラー画像を得ることができればよい。 The shaded image for each wavelength corresponds to, for example, a grayscale image of R component, G component or B component. However, the wavelength λi is not limited to the main wavelengths of the R component, the G component, or the B component, and may be three or more wavelengths, and it is sufficient that a full-color image can be obtained by synthesizing each shadow-processed image of the wavelength λi.
図10により陰影処理を説明する。図10(a)は波長w1、w2、w3の拡散色を示す。なお、前述したように波長はw1>w2>w3の関係にある。図10(b)は波長w1、w2、w3に対応する法線マップFIOS2iを示す。上述したように、各波長に対応する高さはh1≦h2≦h3の関係を有するため、法線マップFIOS2iにおいて、波長w3のベクトルの向きの変化に比べて、波長w1のベクトルの向きの変化は小さい。図10(c)はステップS905において作成される陰影処理画像を示す。長波長光になるほどベクトルの向きの変化が小さい法線マップFIOS2iを使用することで、波長w3のFIOSの明度に比べて、波長w1におけるFIOSの明度が増加し、図10(c)に示すような、明度上昇が得られる。 The shading process will be described with reference to FIG. FIG. 10 (a) shows the diffuse colors of wavelengths w1, w2, and w3. As described above, the wavelengths have a relationship of w1> w2> w3. FIG. 10 (b) shows the normal map FIOS2i corresponding to the wavelengths w1, w2, and w3. As described above, since the height corresponding to each wavelength has a relationship of h1 ≤ h2 ≤ h3, the change in the direction of the vector of the wavelength w1 is compared with the change in the direction of the vector of the wavelength w3 in the normal map FIOS2i. Is small. FIG. 10 (c) shows a shaded image created in step S905. By using the normal map FIOS2i, in which the change in the direction of the vector is smaller as the wavelength of light becomes longer, the brightness of FIOS at wavelength w1 increases compared to the brightness of FIOS at wavelength w3, as shown in Fig. 10 (c). You can get an increase in brightness.
次に、描画処理部309は、カウンタiをインクリメントし(S906)、カウント値iと法線マップFIOS2の数Nを比較することで、描画処理を終了するか否かを判定する(S907)。つまり、i≦Nであれば処理をステップS902に戻して、次の波長λiの描画処理を行い、i>Nであれば描画処理を終了する。描画処理が終了すると、画像合成部310は、波長λiの各陰影処理画像を合成したカラー画像を算出画像として生成し(S908)、算出画像の生成処理が終了する。 Next, the drawing processing unit 309 increments the counter i (S906) and compares the count value i with the number N of the normal map FIOS2 to determine whether or not to end the drawing processing (S907). That is, if i ≦ N, the process returns to step S902, the drawing process of the next wavelength λi is performed, and if i> N, the drawing process ends. When the drawing process is completed, the image synthesizing unit 310 generates a color image obtained by synthesizing each shading-processed image having a wavelength of λi as a calculated image (S908), and the calculation image generation process is completed.
このように、(内部散乱光がない場合はシャドウ部である)FIOSの明度上昇により、FIOSが赤くかつ明るくなる特徴を再現することができ、内部散乱特性をもつ半透明物体をより忠実に再現することが可能になる。 In this way, by increasing the brightness of FIOS (which is the shadow part when there is no internally scattered light), it is possible to reproduce the feature that FIOS becomes red and bright, and more faithfully reproduces a translucent object with internal scattering characteristics. It becomes possible to do.
上記では、第一の表面微細凹凸情報として入力した高さマップFIOS1を、第二の表面微細凹凸情報である波長ごとの法線マップFIOS2iに変換する例を説明したが、第一および第二の表面微細凹凸情報は高さマップや法線マップに限定されない。例えば、カメラや測距装置などによって測定された距離情報など、FIOS情報を含む情報であれば使用可能である。また、FIOS1からFIOS2iへの変換も、高さマップの高さを変更する方法だけでなく、波長ごとに異なる暈し処理をFIOS1に施す方法も利用可能である。 In the above, an example of converting the height map FIOS1 input as the first surface fine unevenness information into the normal map FIOS2i for each wavelength, which is the second surface fine unevenness information, has been described. The surface fine unevenness information is not limited to the height map and the normal map. For example, any information including FIOS information such as distance information measured by a camera or a distance measuring device can be used. Also, for conversion from FIOS1 to FIOS2i, not only the method of changing the height of the height map but also the method of applying different halo processing to FIOS1 for each wavelength can be used.
以下、本発明にかかる実施例2の画像処理装置および画像処理方法を説明する。なお、実施例2において、実施例1と略同様の構成については、同一の符号を付して、その詳細な説明を省略する場合がある。 Hereinafter, the image processing apparatus and the image processing method according to the second embodiment of the present invention will be described. In the second embodiment, the same reference numerals may be given to the configurations substantially the same as those in the first embodiment, and detailed description thereof may be omitted.
実施例1の処理を行うと、FIOSの形状が波長ごとに異なるため、光沢の大きさや形状が波長ごとに多少異なって合成後に色ずれとして表れる場合がある。実施例2においては、光沢部の計算を一つの法線マップから別途行いし、光沢部の画像と陰影処理画像の合成を行うことで、光沢部における色ずれを解消する。 When the processing of Example 1 is performed, since the shape of FIOS is different for each wavelength, the magnitude and shape of gloss may be slightly different for each wavelength and may appear as color shift after synthesis. In the second embodiment, the glossy portion is calculated separately from one normal map, and the glossy portion image and the shading processed image are combined to eliminate the color shift in the glossy portion.
図11のブロック図により画像処理装置の処理構成例を示す。実施例2の画像処理装置の構成は、図3に示す構成に、光沢画像計算部321と光沢画像合成部322を加えたものである。光沢画像計算部321は、法線マップ生成部307から取得した一つの法線マップFIOS2iと、描画処理部309から取得した照明マップを用いて光沢画像を描画し、光沢画像を光沢画像合成部322に出力する。 An example of the processing configuration of the image processing apparatus is shown by the block diagram of FIG. The configuration of the image processing apparatus of the second embodiment is that the glossy image calculation unit 321 and the glossy image composition unit 322 are added to the configuration shown in FIG. The gloss image calculation unit 321 draws a gloss image using one normal map FIOS2i acquired from the normal map generation unit 307 and an illumination map acquired from the drawing processing unit 309, and draws the gloss image into the gloss image composition unit 322. Output to.
光沢画像合成部322は、算出画像生成部308から入力される陰影処理画像の合成画像と光沢画像計算部321から入力される光沢画像を合成した算出画像を生成する。なお、陰影処理画像の合成画像に既に光沢部がある場合、光沢画像合成部322は、当該光沢部を削除するなどの処理を行った後、陰影処理画像の合成画像に光沢画像を合成する。 The glossy image synthesizing unit 322 generates a calculated image in which the composite image of the shading processed image input from the calculated image generation unit 308 and the glossy image input from the glossy image calculation unit 321 are combined. If the composite image of the shaded image already has a glossy portion, the glossy image composite unit 322 synthesizes the glossy image with the composite image of the shaded image after performing processing such as deleting the glossy portion.
図12のフローチャートにより実施例2の画像処理装置が実行する描画処理を説明する。ステップS601-S609の処理は実施例1と同様であり、詳細説明を省略する。光沢画像合成部322は、法線マップ生成部307が作成した法線マップFIOS2iの一つおよび照明マップを取得し(S621)、それらを用いて光沢画像を描画する(S622)。 The drawing process executed by the image processing apparatus of the second embodiment will be described with reference to the flowchart of FIG. The processing of steps S601 to S609 is the same as that of the first embodiment, and detailed description thereof will be omitted. The gloss image composition unit 322 acquires one of the normal map FIOS2i created by the normal map generation unit 307 and an illumination map (S621), and draws a gloss image using them (S622).
次に、光沢画像合成部322は、算出画像生成部308から入力される陰影処理画像の合成画像と光沢画像計算部321から入力される光沢画像を合成した算出画像を生成し(S623)、算出画像を出力部311を介して出力する(S624)。算出画像は、表示部205によってモニタ207に表示されたり、記憶部203などに格納されたりする。このように、光沢部の色ずれを解消することができる。 Next, the glossy image compositing unit 322 generates a calculated image obtained by combining the composite image of the shading processed image input from the calculated image generation unit 308 and the glossy image input from the glossy image calculation unit 321 (S623), and calculates The image is output via the output unit 311 (S624). The calculated image is displayed on the monitor 207 by the display unit 205, or stored in the storage unit 203 or the like. In this way, the color shift of the glossy portion can be eliminated.
以下、本発明にかかる実施例3の画像処理装置および画像処理・方法を説明する。なお、実施例3において、実施例1、2と略同様の構成については、同一の符号を付して、その詳細な説明を省略する場合がある。 Hereinafter, the image processing apparatus and image processing / method of Example 3 according to the present invention will be described. In the third embodiment, the same reference numerals may be given to the configurations substantially the same as those in the first and second embodiments, and detailed description thereof may be omitted.
実施例3として、内部散乱光の影響が顕著に表れる、FIOSの空間周波数が高周波数になるエリア(以下、高周波数エリア)に選択的に半透明物体の再現手法を適用する手法を説明する。図13により内部散乱光の回り込みの概念で示す。図13(a)はFIOSの空間周波数が高周波数の半透明物体(以下、高周波数物体)における内部散乱光の回り込みを示し、図13(b)はFIOSの空間周波数が低周波数の半透明物体(以下、低周波数物体)に対する内部散乱光の回り込みを示す。 As the third embodiment, a method of selectively applying the translucent object reproduction method to an area where the spatial frequency of FIOS becomes high (hereinafter, high frequency area) where the influence of the internally scattered light appears remarkably will be described. Fig. 13 shows the concept of wraparound of internally scattered light. Fig. 13 (a) shows the wraparound of internally scattered light in a translucent object with a high spatial frequency of FIOS (hereinafter referred to as a high frequency object), and Fig. 13 (b) shows a translucent object with a low spatial frequency of FIOS. The wraparound of internally scattered light with respect to (hereinafter, low frequency object) is shown.
図13(a)に示すように、高周波数物体の内部における光の移動距離は短い。一方、図13(b)に示すように、低周波数物体の内部における光の移動距離は長い。吸収される光の量は、光の移動距離に応じて増加するため、高周波数物体から出射する光量は多く、低周波数物体から出射する光量は少なくなる。そのため、図13(b)に示す低周波数物体においては、明度上昇を必要とするほどの内部散乱光の出射はない。従って、内部散乱光の影響をより顕著に受ける高周波数エリアへの、半透明物体の再現手法の選択的な適用が効果的と言える。 As shown in FIG. 13 (a), the moving distance of light inside a high-frequency object is short. On the other hand, as shown in FIG. 13 (b), the moving distance of light inside a low-frequency object is long. Since the amount of light absorbed increases with the moving distance of the light, the amount of light emitted from the high-frequency object is large, and the amount of light emitted from the low-frequency object is small. Therefore, in the low frequency object shown in FIG. 13 (b), the internally scattered light that requires an increase in brightness is not emitted. Therefore, it can be said that the selective application of the translucent object reproduction method to the high frequency area that is more significantly affected by the internally scattered light is effective.
図14のフローチャートにより高周波数エリアの選択処理を含む波長ごとの法線マップの作成処理(S607)を説明する。カウンタiの初期化(S801)後、法線マップ作成部307は、FIOS情報(例えば高さマップFIOS1)に基づき高周波数エリアを抽出する(S811)。続いて、高さ情報λ-hからi番目の波長λiおよび高さの最大値hiを取得し(S802)、抽出した高周波数エリアについて、波長λiの高さマップFIOS1iを作成する(S812)。ステップS805、S806の処理は実施例1と同様であり、詳細説明を省略する。 The process of creating a normal map for each wavelength (S607) including the process of selecting a high frequency area will be described with reference to the flowchart of FIG. After the counter i is initialized (S801), the normal map creation unit 307 extracts a high frequency area based on the FIOS information (for example, the height map FIOS1) (S811). Subsequently, the i-th wavelength λi and the maximum height value hi are obtained from the height information λ-h (S802), and a height map FIOS1i of the wavelength λi is created for the extracted high frequency area (S812). The processing of steps S805 and S806 is the same as that of the first embodiment, and detailed description thereof will be omitted.
ステップS806の判定結果がi>Nになると、法線マップ作成部307は、高周波数エリアとして抽出しなかった非抽出エリアについて、所定の高さ(例えば、基準面の高さ)を示す情報を各波長λiの高さマップFIOS1iに設定する(S813)。そして、各波長λiの高さマップFIOS1iに基づき各波長λiの法線マップFIOS2iを作成し(S814)、波長ごとの法線マップの生成処理を終了する。 When the determination result in step S806 is i> N, the normal map creation unit 307 provides information indicating a predetermined height (for example, the height of the reference plane) for the non-extracted area that was not extracted as the high frequency area. Set to the height map FIOS1i for each wavelength λi (S813). Then, a normal map FIOS2i for each wavelength λi is created based on the height map FIOS1i for each wavelength λi (S814), and the normal map generation process for each wavelength is completed.
このように、高周波数エリアについて波長ごとに最大の高さが異なり、非抽出エリアについて高さ情報が一致した高さマップFIOS1iが作成される。従って、内部散乱光の影響が顕著に表れる、FIOSの空間周波数が高周波数になるエリアに選択的に半透明物体の再現手法を適用することができる。 In this way, the height map FIOS1i is created in which the maximum height differs for each wavelength in the high frequency area and the height information matches in the non-extracted area. Therefore, it is possible to selectively apply the translucent object reproduction method to the area where the spatial frequency of FIOS becomes high, where the influence of the internally scattered light appears remarkably.
[変形例]
例えば、光源が長波長光を含まない場合や、拡散色マップに長波長域の色が含まれない場合、明度上昇は観察されないか、観察されても極く僅かな場合がある。そのような場合の明度上昇の再現処理の負荷を低減するために、法線マップ生成部307は、拡散色マップや光源情報から波長ごとの法線マップFIOS2iを作成するか否かを決定してもよい。波長ごとの法線マップFIOS2iを作成しない場合、法線マップ生成部307は、高さマップFIOS1に対応する法線マップFIOS2を出力する。
[Modification example]
For example, if the light source does not contain long wavelength light, or if the diffuse color map does not contain long wavelength colors, the increase in brightness may not be observed, or even if it is observed, it may be very slight. In order to reduce the load of the reproduction processing of the brightness increase in such a case, the normal map generator 307 determines whether or not to create the normal map FIOS2i for each wavelength from the diffused color map and the light source information. May be good. When the normal map FIOS2i for each wavelength is not created, the normal map generator 307 outputs the normal map FIOS2 corresponding to the height map FIOS1.
また、上記では、描画対象の物体が半透明物体であることを前提に説明を行った。半透明物体の一部が不透明物体に覆われている場合、不透明物体によって被覆されていない半透明物体の非被覆部が実施例1-3の再現手法の適用範囲である。その場合の被覆部は、当該再現手法の適用範囲外としてもよいし、波長ごとの法線マップFIOS2iを作成しないエリアとして、非被覆部と同様の再現手法を適用してもよい。 Further, in the above description, the description has been made on the premise that the object to be drawn is a translucent object. When a part of the translucent object is covered with an opaque object, the uncovered portion of the translucent object not covered by the opaque object is the scope of application of the reproduction method of Example 1-3. In that case, the covered portion may be outside the applicable range of the reproduction method, or the same reproduction method as the non-covered portion may be applied as an area where the normal map FIOS2i for each wavelength is not created.
また、描画対象の物体の表面に浅い角度(入射角90度に近い角度)で光が入射する場合、アピアランスに対する内部散乱光の影響は、反射光のそれに比べて小さくなる。従って、実施例3における高周波数エリアと同様に、描画対象の物体の表面に入射する照明光の入射角が所定角度未満のエリア(低入射角エリア)を抽出することも有効である。この場合、抽出エリアについて波長ごとに最大の高さが異なり、非抽出エリアについて高さ情報が一致した高さマップFIOS1iが作成され、各波長λiの高さマップFIOS1iに基づき各波長λiの法線マップFIOS2iが作成される。従って、内部散乱光の影響が顕著に表れる、低入射角エリアに選択的に半透明物体の再現手法を適用することができる。 Further, when light is incident on the surface of the object to be drawn at a shallow angle (an angle close to 90 degrees of incidence), the influence of the internally scattered light on the appearance is smaller than that of the reflected light. Therefore, as in the high frequency area in the third embodiment, it is also effective to extract an area (low incident angle area) in which the incident angle of the illumination light incident on the surface of the object to be drawn is less than a predetermined angle. In this case, a height map FIOS1i is created in which the maximum height differs for each wavelength in the extraction area and the height information matches for the non-extraction area, and the normal of each wavelength λi is created based on the height map FIOS1i of each wavelength λi. Map FIOS2i is created. Therefore, it is possible to selectively apply the translucent object reproduction method to the low incident angle area where the influence of the internally scattered light appears remarkably.
[その他の実施例]
本発明は、上述の実施形態の一以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける一以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、一以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
[Other Examples]
The present invention supplies a program that realizes one or more functions of the above-described embodiment to a system or device via a network or storage medium, and one or more processors in the computer of the system or device reads and executes the program. It can also be realized by processing. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
304 … 入力部、307 … 法線マップ生成部、309 … 描画処理部、310 … 画像合成部 304… Input section, 307… Normal map generation section, 309… Drawing processing section, 310… Image composition section
●算出画像生成部
図9のフローチャートにより算出画像生成部308による算出画像の生成処理(S608-S609)を説明する。算出画像生成部308において、描画処理部309は、光源情報に基づき照明マップを生成し、カウンタiを0に初期化する(S901)。続いて、描画処理部309は、法線マップFIOS2iのヘッダ情報から波長λiを取得し(S902)、入力された拡散色マップから、波長λiに対応する拡散色マップを抽出する(S903)。そして、頂点処理結果、照明マップ、波長λiに対応する拡散色マップおよび法線マップFIOS2iを用いて陰影処理を含む描画処理を行い、波長λiのオブジェクトである陰影処理画像を生成する(S904)。
● Calculated image generation unit The calculation image generation process (S608-S609) by the calculated image generation unit 308 will be described using the flowchart of Fig. 9. In the calculated image generation unit 308, the drawing processing unit 309 generates an illumination map based on the light source information and initializes the counter i to 0 ( S901 ). Subsequently, the drawing processing unit 309 acquires the wavelength λi from the header information of the normal map FIOS2i ( S902 ), and extracts the diffused color map corresponding to the wavelength λi from the input diffused color map ( S903 ). Then, drawing processing including shading processing is performed using the vertex processing result, the illumination map, the diffuse color map corresponding to the wavelength λi, and the normal map FIOS2i, and a shading processed image which is an object of the wavelength λi is generated ( S904 ).
図10により陰影処理を説明する。図10(a)は波長w1、w2、w3の拡散色を示す。なお、前述したように波長はw1>w2>w3の関係にある。図10(b)は波長w1、w2、w3に対応する法線マップFIOS2iを示す。上述したように、各波長に対応する高さはh1≦h2≦h3の関係を有するため、法線マップFIOS2iにおいて、波長w3のベクトルの向きの変化に比べて、波長w1のベクトルの向きの変化は小さい。図10(c)はステップS904において作成される陰影処理画像を示す。長波長光になるほどベクトルの向きの変化が小さい法線マップFIOS2iを使用することで、波長w3のFIOSの明度に比べて、波長w1におけるFIOSの明度が増加し、図10(c)に示すような、明度上昇が得られる。 The shading process will be described with reference to FIG. FIG. 10 (a) shows the diffuse colors of wavelengths w1, w2, and w3. As described above, the wavelengths have a relationship of w1>w2> w3. FIG. 10 (b) shows the normal map FIOS2i corresponding to the wavelengths w1, w2, and w3. As described above, since the height corresponding to each wavelength has a relationship of h1 ≤ h2 ≤ h3, the change in the direction of the vector of wavelength w1 is compared with the change in the direction of the vector of wavelength w3 in the normal map FIOS2i. Is small. FIG. 10 (c) shows the shaded image created in step S904 . By using the normal map FIOS2i, in which the change in the direction of the vector becomes smaller as the wavelength of light becomes longer, the brightness of FIOS at wavelength w1 increases compared to the brightness of FIOS at wavelength w3, as shown in Fig. 10 (c). Well, you can get an increase in brightness.
次に、描画処理部309は、カウンタiをインクリメントし(S905)、カウント値iと法線マップFIOS2の数Nを比較することで、描画処理を終了するか否かを判定する(S906)。つまり、i≦Nであれば処理をステップS902に戻して、次の波長λiの描画処理を行い、i>Nであれば描画処理を終了する。描画処理が終了すると、画像合成部310は、波長λiの各陰影処理画像を合成したカラー画像を算出画像として生成し(S907)、算出画像の生成処理が終了する。 Next, the drawing processing unit 309 increments the counter i ( S905 ) and compares the count value i with the number N of the normal map FIOS2 to determine whether or not to end the drawing processing ( S906 ). That is, if i ≦ N, the process returns to step S902, the drawing process of the next wavelength λi is performed, and if i> N, the drawing process ends. When the drawing process is completed, the image synthesizing unit 310 generates a color image obtained by synthesizing each shading-processed image of wavelength λi as a calculated image ( S907 ), and the calculation image generation process is completed.
Claims (10)
前記色画像における前記物体の表面の陰影を変更することで出力画像を生成する生成手段と
を備え、
前記生成手段は、前記色画像における前記物体のうち人肌の領域において、(a)前記人肌の表面の凹部の明るさと凸部の明るさとの差がより大きくなり、かつ、(b)前記凹部の少なくとも一部がより赤くなるように前記出力画像を生成する
ことを特徴とする画像処理装置。 An input means for inputting a color image that represents the color of an object, which consists of multiple color components and represents the color of the object.
A generation means for generating an output image by changing the shadow of the surface of the object in the color image is provided.
In the human skin region of the object in the color image, the generation means has (a) a larger difference between the brightness of the concave portion and the brightness of the convex portion on the surface of the human skin, and (b) the said. An image processing apparatus for generating the output image so that at least a part of the recess becomes redder.
前記画像処理装置の入力手段が、複数の色成分からなり、物体の色を表す物体の色を表す色画像を入力する入力工程と、
前記画像処理装置の生成手段が、前記色画像における前記物体の表面の陰影を変更することで出力画像を生成する生成工程と
を備え、
前記生成工程では、前記色画像における前記物体のうち人肌の領域において、(a)前記人肌の表面の凹部の明るさと凸部の明るさとの差がより大きくなり、かつ、(b)前記凹部の少なくとも一部がより赤くなるように前記出力画像を生成する
ことを特徴とする画像処理方法。 This is an image processing method performed by an image processing device.
The input means of the image processing device includes an input step of inputting a color image representing the color of an object, which is composed of a plurality of color components and represents the color of the object.
The generation means of the image processing apparatus includes a generation step of generating an output image by changing the shadow of the surface of the object in the color image.
In the generation step, in the human skin region of the object in the color image, (a) the difference between the brightness of the concave portion and the brightness of the convex portion on the surface of the human skin becomes larger, and (b) the above. An image processing method characterized in that the output image is generated so that at least a part of the recesses becomes redder.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020186747A JP7116767B2 (en) | 2020-11-09 | 2020-11-09 | Image processing device and method |
JP2022122013A JP7421607B2 (en) | 2020-11-09 | 2022-07-29 | Image processing device and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020186747A JP7116767B2 (en) | 2020-11-09 | 2020-11-09 | Image processing device and method |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016008281A Division JP6792335B2 (en) | 2016-01-19 | 2016-01-19 | Image processing equipment and its method |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022122013A Division JP7421607B2 (en) | 2020-11-09 | 2022-07-29 | Image processing device and method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021012751A true JP2021012751A (en) | 2021-02-04 |
JP7116767B2 JP7116767B2 (en) | 2022-08-10 |
Family
ID=74227829
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020186747A Active JP7116767B2 (en) | 2020-11-09 | 2020-11-09 | Image processing device and method |
JP2022122013A Active JP7421607B2 (en) | 2020-11-09 | 2022-07-29 | Image processing device and method |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022122013A Active JP7421607B2 (en) | 2020-11-09 | 2022-07-29 | Image processing device and method |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP7116767B2 (en) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004021410A (en) * | 2002-06-13 | 2004-01-22 | Casio Comput Co Ltd | Apparatus and method for image processing |
JP2013054728A (en) * | 2011-08-11 | 2013-03-21 | Canon Inc | Image processing apparatus and control method thereof |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10229483B2 (en) | 2014-04-30 | 2019-03-12 | Sony Corporation | Image processing apparatus and image processing method for setting an illumination environment |
JP6423625B2 (en) | 2014-06-18 | 2018-11-14 | キヤノン株式会社 | Image processing apparatus and image processing method |
-
2020
- 2020-11-09 JP JP2020186747A patent/JP7116767B2/en active Active
-
2022
- 2022-07-29 JP JP2022122013A patent/JP7421607B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004021410A (en) * | 2002-06-13 | 2004-01-22 | Casio Comput Co Ltd | Apparatus and method for image processing |
JP2013054728A (en) * | 2011-08-11 | 2013-03-21 | Canon Inc | Image processing apparatus and control method thereof |
Also Published As
Publication number | Publication date |
---|---|
JP7116767B2 (en) | 2022-08-10 |
JP7421607B2 (en) | 2024-01-24 |
JP2022136304A (en) | 2022-09-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108876931B (en) | Three-dimensional object color adjustment method and device, computer equipment and computer readable storage medium | |
CN109448089B (en) | Rendering method and device | |
US7542049B2 (en) | Hardware accelerated anti-aliased primitives using alpha gradients | |
JP6792335B2 (en) | Image processing equipment and its method | |
JP5002742B2 (en) | Apparatus and method for rendering 3D objects using parametric texture maps | |
JP5731566B2 (en) | Information processing apparatus, control method, and recording medium | |
CN112215934A (en) | Rendering method and device of game model, storage medium and electronic device | |
CN110248242B (en) | Image processing and live broadcasting method, device, equipment and storage medium | |
KR19990045321A (en) | Image processing in which polygons are divided | |
US6816159B2 (en) | Incorporating a personalized wireframe image in a computer software application | |
CN110728618B (en) | Virtual makeup testing method, device, equipment and image processing method | |
KR101619875B1 (en) | System for rendering realistic facial expressions of three dimension character using general purpose graphic processing unit and method for processing thereof | |
JP6049327B2 (en) | Image processing apparatus and control method thereof | |
US6744440B1 (en) | Image processing apparatus, recording medium, and program | |
JP2003099801A (en) | Image display method of three-dimensional model, image display device, image display program and recording medium thereof | |
JP2021012751A (en) | Image processing apparatus and image processing method | |
JP2003168130A (en) | System for previewing photorealistic rendering of synthetic scene in real-time | |
JP2007272847A (en) | Lighting simulation method and image composition method | |
US11989807B2 (en) | Rendering scalable raster content | |
WO2023181904A1 (en) | Information processing device, information processing method, and recording medium | |
Colbert et al. | Painting in high dynamic range | |
US20230081389A1 (en) | Rendering scalable multicolored vector content | |
JPH07152925A (en) | Image generating device | |
LiKai et al. | Design and implementation of heuristic hybrid rendering | |
Chochlík | Scalable multi-GPU cloud raytracing with OpenGL |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201208 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201208 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20210103 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210113 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210930 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211008 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211207 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220422 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220617 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220701 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220729 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7116767 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |