WO2020166206A1 - 画像処理装置及びプログラム - Google Patents

画像処理装置及びプログラム Download PDF

Info

Publication number
WO2020166206A1
WO2020166206A1 PCT/JP2019/049963 JP2019049963W WO2020166206A1 WO 2020166206 A1 WO2020166206 A1 WO 2020166206A1 JP 2019049963 W JP2019049963 W JP 2019049963W WO 2020166206 A1 WO2020166206 A1 WO 2020166206A1
Authority
WO
WIPO (PCT)
Prior art keywords
model
image
unit
area
background
Prior art date
Application number
PCT/JP2019/049963
Other languages
English (en)
French (fr)
Inventor
義仁 近藤
雅人 室橋
Original Assignee
株式会社エクシヴィ
株式会社ＸＲ ｉＰＬＡＢ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社エクシヴィ, 株式会社ＸＲ ｉＰＬＡＢ filed Critical 株式会社エクシヴィ
Publication of WO2020166206A1 publication Critical patent/WO2020166206A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/80—Shading
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics

Definitions

  • the present invention relates to an image processing device and a program.
  • Patent Document 1 discloses an image processing technique that not only faithfully draws a model, but also draws a contour line of an arbitrary color around the model to make an animation-like expression. ..
  • the present invention has been made in view of such a problem, and an object thereof is to provide an image in which not only the model and surrounding colors are familiar but also the model is emphasized.
  • a main invention of the present invention for solving the above-mentioned problems is to provide a first combining unit that performs a first combination in which a model area of a model image in which a model is drawn is superposed on a background image in which a background object is drawn. And a second synthesizing unit that performs a second synthesizing process in which the background image that has been subjected to the blurring process is applied to the model region, and a portion of the model region whose brightness is higher than a predetermined value after the second synthesizing process is performed. And an adjusting unit that adjusts the brightness to be higher.
  • the color tone of the model and the surrounding colors are compatible, but also an image in which the model is emphasized can be provided.
  • FIG. 3 is a diagram showing a software configuration example of the image processing apparatus 1. It is a figure explaining the flow of the process performed by the image processing apparatus 1 of this embodiment. It is a figure which shows an example of a background image (image newly stored in the 1st work buffer). It is a figure which shows an example of a model image (image newly stored in the 2nd work buffer). It is a figure which shows an example of the background image (image newly stored in the 3rd work buffer) to which the blur process was performed. It is a figure which shows an example of the image (the image newly stored in the 1st work buffer) by which the model area was superimposed on the background image.
  • An image processing apparatus and a program according to an embodiment of the present invention have the following configurations.
  • a first combining unit that performs a first combination in which a model area of a model image in which a model is drawn is superimposed on a background image in which a background object is drawn;
  • a second synthesis unit that performs a second synthesis that performs a second synthesis that multiplies the model region with a background image that has been subjected to blur processing;
  • An adjustment unit that adjusts the brightness of a portion of the model region having a brightness higher than a predetermined value to be higher after the second composition is performed;
  • An image processing apparatus including.
  • the image processing device which is characterized in that According to this configuration, by multiplying the model area by the shadow area, it is possible to reduce the brightness of the shadow area in the model area and enhance the shadow of the model image.
  • the adjustment unit performs an adjustment to lower the lightness of a portion of the model region having a lightness lower than the predetermined value after the second composition is performed, Item 2.
  • the image processing device wherein With this configuration, the lightness of the shadow area in the model area can be further lowered, and the shadow of the model image can be emphasized.
  • First synthesizing means for performing a first synthesizing process in which a model area of a model image in which a model is drawn is superimposed on a background image in which a background object is drawn
  • Second synthesizing means for performing second synthesizing for performing second synthesizing by multiplying the model area with the background image subjected to the blur processing
  • Adjusting means for adjusting the lightness of a portion of the model region having a lightness higher than a predetermined value to be higher after the second composition is performed
  • FIG. 1 is a diagram showing a hardware configuration example of the image processing apparatus 1 of the present embodiment.
  • the image processing apparatus 1 includes at least a control unit 10, a memory 11, a storage 12, a transmission/reception unit 13, an input/output unit 14, an image control unit 15, an image memory 16 and the like, which are electrically connected to each other via a bus 17.
  • the control unit 10 is an arithmetic unit that controls the overall operation of the image processing apparatus 1, controls the transmission and reception of data between the respective elements, and executes information processing necessary for execution of applications and authentication processing.
  • the control unit 10 is, for example, a CPU (Central Processing Unit), and executes a program or the like stored in the storage 12 and expanded in the memory 11 to perform each information processing.
  • CPU Central Processing Unit
  • control unit 10 executes programs, controls the entire system, calculates coordinates for image display, and the like, and is arranged in, for example, a virtual three-dimensional space based on an operation signal transmitted from the input/output unit 14. It controls the positions and orientations of objects (models, etc.), virtual cameras, light sources, etc.
  • the memory 11 includes a main memory configured by a volatile storage device such as a DRAM (Dynamic Random Access Memory) and an auxiliary storage configured by a non-volatile storage device such as a flash memory or an HDD (Hard Disc Drive). ..
  • the memory 11 is used as a work area or the like of the processor 10, and also stores a BIOS (Basic Input/Output System) executed when the image processing apparatus 1 is started up, various setting information, and the like.
  • BIOS Basic Input/Output System
  • the storage 12 stores various programs such as application programs.
  • a database (not shown) that stores data used for each process may be built in the storage 12.
  • the transmission/reception unit 13 connects the image processing device 1 to the communication network 3.
  • the transmission/reception unit 13 may include a short-range communication interface such as Bluetooth (registered trademark) or Wi-Fi (registered trademark).
  • the transmission/reception unit 13 transmits, for example, image data or moving image data created by a user to the server or another user, or receives image data or moving image data created by another user.
  • the input/output unit 14 is an information input device such as a keyboard, a mouse, and a controller, and an output device such as a display.
  • This display may be, for example, a head mounted display (HMD).
  • the image control unit 15 performs vertex processing based on polygon data (vertex coordinates, texture coordinates, color, ⁇ value, normal vector, etc.) forming an object (model or background).
  • the image control unit 15 is, for example, a GPU (Graphics Processing Unit), and renders an object arranged in a virtual three-dimensional space.
  • the image control unit 15 performs vertex processing such as world conversion, light source calculation, view conversion, clipping, projective conversion, and viewport conversion according to the position and orientation of the virtual camera and the light source, and rasterization and Pixel data obtained by pixel processing such as texture mapping and hidden surface removal is stored in a work buffer or frame buffer of the image memory 16.
  • the image memory 16 stores data used for displaying an image.
  • the image memory 16 is, for example, a VRAM (Video Random Access Memory), and has a storage area such as one or a plurality of work buffers, a frame buffer, a texture buffer, and a Z buffer.
  • the work buffer is used to perform image composition (post-effect etc.), for example.
  • the frame buffer is used to store one frame of pixel data to be displayed on the display.
  • the texture buffer is used to store image data (texture) as a material when performing texture mapping on polygons forming an object.
  • the Z buffer is used to store depth information of the object at each pixel that displays a screen.
  • the bus 17 is commonly connected to each of the above elements and transmits, for example, an address signal, a data signal, and various control signals.
  • FIG. 2 is a diagram showing a software configuration example of the image processing apparatus 1.
  • the image processing apparatus 1 includes a first composition unit 111, a second composition unit 112, an extraction unit 113, an adjustment unit 114, a model information storage unit 151, and a background information storage unit 152.
  • the first combining unit 111, the second combining unit 112, the extracting unit 113, and the adjusting unit 114 read the program stored in the storage 12 by the control unit 10 included in the image processing apparatus 1 and execute the program. It is realized by Further, the model information storage unit 151 and the background information storage unit 152 are realized as a part of a storage area provided by at least one of the memory 11 and the storage 12.
  • the model information storage unit 151 stores information on model objects arranged in a virtual three-dimensional space (hereinafter referred to as model information).
  • model information is composed of three-dimensional polygon data including a rig (frame).
  • the background information storage unit 152 stores information about background objects arranged in a virtual three-dimensional space (hereinafter referred to as background information).
  • the background information is composed of two-dimensional polygon data.
  • the first combining unit 111 performs the first combining in which the model area of the model image in which the model is drawn is superimposed on the background image in which the background object is drawn. Specifically, the first synthesis unit 111 performs image synthesis by superimposing a model image in which a region other than the model region is set to be transparent (the background is transparent) on the background image.
  • the second synthesizing unit 112 performs second synthesizing by multiplying (multiplying) the image obtained by performing the blur processing on the background image on the model area.
  • the second synthesis unit performs second synthesis by multiplying (multiplying) the shadow region extracted by the extraction unit 113 with the model region.
  • the blur process is a process of blurring an image using a Gaussian function, for example.
  • the combination of multiplying (multiplying) images is the maximum value (for example, 255) set for the color value after the color values of the pixels (for example, the values of 0 to 255 set for each RGB component) are multiplied. Divide by. It should be noted that when this image is combined and combined, the color value becomes larger than that before combining, so that the combined image has lower brightness.
  • the extraction unit 113 extracts a shadow area in which a shadow is drawn in the model image.
  • the extraction unit 113 extracts the shadow area of the model, which is set at any time according to the position of the light source and the model in the virtual three-dimensional space, from the image stored in the work buffer in pixel units.
  • the shadow area of the model may be set in advance according to the position, pose, etc. of the model.
  • the adjusting unit 114 adjusts the lightness of the image subjected to the second composition.
  • the adjusting unit 114 increases the lightness of a portion having a lightness higher than a predetermined value in the model area of the image after the second synthesis, or sets the lightness of a portion having a lightness lower than the predetermined value. Adjustments such as lowering the brightness (for example, soft light processing) are performed.
  • FIG. 3 is a diagram illustrating a flow of processing executed by the image processing apparatus 1 of this embodiment.
  • the user operates the controller to control the position and orientation (viewing direction) of the virtual camera in the virtual three-dimensional space, and the model object is placed in front of the viewing direction of the virtual camera and the background object is placed behind it. If it is started.
  • the order and contents of the following steps can be changed.
  • the image control unit 15 stores the background image in the first work buffer. Specifically, the image processing unit 15 renders (draws) the background object arranged in the virtual three-dimensional space, and stores the pixel data thereof in the first work buffer.
  • FIG. 4 is a diagram showing an example of a background image (an image newly stored in the first work buffer).
  • the image controller 15 stores the model image in the second work buffer. Specifically, the image processing unit 15 renders (draws) a model object arranged in the virtual three-dimensional space, and stores the pixel data thereof in the second work buffer. For example, when rendering the model object, the image control unit 15 specifies the shadow area of the model according to the position and orientation of the light source in the virtual three-dimensional space, and lowers the brightness of the pixel corresponding to the shadow area.
  • FIG. 5 is a diagram showing an example of a model image (an image newly stored in the second work buffer).
  • the image control unit 15 stores the background image subjected to the blur processing in the third work buffer. Specifically, the image control unit 15 performs blur processing on the background image stored in the first work buffer, and stores the background image subjected to the blur processing in the third work buffer.
  • FIG. 6 is a diagram showing an example of a background image that has been subjected to blur processing (an image newly stored in the third work buffer).
  • the first synthesizing unit 111 sets a pixel area (hereinafter, referred to as a model area) in which a model is drawn in the model image stored in the second work buffer on the background image stored in the first work buffer.
  • Image composition for overwriting (first composition) is performed.
  • the first synthesizing unit 111 performs image synthesizing on the background image stored in the first work buffer, by superimposing the model image in which the areas other than the model area are set to be transparent (the background is transparent).
  • FIG. 7 is a diagram showing an example of an image in which a model area is superimposed on a background image (an image newly stored in the first work buffer).
  • the second synthesis unit 112 performs image synthesis (second synthesis) in which the model area stored in the first work buffer is multiplied by the blur-processed background image stored in the third work buffer.
  • image synthesis multiplication
  • FIG. 8 is a diagram showing an example of an image (an image newly stored in the first work buffer) in which the model region is multiplied by the background image subjected to the blur processing.
  • the extraction unit 113 extracts a shadow area in which a shadow is drawn in the model image stored in the second work buffer and stores it in the fourth work buffer. For example, the extraction unit 113 extracts, from each pixel of the model image stored in the second work buffer, a pixel having low lightness as a shadow area.
  • FIG. 9 is a diagram showing an example of an image of an extracted shadow area (an image newly stored in the fourth work buffer).
  • the second synthesis unit 112 performs image synthesis (second synthesis) in which the model area stored in the first work buffer is multiplied by the shadow area stored in the fourth work buffer.
  • image composition multiplication
  • the brightness of each pixel forming the shadow area drawn on the model can be further lowered (the shadow area is darkened).
  • FIG. 10 is a diagram showing an example of an image obtained by multiplying a model region by a shadow region (an image newly stored in the first work buffer).
  • Step SP208 In the model area stored in the first work buffer, the adjustment unit 114 increases the brightness of a portion higher than a predetermined value (for example, 50%) and lowers the brightness of a portion lower than the predetermined value. Adjust (soft write process). By this adjustment, the shadow area multiplied in step SP207 becomes darker and the other model areas become brighter.
  • FIG. 11 is a diagram showing an example of an image in which the lightness is adjusted in the model area (an image newly stored in the first work buffer).
  • Step SP209 The image control unit 15 stores the data stored in the first work buffer in the frame buffer.
  • the extraction unit 114 performs an adjustment (soft write process) of increasing the brightness of a portion higher than a predetermined value and lowering the brightness of a portion lower than the predetermined value.
  • a portion having a higher brightness than the first predetermined value for example, 60%
  • a portion having a lower brightness than a second predetermined value for example, 40%
  • Adjustment may be made to lower it.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Abstract

【課題】モデルと周囲の色味が馴染むだけでなく、モデルを強調した画像を提供する。 【解決手段】背景オブジェクトが描画された背景画像の上に、モデル画像のうちモデルが描画されているモデル領域を重ね合わせる第１合成を行う第１合成部と、モデル領域にブラー処理を施した背景画像を掛け合わせる第２合成を行う第２合成部と、第２合成が行われた後、モデル領域において明度が所定値よりも高い部分の明度をより高くする調整を行う調整部と、を備える。

Description

画像処理装置及びプログラム
　本発明は、画像処理装置及びプログラムに関する。
　従来から、モデルが配置された仮想３次元空間を描画するための画像処理技術が知られている。これに関し、特許文献１には、モデルを忠実に描画するだけでなく、モデルの周辺に任意のカラーの輪郭線を描画し、アニメ的な表現にすることができる画像処理技術が開示されている。
特開２０１０－２３８１１０号公報
　仮想３次元空間に配置されたモデルを描画する画像処理においては、モデルの周囲にある背景オブジェクト等に基づく環境光を考慮することにより、モデルと周囲の色味が馴染んだリアリティ性の高い画像を描画することができる。しかしながら、このように環境光を考慮した画像処理は、リアリティ性を高めるためには有効であるが、モデルを強調することが求められるアニメ的な表現には向いていないという問題があった。
　本発明は、このような問題を鑑みてなされたものであり、モデルと周囲の色味が馴染むだけでなく、モデルを強調した画像を提供することを目的とする。
　上記課題を解決するための本発明の主たる発明は、背景オブジェクトが描画された背景画像の上に、モデル画像のうちモデルが描画されているモデル領域を重ね合わせる第１合成を行う第１合成部と、前記モデル領域にブラー処理を施した背景画像を掛け合わせる第２合成を行う第２合成部と、前記第２合成が行われた後、前記モデル領域において明度が所定値よりも高い部分の明度をより高くする調整を行う調整部と、を備える。
　その他本願が開示する課題やその解決方法については、発明の実施形態の欄及び図面により明らかにされる。
　本発明によれば、モデルと周囲の色味が馴染むだけでなく、モデルを強調した画像を提供することができる。
本実施形態の画像処理装置１のハードウェア構成例を示す図である。 画像処理装置１のソフトウェア構成例を示す図である。 本実施形態の画像処理装置１により実行される処理の流れを説明する図である。 背景画像（新たに第１のワークバッファに記憶された画像）の一例を示す図である。 モデル画像（新たに第２のワークバッファに記憶された画像）の一例を示す図である。 ブラー処理が施された背景画像（新たに第３のワークバッファに記憶された画像）の一例を示す図である。 背景画像にモデル領域が重ね合わされた画像（新たに第１のワークバッファに記憶された画像）の一例を示す図である。 モデル領域にブラー処理を施した背景画像が掛け合わされた画像（新たに第１のワークバッファに記憶された画像）の一例を示す図である。 抽出された影領域の画像（新たに第４のワークバッファに記憶された画像）の一例を示す図である。 モデル領域に影領域を掛け合わせたの画像（新たに第１のワークバッファに記憶された画像）の一例を示す図である。 モデル領域における明度の調整が行われた画像（新たに第１のワークバッファに記憶された画像）の一例を示す図である。
　本発明の実施形態の内容を列記して説明する。本発明の一実施形態による画像処理装置及びプログラムは、以下のような構成を備える。
［項目１］
　背景オブジェクトが描画された背景画像の上に、モデル画像のうちモデルが描画されているモデル領域を重ね合わせる第１合成を行う第１合成部と、
　前記モデル領域にブラー処理を施した背景画像を掛け合わせる第２合成を行う第２合成を行う第２合成部と、
　前記第２合成が行われた後、前記モデル領域において明度が所定値よりも高い部分の明度をより高くする調整を行う調整部と、
　を備える画像処理装置。
　この構成によれば、ブラー処理を施した背景画像が掛け合わされて明度が低くなったモデル領域の明度を高くすることができ、モデルと周囲の色味が馴染むだけでなく、モデルを強調した画像を提供することができる。特に、モデルが背景画像に囲まれた空間（ダンスホール等）に違和感なく存在しつつ、かつ当該モデルが強調された画像を提供することができる。
［項目２］
　前記モデル画像において影が描画された影領域を抽出する抽出部と、
　を備え、
　前記第２合成部は、前記第２合成において、前記モデル領域に前記抽出された影領域を掛け合わせる、
　ことを特徴とする項目１に記載の画像処理装置。
　この構成によれば、モデル領域に影領域を掛け合わせることで、モデル領域における影領域の明度を低くすることができ、モデル画像の陰影を強調することができる。
［項目３］
　前記調整部は、前記第２合成が行われた後、前記モデル領域において明度が前記所定値よりも低い部分の明度をより低くする調整を行う、
　ことを特徴とする項目２に記載の画像処理装置。
　この構成によれば、モデル領域における影領域の明度を更に低くすることができ、モデル画像の陰影を強調することができる。
［項目４］
　コンピュータを、
　背景オブジェクトが描画された背景画像の上に、モデル画像のうちモデルが描画されているモデル領域を重ね合わせる第１合成を行う第１合成手段、
　前記モデル領域にブラー処理を施した背景画像を掛け合わせる第２合成を行う第２合成を行う第２合成手段、
　前記第２合成が行われた後、前記モデル領域において明度が所定値よりも高い部分の明度をより高くする調整を行う調整手段、
　として機能させるプログラム。
　この構成によれば、ブラー処理を施した背景画像が掛け合わされて明度が低くなったモデル領域の明度を高くすることができ、モデルと周囲の色味が馴染むだけでなく、モデルを強調した画像を提供することができる。
　以下、添付図面を参照しながら本発明の実施形態（以下、本実施形態という。）について説明する。
　図１は、本実施形態の画像処理装置１のハードウェア構成例を示す図である。画像処理装置１は、少なくとも、制御部１０、メモリ１１、ストレージ１２、送受信部１３、入出力部１４、画像制御部１５、画像用メモリ１６等を備え、これらはバス１７を通じて相互に電気的に接続される。制御部１０は、画像処理装置１全体の動作を制御し、各要素間におけるデータの送受信の制御、及びアプリケーションの実行及び認証処理に必要な情報処理等を行う演算装置である。制御部１０は、例えばＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）であり、ストレージ１２に格納されメモリ１１に展開されたプログラム等を実行して各情報処理を実施する。また、制御部１０は、プログラムの実行やシステム全体の制御や画像表示のための座標計算等を行い、入出力部１４から送信される操作信号に基づいて、例えば仮想３次元空間内に配置されたオブジェクト（モデル等）や、仮想カメラ、光源等の位置及び向きを制御する。メモリ１１は、ＤＲＡＭ（Ｄｙｎａｍｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）等の揮発性記憶装置で構成される主記憶と、フラッシュメモリやＨＤＤ（Ｈａｒｄ　Ｄｉｓｃ　Ｄｒｉｖｅ）等の不揮発性記憶装置で構成される補助記憶と、を含む。メモリ１１は、プロセッサ１０のワークエリア等として使用され、また、画像処理装置１の起動時に実行されるＢＩＯＳ（Ｂａｓｉｃ　Ｉｎｐｕｔ／Ｏｕｔｐｕｔ　Ｓｙｓｔｅｍ）、及び各種設定情報等を格納する。ストレージ１２は、アプリケーション・プログラム等の各種プログラムを格納する。各処理に用いられるデータを格納したデータベース（図示せず）がストレージ１２に構築されていてもよい。送受信部１３は、画像処理装置１を通信ネットワーク３に接続する。なお、送受信部１３は、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉ－Ｆｉ（登録商標）などの近距離通信インターフェースを備えていてもよい。送受信部１３は、例えばユーザが作成した画像データや動画データをサーバや他のユーザに送信したり、他のユーザが作成した画像データや動画データを受信する。入出力部１４は、キーボードやマウス類、コントローラ等の情報入力機器、及びディスプレイ等の出力機器である。このディスプレイは、たとえばヘッドマウントディスプレイ（ＨＭＤ）であってもよい。画像制御部１５は、オブジェクト（モデルや背景）を形成するポリゴンデータ（頂点座標、テクスチャ座標、色、α値、法線ベクトル等）に基づいて頂点処理を行う。画像制御部１５は、例えばＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）であり、仮想３次元空間に配置されたオブジェクトのレンダリングを行う。具体的には、画像制御部１５は、仮想カメラや光源の位置及び向きに応じて、ワールド変換や、光源計算、ビュー変換、クリッピング、射影変換、ビューポート変換等の頂点処理を行い、ラスタライズやテクスチャマッピング、陰面消去等のピクセル処理によって得られたピクセルデータを画像用メモリ１６のワークバッファやフレームバッファ等に記憶する。画像用メモリ１６は、画像表示を行うために用いられるデータを記憶する。画像用メモリ１６は、例えばＶＲＡＭ（Ｖｉｄｅｏ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）であって、一又は複数のワークバッファや、フレームバッファ、テクスチャバッファ、Ｚバッファ等の格納領域を有する。ワークバッファは、例えば画像合成（ポストエフェクト等）を行うために利用される。フレームバッファは、ディスプレイに表示するための１フレーム分のピクセルデータを記憶するために利用される。テクスチャバッファは、オブジェクトを形成するポリゴンにテクスチャマッピングを行う際、素材となる画像データ（テクスチャ）を記憶するために利用される。Ｚバッファは、画面表示を行う各ピクセルにおけるオブジェクトの深度情報を記憶するために利用される。バス１７は、上記各要素に共通に接続され、例えば、アドレス信号、データ信号及び各種制御信号を伝達する。
　図２は、画像処理装置１のソフトウェア構成例を示す図である。画像処理装置１は、第１合成部１１１、第２合成部１１２、抽出部１１３、調整部１１４、モデル情報記憶部１５１、および背景情報記憶部１５２を備える。
　なお、第１合成部１１１、第２合成部１１２、抽出部１１３、および調整部１１４は、画像処理装置１が備える制御部１０がストレージ１２に記憶されているプログラムをメモリ１１に読み出して実行することにより実現される。また、モデル情報記憶部１５１、および背景情報記憶部１５２は、メモリ１１およびストレージ１２の少なくともいずれかにより提供される記憶領域の一部として実現される。
　モデル情報記憶部１５１は、仮想３次元空間に配置されるモデルオブジェクトに関する情報（以下、モデル情報という。）を記憶する。本実施形態では、モデル情報は、リグ（骨組み）を含む３次元ポリゴンデータにより構成されている。
　背景情報記憶部１５２は、仮想３次元空間に配置される背景オブジェクトに関する情報（以下、背景情報という。）を記憶する。本実施形態では、背景情報は、２次元ポリゴンデータにより構成されている。
　第１合成部１１１は、背景オブジェクトが描画された背景画像の上に、モデル画像のうちモデルが描画されているモデル領域を重ね合わせる第１合成を行う。具体的には、第１合成部１１１は、当該背景画像の上に、モデル領域以外が透明に設定された（背景透過された）モデル画像を重ね合わせる画像合成を行う。
　第２合成部１１２は、背景画像にブラー処理を施した画像をモデル領域に掛け合わせる（乗算する）第２合成を行う。また、第２合成部は、抽出部１１３により抽出された影領域をモデル領域に掛け合わせる（乗算する）第２合成を行う。ブラー処理とは、例えばガウス関数を用いて画像をぼかす処理をいう。また、画像を掛け合わせる（乗算する）合成とは、ピクセル同士のカラー値（例えばＲＧＢ成分ごとに定められる０～２５５の値）をそれぞれ乗算した後、カラー値に定められる最大値（例えば２５５）で割ることをいう。なお、この画像を掛け合わせる合成を行うと、合成前よりもカラー値が大きくなるため、合成画像は明度が低くなる。
　抽出部１１３は、モデル画像において影が描画された影領域を抽出する。本実施形態では、抽出部１１３は、仮想３次元空間における光源及びモデルの位置に応じて随時設定されるモデルの影領域を、ワークバッファに記憶された画像からピクセル単位で抽出する。なお、モデルの影領域は、モデルの位置やポーズなどに応じて予め設定されていてもよい。
　調整部１１４は、第２合成が行われた画像の明度を調整する。本実施形態では、調整部１１４は、第２合成が行われた後の画像のモデル領域において、明度が所定値よりも高い部分の明度をより高くしたり、明度が所定値よりも低い部分の明度をより低くしたりする調整（例えばソフトライト処理）を行う。
　図３は、本実施形態の画像処理装置１により実行される処理の流れを説明する図である。この処理は、例えばユーザがコントローラを操作して仮想３次元空間の仮想カメラの位置及び向き（視方向）を制御し、仮想カメラの視方向の手前にモデルオブジェクト、その後方に背景オブジェクトが配置されている場合に開始される。なお、以下のステップの順番及び内容は変更することができる。
（ステップＳＰ２０１）
　画像制御部１５は、第１のワークバッファに背景画像を記憶する。具体的には、画像処理部１５は、仮想３次元空間に配置された背景オブジェクトをレンダリング（描画）し、そのピクセルデータを第１のワークバッファに記憶する。図４は、背景画像（新たに第１のワークバッファに記憶された画像）の一例を示す図である。
（ステップＳＰ２０２）
　画像制御部１５は、第２のワークバッファにモデル画像を記憶する。具体的には、画像処理部１５は、仮想３次元空間に配置されたモデルオブジェクトをレンダリング（描画）し、そのピクセルデータを第２のワークバッファに記憶する。例えば、画像制御部１５は、モデルオブジェクトをレンダリングする際、仮想３次元空間の光源の位置及び向きに応じてモデルの影領域を特定し、当該影領域に該当するピクセルの明度を低くする。図５は、モデル画像（新たに第２のワークバッファに記憶された画像）の一例を示す図である。
（ステップＳＰ２０３）
　画像制御部１５は、第３のワークバッファにブラー処理を施した背景画像を記憶する。具体的には、画像制御部１５は、第１のワークバッファに記憶された背景画像にブラー処理を施し、第３のワークバッファに当該ブラー処理を施した背景画像を記憶する。図６は、ブラー処理が施された背景画像（新たに第３のワークバッファに記憶された画像）の一例を示す図である。
（ステップＳＰ２０４）
　第１合成部１１１は、第１のワークバッファに記憶された背景画像に、第２のワークバッファに記憶されたモデル画像のうちモデルが描画されているピクセル領域（以下、モデル領域という。）を上書きする画像合成（第１合成）を行う。言い換えれば、第１合成部１１１は、第１のワークバッファに記憶された背景画像の上に、モデル領域以外が透明に設定された（背景透過された）モデル画像を重ね合わせる画像合成を行う。図７は、背景画像にモデル領域が重ね合わされた画像（新たに第１のワークバッファに記憶された画像）の一例を示す図である。
（ステップＳＰ２０５）
　第２合成部１１２は、第１のワークバッファに記憶されたモデル領域に、第３のワークバッファに記憶されたブラー処理を施した背景画像を掛け合わせる画像合成（第２合成）を行う。この画像合成（掛け合わせ）により、第１のワークバッファにおけるモデル領域を構成する各ピクセルの明度は低くなる。図８は、モデル領域にブラー処理を施した背景画像が掛け合わされた画像（新たに第１のワークバッファに記憶された画像）の一例を示す図である。
（ステップＳＰ２０６）
　抽出部１１３は、第２のワークバッファに記憶されたモデル画像において、影が描画された影領域を抽出し、第４のワークバッファに記憶する。例えば、抽出部１１３は、第２のワークバッファに記憶されているモデル画像の各ピクセルにおいて、明度が低いピクセルを影領域として抽出する。図９は、抽出された影領域の画像（新たに第４のワークバッファに記憶された画像）の一例を示す図である。
（ステップＳＰ２０７）
　第２合成部１１２は、第１のワークバッファに記憶されたモデル領域に、第４のワークバッファに記憶された影領域を掛け合わせる画像合成（第２合成）を行う。この画像合成（掛け合わせ）により、モデルに描画された影領域を構成する各ピクセルの明度をより低くする（影領域を暗くする）ことができる。図１０は、モデル領域に影領域を掛け合わせた画像（新たに第１のワークバッファに記憶された画像）の一例を示す図である。
（ステップＳＰ２０８）
　調整部１１４は、第１のワークバッファに記憶されているモデル領域において、所定値（例えば５０％）よりも高い部分の明度をより高くし、当該所定値よりも低い部分の明度をより低くする調整（ソフトライト処理）を行う。この調整により、ステップＳＰ２０７で掛け合わされた影領域はより暗くなり、他のモデル領域はより明るくなる。図１１は、モデル領域における明度の調整が行われた画像（新たに第１のワークバッファに記憶された画像）の一例を示す図である。
（ステップＳＰ２０９）
　画像制御部１５は、第１のワークバッファに記憶されているデータを、フレームバッファに記憶する。
　以上、本実施形態について説明したが、上記実施形態は本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物も含まれる。
　上記実施形態では、上記ステップＳＰ２０８において、抽出部１１４は、所定値よりも高い部分の明度をより高くし、当該所定値よりも低い部分の明度をより低くする調整（ソフトライト処理）を行うことを説明したが、第１所定値（例えば６０％）よりも明度が高い部分をより高くし、第１所定値未満の値である第２所定値（例えば４０％）よりも明度が低い部分をより低くする調整を行ってもよい。
　　１　　　画像処理装置
　　１５　　画像制御部
　　１６　　画像用メモリ
　　１１１　第１合成部
　　１１２　第２合成部
　　１１３　抽出部
　　１１４　調整部
　　１５１　モデル情報記憶部
　　１５２　背景情報記憶部

Claims (4)

  1. 　背景オブジェクトが描画された背景画像の上に、モデル画像のうちモデルが描画されているモデル領域を重ね合わせる第１合成を行う第１合成部と、
    　前記モデル領域にブラー処理を施した背景画像を掛け合わせる第２合成を行う第２合成部と、
    　前記第２合成が行われた後、前記モデル領域において明度が所定値よりも高い部分の明度をより高くする調整を行う調整部と、
    　を備える画像処理装置。
  2. 　前記モデル画像において影が描画された影領域を抽出する抽出部と、
    　を備え、
    　前記第２合成部は、前記第２合成において、前記モデル領域に前記抽出された影領域を掛け合わせる、
    　ことを特徴とする請求項１に記載の画像処理装置。
  3. 　前記調整部は、前記第２合成が行われた後、前記モデル領域において明度が前記所定値よりも低い部分の明度をより低くする調整を行う、
    　ことを特徴とする請求項２に記載の画像処理装置。
  4. 　コンピュータを、
    　背景オブジェクトが描画された背景画像の上に、モデル画像のうちモデルが描画されているモデル領域を重ね合わせる第１合成を行う第１合成手段、
    　前記モデル領域にブラー処理を施した背景画像を掛け合わせる第２合成を行う第２合成を行う第２合成手段、
    　前記第２合成が行われた後、前記モデル領域において明度が所定値よりも高い部分の明度をより高くする調整を行う調整手段、
    　として機能させるプログラム。
PCT/JP2019/049963 2019-02-13 2019-12-19 画像処理装置及びプログラム WO2020166206A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019023367A JP2020135004A (ja) 2019-02-13 2019-02-13 画像処理装置及びプログラム
JP2019-023367 2019-10-21

Publications (1)

Publication Number Publication Date
WO2020166206A1 true WO2020166206A1 (ja) 2020-08-20

Family

ID=72044632

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/049963 WO2020166206A1 (ja) 2019-02-13 2019-12-19 画像処理装置及びプログラム

Country Status (2)

Country Link
JP (1) JP2020135004A (ja)
WO (1) WO2020166206A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003216964A (ja) * 2002-01-17 2003-07-31 Konami Computer Entertainment Japan Inc 画像処理プログラム
JP2007026325A (ja) * 2005-07-20 2007-02-01 Namco Bandai Games Inc プログラム、情報記憶媒体及び画像生成システム
JP2007257379A (ja) * 2006-03-23 2007-10-04 Samii Kk 画像生成装置、遊技機、画像生成方法、画像生成プログラム、及び記録媒体

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003216964A (ja) * 2002-01-17 2003-07-31 Konami Computer Entertainment Japan Inc 画像処理プログラム
JP2007026325A (ja) * 2005-07-20 2007-02-01 Namco Bandai Games Inc プログラム、情報記憶媒体及び画像生成システム
JP2007257379A (ja) * 2006-03-23 2007-10-04 Samii Kk 画像生成装置、遊技機、画像生成方法、画像生成プログラム、及び記録媒体

Also Published As

Publication number Publication date
JP2020135004A (ja) 2020-08-31

Similar Documents

Publication Publication Date Title
US20080246760A1 (en) Method and apparatus for mapping texture onto 3-dimensional object model
JPH10222694A (ja) 画像処理装置およびその方法
JP3777149B2 (ja) プログラム、情報記憶媒体及び画像生成装置
US20030193496A1 (en) Image processing system, image processing method, semiconductor device, computer program, and recording medium
US20240202005A1 (en) Encoding stereo splash screen in static image
JP2004110598A (ja) 画像生成情報、情報記憶媒体及び画像生成装置
KR20040041083A (ko) 렌더링 방법
JP3502796B2 (ja) ビデオゲームにおける立体モデル表示方法及び装置、ゲーム装置並びにビデオゲーム用立体モデル表示プログラムを格納したコンピュータ読み取り可能な記録媒体
WO2020166206A1 (ja) 画像処理装置及びプログラム
JP2005346417A (ja) 仮想三次元座標ポリゴンによるオブジェクト画像の表示制御方法及びこれを用いた画像表示装置
JP3586253B2 (ja) テクスチャマッピングプログラム
JP3052839B2 (ja) 画像処理装置及びその処理方法
JP3745659B2 (ja) 画像生成装置および画像生成プログラム
JP2014146162A (ja) 画像合成処理方法及び遊技機
JP2010033302A (ja) 画像生成システム、プログラム及び情報記憶媒体
KR100900076B1 (ko) 경계선이 자연스러운 3차원 텍스쳐 장치 및 방법
JP2003022453A (ja) 描画処理方法及び装置、描画処理プログラムを記録した記録媒体、描画処理プログラム
JP4554834B2 (ja) 画像処理装置及び方法並びにそのプログラム
JP2008077406A (ja) 画像生成システム、プログラム及び情報記憶媒体
JP2006277488A (ja) プログラム、情報記憶媒体及び画像生成システム
JP2000339488A (ja) 画像処理装置
JP2009211243A (ja) プログラム、情報記憶媒体、及び画像生成システム
JP2006277490A (ja) プログラム、情報記憶媒体及び画像生成システム
JPH1166357A (ja) 画像表示システム及び画像表示処理方法
JP2002024847A (ja) 画像生成装置、画像生成方法及び記録媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19915169

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19915169

Country of ref document: EP

Kind code of ref document: A1