JP2013098925A - Image processing apparatus, image processing method and program - Google Patents
Image processing apparatus, image processing method and program Download PDFInfo
- Publication number
- JP2013098925A JP2013098925A JP2011242576A JP2011242576A JP2013098925A JP 2013098925 A JP2013098925 A JP 2013098925A JP 2011242576 A JP2011242576 A JP 2011242576A JP 2011242576 A JP2011242576 A JP 2011242576A JP 2013098925 A JP2013098925 A JP 2013098925A
- Authority
- JP
- Japan
- Prior art keywords
- image
- blurred
- painting
- converted
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、例えば写真撮影により得られた撮影画像を、絵画調等の視覚的特徴を備えた画像に変換するための画像処理技術に関するものである。 The present invention relates to an image processing technique for converting, for example, a photographed image obtained by taking a photograph into an image having a visual feature such as a painting style.
従来、例えば下記特許文献１には、写真撮影により得られた撮影画像を絵画調（油絵調や水彩画調等）の画像に変換する際、顔認識技術を用いて撮影画像内に存在する人物の種別（年齢、性別、人種等）を特定し、前記撮影画像を、特定した人物の種別に対応付けられている種類の絵画調を備えた画像に変換する（絵画変換する）画像処理技術が開示されている。 Conventionally, for example, in Patent Document 1 below, when a photographed image obtained by photography is converted into a picture-like (oil-like, watercolor-like, etc.) image, a person who is present in the photographed image using face recognition technology is disclosed. An image processing technique for specifying a type (age, gender, race, etc.) and converting the photographed image into an image having a painting style of a type associated with the specified type of person (conversion to painting). It is disclosed.
しかしながら、上記の画像処理技術では、人物の種別に応じて画調を変えたとしても、景色や建物等は比較的美しく変換されるが、画像内の細部、特に人物部分は不自然になってしまうことがある。すなわち絵画変換を行うと、人物の顔部分につぶれが生じたり、無用な刷毛目や色調が現れたりして細部のリアリティが失われる。言い換えると絵画的にデフォルメされ過ぎるという課題があった。 However, in the above image processing technology, even if the image tone is changed according to the type of person, the scenery, buildings, etc. are converted relatively beautifully, but the details in the image, especially the person part, become unnatural. May end up. In other words, when picture conversion is performed, the face portion of a person is crushed, and unnecessary brush eyes and colors appear, resulting in loss of detail reality. In other words, there was a problem that it was too deformed like a painting.
本発明は、撮影画像を絵画調画像に変換する場合、撮影画像としての適度なリアリティと絵画としての趣との双方を備えた画像の生成を可能とすることを目的とする。 An object of the present invention is to make it possible to generate an image having both an appropriate reality as a photographed image and a taste as a painting when the photographed image is converted into a picture-like image.
前記課題を解決するため、本発明においては、撮影画像を、人工的な特徴を備えた第１の変換画像に変換する変換手段と、前記撮影画像の被写体にぼけを生じさせた合成用のぼけ画像を生成するぼけ画像生成手段と、前記ぼけ画像生成手段により生成された前記ぼけ画像を所定の透過率で前記変換手段による変換後の第１の変換画像に透過合成することにより第２の変換画像を生成する透過合成手段とを備えたことを特徴とする。 In order to solve the above-described problem, in the present invention, a conversion unit that converts a captured image into a first converted image having an artificial feature, and a blur for synthesis that causes a blur in the subject of the captured image. A blurred image generating means for generating an image, and a second conversion by transparently synthesizing the blurred image generated by the blurred image generating means with a first converted image converted by the converting means at a predetermined transmittance. And a transmission composition unit for generating an image.
本発明によれば、撮影画像を絵画調画像に変換する場合、撮影画像としての適度なリアリティと絵画としての趣との双方を備えた画像の生成が可能となる。 According to the present invention, when a captured image is converted into a painting-like image, an image having both an appropriate reality as a captured image and a taste as a painting can be generated.
以下、本発明の実施形態について説明する。図１は、ＳＮＳ機能を持った画像サービスサイト１０を含むネットワークを示すブロック図である。画像サービスサイト１０は、ユーザーからアップロードされた画像データ（主としてデジタルカメラにより撮影された写真の画像データ）の保存や、アップロードされた画像データの絵画調画像への変換、アップロードされた画像や、変換後の絵画調画像の閲覧、ダウンロード等のサービスを行うサイトである。
Hereinafter, embodiments of the present invention will be described. FIG. 1 is a block diagram showing a network including an
画像サービスサイト１０には、インターネット５００を介して、任意のユーザーが使用する複数の端末１−１、１−２、１−３・・・が接続される。端末１−１、１−２、１−３・・・は、通信機能、及び画像データにより表される画像の表示機能を備えた任意の装置であり、例えば通常のパーソナルコンピュータや、スマートフォンを含む携帯電話端末である。
A plurality of terminals 1-1, 1-2, 1-3... Used by an arbitrary user are connected to the
図２は、画像サービスサイト１０を実現するとともに本発明が適用されたサーバー１１の概略構成を示すブロック図である。サーバー１１は、主として制御部１２と、通信処理部１３、表示用バッファ１４、管理データ記憶部１５、絵画変換部１６、画像記憶部１７、プログラム記憶部１８から構成される。
FIG. 2 is a block diagram showing a schematic configuration of the server 11 that realizes the
通信処理部１３は、ＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）に基づいてサーバー１１と端末１−１、１−２、１−３・・・との間における、画像データを含む各種のデータの送受信を制御する。 The communication processing unit 13 is a variety of data including image data between the server 11 and the terminals 1-1, 1-2, 1-3... Based on TCP / IP (Transmission Control Protocol / Internet Protocol). Controls sending and receiving.
管理データ記憶部１５は、画像サービスサイト１０を利用するユーザー（以下、単にユーザーという。）に関する種々の情報や、それらのユーザーによってアップロードされた画像データ等からなる各種の管理データを記憶する。管理データ記憶部１５は、例えばハードディスク装置により構成される。
The management
絵画変換部１６は、ユーザーからアップロードされた画像データや、画像記憶部１７に記憶されている画像データを絵画調画像の画像データ（以下、絵画調画像データという。）に変換する絵画変換処理を行うための画像処理回路、及びメモリ等から構成される。
The picture conversion unit 16 performs a picture conversion process for converting image data uploaded from a user or image data stored in the
ここで、絵画変換処理とは、写真等の画像を構成する各画素を所定のパラメータ（絵画変換パラメータ）に従って変換し、（ａ）油絵調、（ｂ）水彩画調、（ｃ）パステル調、（ｄ）色鉛筆画調、（ｅ）クレヨン画調、（ｆ）イラスト画調、（ｇ）点描画調、（ｈ）エアブラシ、（ｉ）シルクスクリーン調、（ｉ）刺繍絵調、（ｋ）コラージュ（糊付け）調、ＨＤＲ（High Dynamic Range）等、いわゆる絵画調に変換する画像処理である。 Here, the painting conversion processing means that each pixel constituting an image such as a photograph is converted according to a predetermined parameter (painting conversion parameter), and (a) oil painting tone, (b) watercolor painting tone, (c) pastel tone, ( d) Color pencil style, (e) Crayon style, (f) Illustration style, (g) Point drawing style, (h) Airbrush, (i) Silk screen style, (i) Embroidery style, (k) Collage This is image processing for conversion to a so-called painting tone, such as (gluing) tone or HDR (High Dynamic Range).
なお、ＨＤＲは、通常の写真では表現できない広いダイナミックレンジの写真を、トーンマッピングにより狭いダイナミックレンジ幅内に入れ込むことで露出過多の白飛びや露出不足の黒つぶれを補正して表現力を増大した画像である。つまりＨＤＲは、撮影画像（写真）を人の脳が受けた記憶や印象に近づけた画像である。 HDR enhances expressive power by correcting overexposures and underexposures by inserting a wide dynamic range photo that cannot be expressed with normal photos within a narrow dynamic range by tone mapping. It is an image. That is, HDR is an image obtained by approximating a captured image (photograph) to a memory or impression received by a human brain.
絵画変換処理は、原理的にはエフェクト処理の一種であり、基本的にはフォトレタッチソフト等で知られている各種エフェクト処理のパラメータを調整・組み合わせて絵画調に見えるように変換するプログラムが組んであるものである。 Painting conversion processing is a kind of effect processing in principle, and basically there is a program that converts and combines various effect processing parameters known for photo retouching software to make it look like a painting. It is what is.
エフェクト処理としては、例えば以下のような処理がある。
（ａ）解像度処理・・・画像にテクスチャをマッピングし、特殊な質感を与えるテクスチャ処理、画像を輪郭部・細かい模様などのテクスチャ部・平坦部に分類し、それぞれに適宜処理を施すことで、質感と解像感を高める。
（ｂ）ＨＳＶ処理・・・色を色相(Hue)、彩度(Saturation)、明度(Value)の３要素に分類して調整する。
（ｃ）ＲＧＢ処理・・・画像のＲ（赤）Ｇ（緑）Ｂ（青）各色の度合いを調整する。
（ｄ）ＲＧＢ交換処理・・・画像のＲ（赤）Ｇ（緑）Ｂ（青）各色の値をＲ→Ｇ→Ｂの方向に交換する。
（ｅ）エッジ抽出処理・・・ラプラシアンフィルタと呼ばれるフィルタをかけてエッジを抽出する。
（ｆ）中間濃度抽出処理・・・メディアンフィルタと呼ばれるフィルタをかけて中間濃度を抽出する。
（ｇ）濃度抽出処理・・・隣接する画素のＲＧＢのヒストグラムを抽出し、それぞれ最小／中間／最大の濃度を抽出した場合の処理を行う。
（ｈ）イコライズ処理・・・画像の一番暗い部分を黒、一番明るい部分を白とし、間のヒストグラムを適宜分布させ、コントラスト修正を行ったり、画像のヒストグラムを引き伸ばしたりする。
（ｉ）ガンマ補正処理・・・明るい部分と暗い部分を維持して中間的な明るさを調節する。
（ｊ）シャドー処理・・・画像の暗い領域を明るくしたり、明るい領域を暗くしたりする。
（ｋ）ソラリゼーション処理・・・各ピクセルのＲＧＢ値が、しきい値以上の明るさの時に、そのＲＧＢ値を反転する
（ｌ）ノイズ付加処理・・・ランダムにドットを描画し、ノイズを発生させ、ノイズの量や色を調整する。
Examples of the effect processing include the following processing.
(A) Resolution processing: Texture processing for mapping texture to an image, giving a special texture, classifying an image into a texture portion / flat portion such as a contour portion / fine pattern, and appropriately processing each, Increase texture and resolution.
(B) HSV processing: Color is classified and adjusted into three elements of hue, saturation, and value.
(C) RGB processing: Adjusts the degree of each color of R (red), G (green), and B (blue) of an image.
(D) RGB exchange processing: R (red), G (green), and B (blue) values of each color of the image are exchanged in the direction of R → G → B.
(E) Edge extraction process: Edges are extracted by applying a filter called a Laplacian filter.
(F) Intermediate density extraction process: An intermediate density is extracted by applying a filter called a median filter.
(G) Density extraction processing: Extracts RGB histograms of adjacent pixels, and performs processing when the minimum / intermediate / maximum densities are extracted.
(H) Equalization processing: The darkest part of the image is black and the brightest part is white, and the histogram between them is distributed as appropriate, and the contrast is corrected or the histogram of the image is stretched.
(I) Gamma correction processing: An intermediate brightness is adjusted while maintaining a bright portion and a dark portion.
(J) Shadow processing: Brighten a dark area of an image or darken a bright area.
(K) Solarization processing: When the RGB value of each pixel is higher than the threshold value, the RGB value is inverted. (L) Noise addition processing: Randomly draw dots and generate noise Adjust the amount and color of noise.
画像記憶部１７は、ユーザーからアップロードされた画像データや、前述した絵画調画像データを記憶する。画像記憶部１７は、例えば大容量のハードディスク装置によって構成される画像データベースである。
The
表示用バッファ１４は、サーバー１１が、画像記憶部１７に記憶されている画像データ等をユーザーに閲覧させる際、閲覧用の１又は多数の画像データからなる表示用のデータを記憶するメモリである。
The display buffer 14 is a memory that stores display data including one or a plurality of image data for browsing when the server 11 allows the user to browse the image data or the like stored in the
制御部１２は、サーバー１１の全体的な動作、すなわち画像サービスサイト１０の運営に要する各種の動作を制御する。また、制御部１２は、絵画変換部１６と協同して後述するアート変換処理を行う。制御部１２は、ＣＰＵ及びその周辺回路や、作業用の外部メモリ、高機能のグラフィックアクセラレータ等から構成される。
The
プログラム記憶部１８は、制御部１２に上記の各種処理を行わせるためのプログラム、及び種々のデータを更新可能に記憶するハードディスク装置等の記憶装置である。プログラム記憶部１８に記憶されている種々のデータには、図３に示したぼかし強度テーブル１００を示すデータも含まれる。
The
ぼかし強度テーブル１００は、制御部１２が後述する画像変換処理を行う際に、処理対象の撮影画像から生成されるモノクロ画像に対するぼかし処理で使用されるデータであって、図３に示したように、絵画変換部１６において変換可能な画調（油絵調、水彩画調、パステル調等）の種類に対応するぼかし強度を示すものである。
The blur intensity table 100 is data used in a blur process for a monochrome image generated from a captured image to be processed when the
具体的なぼかし強度は経験則に基づいて予め決められたものであり、基本的には、任意の撮影画像である元画像を絵画調画像に変換したとき元画像の細部に生じる変化が小さな画調のぼかし強度に比べ、元画像の細部に生じる変化が大きな画調のぼかし強度が相対的に高くなっている。例えば油絵調と水彩画調とを比較すると、油絵調のぼかし強度が相対的に高めに調整されており、水彩画調のぼかし強度が相対的に低めに調整されている。 The specific blur intensity is predetermined based on empirical rules. Basically, when an original image, which is an arbitrary photographed image, is converted into a painting-like image, the change that occurs in the details of the original image is small. Compared with the tone blur strength, the blur strength of the image tone having a large change in the details of the original image is relatively high. For example, when comparing the oil painting tone and the watercolor painting tone, the blurring strength of the oil painting tone is adjusted to be relatively high, and the blurring strength of the watercolor painting tone is adjusted to be relatively low.
以下、サーバー１１が、例えばユーザーによりアップロードされた画像や、画像記憶部１７に記憶されている画像をユーザーの指示に従い絵画調画像へ変換する際の制御部１２の動作について説明する。
Hereinafter, the operation of the
サーバー１１においては、絵画調画像へ変換すべき処理対象の画像（以下、元画像という。）がユーザーによって指定されると、制御部１２が図４のフローチャートに示した画像変換処理を実行する。なお、図５は、画像変換処理の要部を示す説明図である。
In the server 11, when an image to be processed (hereinafter referred to as an original image) to be converted into a painting-like image is designated by the user, the
制御部１２は、ユーザーによって元画像が指定されることにより処理を開始し、直ちに前処理を行う（ステップＳ１）。この前処理は、元画像に対して画素単位での画像処理を可能とするために、ＪＰＥＧ形式等の画像データをビットマップ形式の画像データに変換する処理である。
The
次に、制御部１２は、ユーザーに、変換したい画調を選択させる（ステップＳ２）。ユーザーに選択させる画調としては、前述した油絵調、水彩画調、パステル調、色鉛筆画調、ＨＤＲ等である。
Next, the
次に、制御部１２は、ステップＳ１の前処理で変換した元画像の画像データ（以下、元画像データという）を絵画変換部１６へ送り、絵画変換部１６に、ユーザーに選択された画調への絵画変換処理を行わせる（ステップＳ３）。
Next, the
すなわち、制御部１２は、絵画変換部１６に、選択された画調に応じた画調変換アルゴリズムによる絵画変換処理を行わせることによって、図５に示したように元画像データＧ１を第１の絵画調画像データＧ２に変換する。また、制御部１２は、絵画変換部１６により変換された第１の絵画調画像データＧ２を表示用バッファ１４に確保されている作業領域に保存する。なお、以下の説明においては、ステップＳ３の処理による変換後の絵画調画像を第１の絵画調画像という。
That is, the
引き続き、制御部１２は、絵画変換部１６による絵画変換処理とは別に、図５に示したように元画像を対象として画像内に存在する任意の人物の顔を検出する顔検出処理を行う（ステップＳ４）。顔検出処理は、例えば二値化や輪郭抽出、パターンマッチング等の画像認識技術を用いて、一定範囲の位置関係にある目や鼻や口が存在する人物の顔に相当する特定領域（以下、顔領域という。）を探索する公知の技術を適用した処理である。
Subsequently, the
また、ステップＳ４の顔検出処理で検出する顔領域は、頭髪部分を除く顔の輪郭によって囲まれる領域である。なお、顔検出処理に際して必要とするパターンデータ等の各種データはプログラム記憶部１８に記憶されている。
The face area detected by the face detection process in step S4 is an area surrounded by the outline of the face excluding the hair portion. Various data such as pattern data necessary for the face detection process is stored in the
次に、制御部１２は顔検出処理の結果に応じて以下の処理を実行する。まず、元画像において任意の人物の顔が検出できなかった場合（ステップＳ５：ＮＯ）、制御部１２は、直ちに確認表示を行う（ステップＳ１１）。
Next, the
ステップＳ１１の処理は、表示用バッファ１４の作業領域に記憶した、元画像データＧ１の変換後の画像データを確認用の画素数、例えば８００×６００画素にリサイズし、ユーザーの端末１へ送り、端末１の画面上に変換後の画像を表示させるための処理である。つまり人物の顔が検出できなかったときのステップＳ１１の処理は、従来行われている一般的な絵画変換によって生成された絵画調画像をユーザーの端末１に画面表示に表示させる処理である。 In step S11, the converted image data of the original image data G1 stored in the work area of the display buffer 14 is resized to a confirmation pixel number, for example, 800 × 600 pixels, and sent to the user terminal 1. This is a process for displaying the converted image on the screen of the terminal 1. That is, the process of step S11 when the face of a person cannot be detected is a process of displaying a painting-like image generated by a general painting conversion performed conventionally on the user's terminal 1 on the screen display.
一方、ステップＳ４の顔検出処理で元画像において任意の人物の顔が検出できた場合（ステップＳ５：ＹＥＳ）、制御部１２は以下の処理を行う。図６（ａ）は、顔検出処理において人物の顔が検出できた場合における元画像Ｇ１、図６（ｂ）は、ステップＳ３の処理による絵画変換処理後の第１の絵画調画像Ｇ２の例を示した図である。なお、図６（ａ）、図６（ｂ）の各画像には、便宜上、図５に示した対応する各画像データ（元画像データ、第１の絵画調画像データ）と同様の符号を付してある。また、これについては、後述する説明で参照する図７についても同様である。
On the other hand, when the face of an arbitrary person can be detected in the original image by the face detection process in step S4 (step S5: YES), the
人物の顔が検出できた場合、制御部１２は、図５にも示したように、元画像データＧ１から輝度成分のみからなるモノクロ画像データＧ３を生成した後（ステップＳ６）、生成したモノクロ画像データＧ３に対するぼかし強度を決定する（ステップＳ７）。
When a human face can be detected, the
ステップＳ７の処理に際して制御部１２は、図３に示したぼかし強度テーブル１００を参照し、モノクロ画像データＧ３に対するぼかし強度として、ユーザーに選択されかつ第１の絵画調画像Ｇ２において表現されている画調に応じたぼかし強度を決定する。つまり制御部１２は、例えばユーザーに選択された画調が油絵調であったときには、ユーザーに選択された画調が水彩画であったときよりも高めのぼかし強度を決定する。
In the process of step S7, the
次に、制御部１２は、モノクロ画像データＧ３に対してステップＳ７の処理で決定したぼかし強度によるぼかし処理を施すことにより、図５に示したように背景ぼけ画像データＧ４を生成する（ステップＳ８）。なお、ステップＳ８のぼかし処理は、例えば移動平均フィルタ、メディアンフィルタ、ガウシアンフィルタといった、公知の平滑化（又は平坦化）フィルタを用いたフィルタリング処理である。ここでぼかし処理とは、所謂ソフトフォーカス処理と明確に区別される狭義のぼかし処理ではなく、所謂ソフトフォーカス処理を含む広義のぼかし処理を意味する。
Next, the
また、ステップＳ８の処理で制御部１２が生成する背景ぼけ画像データＧ４は、ステップＳ４の顔検出処理で検出した顔領域を除く画像内の背景領域のみをぼかしたデータである。つまりステップＳ８の処理に際して制御部１２は、画像内の背景領域を対象として、ユーザーに選択されかつ第１の絵画調画像Ｇ２において表現されている画調に応じた強度のぼかし処理を行う。なお、画像内の顔領域は、先に述べたように人物の頭髪部分を除く顔の輪郭によって囲まれる領域である。
Further, the blurred background image data G4 generated by the
図７（ａ）は、ステップＳ８の処理に伴い生成される背景ぼけ画像データＧ４により表される画像、すなわち背景ぼけ画像の例を示した図である。 FIG. 7A is a diagram illustrating an example of an image represented by the background blurred image data G4 generated by the process of step S8, that is, a background blurred image.
引き続き、制御部１２は、図５に示したように、背景ぼけ画像データＧ４の各画素に輝度に応じて異なる透過率を設定したα混合データＧ５を生成する（ステップＳ９）。その際、制御部１２は、背景ぼけ画像データＧ４の各画素の透過率を、輝度の低い画素に対し輝度の高い画素が相対的に高い透過率となることを基本として所定の透過率に設定する。より具体的に述べると、制御部１２は、画調に対応して予め決められている変化特性、すなわち輝度の変化に対する透過率の変化を示す変化特性に従い画素毎の透過率を決定し、それにより、輝度の低い画素に対し輝度の高い画素が相対的に高い透過率となるように設定する。
Subsequently, as shown in FIG. 5, the
なお、ステップＳ９の処理で制御部１２が生成するα混合データＧ５は、各画素の色情報に、２つの画像を公知のαブレンディングにより混合して合成するときの画素値の演算に使用される混合係数であるα値を加えた画像データであり、α値により透過率が表されたデータである。
Note that the α mixture data G5 generated by the
しかる後、図５に示したように制御部１２は、ステップＳ９の処理で生成したα混合データＧ５を、ステップＳ３で生成した第１の絵画調画像データＧ２に合成することによって第２の絵画調画像データＧ６を生成し、生成した第２の絵画調画像データＧ６を表示用バッファ１４の作業領域に記憶する（ステップＳ１０）。
Thereafter, as shown in FIG. 5, the
ステップＳ７の合成処理は前述したαブレンディングによるものである。つまり制御部１２は、図７（ａ）に示したような背景ぼけ画像Ｇ４を画素毎に透過率が異なる半透明画像として、図６（ｂ）に示したような第１の絵画調画像Ｇ２に透過合成することにより、図７（ｂ）に示したような第２の絵画調画像Ｇ６を生成する。なお、図７（ｂ）に示した第２の絵画調画像Ｇ６はあくまでも便宜的なものである。
The synthesizing process in step S7 is based on the aforementioned α blending. That is, the
ここで、第１の絵画調画像Ｇ２に透過合成される背景ぼけ画像Ｇ４は、顔領域を除く背景領域のみがぼけた画像であるが、背景領域においても細部につぶれが生じたり、無用な刷毛目や等が現れたものではない。そのため、ステップＳ１０の処理で生成される第２の絵画調画像Ｇ６においては、第１の絵画調画像Ｇ２に比較して元画像Ｇ１に近い状態、つまり「写真らしさ」が確保されたものとなる。 Here, the background blurred image G4 that is transparently synthesized with the first painting-like image G2 is an image in which only the background area except the face area is blurred. However, in the background area, details are crushed or unnecessary brushes are used. The eyes and the like did not appear. Therefore, in the second painting-like image G6 generated by the processing in step S10, a state closer to the original image G1 compared to the first painting-like image G2, that is, “photographic” is ensured. .
同時に、背景ぼけ画像Ｇ４の顔領域にはぼけが生じていないことから、第２の絵画調画像Ｇ６の顔領域には、背景領域よりもさらに元画像Ｇ１に近い状態（「写真らしさ」）が確保されたものとなる。なお、第２の絵画調画像Ｇ６の他の特徴については後述する。 At the same time, since there is no blur in the face area of the background blurred image G4, the face area of the second painting-like image G6 is closer to the original image G1 than the background area (“photography”). It will be secured. Other features of the second painting-like image G6 will be described later.
そして、制御部１２は、ステップＳ１０の処理で第２の絵画調画像データを生成した後には、ステップＳ５の処理に際して元画像から任意の人物の顔が検出できなかった場合と同様、前述した確認表示を行う（ステップＳ１１）。すなわち制御部１２は表示用バッファ１４の作業領域に記憶した第２の絵画調画像データをリサイズしてユーザーの端末１へ送り、端末１の画面上に第２の絵画調画像Ｇ６を表示させる。
Then, after generating the second painting-like image data in the process of step S10, the
しかる後、制御部１２は、ステップＳ１１で確認表示した内容で変換内容を決定するか、または画調を変更するかのいずれかをユーザーに選択させるとともに、決定が選択されなければ（ステップＳ１２：ＮＯ）、ステップＳ２の処理へ戻り、ユーザーに新たな画調を再選択させる。
Thereafter, the
そして、制御部１２は、ユーザーから決定指示があれば（ステップＳ１２：ＹＥＳ）、後処理を行う（ステップＳ１３）。ステップＳ１３の後処理は、主として表示用バッファ１４に記憶されている第１の絵画調画像データ、又は第２の絵画調画像データを元画像と同様のＪＰＥＧ形式等の画像データに変換する処理である。これにより、制御部１２は、画像変換処理を終了する。なお、ステップＳ１３の後処理を経た画像データは、最終的にはユーザーの端末１へ送られるか、または画像記憶部１７に記憶される。
And the
以上説明したように本実施形態においては、元画像を絵画調画像に変換する際、元画像が図６（ａ）に示したような任意の人物の顔が存在するポートレート等の撮影画像であった場合には、図４に示したステップＳ６〜Ｓ１０の処理により、最終的な絵画調画像として第２の絵画調画像Ｇ６を生成する（図５参照）。 As described above, in the present embodiment, when an original image is converted into a painting-like image, the original image is a photographed image such as a portrait in which an arbitrary person's face as shown in FIG. If there is, the second painting-like image G6 is generated as the final painting-like image by the processing of steps S6 to S10 shown in FIG. 4 (see FIG. 5).
すなわち最終的な絵画調画像として、前述したように第１の絵画調画像Ｇ２に比較して、顔領域と背景領域とからなる全領域に元画像Ｇ１に近い状態（「写真らしさ」）が確保され、かつ顔領域には背景領域よりもさらに元画像Ｇ１に近い状態が確保された画像を生成するようにした。 That is, as described above, as compared to the first painting-like image G2 as described above, a state close to the original image G1 (“photographic”) is ensured in the entire region including the face region and the background region. In addition, an image in which a state closer to the original image G1 than the background region is secured in the face region is generated.
したがって、本実施形態によれば、元画像がポートレート等である場合には、元画像を絵画調画像に変換した後においても、画像の細部、特に目、鼻、眉、唇といった人物の顔の細部のリアリティを維持することができ、撮影画像としての適度なリアリティと絵画としての趣との双方を備えた画像を生成することができる。 Therefore, according to the present embodiment, when the original image is a portrait or the like, even after the original image is converted into a painting-like image, the details of the image, particularly the face of a person such as eyes, nose, eyebrows, and lips. Therefore, it is possible to maintain an image with both an appropriate reality as a photographed image and a taste as a painting.
しかも、第１の絵画調画像Ｇ２に対し、顔領域を除く画像内の背景領域のみをぼかした背景ぼけ画像Ｇ４を透過合成することから、人物の顔部分に、違和感のない状態で他の背景部分よりも顕著なリアリティを確保することができる。 In addition, since the background blurred image G4 obtained by blurring only the background region in the image excluding the face region is transparently combined with the first painting-like image G2, the background portion of the person has another background without feeling uncomfortable. Reality more conspicuous than the part can be secured.
また、本実施形態においては、背景ぼけ画像Ｇ４を第１の絵画調画像Ｇ２に透過合成するとき、背景ぼけ画像Ｇ４には画素毎に異なる透過率を設定し、かつ輝度の低い画素の透過率に対して輝度の高い画素の透過率を相対的に高くする構成とした。 In this embodiment, when the background blurred image G4 is transparently combined with the first painting-like image G2, the background blurred image G4 is set to a different transmittance for each pixel, and the transmittance of the pixel with low luminance is set. In contrast, the transmittance of pixels with high luminance is set to be relatively high.
そのため、例えば背景ぼけ画像Ｇ４における人物の顔のうちで、頬などの輝度の高い部分ほど第１の絵画調画像Ｇ２に近い状態、つまり「絵画らしさ」が維持され、同時に目、鼻、眉、唇などの輝度の低い部分ほど元画像Ｇ１に近い状態、つまり「写真らしさ」が付加される。したがって、最終的な絵画調画像として、撮影画像におけるリアリティと絵画としての趣とがバランス良く表現された画像を生成することができる。 Therefore, for example, among the human faces in the blurred background image G4, the higher the brightness such as the cheek, the closer to the first painting-like image G2, that is, the “picture-likeness” is maintained, and at the same time the eyes, nose, eyebrows, The lower the brightness such as the lips, the closer to the original image G1, that is, the “photographic quality” is added. Therefore, an image in which the reality in the photographed image and the taste as a painting are expressed in a well-balanced manner can be generated as the final picture-like image.
さらに、背景ぼけ画像Ｇ４における各画素の透過率を、最終的に生成する絵画調画像（第２の絵画調画像Ｇ６）に確保すべき目標とする画調に応じた変化特性に従って決定するようにした。したがって、背景ぼけ画像Ｇ４における各画素に、目標とする画調に応じた適切な透過率を設定することができ、これによっても、最終的な絵画調画像として、撮影画像におけるリアリティと絵画としての趣とがバランス良く表現された画像を生成することができる。 Further, the transmittance of each pixel in the background blurred image G4 is determined in accordance with a change characteristic corresponding to a target image tone to be secured in the finally generated painting-like image (second painting-like image G6). did. Therefore, it is possible to set an appropriate transmittance according to the target image tone for each pixel in the background blurred image G4. An image in which the taste is expressed in a well-balanced manner can be generated.
また、背景ぼけ画像Ｇ４を生成する際には、モノクロ画像Ｇ３の背景領域を、最終的に生成する絵画調画像（第２の絵画調画像Ｇ６）に確保すべき目標とする画調に対応した強度でぼかすようにした。すなわち、背景ぼけ画像Ｇ４における背景領域のぼけ度合を、絵画変換に伴い細部に生じる変化が大きな画調のときには、絵画変換に伴い細部に生じる変化が小さな画調のときに比べ相対的に強くした。 When the background blurred image G4 is generated, the background area of the monochrome image G3 corresponds to the target image tone that should be secured in the painting-like image (second painting-like image G6) to be finally generated. I tried to blur with strength. That is, the degree of blur in the background area in the background blurred image G4 is relatively stronger when the change in detail caused by the picture conversion is large than in the case where the change generated in the detail due to the picture conversion is small. .
したがって、最終的に生成する絵画調画像において、目標とする画調に関係なく人物の顔以外の部分が必要以上に元画像に近づくことが抑制でき、これによっても、撮影画像におけるリアリティと絵画としての趣とがバランス良く表現された画像を生成することができる。 Therefore, in the finally created painting-like image, it is possible to suppress the portions other than the face of the person from approaching the original image more than necessary regardless of the target painting tone. It is possible to generate an image in which the taste of the image is well balanced.
さらに、第２の絵画調画像Ｇ６は、背景ぼけ画像Ｇ４がモノクロ画像であることから、全体として第１の絵画調画像Ｇ２に比べて彩度を低下させることができる。これにより、撮影画像としての適度なリアリティが確保されることと相まって、単に特定の画調を備えるだけでなく、いわゆる「写真油絵」や「横浜写真」が有する独特の風合いをも備えた画像を生成することができる。特に、本実施形態においては、背景ぼけ画像Ｇ４の輝度の低い画素の透過率を輝度の高い画素の透過率よりも相対的に低くし、明るい部分に比べて暗い部の彩度を高めにすることによって、より「写真油絵」や「横浜写真」に近い画像を得ることができる。 Furthermore, since the background-blurred image G4 is a monochrome image, the second painting-like image G6 can reduce the saturation as a whole as compared with the first painting-like image G2. As a result, coupled with the fact that moderate reality as a photographed image is ensured, not only a specific image tone is provided, but also an image having a unique texture possessed by so-called “photographic oil painting” and “Yokohama Photo”. Can be generated. In particular, in the present embodiment, the transmittance of the low-luminance pixels of the background blurred image G4 is relatively lower than that of the high-luminance pixels, and the saturation of the dark portion is increased compared to the bright portion. As a result, an image closer to “photographic oil painting” or “Yokohama photo” can be obtained.
「写真油絵」や「横浜写真」は、幕末から明治中頃、写実的な西洋画や写真技術があいついで日本に導入された頃に盛んに制作されたものである。すなわち「写真油絵」は、焼付け写真紙の表面をフィルム状にはがしたもの（ポジ）に、裏側から着色彩色したものである。また、「横浜写真」は、白黒写真に着色師が色付けした写真である。 “Photo Oil Painting” and “Yokohama Photography” were actively produced from the end of the Edo period to the middle of the Meiji period, when realistic Western painting and photographic technology were introduced to Japan. That is, the “photographic oil painting” is obtained by coloring and coloring from the back side of a photographic paper surface that has been peeled off into a film (positive). The “Yokohama Photo” is a black-and-white photo colored by a colorist.
なお、以上の説明においては、元画像を第１の絵画変換画像に変換するとき、元画像に対して、アフィン変換など歪み変形処理や、バラツキやゆらぎ、非忠実性を含む手書き風タッチなどの特徴（画調）を得るための変形処理を含む絵画変換処理を施す場合についての説明を省略した。元画像に対して変形処理を含む絵画変換処理を施す場合には、背景ぼけ画像を第１の絵画変換画像に透過合成する以前に、背景ぼけ画像にも元画像に対する変形処理と同様の変形処理を施す必要がある。 In the above description, when the original image is converted into the first picture-converted image, the original image is subjected to distortion deformation processing such as affine transformation, handwriting-like touch including variation, fluctuation, and infidelity. The description about the case where the picture conversion process including the deformation process for obtaining the feature (tone) is performed is omitted. When the original image is subjected to a picture conversion process including a deformation process, the background blur image is also subjected to the same deformation process as the original image before the background blurred image is transparently synthesized with the first picture converted image. It is necessary to apply.
以下、本実施形態の変形例について説明する。本実施形態においては、第１の絵画調画像に透過合成する合成用のぼけ画像を、元画像をモノクロ化した画像にぼかし処理を行い生成した背景ぼけ画像とし、最終的な絵画調画像として「写真油絵」や「横浜写真」が有する独特の風合いを備えた画像を生成するものについて説明した。しかし、背景ぼけ画像は、元画像から生成したカラー画像としてもよい。その場合であっても、撮影画像としての適度なリアリティと絵画としての趣との双方を備えた画像を生成することができる。 Hereinafter, modifications of the present embodiment will be described. In the present embodiment, a blurred image for synthesis that is transparently combined with the first painting-like image is a blurred background image generated by performing a blurring process on the original image, and the final painting-like image is “ We have explained what generates images with unique textures of “Photo Oil Painting” and “Yokohama Photo”. However, the background blurred image may be a color image generated from the original image. Even in such a case, an image having both an appropriate reality as a photographed image and a taste as a painting can be generated.
また、本実施形態においては、背景ぼけ画像Ｇ４を第１の絵画調画像Ｇ２に透過合成するとき、背景ぼけ画像Ｇ４には画素毎に異なる透過率を設定した。しかし、本発明の実施に際しては、各画素の輝度に関係なく背景ぼけ画像に一定の透過率を設定するようにしてもよい。 In this embodiment, when the background blurred image G4 is transparently combined with the first painting-like image G2, the background blurred image G4 has a different transmittance for each pixel. However, when the present invention is implemented, a constant transmittance may be set for the background blurred image regardless of the luminance of each pixel.
また、本発明において、背景ぼけ画像に一定の透過率を設定して背景ぼけ画像を第１の絵画調画像に透過合成するときの具体的な合成方法は任意であり、例えば背景ぼけ画像をメッシュ状に半透明化して第１の絵画調画像に合成する方法を採用することができる。 Further, in the present invention, a specific composition method for setting a certain transmittance to the background blurred image and transparently combining the background blurred image with the first painting-like image is arbitrary. For example, the background blurred image is meshed It is possible to adopt a method of making the image semi-transparent and combining it with the first painting-like image.
ここで背景ぼけ画像をメッシュ状に半透明化するとは、例えば背景ぼけ画像を市松模様、チェック柄、ストライプ柄状の画像やα画像に変換する意味である。具体的には、例えば背景ぼけ画像を市松模様とする場合には、市松模様の黒部分を不透明（１または混合率100％）、白部分を透明（０または混合率０％）とし、全画素の１/２を透明で１/２を不透明とすれば、背景ぼけ画像の透過率を５０％とすることができる。また、例えば背景ぼけ画像をストライプ柄状の画像とする場合には、黒：白＝１：２のストライプ柄とすれば、背景ぼけ画像の混合率を１／３、つまり透過率を３３％とすることができる。 Here, making the background blurred image semi-transparent in a mesh shape means, for example, converting the background blurred image into a checkered pattern, check pattern, stripe pattern image, or α image. Specifically, for example, if the background blurred image is a checkered pattern, the black part of the checkered pattern is opaque (1 or 100% mixing ratio) and the white part is transparent (0 or 0% mixing ratio), and all pixels If 1/2 is transparent and 1/2 is opaque, the transmittance of the blurred background image can be 50%. For example, when the background blurred image is a striped pattern image, if the black: white = 1: 2 stripe pattern, the mixing ratio of the background blurred image is 1/3, that is, the transmittance is 33%. can do.
また、各画素の輝度に関係なく背景ぼけ画像を一定の透過率で第１の絵画調画像に透過合成する場合には、本実施形態とは逆に第１の絵画調画像側に所定の透過率を設定したうえで、第１の絵画調画像と背景ぼけ画像とを合成するようにしてもよい。 In addition, when the background blurred image is transparently synthesized with the first painting-like image with a constant transmittance regardless of the luminance of each pixel, a predetermined transmission is performed on the first painting-like image side contrary to the present embodiment. You may make it synthesize | combine a 1st painting style image and a background blur image after setting a rate.
また、本実施形態においては、背景ぼけ画像における背景領域のぼかし強度を、最終的に生成する絵画調画像（絵画調画像）に確保すべき目標とする画調に対応して予め決められているぼかし強度とした。また、背景ぼけ画像の各画素の透過率を、目標とする画調に応じて予め決められている変化特性に従って決定するようにした。 In the present embodiment, the blur intensity of the background region in the background blurred image is determined in advance corresponding to the target image tone to be secured in the painting-like image (painting-like image) to be finally generated. The blur strength was used. Further, the transmittance of each pixel of the blurred background image is determined according to a change characteristic that is determined in advance according to the target image tone.
しかし、背景ぼけ画像における背景領域のぼかし強度や、背景ぼけ画像の各画素の透過率は、例えば元画像と第１の絵画調画像との間における局所的な変化度合を確認し、確認した変化度合に基づき決定するようにしてもよい。 However, the blur intensity of the background region in the background blurred image and the transmittance of each pixel of the background blurred image are confirmed by confirming the local change degree between the original image and the first painting-like image, for example. It may be determined based on the degree.
例えば背景領域のぼかし強度を上記の変化度合に基づいて決定する場合には、ぼかし強度を、上記の変化度合と画調毎に予め決めてある調整値とをパラメータとする所定の関数を用いて算出するようにしてもよい。 For example, when determining the blur intensity of the background region based on the above degree of change, the blur intensity is determined using a predetermined function using the above degree of change and an adjustment value determined in advance for each image tone as parameters. You may make it calculate.
また、例えば背景ぼけ画像の各画素の透過率を上記の変化度合に基づいて決定する場合には、透過率の決定に際して使用する変化特性を、上記の変化度合に応じて選択的に使用するようにしてもよい。さらに、前述したように背景ぼけ画像に各画素の輝度に関係なく一定の透過率を設定する場合であれば、その透過率を、上記の変化度合と画調毎に予め決めてある調整値とをパラメータとする所定の関数を用いて算出するようにしてもよい。 Further, for example, when determining the transmittance of each pixel of the background blurred image based on the above degree of change, the change characteristic used when determining the transmittance is selectively used according to the above degree of change. It may be. Further, as described above, when a constant transmittance is set in the background blurred image regardless of the luminance of each pixel, the transmittance is set to an adjustment value determined in advance for each degree of change and image tone. It is also possible to calculate using a predetermined function using as a parameter.
なお、上記の局所的な変化度合は、例えば元画像と第１の絵画調画像とを複数ブロックにそれぞれ分割したときのブロック毎の代表色や、代表色の割合、ブロック毎に輪郭抽出を行い抽出される輪郭線のブロック内における密度といった１又は複数の特徴量に基づいて判断すればよい。 The local change degree is obtained by extracting the representative color for each block when the original image and the first painting-like image are divided into a plurality of blocks, the ratio of the representative colors, and the contour extraction for each block, for example. The determination may be made based on one or a plurality of feature amounts such as the density of the extracted contour line in the block.
また、本実施形態においては、主として元画像において任意の人物の顔を検出し、顔が検出できたことを条件として、顔領域を除く背景領域をぼかした背景ぼけ画像を生成し、生成した背景ぼけ画像を第１の絵画調画像に透過合成するものについて説明した。しかし、本発明においては、元画像における検出対象は必ずしも人物の顔でなくともよく、その領域が検出可能な特定の被写体であれば、花や動物（犬や猫等）が検出対象であっても構わない。 Further, in the present embodiment, a background of an arbitrary person is mainly detected in the original image, a background blurred image in which a background area excluding the face area is blurred is generated on the condition that the face can be detected, and the generated background A description has been given of the case where the blurred image is transparently combined with the first painting-like image. However, in the present invention, the detection target in the original image does not necessarily have to be a person's face. If the subject is a specific object that can be detected, flowers and animals (such as dogs and cats) are the detection targets. It doesn't matter.
また、最終的に生成する絵画調画像において元画像に近いリアリティを確保する領域は、必ずしも画像認識処理によって検出可能な顔領域等でなくともよく、ユーザーにより手動で指定された領域であっても構わない。その場合、制御部１２には、例えば以下のような処理を行わせればよい。
In addition, the area that ensures the reality close to the original image in the picture-like image that is finally generated may not necessarily be a face area that can be detected by the image recognition process, or may be an area that is manually designated by the user. I do not care. In this case, the
すなわち、例えば元画像を第１の絵画調画像に変換した後、ユーザーに、タッチパネルやマウス等の操作によって第１の絵画調画像において任意の領域、つまり元画像に近いリアリティの確保を希望する領域を指定させる。そして、制御部１２には、ユーザーにより指定された領域を特定領域として検出した後、当該特定領域を除く背景領域のみをぼかした背景ぼけ画像を生成させ、生成した背景ぼけ画像を第１の絵画調画像に透過合成させる処理を行わせればよい。
That is, for example, after the original image is converted into the first painting-like image, the user desires to secure an arbitrary area in the first painting-like image, that is, the reality close to the original image by operating the touch panel or the mouse. Is specified. Then, after detecting the area designated by the user as the specific area, the
上記のように元画像に近いリアリティを確保する領域をユーザーにより手動で指定された領域とすれば、最終的に生成する絵画調画像において、ユーザーが必要に応じ、かつ好みに応じた部分に、違和感のない状態で他の背景部分よりも顕著なリアリティを確保することができる。 If the area that ensures the reality close to the original image as described above is an area that is manually specified by the user, in the painting-like image that is finally generated, the user can change the part according to his / her preference as necessary. In a state where there is no sense of incongruity, it is possible to ensure a more remarkable reality than other background portions.
また、本実施形態においては、第１の絵画調画像に透過合成する合成用のぼけ画像を、顔領域を除く背景領域にぼかし処理を施した背景ぼけ画像とした。しかし、本発明の実施に際しては、合成用のぼけ画像を画像全体にぼかし処理を施した画像としてもよい。なお、処理を施す画像は、先に述べたように元画像から生成したモノクロ画像に限らず、元画像でもよい。 Further, in the present embodiment, the blurred image for synthesis that is transparently combined with the first painting-like image is a blurred image in which the background region excluding the face region is subjected to the blurring process. However, in the implementation of the present invention, the blurred image for synthesis may be an image obtained by blurring the entire image. The image to be processed is not limited to the monochrome image generated from the original image as described above, but may be an original image.
その場合であっても、最終的な絵画調画像として、人物の顔部分はもとより、他の部分についても細部のつぶれが目立たず、かつ無用な刷毛目や色調が現れる度合が減少した画像を生成することができる。したがって、少なくとも第１の絵画調画像に比べれば、絵画としての趣を確保しつつ、リアリティのある画像を得ることができる。 Even in that case, the final painting-like image is generated not only for the face part of the person but also for other parts where details are not crushed and the degree of appearance of unnecessary brush eyes and color tone is reduced. can do. Therefore, as compared with at least the first painting-like image, it is possible to obtain a realistic image while ensuring the appeal as a painting.
さらに、合成用のぼけ画像を画像全体にぼかし処理を施した画像とする場合においては、元画像がポートレート等の撮影画像であるか否かに関係なく、最終的な絵画調画像として、第１の絵画調画像に、画像全体にぼかし処理を施した合成用のぼけ画像を透過合成した画像を生成するようにしても構わない。その場合においても、少なくとも第１の絵画調画像に比べれば、絵画としての趣を確保しつつ、リアリティのある画像を得ることができる。 Further, in the case where the blurred image for synthesis is an image in which the entire image is subjected to blurring processing, the final painting-like image is used regardless of whether the original image is a photographed image such as a portrait. You may make it produce | generate the image which carried out the transmission synthetic | combination of the blurring image for a synthesis | combination which performed the blurring process on the whole image to one painting-like image. Even in that case, it is possible to obtain a realistic image while securing a taste as a painting as compared with at least the first painting-like image.
また、本実施形態においては、背景ぼけ画像の生成に際しにおいてぼかし処理を施さない顔領域を、頭髪部分を除く顔の輪郭によって囲まれる領域とする場合について説明した。しかし、顔領域は頭髪部分を含む領域としてもよいし、頭髪部分を含んだ顔部分を囲む矩形又は円形、楕円形等の特定領域としてもよい。 Further, in the present embodiment, a case has been described in which the face area that is not subjected to the blurring process in generating the background blurred image is the area surrounded by the outline of the face excluding the hair portion. However, the face region may be a region including the hair portion, or may be a specific region such as a rectangle, a circle, or an ellipse surrounding the face portion including the hair portion.
また、本実施形態においては、元画像データを第１の絵画調画像データに変換する絵画変換処理を行う絵画変換部１６を備えた構成について説明したが、言うまでもなく、本発明の実施に際しては、絵画変換部１６に代えて、制御部１２に絵画変換処理を行わせる構成を採用することもできる。
Moreover, in this embodiment, although the structure provided with the picture conversion part 16 which performs the picture conversion process which converts original image data into 1st picture-like image data was demonstrated, it cannot be overemphasized at the time of implementation of this invention. Instead of the picture conversion unit 16, a configuration in which the
また、本実施形態においては、主として撮影画像を絵画調画像に変換する場合について説明したが、本発明は、撮影画像を絵画調以外の任意の人工的な特徴を備えた画像に変換する場合にも適用することができる。なお、本発明において人工的な特徴とは、デジタルカメラ等により撮影されデジタルデータとして記録された撮影画像には表現されていない、撮影画像に意図的な加工を施すことによって得られる特徴である。 Further, in the present embodiment, the case where the photographed image is mainly converted into a picture-like image has been described. However, the present invention applies to a case where a photographed image is converted into an image having any artificial feature other than the picture-like image. Can also be applied. In the present invention, an artificial feature is a feature obtained by intentionally processing a shot image that is not represented in a shot image shot by a digital camera or the like and recorded as digital data.
また、ここでは画像サービスサイト１０を実現するサーバー１１に本発明を適用した場合について説明したが、本発明は、元画像を絵画調画像と初めとする人工的な所定の特徴を備えた種々の画像に変換することができる画像処理機能を備えたものであれば、任意の装置に適用することができる。任意の装置としては、例えばデジタルカメラや、デジタルカメラにより撮影された撮影画像を鑑賞用として表示することを主たる目的とするデジタルフォトフレーム、汎用的なパーソナルコンピュータ等が含まれる。
Further, although the case where the present invention is applied to the server 11 that implements the
以上、本発明の変形例等について説明したが、これらは本発明の作用効果が得られる範囲内であれば適宜変更が可能であり、変更後の実施形態も特許請求の範囲に記載された発明、及びその発明と均等の発明の範囲に含まれる。以下に、本出願の特許請求の範囲に記載された発明を付記する。
［請求項１］
撮影画像を、人工的な特徴を備えた第１の変換画像に変換する変換手段と、前記撮影画像の所定領域にぼけを生じさせた合成用のぼけ画像を生成するぼけ画像生成手段と、前記ぼけ画像生成手段により生成された前記ぼけ画像を所定の透過率で前記変換手段による変換後の第１の変換画像に透過合成することにより第２の変換画像を生成する透過合成手段とを備えたことを特徴とする画像処理装置。
［請求項２］
前記ぼけ画像生成手段は、前記撮影画像の所定領域にぼかし処理を施すことにより前記ぼけ画像を生成するぼかし手段を含むことを特徴とする請求項１記載の画像処理装置。
［請求項３］
前記ぼけ画像生成手段は、前記撮影画像からモノクロ画像を生成するモノクロ画像生成手段と、前記モノクロ画像生成手段により生成されたモノクロ画像の前記所定領域にぼかし処理を施すことにより前記ぼけ画像を生成するぼかし手段とを含むことを特徴とする請求項１記載の画像処理装置。
［請求項４］
前記撮影画像から特定の被写体に相当する被写体領域を検出する検出手段を備え、前記ぼかし手段は、前記検出手段により検出された被写体領域を除く背景領域のみにぼかし処理を施すことを特徴とする請求項２又は３記載の画像処理装置。
［請求項５］
前記検出手段は、前記被写体領域として任意の人物の顔に相当する領域を検出することを特徴とする請求項４記載の画像処理装置。
［請求項６］
前記ぼけ画像生成手段は、前記検出手段により前記撮影画像から特定の被写体に相当する被写体領域が検出されたことを条件として前記ぼけ画像を生成し、前記透過合成手段は、前記検出手段により前記撮影画像から特定の被写体に相当する被写体領域が検出されたことを条件として前記第２の変換画像を生成することを特徴とする請求項４又は５記載の画像処理装置。
［請求項７］
前記ぼけ画像生成手段は、前記ぼかし手段が画像にぼかし処理を施す際のぼかし強度を、前記変換手段による前記撮影画像の変換内容に応じて決定することを特徴とする請求項２乃至６いずれか記載の画像処理装置。
［請求項８］
前記透過合成手段は、前記所定の透過率を前記ぼけ画像の各画素の輝度に応じ画素毎に決定し、前記ぼけ画像を第１の変換画像に透過合成することを特徴とする請求項１乃至７いずれか記載の画像処理装置。
［請求項９］
前記透過合成手段は、前記所定の透過率を前記ぼけ画像の各画素の輝度と前記変換手段による前記撮影画像の変換内容とに応じ画素毎に決定し、前記ぼけ画像を第１の変換画像に透過合成することを特徴とする請求項８記載の画像処理装置。
［請求項１０］
前記透過合成手段は、前記所定の透過率を前記変換手段による前記撮影画像の変換内容に応じて決定し、前記ぼけ画像を第１の変換画像に透過合成することを特徴とする請求項１乃至７いずれか記載の画像処理装置。
［請求項１１］
前記第１の変換画像は特定の画調を有する絵画調画像であり、前記変換手段は前記撮影画像を前記絵画調画像に変換することを特徴とする請求項１乃至１０いずれか記載の画像処理装置。
［請求項１２］
撮影画像を、人工的な特徴を備えた第１の変換画像に変換する工程と、前記撮影画像の所定領域にぼけを生じさせた合成用のぼけ画像を生成する工程と、前記前記ぼけ画像を所定の透過率で前記第１の変換画像に透過合成することにより第２の変換画像を生成する工程とを含むことを特徴とする画像処理方法。
［請求項１３］
コンピュータに、撮影画像を、人工的な特徴を備えた第１の変換画像に変換する手順と、前記撮影画像の所定領域にぼけを生じさせた合成用のぼけ画像を生成する手順と、前記前記ぼけ画像を所定の透過率で前記第１の変換画像に透過合成することにより第２の変換画像を生成する手順とを実行させることを特徴とするプログラム。
As mentioned above, although the modification etc. of this invention were demonstrated, as long as these are in the range in which the effect of this invention is obtained, it can change suitably, Embodiment after change is also invention described in the claim And the scope of the invention equivalent to the invention. The invention described in the claims of the present application will be added below.
[Claim 1]
Conversion means for converting a captured image into a first converted image having an artificial feature; a blurred image generation means for generating a blurred image for synthesis in which a predetermined area of the captured image is blurred; A transmission composition unit for generating a second converted image by transmitting and synthesizing the blurred image generated by the blurred image generation unit with a first converted image after conversion by the conversion unit at a predetermined transmittance. An image processing apparatus.
[Claim 2]
The image processing apparatus according to claim 1, wherein the blur image generation unit includes a blur unit that generates the blur image by performing blur processing on a predetermined area of the captured image.
[Claim 3]
The blurred image generation means generates the blurred image by performing a blurring process on the predetermined area of the monochrome image generated by the monochrome image generation means and the monochrome image generation means that generates a monochrome image from the captured image. The image processing apparatus according to claim 1, further comprising a blurring unit.
[Claim 4]
A detection unit that detects a subject area corresponding to a specific subject from the photographed image is provided, and the blurring unit performs blurring processing only on a background region excluding the subject region detected by the detection unit. Item 4. The image processing apparatus according to Item 2 or 3.
[Claim 5]
The image processing apparatus according to claim 4, wherein the detection unit detects an area corresponding to a face of an arbitrary person as the subject area.
[Claim 6]
The blurred image generating means generates the blurred image on the condition that a subject area corresponding to a specific subject is detected from the photographed image by the detecting means, and the transmission composition means is configured to capture the photographing by the detecting means. 6. The image processing apparatus according to claim 4, wherein the second converted image is generated on the condition that a subject area corresponding to a specific subject is detected from the image.
[Claim 7]
The blur image generating unit determines a blur intensity when the blur unit performs a blur process on the image according to the conversion content of the photographed image by the conversion unit. The image processing apparatus described.
[Claim 8]
The transmission composition unit determines the predetermined transmittance for each pixel according to the luminance of each pixel of the blurred image, and transparently combines the blurred image with the first converted image. 7. The image processing device according to any one of 7.
[Claim 9]
The transmission composition unit determines the predetermined transmittance for each pixel according to the luminance of each pixel of the blurred image and the conversion content of the captured image by the conversion unit, and converts the blurred image into a first converted image. 9. The image processing apparatus according to claim 8, wherein the image processing apparatus performs transmission synthesis.
[Claim 10]
The transmission composition unit determines the predetermined transmittance according to the conversion content of the photographed image by the conversion unit, and transparently combines the blurred image with the first conversion image. 7. The image processing device according to any one of 7.
[Claim 11]
11. The image processing according to claim 1, wherein the first converted image is a picture-like image having a specific image tone, and the conversion unit converts the photographed image into the image-like image. apparatus.
[Claim 12]
Converting the captured image into a first converted image having an artificial feature; generating a blur image for synthesis in which a predetermined region of the captured image is blurred; and And a step of generating a second converted image by transmitting and synthesizing the first converted image with a predetermined transmittance.
[Claim 13]
A procedure for converting a captured image into a first converted image having an artificial feature in a computer, a procedure for generating a blurred image for synthesis in which a predetermined region of the captured image is blurred, A program for executing a procedure of generating a second converted image by transparently synthesizing a blurred image with the first converted image at a predetermined transmittance.
１１ サーバー
１２ 制御部
１４ 表示用バッファ
１６ 絵画変換部
１７ 画像記憶部
１８ プログラム記憶部
１００ ぼかし強度テーブル
Ｇ１ 元画像データ、元画像
Ｇ２ 第１の絵画調画像データ、第１の絵画調画像
Ｇ３ モノクロ画像データ
Ｇ４ 背景ぼけ画像データ、背景ぼけ画像
Ｇ５ α混合データ
Ｇ６ 第２の絵画調画像データ、第２の絵画調画像
11
Claims (13)
前記撮影画像の所定領域にぼけを生じさせた合成用のぼけ画像を生成するぼけ画像生成手段と、
前記ぼけ画像生成手段により生成された前記ぼけ画像を所定の透過率で前記変換手段による変換後の第１の変換画像に透過合成することにより第２の変換画像を生成する透過合成手段と
を備えたことを特徴とする画像処理装置。 Conversion means for converting a photographed image into a first converted image having an artificial feature;
A blurred image generating means for generating a blurred image for synthesis in which a predetermined area of the photographed image is blurred;
Transmission composition means for producing a second converted image by transparently synthesizing the blurred image generated by the blurred image generation means with the first converted image after conversion by the conversion means at a predetermined transmittance. An image processing apparatus characterized by that.
前記撮影画像からモノクロ画像を生成するモノクロ画像生成手段と、
前記モノクロ画像生成手段により生成されたモノクロ画像の前記所定領域にぼかし処理を施すことにより前記ぼけ画像を生成するぼかし手段と
を含むことを特徴とする請求項１記載の画像処理装置。 The blurred image generating means
Monochrome image generation means for generating a monochrome image from the captured image;
The image processing apparatus according to claim 1, further comprising: a blurring unit that generates the blurred image by performing a blurring process on the predetermined area of the monochrome image generated by the monochrome image generating unit.
前記ぼかし手段は、前記検出手段により検出された被写体領域を除く背景領域のみにぼかし処理を施す
ことを特徴とする請求項２又は３記載の画像処理装置。 Detecting means for detecting a subject area corresponding to a specific subject from the captured image;
The image processing apparatus according to claim 2, wherein the blurring unit performs a blurring process only on a background region excluding the subject region detected by the detection unit.
前記透過合成手段は、前記検出手段により前記撮影画像から特定の被写体に相当する被写体領域が検出されたことを条件として前記第２の変換画像を生成する
ことを特徴とする請求項４又は５記載の画像処理装置。 The blurred image generating means generates the blurred image on the condition that a subject area corresponding to a specific subject is detected from the captured image by the detecting means,
6. The translucent combining unit generates the second converted image on condition that a subject area corresponding to a specific subject is detected from the photographed image by the detecting unit. Image processing apparatus.
前記撮影画像の所定領域にぼけを生じさせた合成用のぼけ画像を生成する工程と、
前記前記ぼけ画像を所定の透過率で前記第１の変換画像に透過合成することにより第２の変換画像を生成する工程と
を含むことを特徴とする画像処理方法。 Converting the captured image into a first converted image having artificial features;
Generating a blurred image for synthesis in which a predetermined region of the captured image is blurred;
And a step of generating a second converted image by transparently combining the blurred image with the first converted image at a predetermined transmittance.
撮影画像を、人工的な特徴を備えた第１の変換画像に変換する手順と、
前記撮影画像の所定領域にぼけを生じさせた合成用のぼけ画像を生成する手順と、
前記前記ぼけ画像を所定の透過率で前記第１の変換画像に透過合成することにより第２の変換画像を生成する手順と
を実行させることを特徴とするプログラム。 On the computer,
A procedure for converting a captured image into a first converted image having an artificial feature;
A procedure for generating a blurred image for synthesis in which a predetermined region of the captured image is blurred;
A program for generating a second converted image by transparently synthesizing the blurred image with the first converted image at a predetermined transmittance.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011242576A JP5896204B2 (en) | 2011-11-04 | 2011-11-04 | Image processing apparatus and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011242576A JP5896204B2 (en) | 2011-11-04 | 2011-11-04 | Image processing apparatus and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2013098925A true JP2013098925A (en) | 2013-05-20 |
| JP5896204B2 JP5896204B2 (en) | 2016-03-30 |
Family
ID=48620382
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011242576A Expired - Fee Related JP5896204B2 (en) | 2011-11-04 | 2011-11-04 | Image processing apparatus and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5896204B2 (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018123413A1 (en) * | 2016-12-27 | 2018-07-05 | シャープ株式会社 | Image processing device, image printing device, imaging device, and image processing program |
| CN110516707A (en) * | 2019-07-19 | 2019-11-29 | 深圳力维智联技术有限公司 | A kind of image labeling method and its device, storage medium |
| WO2022019171A1 (en) * | 2020-07-20 | 2022-01-27 | ソニーグループ株式会社 | Information processing device, information processing method, and program |
| CN114037634A (en) * | 2021-11-25 | 2022-02-11 | 阿坝师范学院 | Oil painting style identification method based on image |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004303193A (en) * | 2003-03-20 | 2004-10-28 | Omron Corp | Image processor |
| JP2011166404A (en) * | 2010-02-09 | 2011-08-25 | Casio Computer Co Ltd | Image processing device, image processing method, image display method, and program |
-
2011
- 2011-11-04 JP JP2011242576A patent/JP5896204B2/en not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004303193A (en) * | 2003-03-20 | 2004-10-28 | Omron Corp | Image processor |
| JP2011166404A (en) * | 2010-02-09 | 2011-08-25 | Casio Computer Co Ltd | Image processing device, image processing method, image display method, and program |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018123413A1 (en) * | 2016-12-27 | 2018-07-05 | シャープ株式会社 | Image processing device, image printing device, imaging device, and image processing program |
| US11042724B2 (en) | 2016-12-27 | 2021-06-22 | Sharp Kabushiki Kaisha | Image processing device, image printing device, imaging device, and non-transitory medium |
| CN110516707A (en) * | 2019-07-19 | 2019-11-29 | 深圳力维智联技术有限公司 | A kind of image labeling method and its device, storage medium |
| WO2022019171A1 (en) * | 2020-07-20 | 2022-01-27 | ソニーグループ株式会社 | Information processing device, information processing method, and program |
| CN114037634A (en) * | 2021-11-25 | 2022-02-11 | 阿坝师范学院 | Oil painting style identification method based on image |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5896204B2 (en) | 2016-03-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9100678B2 (en) | Image display method, server, and image display system | |
| TWI325567B (en) | Method and system for enhancing portrait images that are processed in a batch mode | |
| EP1372109A2 (en) | Method and system for enhancing portrait images | |
| JP2003134352A (en) | Image processing method and apparatus, and program therefor | |
| US9098534B2 (en) | Image display system, image display method, social network service system, and computer-readable medium | |
| CN106530309A (en) | Video matting method and system based on mobile platform | |
| US9020255B2 (en) | Image processing apparatus, image processing method, and storage medium | |
| JP5569504B2 (en) | Image processing apparatus, image processing method, and program | |
| JP2007241424A (en) | Image processor and image processing method | |
| JP5896204B2 (en) | Image processing apparatus and program | |
| US20120250997A1 (en) | Image processing apparatus, image processing method, and storage medium | |
| JP2018014646A (en) | Image processing apparatus and image processing method | |
| CN112839167B (en) | Image processing method, device, electronic equipment and computer readable medium | |
| JP2004240622A (en) | Image processing method, image processor and image processing program | |
| KR100422470B1 (en) | Method and apparatus for replacing a model face of moving image | |
| JP4359662B2 (en) | Color image exposure compensation method | |
| JP3640897B2 (en) | Conversion program for painting-like images | |
| JP2013131077A (en) | Image processor, image processing method and program and image processing system | |
| KR20010102873A (en) | Method and system for generating an avatar of real-picture using finite image templates | |
| JP5050141B2 (en) | Color image exposure evaluation method | |
| KR20070096621A (en) | The system and method for making a caricature using a shadow plate | |
| JP5532004B2 (en) | Image processing apparatus, image processing method, and program | |
| JP2012134897A (en) | Image tone conversion method, image tone conversion device, image tone conversion system, and program | |
| Zavalishin et al. | Visually aesthetic image contrast enhancement | |
| JP2005301337A (en) | Apparatus and method for image processing, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20140702 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140826 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150528 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150616 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150730 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160204 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160217 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5896204 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |