JP7458281B2 - Color correction device and its program - Google Patents
Color correction device and its program Download PDFInfo
- Publication number
- JP7458281B2 JP7458281B2 JP2020164748A JP2020164748A JP7458281B2 JP 7458281 B2 JP7458281 B2 JP 7458281B2 JP 2020164748 A JP2020164748 A JP 2020164748A JP 2020164748 A JP2020164748 A JP 2020164748A JP 7458281 B2 JP7458281 B2 JP 7458281B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- face
- viewpoint
- color tone
- corrected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012937 correction Methods 0.000 title claims description 83
- 239000011159 matrix material Substances 0.000 claims description 94
- 230000009466 transformation Effects 0.000 claims description 42
- 239000013598 vector Substances 0.000 claims description 33
- 238000004364 calculation method Methods 0.000 claims description 32
- 230000015572 biosynthetic process Effects 0.000 claims description 27
- 238000003786 synthesis reaction Methods 0.000 claims description 27
- 238000006243 chemical reaction Methods 0.000 claims description 23
- 230000002194 synthesizing effect Effects 0.000 claims description 16
- 239000003550 marker Substances 0.000 claims description 7
- 230000000873 masking effect Effects 0.000 claims description 3
- 208000032443 Masked facies Diseases 0.000 claims description 2
- 235000019646 color tone Nutrition 0.000 description 68
- 238000010586 diagram Methods 0.000 description 12
- 238000000034 method Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 6
- 230000001815 facial effect Effects 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000002360 preparation method Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 241000711573 Coronaviridae Species 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
Description
本発明は、ディスプレイに表示されている人物の顔の色調を補正する色調補正装置及びそのプログラムに関する。 The present invention relates to a color tone correction device and program for correcting the color tone of a person's face displayed on a display.
昨今のコロナ禍により、あらゆる産業でリモートワークの必要性が高まっており、放送業界も例外でない。いくつかの番組では、ディスプレイ越しに出演者をリモート出演させており、番組制作が大きく変化している。つまり、リモート出演では、スタジオのディスプレイに表示されている出演者をカメラで撮影することになる。 The recent coronavirus pandemic has increased the need for remote work in all industries, and the broadcasting industry is no exception. In some programs, performers appear remotely through a display, which is a major change in program production. In other words, in remote appearances, the performers shown on the studio display are photographed using a camera.
ディスプレイ越しに出演者を撮影する場合、スタジオの出演者を直接撮影する場合に比べて、リフレッシュレート、輝度、モアレなどのディスプレイの特性により、大きく色調が変化する。つまり、同一の出演者をスタジオで直接撮影した場合とディスプレイ越しに撮影した場合とでは、テレビ画面上での見え方(色調)が大きく異なる。そこで、従来の番組制作では、ビデオエンジニアが、基準視点から見たディスプレイのパラメータを事前に調整し、色調の変化を抑える作業を行っている。 When photographing performers through a display, the color tone changes significantly due to display characteristics such as refresh rate, brightness, and moiré, compared to when photographing performers directly in a studio. In other words, the appearance (color tone) of the same performer on a TV screen will differ greatly between when the same performer is photographed directly in a studio and when photographed through a display. Therefore, in conventional program production, video engineers adjust the display parameters seen from a reference viewpoint in advance to suppress changes in color tone.
この他、スタジオにおいて、カメラ映像中の顔の色調を補正する手法が提案されている(特許文献1)。さらに、参照画像に他の撮影画像の色調を合わせる手法も提案されている(特許文献2)。 In addition, a method has been proposed for correcting the tone of a face in a camera image in a studio (Patent Document 1). Furthermore, a method has been proposed in which the color tone of another photographed image is matched to the reference image (Patent Document 2).
前記したように、ディスプレイの見え方が視線方向に依存するため、カメラが移動して別視点からディスプレイを撮影した場合、ディスプレイ越しの人物に色調の変化が発生する。しかし、ビデオエンジニアの作業では、ある基準視点だけでしか色調を補正できず、カメラが移動した後の別視点での色調の変化に対応できない。さらに、特許文献1,2に記載の発明では、肌検出を色情報という低レベルの特徴量に依存しており、画面全体で特定の色を他の色に変換することしかできず、カメラの移動には対応できない。
As mentioned above, because the way a display appears depends on the line of sight, if the camera moves to capture the display from a different viewpoint, a change in color tone will occur in the person seen through the display. However, the work of a video engineer can only correct color tone from a certain reference viewpoint, and cannot accommodate changes in color tone from a different viewpoint after the camera has moved. Furthermore, the inventions described in
本発明は、カメラが移動する場合でも、ディスプレイに表示されている人物の顔の色調を補正できる色調補正装置及びそのプログラムを提供することを課題とする。 An object of the present invention is to provide a color tone correction device and a program thereof that can correct the tone of a person's face displayed on a display even when the camera moves.
前記課題を解決するため、本発明に係る色調補正装置は、ディスプレイに表示されている人物の顔の色調を補正する色調補正装置であって、変換画像生成手段と、参照画像検索手段と、顔方向調整手段と、顔内側領域補正手段と、顔方向復元手段と、顔外側領域補正手段と、合成手段と、を備える構成とした。 In order to solve the above problems, a color tone correction device according to the present invention is a color tone correction device that corrects the color tone of a person's face displayed on a display. The present invention is configured to include a direction adjustment means, an inner face region correction means, a face direction restoration means, an outer face region correction means, and a compositing means.
変換画像生成手段は、ディスプレイの正対視点と正対視点から移動した別視点との関係を示す第1変換行列により、別視点でディスプレイを撮影した撮影画像を正対視点の変換画像に変換する。
参照画像検索手段は、所定の顔方向毎に顔の色調の基準となる参照画像群を予め設定し、変換画像に含まれる人物の顔方向を算出し、参照画像群の中から、算出した顔方向に最も近い参照画像を検索する。
顔方向調整手段は、変換画像と参照画像との顔方向の関係を示す第2変換行列により、変換画像の顔内側領域の方向が参照画像の顔方向に一致するように調整した顔方向調整画像を生成する。
The converted image generation means converts a photographed image of the display from a different viewpoint into a converted image of the directly facing viewpoint using a first transformation matrix indicating a relationship between a directly facing viewpoint of the display and another viewpoint moved from the directly facing viewpoint. .
The reference image search means presets a reference image group serving as a reference for the face tone for each predetermined face direction, calculates the face direction of the person included in the converted image, and selects the calculated face from among the reference image group. Find the reference image closest to the direction.
The face direction adjusting means adjusts the face direction adjusted image so that the direction of the inner face region of the converted image matches the face direction of the reference image using a second conversion matrix indicating the relationship between the face directions of the converted image and the reference image. generate.
顔内側領域補正手段は、ポアソン画像合成により、顔方向調整画像と参照画像とを合成することで、顔内側領域の色調を補正した顔内側領域補正画像を生成する。
顔方向復元手段は、第2変換行列の逆行列により、顔内側領域補正画像の顔方向が変換画像の顔方向に一致するように復元した顔方向復元画像を生成する。
顔外側領域補正手段は、ポアソン画像合成により、顔方向復元画像と変換画像とを合成することで、顔外側領域の色調を補正した顔外側領域補正画像を生成する。
合成手段は、顔外側領域補正画像に基づいて、人物の顔の色調を補正した色調補正画像を生成する。
The face inner region correction means generates a face inner region corrected image in which the color tone of the face inner region is corrected by composing the face direction adjusted image and the reference image by Poisson image synthesis.
The face direction restoring means generates a face direction restored image in which the face direction of the inner face region corrected image is restored to match the face direction of the converted image using an inverse matrix of the second transformation matrix.
The face outer region correction means generates a face outer region corrected image in which the color tone of the face outer region is corrected by synthesizing the face direction restored image and the converted image by Poisson image synthesis.
The synthesizing means generates a tone corrected image in which the tone of the person's face is corrected based on the face outer region corrected image.
かかる構成によれば、色調補正装置は、カメラが移動したときの顔方向に応じた参照画像を検索し、検索した参照画像を基準として、視聴者の注目を集めやすい人物の顔の色調を補正する。 According to this configuration, the color tone correction device searches for a reference image according to the direction of the face when the camera moves, and uses the searched reference image as a standard to correct the tone of the face of the person who tends to attract the viewer's attention. do.
また、前記課題を解決するため、本発明に係る色調補正装置は、ディスプレイに表示されている人物の顔の色調を補正する色調補正装置であって、変換画像生成手段と、参照画像検索手段と、色情報ベクトル取得手段と、変換行列算出手段と、色調補正手段と、合成手段と、を備える構成とした。 Moreover, in order to solve the above-mentioned problem, a color tone correction device according to the present invention is a color tone correction device that corrects the color tone of a person's face displayed on a display, and includes a converted image generation means, a reference image search means. , a color information vector acquisition means, a transformation matrix calculation means, a color tone correction means, and a composition means.
変換画像生成手段は、ディスプレイの正対視点と正対視点から移動した別視点との関係を示す第1変換行列により、別視点でディスプレイを撮影した撮影画像を正対視点の変換画像に変換する。
参照画像検索手段は、所定の顔方向毎に顔の色調の基準となる参照画像群を予め設定し、変換画像に含まれる人物の顔方向を算出し、参照画像群の中から、算出した顔方向に最も近い参照画像を検索する。
色情報ベクトル取得手段は、変換画像の顔内側領域から第1色情報の列ベクトルを取得し、参照画像の顔内側領域から第2色情報の列ベクトルを取得する。
The converted image generation means converts a photographed image of the display from a different viewpoint into a converted image of the directly facing viewpoint using a first transformation matrix indicating a relationship between a directly facing viewpoint of the display and another viewpoint moved from the directly facing viewpoint. .
The reference image search means presets a reference image group serving as a reference for the face tone for each predetermined face direction, calculates the face direction of the person included in the converted image, and selects the calculated face from among the reference image group. Find the reference image closest to the direction.
The color information vector acquisition means acquires a column vector of first color information from the inner face region of the converted image, and acquires a column vector of second color information from the inner face region of the reference image.
変換行列算出手段は、第1色情報の列ベクトルと第3変換行列との積が第2色情報の列ベクトルに等しくなる線形連立方程式を解くことで、第3変換行列を算出する。
色調補正手段は、第3変換行列により、変換画像の色調を補正する。
合成手段は、色調補正後の変換画像に基づいて、人物の顔の色調を補正した色調補正画像を生成する。
The transformation matrix calculation means calculates the third transformation matrix by solving simultaneous linear equations in which the product of the column vector of the first color information and the third transformation matrix is equal to the column vector of the second color information.
The tone correction means corrects the tone of the converted image using the third conversion matrix.
The synthesizing means generates a tone-corrected image in which the tone of the person's face is corrected based on the converted image after the tone correction.
かかる構成によれば、色調補正装置は、カメラが移動したときの顔方向に応じた参照画像を検索し、検索した参照画像を基準として、視聴者の注目を集めやすい人物の顔の色調を補正する。 According to this configuration, the color tone correction device searches for a reference image according to the direction of the face when the camera moves, and uses the searched reference image as a standard to correct the tone of the face of the person who tends to attract the viewer's attention. do.
なお、本発明は、コンピュータを、前記した色調補正装置として機能させるためのプログラムで実現することができる。 Note that the present invention can be realized by a program for causing a computer to function as the color tone correction device described above.
本発明によれば、カメラが移動する場合でも、ディスプレイに表示されている人物の顔の色調を補正することができる。 According to the present invention, even when the camera moves, the tone of the face of the person displayed on the display can be corrected.
以下、本発明の各実施形態について図面を参照して説明する。但し、以下に説明する各実施形態は、本発明の技術思想を具体化するためのものであって、特定的な記載がない限り、本発明を以下のものに限定しない。また、同一の手段には同一の符号を付し、説明を省略する場合がある。 Hereinafter, each embodiment of the present invention will be described with reference to the drawings. However, each embodiment described below is for embodying the technical idea of the present invention, and unless there is a specific description, the present invention is not limited to the following. Further, the same means may be denoted by the same reference numerals, and the description thereof may be omitted.
(第1実施形態)
[色調補正装置の構成]
図1及び図2を参照し、第1実施形態に係る色調補正装置1の構成について説明する。
色調補正装置1は、図1(a)に示すように、スタジオのディスプレイ91に表示されている出演者(人物)の顔の色調を補正するものである。すなわち、色調補正装置1は、ディスプレイ91越しにリモート出演している出演者の顔の色調を補正する。
(First embodiment)
[Configuration of color tone correction device]
The configuration of the color
The color
色調補正装置1では、以下の事前準備を行った後、出演者の顔の色調を補正する。本番前、カメラ90及びディスプレイ91を基準となる視点(例えば、後記する正対視点)に配置する。基準となる画像(例えば、グレースケール画像)を表示してディスプレイ91の色調を調整する。
The color
次に、ディスプレイ91に出演者を表示して、肌色の基準となる画像を撮影する。このとき、番組中に動かす様々な顔方向で出演者を一通り撮影する。この顔の色調の基準となる画像は、参照画像Ir(Ir1,…,Irn)と呼ばれる。そして、所定の顔方向毎の参照画像Irで構成された参照画像群を予め設定する。
Next, the performers are displayed on the
また、図1(b)に示すように、ディスプレイ91のフレームには、カメラ90に映るように4個以上のマーカ92を付けておく。このマーカ92は、後記するホモグラフィ変換を行うために付したものである。つまり、マーカ92は、ホモグラフィ行列に必要な点を確実に抽出できるように、ディスプレイ91のフレームに付けることが好ましい。本実施形態では、ディスプレイ91は、左右のフレームにそれぞれ4個、合計8個のマーカ92が付されていることとする。ここで、マーカ92は、それぞれの位置が一意に識別できればよく、例えば、二次元コード、ドットパターン又はカラーパターンであればよい。事前準備は、以上とおりである。
Further, as shown in FIG. 1B, four or
色調補正装置1は、図2に示すように、ホモグラフィ行列H算出手段(第1変換行列算出手段)10と、変換画像生成手段11と、ディスプレイ領域変換手段12と、参照画像検索手段13と、ホモグラフィ行列G算出手段14と、顔方向調整手段15と、顔内側領域補正手段16と、顔方向復元手段17と、顔外側領域補正手段18と、合成手段19とを備える。
As shown in FIG. 2, the color
ホモグラフィ行列H算出手段10は、図3(a)に示すように、マーカ92に基づいて、別視点の撮影画像Iが正対視点の変換画像Ihに変換されるようにホモグラフィ行列H(第1変換行列)を算出するものである。このホモグラフィ行列Hは、変換画像Ihを撮影したときの正対視点と、撮影画像Iを撮影したときの別視点と、の関係を示す。
3A, the homography matrix H calculation means 10 calculates a homography matrix H (first transformation matrix) so that a captured image I from a different viewpoint is transformed into a transformed image Ih from a frontal viewpoint based on the
なお、正対視点とは、カメラ90がディスプレイ91に正対するときの視点、つまり、カメラ90がディスプレイ91の正面に位置するときの視点である。図3(a)に示すように、この正対視点の画像を変換画像Ihとする。
また、別視点とは、カメラ90が正対視点から移動したときの視点である。この別視点でディスプレイ91を撮影した画像を撮影画像Iとする。
Note that the front viewpoint is a viewpoint when the
Further, the different viewpoint is a viewpoint when the
例えば、ホモグラフィ行列H算出手段10は、別視点の撮影画像Iが外部(例えば、カメラ90)から入力され、入力された撮影画像Iからマーカ92を検出する。そして、ホモグラフィ行列H算出手段10は、検出したマーカ92が参照画像Irと同じ位置になるようにホモグラフィ行列Hを算出する。
その後、ホモグラフィ行列H算出手段10は、算出したホモグラフィ行列H及び撮影画像Iを変換画像生成手段11及びディスプレイ領域変換手段12に出力する。
For example, the homography matrix H calculation means 10 receives a photographed image I from a different viewpoint from the outside (for example, a camera 90), and detects the
Thereafter, the homography matrix H calculation means 10 outputs the calculated homography matrix H and photographed image I to the converted image generation means 11 and the display area conversion means 12.
変換画像生成手段11は、図3(b)に示すように、ホモグラフィ行列Hにより、別視点での撮影画像Iを正対視点の変換画像Ihに変換するものである。ここで、変換画像生成手段11は、撮影画像Iをホモグラフィ行列Hで変換(例えば、ホモグラフィ変換)することで、正対視点の変換画像Ih=HI生成する。 3B, the converted image generating means 11 converts a captured image I from a different viewpoint into a converted image Ih from a frontal viewpoint by using a homography matrix H. Here, the converted image generating means 11 converts the captured image I by the homography matrix H (for example, homography transformation) to generate a converted image Ih =HI from a frontal viewpoint.
その後、変換画像生成手段11は、生成した変換画像Ihを参照画像検索手段13に出力する。
なお、変換画像生成手段11は、変換画像Ihと同様、前段の手段から入力された全情報(例えば、撮影画像I、ホモグラフィ行列H)も後段の手段に出力する。この点、以後の各手段も同様のため、説明を省略する。
Thereafter, the converted image generation means 11 outputs the generated converted image Ih to the reference image search means 13.
Note that the converted image generation means 11 also outputs all information input from the preceding means (for example, photographed image I, homography matrix H) to the subsequent means, as well as the converted image Ih. In this respect, each subsequent means is also the same, so the explanation will be omitted.
ディスプレイ領域変換手段12は、図4に示すように、正対視点の変換画像Ihにディスプレイ領域Dhを予め設定し、逆ホモグラフィ行列H-1により、正対視点のディスプレイ領域Dhを別視点のディスプレイ領域Dに変換するものである。つまり、ディスプレイ領域変換手段12は、正対視点でのディスプレイ領域Dhが既知のものとして入力され、逆ホモグラフィ行列H-1により、別視点の撮影画像I上のディスプレイ領域D=H-1Dhを算出する。なお、図4では、白色で図示した領域が、映像に含まれるディスプレイ91の領域を示すディスプレイ領域D,Dhである。
その後、ディスプレイ領域変換手段12は、変換したディスプレイ領域Dを合成手段19に出力する。
As shown in FIG. 4, the display area converting means 12 presets a display area D h in the converted image I h at the directly facing viewpoint, and converts the display area D h at the directly facing viewpoint using the inverse homography matrix H -1 . This is to convert the display area D to a different viewpoint. In other words, the display area converting means 12 receives the display area D h at the front viewpoint as a known one, and uses the inverse homography matrix H -1 to calculate the display area D on the photographed image I from another viewpoint D = H -1. Calculate D h . Note that in FIG. 4, the areas shown in white are display areas D and Dh indicating areas of the
Thereafter, the display area converting means 12 outputs the converted display area D to the combining means 19.
参照画像検索手段13は、前記した参照画像群を予め設定し、変換画像Ihに含まれる出演者の顔方向を算出し、参照画像群の中から、算出した顔方向に最も近い参照画像I*
rを検索するものである。例えば、参照画像検索手段13は、図5に示すように、変換画像Ihに既知の顔検出及びモデル化手法を適用し、顔メッシュを生成する(参考文献1)。なお、図5では、図面を見やすくするため、出演者の顔を破線で図示した。そして、参照画像検索手段13は、顔メッシュから全体的な顔方向を算出し、参照画像群の中で最も類似する顔方向の参照画像I*
rを検索する(参考文献2,3)。さらに、参照画像検索手段13は、変換画像Ihと同様、参照画像I*
rからも顔メッシュを生成する。
その後、参照画像検索手段13は、検索した参照画像I*
r、参照画像I*
r及び変換画像Ihの顔メッシュをホモグラフィ行列G算出手段14に出力する。
The reference image search means 13 sets the reference image group described above in advance, calculates the face direction of the performer included in the converted image Ih , and selects the reference image I closest to the calculated face direction from the reference image group. * This is to search for r . For example, as shown in FIG. 5, the reference image search means 13 applies a known face detection and modeling method to the converted image Ih to generate a face mesh (Reference Document 1). In addition, in FIG. 5, the faces of the performers are illustrated with broken lines in order to make the drawing easier to see. Then, the reference image search means 13 calculates the overall face direction from the face mesh, and searches for the reference image I * r with the most similar face direction among the reference image group (References 2 and 3). Further, the reference image search means 13 generates a face mesh from the reference image I * r as well as from the converted image Ih .
Thereafter, the reference image search means 13 outputs the face mesh of the searched reference image I * r , reference image I * r , and converted image Ih to the homography matrix G calculation means 14.
参考文献1:[online]、[令和2年9月11日検索]、インターネット〈URL:https://www.geeksforgeeks.org/opencv-facial-landmarks-and-face-detection-using-dlib-and-opencv/〉
参考文献2:[online]、[令和2年9月11日検索]、インターネット〈URL:https://www.learnopencv.com/head-pose-estimation-using-opencv-and-dlib/>
参考文献3:[online]、[令和2年9月11日検索]、インターネット〈URL:https://github.com/yinguobing/head-pose-estimation>
Reference 1: [online], [searched on September 11, 2020], Internet <URL: https://www.geeksforgeeks.org/opencv-facial-landmarks-and-face-detection-using-dlib- and-opencv/〉
Reference 2: [online], [searched on September 11, 2020], Internet <URL: https://www.learnopencv.com/head-pose-estimation-using-opencv-and-dlib/>
Reference 3: [online], [searched on September 11, 2020], Internet <URL: https://github.com/yinguobing/head-pose-estimation>
ホモグラフィ行列G算出手段14は、変換画像Ihと参照画像I*
rとの顔方向の関係を示すホモグラフィ行列G(第2変換行列)を算出するものである。ここでは、変換画像Ih及び参照画像I*
rは、ディスプレイ領域の内側が十分に類似しているものとする。図6に示すように、ホモグラフィ行列G算出手段14は、変換画像Ihの顔メッシュから、顔輪郭の内側で目鼻に被らない境界点列を抽出し、各境界点を結んだ境界∂Ωhを生成する。また、ホモグラフィ行列G算出手段14は、参照画像I*
rの顔メッシュから、顔輪郭の内側で目鼻に被らない境界点列を抽出し、各境界点を結んだ境界∂Ωrを生成する。そして、ホモグラフィ行列G算出手段14は、境界∂Ωh,∂Ωrそれぞれを構成している点列が最小誤差で変換されるように、ホモグラフィ行列Gを算出する。この場合、境界∂Ωr,∂Ωhは、ホモグラフィ行列Gを用いて、以下の式(1)の関係式を近似的に満たすことになる。
∂Ωr≒∂Ωgh=G∂Ωg (1)
The homography matrix G calculation means 14 calculates a homography matrix G (second transformation matrix) indicating the relationship between the face directions of the transformed image Ih and the reference image I * r . Here, it is assumed that the transformed image Ih and the reference image I * r are sufficiently similar inside the display area. As shown in FIG. 6, the homography matrix G calculating means 14 extracts a sequence of boundary points that are inside the face contour and do not overlap the eyes and nose from the face mesh of the converted image Ih , and extracts a sequence of boundary points that do not overlap the eyes and nose, and bounds ∂ which connects each boundary point. Ω h is generated. Further, the homography matrix G calculation means 14 extracts a sequence of boundary points that are inside the face contour and do not overlap the eyes and nose from the face mesh of the reference image I * r , and generates a boundary ∂Ω r connecting each boundary point. do. Then, the homography matrix G calculation means 14 calculates the homography matrix G so that the point sequences forming each of the boundaries ∂Ω h and ∂Ω r are transformed with a minimum error. In this case, the boundaries ∂Ω r and ∂Ω h approximately satisfy the following relational expression (1) using the homography matrix G.
∂Ω r ≒∂Ω gh =G∂Ω g (1)
その後、ホモグラフィ行列G算出手段14は、算出したホモグラフィ行列G、境界∂Ωr,∂Ωhを顔方向調整手段15に出力する。 Thereafter, the homography matrix G calculation means 14 outputs the calculated homography matrix G and the boundaries ∂Ω r and ∂Ω h to the face direction adjustment means 15 .
顔方向調整手段15は、前記したホモグラフィ行列Gにより、変換画像Ihの顔内側領域の方向が参照画像I*
rの顔方向に一致するように調整した顔方向調整画像Ighを生成するものである。図6に示すように、顔方向調整手段15は、ホモグラフィ行列Gで変換画像Ihを変換することで、顔方向調整画像Ighを生成する。なお、変換画像Ihの顔内側領域とは、境界∂Ωhの内側領域である。
その後、顔方向調整手段15は、生成した顔方向調整画像Ighを顔内側領域補正手段16に出力する。
The face direction adjustment means 15 generates a face direction adjusted image Igh by adjusting the direction of the face inner region of the transformed image Ih so that it coincides with the face direction of the reference image I * r using the homography matrix G. As shown in Fig. 6, the face direction adjustment means 15 generates the face direction adjusted image Igh by transforming the transformed image Ih using the homography matrix G. The face inner region of the transformed image Ih is the region inside the boundary ∂Ωh .
Thereafter, the face direction adjustment means 15 outputs the generated face direction adjusted image Igh to the face inner area correction means 16 .
顔内側領域補正手段16は、ポアソン画像合成により、顔方向調整画像Ighと参照画像I* rとを合成することで、顔内側領域の色調を補正した顔内側領域補正画像Ip ghを生成するものである。 The inner face region correction means 16 generates an inner face region corrected image I p gh in which the color tone of the inner face region is corrected by combining the face direction adjusted image I gh and the reference image I * r by Poisson image synthesis . It is something to do.
ポアソン画像合成(Poisson Image Editing)とは、画像を切り貼りするとき、画像の境界をシームレスに接続するように加工を行う技術である(参考文献4)。
参考文献4:P. Perez, M. Gangnet, A. Blake (2003), “Poisson image editing”, ACM Transactions on Graphics (SIGGRAPH'03) 22 (3): pp.313-318
Poisson Image Editing is a technique that processes images so that the boundaries of the images are seamlessly connected when cutting and pasting images (Reference Document 4).
Reference 4: P. Perez, M. Gangnet, A. Blake (2003), “Poisson image editing”, ACM Transactions on Graphics (SIGGRAPH'03) 22 (3): pp.313-318
このポアソン画像合成では、対象画素の4近傍の勾配を拘束条件として、上下左右方向の勾配誤差を最小化することで最適な画素値を算出する。このとき、ポアソン画像合成では、計算対象の画素をマスキングによって指定する。つまり、ポアソン画像合成は、以下の式(2)に示すように、色調変換の対象画像であるターゲット画像Itarget、色調変換の参照画像であるリファレンス画像Ireference、マスキング領域を指定したマスク画像Imaskを入力とし、合成画像Ioutを出力するという非線形変換fで定式化できる。
Iout=f(Itarget,Ireference,Imask) (2)
In this Poisson image synthesis, the optimum pixel value is calculated by minimizing gradient errors in the vertical and horizontal directions using the gradients of the four neighborhoods of the target pixel as a constraint condition. At this time, in Poisson image synthesis, pixels to be calculated are specified by masking. In other words, in Poisson image synthesis, as shown in Equation (2) below, a target image I target which is a target image for tone conversion, a reference image I reference which is a reference image for tone conversion, and a mask image I specifying a masking area are used. It can be formulated as a nonlinear transformation f that inputs mask and outputs a composite image Iout .
Iout =f( Itarget , Ireference , Imask ) (2)
前記した式(1)より、境界∂Ωghは、参照画像I*
r上で近似的に目鼻を囲んだ境界と等しくなる。図7に示すように、顔内側領域補正手段16は、境界∂Ωghの内側領域、つまり、顔内側領域をマスキングしたマスク画像Mghを生成する。そして、顔内側領域補正手段16は、参照画像I*
rの顔内側領域を顔方向調整画像Ighに差し替えて、ポアソン画像合成を施す。顔内側領域補正手段16でのポアソン画像合成は、以下の式(3)で表される。
Ip
gh=f(Igh,I*
r,Mgh) (3)
According to the above equation (1), the boundary ∂Ω gh is equal to the boundary approximately surrounding the eye and nose on the reference image I * r . As shown in FIG. 7, the inner face region correction means 16 generates a mask image M gh in which the inner region of the boundary ∂Ω gh , that is, the inner face region is masked. Then, the face inner region correction means 16 replaces the face inner region of the reference image I * r with the face direction adjusted image Igh , and performs Poisson image synthesis. Poisson image synthesis by the face inner area correction means 16 is expressed by the following equation (3).
I p gh = f (I gh , I * r , M gh ) (3)
これにより、顔内側領域補正手段16は、境界∂Ωghで顔方向調整画像Ighと参照画像I*
rとをシームレスに合成できる。その結果、顔方向調整画像Ighは、参照画像I*
rの局所的色調の影響を強く受けた顔内側領域補正画像Ip
ghとして合成される。
その後、顔内側領域補正手段16は、生成した顔内側領域補正画像Ip
ghを顔方向復元手段17に出力する。
Thereby, the face inner region correction means 16 can seamlessly combine the face direction adjusted image I gh and the reference image I * r at the boundary ∂Ω gh . As a result, the face direction adjusted image I gh is synthesized as a face inner region corrected image I p gh that is strongly influenced by the local tone of the reference image I * r .
Thereafter, the inner face region correction means 16 outputs the generated inner face region corrected image I p gh to the face direction restoration means 17 .
顔方向復元手段17は、逆ホモグラフィ行列G-1により、顔内側領域補正画像Ip
ghの顔方向が変換画像Ihの顔方向に一致するように復元した顔方向復元画像Ip
hを生成するものである。図8に示すように、顔方向復元手段17は、逆ホモグラフィ行列G-1で顔内側領域補正画像Ip
ghを変換することで、顔方向復元画像Ip
hを生成する。
その後、顔方向復元手段17は、生成した顔方向復元画像Ip
hを顔外側領域補正手段18に出力する。
The face direction restoring means 17 restores the face direction restored image I p h using the inverse homography matrix G −1 so that the face direction of the face inner region corrected image I p gh matches the face direction of the converted image I h . It is something that generates. As shown in FIG. 8, the face direction restoring means 17 generates the face direction restored image I p h by converting the face inner region corrected image I p gh using the inverse homography matrix G −1 .
Thereafter, the face direction restoring means 17 outputs the generated face direction restored image I p h to the face outer
顔外側領域補正手段18は、ポアソン画像合成により、顔方向復元画像Ip
hと変換画像Ihとを合成することで、顔外側領域の色調を補正した顔外側領域補正画像Iq
hを生成するものである。図9に示すように、顔外側領域補正手段18は、境界∂Ωhの外側領域、つまり、顔外側領域をマスキングしたマスク画像Mhを生成する。そして、顔外側領域補正手段18は、顔方向復元画像Ip
hの顔外側領域を変換画像Ihに差し替えて、ポアソン画像合成を施す。顔外側領域補正手段18でのポアソン画像合成は、以下の式(4)で表される。
Iq
h=f(Ih,Ip
h,Mh) (4)
The face outer region correction means 18 generates a face outer region corrected image I q h in which the color tone of the face outer region is corrected by synthesizing the face direction restored image I p h and the converted image I h by Poisson image synthesis. It is something to do. As shown in FIG. 9, the face outer region correction means 18 generates a mask image M h in which the outer face region, that is, the outer face region, is masked. Then, the face outer region correction means 18 replaces the face outer region of the face direction restored image I p h with the converted image I h , and performs Poisson image synthesis. Poisson image synthesis by the face outer region correction means 18 is expressed by the following equation (4).
I q h = f (I h , I ph , M h ) (4)
その後、顔外側領域補正手段18は、生成した顔外側領域補正画像Iq hを合成手段19に出力する。 Thereafter, the face outer region correction means 18 outputs the generated face outer region corrected image I q h to the composition means 19 .
合成手段19は、顔外側領域補正画像Iq
hに基づいて、出演者の顔の色調を補正した色調補正画像を生成するものである。具体的には、合成手段19は、逆ホモグラフィ行列H-1により、顔外側領域補正画像Iq
hを別視点の顔外側領域補正画像Iqに変換する。この顔外側領域補正画像Iqは、画像全体の色調が補正されている。そこで、合成手段19は、別視点の顔外側領域補正画像Iqをディスプレイ領域Dでマスクする。さらに、合成手段19は、マスクした顔外側領域補正画像Iqと撮影画像Iとを合成することで、ディスプレイ領域Dの内側のみ色調が補正された色調補正画像を生成する。
その後、合成手段19は、生成した色調補正画像を外部(例えば、スイッチャ)に出力する。
The synthesizing means 19 generates a tone corrected image in which the tone of the performer's face is corrected based on the face outer region corrected image I q h . Specifically, the synthesizing means 19 converts the face outer region corrected image I q h into a face outer region corrected image I q from a different viewpoint using the inverse homography matrix H −1 . In this face outer region corrected image Iq , the color tone of the entire image has been corrected. Therefore, the synthesizing means 19 masks the face outer region corrected image Iq from another viewpoint with the display area D. Further, the synthesizing means 19 synthesizes the masked face outer region corrected image Iq and the photographed image I to generate a tone corrected image in which only the tone inside the display area D is corrected.
Thereafter, the synthesizing means 19 outputs the generated tone-corrected image to the outside (for example, a switcher).
[色調補正装置の動作]
図10を参照し、色調補正装置1の動作について説明する。
図10に示すように、ステップS0において、色調補正装置1は、事前準備を行う。
ステップS1において、ホモグラフィ行列H算出手段10は、マーカ92からホモグラフィ行列Hを算出する。
ステップS2において、変換画像生成手段11は、ホモグラフィ行列Hで変換画像Ihを生成する。
ステップS3において、ディスプレイ領域変換手段12は、逆ホモグラフィ行列H-1でディスプレイ領域Dを生成する。
なお、ステップS2,S3の処理は、並列で実行できる。
[Operation of color tone correction device]
The operation of the color
As shown in FIG. 10, in step S0, the color
In step S1, the homography matrix H calculation means 10 calculates the homography matrix H from the
In step S2, the transformed image generation means 11 generates a transformed image Ih using the homography matrix H.
In step S3, the display area conversion means 12 generates the display area D using the inverse homography matrix H -1 .
Note that the processes in steps S2 and S3 can be executed in parallel.
ステップS4において、参照画像検索手段13は、顔メッシュを生成し、参照画像I*
rを検索する。
ステップS5において、ホモグラフィ行列G算出手段14は、ホモグラフィ行列Gを算出する。
ステップS6において、顔方向調整手段15は、ホモグラフィ行列Gで顔方向調整画像Ighを生成する。
ステップS7において、顔内側領域補正手段16は、ポアソン画像合成により、顔内側領域の色調を補正する。
In step S4, the reference image search means 13 generates a face mesh and searches for the reference image I * r .
In step S5, the homography matrix G calculation means 14 calculates the homography matrix G.
In step S6, the face direction adjusting means 15 generates a face direction adjusted image Igh using the homography matrix G.
In step S7, the face inner region correction means 16 corrects the color tone of the face inner region by Poisson image synthesis.
ステップS8において、顔方向復元手段17は、逆ホモグラフィ行列G-1で顔方向復元画像Ip
hを生成する。
ステップS9において、顔外側領域補正手段18は、ポアソン画像合成により、顔外側領域の色調を補正する。
ステップS10において、合成手段19は、逆ホモグラフィ行列H-1で顔外側領域補正画像Iqを生成する。
ステップS11において、合成手段19は、ディスプレイ領域Dをマスクとして、撮影画像Iと合成する。
In step S8, the face direction restoring means 17 generates a face direction restored image I p h using the inverse homography matrix G −1 .
In step S9, the face outer region correction means 18 corrects the color tone of the face outer region by Poisson image synthesis.
In step S10, the synthesizing means 19 generates the facial outer region corrected image Iq using the inverse homography matrix H -1 .
In step S11, the synthesizing means 19 synthesizes with the photographed image I using the display area D as a mask.
[作用・効果]
以上のように、色調補正装置1は、カメラ90が移動したときの顔方向に応じた参照画像I*
rを検索し、検索した参照画像I*
rを基準として、視聴者が注目しやすい出演者の顔の色調を補正する。
さらに、色調補正装置1は、顔内側領域と顔外側領域の二段階でポアソン画像合成を適用するので、顔を基準として高精度に色調を補正できる。
[Action/Effect]
As described above, the color
Further, since the color
テレビ番組において出演者がディスプレイ越しにリモート出演する場合、ディスプレイ越しに映る色調がスタジオ内の色調とズレが生じて不自然になる場合がある。このような場合でも、色調補正装置1は、テレビ番組においてディスプレイ越しの出演者とスタジオ中の出演者とを合成できる。
When performers perform remotely through a display in a television program, the color tone displayed through the display may deviate from the color tone in the studio, resulting in an unnatural appearance. Even in such a case, the color
ここで、ニューラルネットワークを用いて色調を補正する手法も考えられる。ニューラルネットワークでは、色調の変換を予め学習させる必要性があり、学習素材の取得コスト及び学習コスト、学習素材から離れた素材が入力されたときに誤変換する可能性が高くなってしまう。しかし、色調補正装置1では、このような問題が生じない。
Here, a method of correcting the color tone using a neural network may also be considered. In a neural network, it is necessary to learn color tone conversion in advance, which increases the acquisition cost and learning cost of learning materials, and the possibility of erroneous conversion when inputting materials that are far from the learning materials. However, in the color
なお、第1実施形態では、顔内側領域にポアソン画像合成を適用した後、顔外側領域にポアソン画像合成を適用する二段階処理として説明した。実際には、一段階目のポアソン画像合成の途中から二段階目のポアソン画像合成を並行処理することもできる。一段階目のポアソン画像合成で、境界∂Ωghから数ピクセル分内側の領域の処理が終われば、その画素情報を境界条件として二段階目の処理を開始できる。このような並列処理により、色調補正装置1は、高速化を図ることができる。
In the first embodiment, a two-stage process has been described in which Poisson image synthesis is applied to the inner face region, and then to the outer face region. In practice, the second stage of Poisson image synthesis can be processed in parallel from the middle of the first stage of Poisson image synthesis. Once the first stage of Poisson image synthesis has completed processing of the region several pixels inside the boundary ∂Ω gh , the second stage of processing can be started with the pixel information as a boundary condition. This type of parallel processing allows the
(第2実施形態)
[色調補正装置の構成]
図11を参照し、第2実施形態に係る色調補正装置1Bの構成について、第1実施形態と異なる点を説明する。
第1実施形態では、ポアソン画像合成を顔内側領域と顔外側領域との2段階で適用しているが、第2実施形態では、全体的な色調補正のみを行う点が第1実施形態と異なる。
Second Embodiment
[Configuration of Color Tone Correction Device]
With reference to FIG. 11, the configuration of a
In the first embodiment, Poisson image synthesis is applied in two stages to the inner face region and the outer face region, but the second embodiment differs from the first embodiment in that only overall color correction is performed.
色調補正装置1Bは、図11に示すように、ホモグラフィ行列H算出手段10と、変換画像生成手段11と、ディスプレイ領域変換手段12と、参照画像検索手段13と、色情報ベクトル取得手段20と、変換行列算出手段21と、色調補正手段22と、合成手段23とを備える。
なお、ホモグラフィ行列H算出手段10、変換画像生成手段11、ディスプレイ領域変換手段12及び参照画像検索手段13は、第1実施形態と同様のため、説明を省略する。
As shown in FIG. 11, the color
Note that the homography matrix H calculation means 10, the converted image generation means 11, the display area conversion means 12, and the reference image search means 13 are the same as those in the first embodiment, so their explanations will be omitted.
色情報ベクトル取得手段20は、変換画像Ihの顔内側領域∂Ωhから第1色情報の列ベクトルVhを取得し、参照画像I*
rの顔内側領域∂Ω*から第2色情報の列ベクトルV*を取得するものである。
以後、変換画像Ihの顔内側領域を変換元領域と呼び、参照画像I*
rの顔内側領域を変換先領域と呼ぶ場合がある。
The color information vector acquisition means 20 acquires a column vector V h of first color information from the inner face region ∂Ω h of the converted image I h , and obtains a column vector V h of first color information from the inner face region ∂Ω * of the reference image I * r . This is to obtain the column vector V * .
Hereinafter, the inner face region of the converted image Ih may be referred to as a source region, and the inner face region of the reference image I * r may be referred to as a destination region.
具体的には、色情報ベクトル取得手段20は、列ベクトルV*,Vhが属する変換元領域及び変換先領域の画素から、n個の色情報ベクトルv*,vhをランダムサンプリングする。この色情報ベクトルv*,vhは、RGBの3次元で表される。そして、色情報ベクトル取得手段20は、n個の色情報ベクトルv*,vhで構成されている色情報の列ベクトルV*=(v*
1,…,v*
n),Vh=(vh1,…,vhn)を生成する。
その後、色情報ベクトル取得手段20は、生成した色情報の列ベクトルVh,V*を変換行列算出手段21に出力する。
Specifically, the color information vector acquisition means 20 randomly samples n color information vectors v * , vh from the pixels of the conversion source area and conversion destination area to which the column vectors V * , Vh belong. The color information vectors v * and vh are expressed in three dimensions of RGB. Then, the color information vector acquisition means 20 acquires a color information column vector V * = (v * 1 ,...,v * n ) , Vh =( v h1 ,..., v hn ).
Thereafter, the color information vector acquisition means 20 outputs the generated color information column vectors V h , V * to the transformation matrix calculation means 21 .
変換行列算出手段21は、第1色情報の列ベクトルVhと変換行列(第3変換行列)Aとの積が第2色情報の列ベクトルV*に等しくなる線形連立方程式を解くことで、変換行列Aを算出するものである。例えば、変換行列算出手段21は、線形連立方程式V*=AVhを生成し、生成した線形連立方程式を近似的に満たす変換行列Aを最小二乗法で算出する。
その後、色情報ベクトル取得手段20は、算出した変換行列Aを色調補正手段22に出力する。
The transformation matrix calculation means 21 solves a simultaneous linear equation in which the product of the column vector V h of the first color information and the transformation matrix (third transformation matrix) A is equal to the column vector V * of the second color information. This is to calculate the transformation matrix A. For example, the transformation matrix calculation means 21 generates the linear simultaneous equations V * =AV h , and calculates the transformation matrix A that approximately satisfies the generated linear simultaneous equations by the least squares method.
Thereafter, the color information vector acquisition means 20 outputs the calculated transformation matrix A to the color tone correction means 22.
色調補正手段22は、変換行列Aにより、変換画像Ihの色調を補正するものである。具体的には、色調補正手段22は、変換行列Aを用いて、変換画像Ihの全画素の画素値を変換する。
その後、色情報ベクトル取得手段20は、色調を補正後の変換画像Ihを合成手段23に出力する。
The tone correction means 22 corrects the tone of the converted image Ih using the conversion matrix A. Specifically, the color tone correction means 22 uses the conversion matrix A to convert the pixel values of all pixels of the converted image Ih .
Thereafter, the color information vector acquisition means 20 outputs the converted image I h after the color tone has been corrected to the composition means 23 .
合成手段23は、色調補正後の変換画像Ihに基づいて、出演者の顔の色調を補正した色調補正画像を生成するものである。なお、合成手段23は、第1実施形態と同様の手法で色調補正画像を生成できるので、これ以上の説明を省略する。 The synthesizing means 23 generates a tone-corrected image in which the tone of the performer's face is corrected based on the converted image Ih after the tone correction. Note that the synthesis means 23 can generate the tone-corrected image using the same method as in the first embodiment, so further explanation will be omitted.
[色調補正装置の動作]
図12を参照し、色調補正装置1Bの動作について説明する。
なお、ステップS0~S4の処理は、第1実施形態と同様のため、説明を省略する。
[Operation of color tone correction device]
The operation of the color
Note that the processing in steps S0 to S4 is the same as that in the first embodiment, so a description thereof will be omitted.
ステップS20において、色情報ベクトル取得手段20は、変換先領域から第2色情報の列ベクトルV*をランダムサンプリングする。
ステップS21において、色情報ベクトル取得手段20は、変換元領域から第1色情報の列ベクトルVhをランダムサンプリングする。
ステップS22において、変換行列算出手段21は、線形連立方程式V*=AVhを生成する。
In step S20, the color information vector acquisition means 20 randomly samples the second color information column vector V * from the conversion destination area.
In step S21, the color information vector acquisition means 20 randomly samples the first color information column vector Vh from the conversion source area.
In step S22, the transformation matrix calculation means 21 generates linear simultaneous equations V * =AV h .
ステップS23において、変換行列算出手段21は、線形連立方程式V*=AVhを解き、変換行列Aを算出する。
ステップS24において、色調補正手段22は、変換行列Aを用いて、変換画像Ihの全画素の色調を変換する。
ステップS25において、合成手段23は、ディスプレイ領域Dをマスクとして、撮影画像Iと合成する。
In step S23, the transformation matrix calculation means 21 solves the linear simultaneous equations V * = AVh to calculate the transformation matrix A.
In step S24, the color tone correction means 22 uses the transformation matrix A to transform the color tones of all the pixels of the transformed image Ih .
In step S25, the synthesizing means 23 synthesizes the captured image I with the display area D as a mask.
[作用・効果]
以上のように、色調補正装置1Bは、カメラ90が移動したときの顔方向に応じた参照画像I*
rを検索し、検索した参照画像I*
rを基準として、視聴者が注目しやすい出演者の顔の色調を補正する。
さらに、色調補正装置1Bは、変換画像Ihの全画素を一括で変換できるので、画素毎の逐次処理が必要なポアソン画像合成に比べ、処理の高速化を図ることができる。
[Action/Effect]
As described above, the color
Furthermore, since the color
以上、本発明の実施形態を詳述してきたが、本発明はこれに限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更なども含まれる。 Although the embodiments of the present invention have been described in detail above, the present invention is not limited thereto, and may include design changes within a range that does not depart from the gist of the present invention.
本発明は、コンピュータが備えるCPU、メモリ、ハードディスク等のハードウェア資源を、前記した色調補正装置として動作させるプログラムで実現することもできる。これらのプログラムは、通信回線を介して配布してもよく、CD-ROMやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。 The present invention can also be realized by a program that causes hardware resources such as a CPU, memory, and hard disk included in a computer to operate as the above-mentioned color tone correction device. These programs may be distributed via communication lines, or may be written and distributed on recording media such as CD-ROMs and flash memories.
例えば、本発明は、制作スタジオ、中継現場などの映像制作の現場にて、ディスプレイ越しのリモート出演者の色調の不自然さを補正するときに利用できる。また、本発明は、2つの映像を窓枠合成する際、素材映像の色調が異なる場合にも利用できる。 For example, the present invention can be used to correct unnatural color tones of remote performers viewed through a display at video production sites such as production studios and live broadcast locations. The present invention can also be used when two videos are composited into a window frame if the raw video images have different color tones.
1,1B 色調補正装置
10 ホモグラフィ行列H算出手段(第1変換行列算出手段)
11 変換画像生成手段
12ディスプレイ領域変換手段
13 参照画像検索手段
14 ホモグラフィ行列G算出手段
15 顔方向調整手段
16顔内側領域補正手段
17 顔方向復元手段
18 顔外側領域補正手段
19,23 合成手段
20 色情報ベクトル取得手段
21 変換行列算出手段
22 色調補正手段
1, 1B Color
11 Converted image generation means 12 Display area conversion means 13 Reference image search means 14 Homography matrix G calculation means 15 Face direction adjustment means 16 Face inner region correction means 17 Face direction restoration means 18 Face outer region correction means 19, 23 Synthesis means 20 Color information vector acquisition means 21 Transformation matrix calculation means 22 Color tone correction means
Claims (6)
前記ディスプレイの正対視点と前記正対視点から移動した別視点との関係を示す第1変換行列により、前記別視点で前記ディスプレイを撮影した撮影画像を前記正対視点の変換画像に変換する変換画像生成手段と、
所定の顔方向毎に前記顔の色調の基準となる参照画像群を予め設定し、前記変換画像に含まれる前記人物の顔方向を算出し、前記参照画像群の中から、算出した前記顔方向に最も近い参照画像を検索する参照画像検索手段と、
前記変換画像と前記参照画像との顔方向の関係を示す第2変換行列により、前記変換画像の顔内側領域の方向が前記参照画像の顔方向に一致するように調整した顔方向調整画像を生成する顔方向調整手段と、
ポアソン画像合成により、前記顔方向調整画像と前記参照画像とを合成することで、前記顔内側領域の色調を補正した顔内側領域補正画像を生成する顔内側領域補正手段と、
前記第2変換行列の逆行列により、前記顔内側領域補正画像の顔方向が前記変換画像の顔方向に一致するように復元した顔方向復元画像を生成する顔方向復元手段と、
前記ポアソン画像合成により、前記顔方向復元画像と前記変換画像とを合成することで、顔外側領域の色調を補正した顔外側領域補正画像を生成する顔外側領域補正手段と、
前記顔外側領域補正画像に基づいて、前記人物の顔の色調を補正した色調補正画像を生成する合成手段と、
を備えることを特徴とする色調補正装置。 A color tone correction device that corrects the color tone of a person's face displayed on a display,
Transformation of converting a captured image of the display from the different viewpoint into a converted image of the directly facing viewpoint using a first transformation matrix indicating a relationship between a directly facing viewpoint of the display and another viewpoint moved from the directly facing viewpoint. image generating means;
A reference image group serving as a reference for the face tone is set in advance for each predetermined face direction, the face direction of the person included in the converted image is calculated, and the calculated face direction is selected from among the reference image group. a reference image search means for searching for a reference image closest to the reference image;
Generating a face direction adjusted image in which the direction of the inner face region of the transformed image is adjusted to match the face direction of the reference image using a second transformation matrix indicating the relationship between the face directions of the transformed image and the reference image. a face direction adjustment means for
an inner face region correction means for generating an inner face region corrected image in which the color tone of the inner face region is corrected by composing the face direction adjusted image and the reference image by Poisson image synthesis;
face direction restoring means for generating a face direction restored image in which the face direction of the inner face region corrected image is restored to match the face direction of the converted image using an inverse matrix of the second transformation matrix;
a face outer region correction means for generating a face outer region corrected image in which the color tone of the face outer region is corrected by synthesizing the face direction restored image and the converted image by the Poisson image synthesis;
a synthesizing means for generating a tone corrected image in which the tone of the face of the person is corrected based on the face outer region corrected image;
A color tone correction device comprising:
前記合成手段は、前記第1変換行列の逆行列により、前記顔外側領域補正画像を前記別視点に変換し、前記別視点の顔外側領域補正画像を前記ディスプレイ領域でマスクし、マスクした当該顔外側領域補正画像と前記撮影画像とを合成することで、前記色調補正画像を生成することを特徴とする請求項1に記載の色調補正装置。 a display area conversion means for converting the display area of the frontal viewpoint into the display area of the different viewpoint by an inverse matrix of the first conversion matrix,
The color correction device according to claim 1, characterized in that the combining means transforms the face outer area corrected image to the different viewpoint using an inverse matrix of the first transformation matrix, masks the face outer area corrected image of the different viewpoint with the display area, and combines the masked face outer area corrected image with the captured image to generate the color corrected image.
前記ディスプレイの正対視点と前記正対視点から移動した別視点との関係を示す第1変換行列により、前記別視点で前記ディスプレイを撮影した撮影画像を前記正対視点の変換画像に変換する変換画像生成手段と、
所定の顔方向毎に前記顔の色調の基準となる参照画像群を予め設定し、前記変換画像に含まれる前記人物の顔方向を算出し、前記参照画像群の中から、算出した前記顔方向に最も近い参照画像を検索する参照画像検索手段と、
前記変換画像の顔内側領域から第1色情報の列ベクトルを取得し、前記参照画像の顔内側領域から第2色情報の列ベクトルを取得する色情報ベクトル取得手段と、
前記第1色情報の列ベクトルと第3変換行列との積が前記第2色情報の列ベクトルに等しくなる線形連立方程式を解くことで、前記第3変換行列を算出する変換行列算出手段と、
前記第3変換行列により、前記変換画像の色調を補正する色調補正手段と、
色調補正後の前記変換画像に基づいて、前記人物の顔の色調を補正した色調補正画像を生成する合成手段と、
を備えることを特徴とする色調補正装置。 A color tone correction device that corrects the color tone of a person's face displayed on a display,
Transformation of converting a captured image of the display from the different viewpoint into a converted image of the directly facing viewpoint using a first transformation matrix indicating a relationship between a directly facing viewpoint of the display and another viewpoint moved from the directly facing viewpoint. image generating means;
A reference image group serving as a reference for the face tone is set in advance for each predetermined face direction, the face direction of the person included in the converted image is calculated, and the calculated face direction is selected from among the reference image group. a reference image search means for searching for a reference image closest to the reference image;
Color information vector acquisition means for acquiring a column vector of first color information from the inner face region of the converted image and a column vector of second color information from the inner face region of the reference image;
Transformation matrix calculation means for calculating the third transformation matrix by solving simultaneous linear equations in which the product of the column vector of the first color information and the third transformation matrix is equal to the column vector of the second color information;
tone correction means for correcting the tone of the converted image using the third conversion matrix;
a synthesizing means for generating a tone corrected image in which the tone of the face of the person is corrected based on the converted image after the tone correction;
A color tone correction device comprising:
前記合成手段は、色調補正後の前記変換画像を前記ディスプレイ領域でマスクし、マスクした当該変換画像と前記撮影画像とを合成することで、前記色調補正画像を生成することを特徴とする請求項3に記載の色調補正装置。 Further comprising display area converting means for presetting a display area in the converted image of the directly facing viewpoint and converting the display area of the directly facing viewpoint into a display area of the different viewpoint using an inverse matrix of the first transformation matrix. ,
2. The combining means generates the color tone corrected image by masking the converted image after color tone correction in the display area and combining the masked converted image with the photographed image. 3. The color tone correction device according to 3.
前記マーカに基づいて、前記別視点の撮影画像が前記正対視点の変換画像に変換されるように前記第1変換行列を算出する第1変換行列算出手段、
をさらに備えることを特徴とする請求項1から請求項4の何れか一項に記載の色調補正装置。 The display has four or more markers attached to it,
a first transformation matrix calculation means for calculating the first transformation matrix based on the marker so that the captured image from the different viewpoint is transformed into a transformed image from the directly facing viewpoint;
The color tone correction device according to any one of claims 1 to 4, further comprising the following.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020164748A JP7458281B2 (en) | 2020-09-30 | 2020-09-30 | Color correction device and its program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020164748A JP7458281B2 (en) | 2020-09-30 | 2020-09-30 | Color correction device and its program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022056803A JP2022056803A (en) | 2022-04-11 |
JP7458281B2 true JP7458281B2 (en) | 2024-03-29 |
Family
ID=81111379
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020164748A Active JP7458281B2 (en) | 2020-09-30 | 2020-09-30 | Color correction device and its program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7458281B2 (en) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001325069A (en) | 2000-03-07 | 2001-11-22 | Nikon Gijutsu Kobo:Kk | Device and method for detecting position |
JP2008228238A (en) | 2007-03-15 | 2008-09-25 | Omron Corp | Pupil color correction apparatus and program |
JP2009218919A (en) | 2008-03-11 | 2009-09-24 | Clarion Co Ltd | Image display apparatus for vehicle |
JP2009253324A (en) | 2008-04-01 | 2009-10-29 | Seiko Epson Corp | Image processing unit, image processing method, and program |
JP2010062825A (en) | 2008-09-03 | 2010-03-18 | Ricoh Co Ltd | Imaging device and method of controlling imaging |
JP2010219587A (en) | 2009-03-13 | 2010-09-30 | Panasonic Corp | Driving support display device |
JP2020013368A (en) | 2018-07-19 | 2020-01-23 | 桂子 向山 | Makeup support system, makeup support program and makeup support method |
-
2020
- 2020-09-30 JP JP2020164748A patent/JP7458281B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001325069A (en) | 2000-03-07 | 2001-11-22 | Nikon Gijutsu Kobo:Kk | Device and method for detecting position |
JP2008228238A (en) | 2007-03-15 | 2008-09-25 | Omron Corp | Pupil color correction apparatus and program |
JP2009218919A (en) | 2008-03-11 | 2009-09-24 | Clarion Co Ltd | Image display apparatus for vehicle |
JP2009253324A (en) | 2008-04-01 | 2009-10-29 | Seiko Epson Corp | Image processing unit, image processing method, and program |
JP2010062825A (en) | 2008-09-03 | 2010-03-18 | Ricoh Co Ltd | Imaging device and method of controlling imaging |
JP2010219587A (en) | 2009-03-13 | 2010-09-30 | Panasonic Corp | Driving support display device |
JP2020013368A (en) | 2018-07-19 | 2020-01-23 | 桂子 向山 | Makeup support system, makeup support program and makeup support method |
Also Published As
Publication number | Publication date |
---|---|
JP2022056803A (en) | 2022-04-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8049786B2 (en) | Method for improving image stitching accuracy with lens distortion correction and device for implementing the same | |
US9533618B2 (en) | Method, apparatus and system for processing a display from a surround view camera solution | |
JPH1091765A (en) | Device for synthesizing picture and method therefor | |
US7583288B2 (en) | Panoramic video | |
JP7093015B2 (en) | Panorama video compositing device, panoramic video compositing method, and panoramic video compositing program | |
JP2015075516A (en) | Image processing device, image processing method, and display device | |
JP2010009417A (en) | Image processing apparatus, image processing method, program and recording medium | |
CN104363385B (en) | Line-oriented hardware implementing method for image fusion | |
CN105141841B (en) | Picture pick-up device and its method | |
US20170061686A1 (en) | Stage view presentation method and system | |
TWI602154B (en) | Panoramic image stitching method and system thereof | |
JPH0993430A (en) | Image synthesis method and image synthesizer | |
KR101915540B1 (en) | Compose System on Image Similarity Analysis And Compose Method on Image Similarity Analysis | |
WO2022164895A3 (en) | Neural 3d video synthesis | |
JP6610659B2 (en) | Information processing apparatus, information processing method, and program | |
JP2006229789A (en) | Camera surveillance system, image synthesizing method used therein, and image synthesizing program | |
KR20200045682A (en) | Parallax minimized stitching using HLBP descriptor | |
JPH09321972A (en) | Image synthesis device and method | |
KR101801100B1 (en) | Video providing apparatus and method for supporting production of immersive contents | |
JP7458281B2 (en) | Color correction device and its program | |
KR101819984B1 (en) | Image synthesis method in real time | |
CN109218602B (en) | Image acquisition device, image processing method and electronic device | |
JP6391356B2 (en) | Image processing apparatus, image processing method, and program | |
KR101473648B1 (en) | Method and system for real-time chroma-key image synthesis without background screen | |
JPH07222052A (en) | Method for separating paper material area from picked-up image and remote presentation method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230807 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240213 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240220 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240318 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7458281 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |