JP7458281B2 - Color correction device and its program - Google Patents
Color correction device and its program Download PDFInfo
- Publication number
- JP7458281B2 JP7458281B2 JP2020164748A JP2020164748A JP7458281B2 JP 7458281 B2 JP7458281 B2 JP 7458281B2 JP 2020164748 A JP2020164748 A JP 2020164748A JP 2020164748 A JP2020164748 A JP 2020164748A JP 7458281 B2 JP7458281 B2 JP 7458281B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- face
- viewpoint
- color tone
- corrected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012937 correction Methods 0.000 title claims description 83
- 239000011159 matrix material Substances 0.000 claims description 94
- 230000009466 transformation Effects 0.000 claims description 42
- 239000013598 vector Substances 0.000 claims description 33
- 238000004364 calculation method Methods 0.000 claims description 32
- 230000015572 biosynthetic process Effects 0.000 claims description 27
- 238000003786 synthesis reaction Methods 0.000 claims description 27
- 238000006243 chemical reaction Methods 0.000 claims description 23
- 230000002194 synthesizing effect Effects 0.000 claims description 16
- 239000003550 marker Substances 0.000 claims description 7
- 230000000873 masking effect Effects 0.000 claims description 3
- 208000032443 Masked facies Diseases 0.000 claims description 2
- 235000019646 color tone Nutrition 0.000 description 68
- 238000010586 diagram Methods 0.000 description 12
- 238000000034 method Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 6
- 230000001815 facial effect Effects 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000002360 preparation method Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 241000711573 Coronaviridae Species 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
Description
本発明は、ディスプレイに表示されている人物の顔の色調を補正する色調補正装置及びそのプログラムに関する。 The present invention relates to a color tone correction device and program for correcting the color tone of a person's face displayed on a display.
昨今のコロナ禍により、あらゆる産業でリモートワークの必要性が高まっており、放送業界も例外でない。いくつかの番組では、ディスプレイ越しに出演者をリモート出演させており、番組制作が大きく変化している。つまり、リモート出演では、スタジオのディスプレイに表示されている出演者をカメラで撮影することになる。 The recent coronavirus pandemic has increased the need for remote work in all industries, and the broadcasting industry is no exception. In some programs, performers appear remotely through a display, which is a major change in program production. In other words, in remote appearances, the performers shown on the studio display are photographed using a camera.
ディスプレイ越しに出演者を撮影する場合、スタジオの出演者を直接撮影する場合に比べて、リフレッシュレート、輝度、モアレなどのディスプレイの特性により、大きく色調が変化する。つまり、同一の出演者をスタジオで直接撮影した場合とディスプレイ越しに撮影した場合とでは、テレビ画面上での見え方（色調）が大きく異なる。そこで、従来の番組制作では、ビデオエンジニアが、基準視点から見たディスプレイのパラメータを事前に調整し、色調の変化を抑える作業を行っている。 When photographing performers through a display, the color tone changes significantly due to display characteristics such as refresh rate, brightness, and moiré, compared to when photographing performers directly in a studio. In other words, the appearance (color tone) of the same performer on a TV screen will differ greatly between when the same performer is photographed directly in a studio and when photographed through a display. Therefore, in conventional program production, video engineers adjust the display parameters seen from a reference viewpoint in advance to suppress changes in color tone.
この他、スタジオにおいて、カメラ映像中の顔の色調を補正する手法が提案されている（特許文献１）。さらに、参照画像に他の撮影画像の色調を合わせる手法も提案されている（特許文献２）。 In addition, a method has been proposed for correcting the tone of a face in a camera image in a studio (Patent Document 1). Furthermore, a method has been proposed in which the color tone of another photographed image is matched to the reference image (Patent Document 2).
前記したように、ディスプレイの見え方が視線方向に依存するため、カメラが移動して別視点からディスプレイを撮影した場合、ディスプレイ越しの人物に色調の変化が発生する。しかし、ビデオエンジニアの作業では、ある基準視点だけでしか色調を補正できず、カメラが移動した後の別視点での色調の変化に対応できない。さらに、特許文献１，２に記載の発明では、肌検出を色情報という低レベルの特徴量に依存しており、画面全体で特定の色を他の色に変換することしかできず、カメラの移動には対応できない。
As mentioned above, because the way a display appears depends on the line of sight, if the camera moves to capture the display from a different viewpoint, a change in color tone will occur in the person seen through the display. However, the work of a video engineer can only correct color tone from a certain reference viewpoint, and cannot accommodate changes in color tone from a different viewpoint after the camera has moved. Furthermore, the inventions described in
本発明は、カメラが移動する場合でも、ディスプレイに表示されている人物の顔の色調を補正できる色調補正装置及びそのプログラムを提供することを課題とする。 An object of the present invention is to provide a color tone correction device and a program thereof that can correct the tone of a person's face displayed on a display even when the camera moves.
前記課題を解決するため、本発明に係る色調補正装置は、ディスプレイに表示されている人物の顔の色調を補正する色調補正装置であって、変換画像生成手段と、参照画像検索手段と、顔方向調整手段と、顔内側領域補正手段と、顔方向復元手段と、顔外側領域補正手段と、合成手段と、を備える構成とした。 In order to solve the above problems, a color tone correction device according to the present invention is a color tone correction device that corrects the color tone of a person's face displayed on a display. The present invention is configured to include a direction adjustment means, an inner face region correction means, a face direction restoration means, an outer face region correction means, and a compositing means.
変換画像生成手段は、ディスプレイの正対視点と正対視点から移動した別視点との関係を示す第１変換行列により、別視点でディスプレイを撮影した撮影画像を正対視点の変換画像に変換する。
参照画像検索手段は、所定の顔方向毎に顔の色調の基準となる参照画像群を予め設定し、変換画像に含まれる人物の顔方向を算出し、参照画像群の中から、算出した顔方向に最も近い参照画像を検索する。
顔方向調整手段は、変換画像と参照画像との顔方向の関係を示す第２変換行列により、変換画像の顔内側領域の方向が参照画像の顔方向に一致するように調整した顔方向調整画像を生成する。
The converted image generation means converts a photographed image of the display from a different viewpoint into a converted image of the directly facing viewpoint using a first transformation matrix indicating a relationship between a directly facing viewpoint of the display and another viewpoint moved from the directly facing viewpoint. .
The reference image search means presets a reference image group serving as a reference for the face tone for each predetermined face direction, calculates the face direction of the person included in the converted image, and selects the calculated face from among the reference image group. Find the reference image closest to the direction.
The face direction adjusting means adjusts the face direction adjusted image so that the direction of the inner face region of the converted image matches the face direction of the reference image using a second conversion matrix indicating the relationship between the face directions of the converted image and the reference image. generate.
顔内側領域補正手段は、ポアソン画像合成により、顔方向調整画像と参照画像とを合成することで、顔内側領域の色調を補正した顔内側領域補正画像を生成する。
顔方向復元手段は、第２変換行列の逆行列により、顔内側領域補正画像の顔方向が変換画像の顔方向に一致するように復元した顔方向復元画像を生成する。
顔外側領域補正手段は、ポアソン画像合成により、顔方向復元画像と変換画像とを合成することで、顔外側領域の色調を補正した顔外側領域補正画像を生成する。
合成手段は、顔外側領域補正画像に基づいて、人物の顔の色調を補正した色調補正画像を生成する。
The face inner region correction means generates a face inner region corrected image in which the color tone of the face inner region is corrected by composing the face direction adjusted image and the reference image by Poisson image synthesis.
The face direction restoring means generates a face direction restored image in which the face direction of the inner face region corrected image is restored to match the face direction of the converted image using an inverse matrix of the second transformation matrix.
The face outer region correction means generates a face outer region corrected image in which the color tone of the face outer region is corrected by synthesizing the face direction restored image and the converted image by Poisson image synthesis.
The synthesizing means generates a tone corrected image in which the tone of the person's face is corrected based on the face outer region corrected image.
かかる構成によれば、色調補正装置は、カメラが移動したときの顔方向に応じた参照画像を検索し、検索した参照画像を基準として、視聴者の注目を集めやすい人物の顔の色調を補正する。 According to this configuration, the color tone correction device searches for a reference image according to the direction of the face when the camera moves, and uses the searched reference image as a standard to correct the tone of the face of the person who tends to attract the viewer's attention. do.
また、前記課題を解決するため、本発明に係る色調補正装置は、ディスプレイに表示されている人物の顔の色調を補正する色調補正装置であって、変換画像生成手段と、参照画像検索手段と、色情報ベクトル取得手段と、変換行列算出手段と、色調補正手段と、合成手段と、を備える構成とした。 Moreover, in order to solve the above-mentioned problem, a color tone correction device according to the present invention is a color tone correction device that corrects the color tone of a person's face displayed on a display, and includes a converted image generation means, a reference image search means. , a color information vector acquisition means, a transformation matrix calculation means, a color tone correction means, and a composition means.
変換画像生成手段は、ディスプレイの正対視点と正対視点から移動した別視点との関係を示す第１変換行列により、別視点でディスプレイを撮影した撮影画像を正対視点の変換画像に変換する。
参照画像検索手段は、所定の顔方向毎に顔の色調の基準となる参照画像群を予め設定し、変換画像に含まれる人物の顔方向を算出し、参照画像群の中から、算出した顔方向に最も近い参照画像を検索する。
色情報ベクトル取得手段は、変換画像の顔内側領域から第１色情報の列ベクトルを取得し、参照画像の顔内側領域から第２色情報の列ベクトルを取得する。
The converted image generation means converts a photographed image of the display from a different viewpoint into a converted image of the directly facing viewpoint using a first transformation matrix indicating a relationship between a directly facing viewpoint of the display and another viewpoint moved from the directly facing viewpoint. .
The reference image search means presets a reference image group serving as a reference for the face tone for each predetermined face direction, calculates the face direction of the person included in the converted image, and selects the calculated face from among the reference image group. Find the reference image closest to the direction.
The color information vector acquisition means acquires a column vector of first color information from the inner face region of the converted image, and acquires a column vector of second color information from the inner face region of the reference image.
変換行列算出手段は、第１色情報の列ベクトルと第３変換行列との積が第２色情報の列ベクトルに等しくなる線形連立方程式を解くことで、第３変換行列を算出する。
色調補正手段は、第３変換行列により、変換画像の色調を補正する。
合成手段は、色調補正後の変換画像に基づいて、人物の顔の色調を補正した色調補正画像を生成する。
The transformation matrix calculation means calculates the third transformation matrix by solving simultaneous linear equations in which the product of the column vector of the first color information and the third transformation matrix is equal to the column vector of the second color information.
The tone correction means corrects the tone of the converted image using the third conversion matrix.
The synthesizing means generates a tone-corrected image in which the tone of the person's face is corrected based on the converted image after the tone correction.
かかる構成によれば、色調補正装置は、カメラが移動したときの顔方向に応じた参照画像を検索し、検索した参照画像を基準として、視聴者の注目を集めやすい人物の顔の色調を補正する。 According to this configuration, the color tone correction device searches for a reference image according to the direction of the face when the camera moves, and uses the searched reference image as a standard to correct the tone of the face of the person who tends to attract the viewer's attention. do.
なお、本発明は、コンピュータを、前記した色調補正装置として機能させるためのプログラムで実現することができる。 Note that the present invention can be realized by a program for causing a computer to function as the color tone correction device described above.
本発明によれば、カメラが移動する場合でも、ディスプレイに表示されている人物の顔の色調を補正することができる。 According to the present invention, even when the camera moves, the tone of the face of the person displayed on the display can be corrected.
以下、本発明の各実施形態について図面を参照して説明する。但し、以下に説明する各実施形態は、本発明の技術思想を具体化するためのものであって、特定的な記載がない限り、本発明を以下のものに限定しない。また、同一の手段には同一の符号を付し、説明を省略する場合がある。 Hereinafter, each embodiment of the present invention will be described with reference to the drawings. However, each embodiment described below is for embodying the technical idea of the present invention, and unless there is a specific description, the present invention is not limited to the following. Further, the same means may be denoted by the same reference numerals, and the description thereof may be omitted.
（第１実施形態）
［色調補正装置の構成］
図１及び図２を参照し、第１実施形態に係る色調補正装置１の構成について説明する。
色調補正装置１は、図１（ａ）に示すように、スタジオのディスプレイ９１に表示されている出演者（人物）の顔の色調を補正するものである。すなわち、色調補正装置１は、ディスプレイ９１越しにリモート出演している出演者の顔の色調を補正する。
(First embodiment)
[Configuration of color tone correction device]
The configuration of the color
The color
色調補正装置１では、以下の事前準備を行った後、出演者の顔の色調を補正する。本番前、カメラ９０及びディスプレイ９１を基準となる視点（例えば、後記する正対視点）に配置する。基準となる画像（例えば、グレースケール画像）を表示してディスプレイ９１の色調を調整する。
The color
次に、ディスプレイ９１に出演者を表示して、肌色の基準となる画像を撮影する。このとき、番組中に動かす様々な顔方向で出演者を一通り撮影する。この顔の色調の基準となる画像は、参照画像Ｉｒ（Ｉｒ１,…,Ｉｒｎ）と呼ばれる。そして、所定の顔方向毎の参照画像Ｉｒで構成された参照画像群を予め設定する。
Next, the performers are displayed on the
また、図１（ｂ）に示すように、ディスプレイ９１のフレームには、カメラ９０に映るように４個以上のマーカ９２を付けておく。このマーカ９２は、後記するホモグラフィ変換を行うために付したものである。つまり、マーカ９２は、ホモグラフィ行列に必要な点を確実に抽出できるように、ディスプレイ９１のフレームに付けることが好ましい。本実施形態では、ディスプレイ９１は、左右のフレームにそれぞれ４個、合計８個のマーカ９２が付されていることとする。ここで、マーカ９２は、それぞれの位置が一意に識別できればよく、例えば、二次元コード、ドットパターン又はカラーパターンであればよい。事前準備は、以上とおりである。
Further, as shown in FIG. 1B, four or
色調補正装置１は、図２に示すように、ホモグラフィ行列Ｈ算出手段（第１変換行列算出手段）１０と、変換画像生成手段１１と、ディスプレイ領域変換手段１２と、参照画像検索手段１３と、ホモグラフィ行列Ｇ算出手段１４と、顔方向調整手段１５と、顔内側領域補正手段１６と、顔方向復元手段１７と、顔外側領域補正手段１８と、合成手段１９とを備える。
As shown in FIG. 2, the color
ホモグラフィ行列Ｈ算出手段１０は、図３（ａ）に示すように、マーカ９２に基づいて、別視点の撮影画像Ｉが正対視点の変換画像Ｉｈに変換されるようにホモグラフィ行列Ｈ（第１変換行列）を算出するものである。このホモグラフィ行列Ｈは、変換画像Ｉｈを撮影したときの正対視点と、撮影画像Ｉを撮影したときの別視点と、の関係を示す。
3A, the homography matrix H calculation means 10 calculates a homography matrix H (first transformation matrix) so that a captured image I from a different viewpoint is transformed into a transformed image Ih from a frontal viewpoint based on the
なお、正対視点とは、カメラ９０がディスプレイ９１に正対するときの視点、つまり、カメラ９０がディスプレイ９１の正面に位置するときの視点である。図３（ａ）に示すように、この正対視点の画像を変換画像Ｉｈとする。
また、別視点とは、カメラ９０が正対視点から移動したときの視点である。この別視点でディスプレイ９１を撮影した画像を撮影画像Ｉとする。
Note that the front viewpoint is a viewpoint when the
Further, the different viewpoint is a viewpoint when the
例えば、ホモグラフィ行列Ｈ算出手段１０は、別視点の撮影画像Ｉが外部（例えば、カメラ９０）から入力され、入力された撮影画像Ｉからマーカ９２を検出する。そして、ホモグラフィ行列Ｈ算出手段１０は、検出したマーカ９２が参照画像Ｉｒと同じ位置になるようにホモグラフィ行列Ｈを算出する。
その後、ホモグラフィ行列Ｈ算出手段１０は、算出したホモグラフィ行列Ｈ及び撮影画像Ｉを変換画像生成手段１１及びディスプレイ領域変換手段１２に出力する。
For example, the homography matrix H calculation means 10 receives a photographed image I from a different viewpoint from the outside (for example, a camera 90), and detects the
Thereafter, the homography matrix H calculation means 10 outputs the calculated homography matrix H and photographed image I to the converted image generation means 11 and the display area conversion means 12.
変換画像生成手段１１は、図３（ｂ）に示すように、ホモグラフィ行列Ｈにより、別視点での撮影画像Ｉを正対視点の変換画像Ｉｈに変換するものである。ここで、変換画像生成手段１１は、撮影画像Ｉをホモグラフィ行列Ｈで変換（例えば、ホモグラフィ変換）することで、正対視点の変換画像Ｉｈ＝ＨＩ生成する。 3B, the converted image generating means 11 converts a captured image I from a different viewpoint into a converted image Ih from a frontal viewpoint by using a homography matrix H. Here, the converted image generating means 11 converts the captured image I by the homography matrix H (for example, homography transformation) to generate a converted image Ih =HI from a frontal viewpoint.
その後、変換画像生成手段１１は、生成した変換画像Ｉｈを参照画像検索手段１３に出力する。
なお、変換画像生成手段１１は、変換画像Ｉｈと同様、前段の手段から入力された全情報（例えば、撮影画像Ｉ、ホモグラフィ行列Ｈ）も後段の手段に出力する。この点、以後の各手段も同様のため、説明を省略する。
Thereafter, the converted image generation means 11 outputs the generated converted image Ih to the reference image search means 13.
Note that the converted image generation means 11 also outputs all information input from the preceding means (for example, photographed image I, homography matrix H) to the subsequent means, as well as the converted image Ih. In this respect, each subsequent means is also the same, so the explanation will be omitted.
ディスプレイ領域変換手段１２は、図４に示すように、正対視点の変換画像Ｉｈにディスプレイ領域Ｄｈを予め設定し、逆ホモグラフィ行列Ｈ－１により、正対視点のディスプレイ領域Ｄｈを別視点のディスプレイ領域Ｄに変換するものである。つまり、ディスプレイ領域変換手段１２は、正対視点でのディスプレイ領域Ｄｈが既知のものとして入力され、逆ホモグラフィ行列Ｈ－１により、別視点の撮影画像Ｉ上のディスプレイ領域Ｄ＝Ｈ－１Ｄｈを算出する。なお、図４では、白色で図示した領域が、映像に含まれるディスプレイ９１の領域を示すディスプレイ領域Ｄ，Ｄｈである。
その後、ディスプレイ領域変換手段１２は、変換したディスプレイ領域Ｄを合成手段１９に出力する。
As shown in FIG. 4, the display area converting means 12 presets a display area D h in the converted image I h at the directly facing viewpoint, and converts the display area D h at the directly facing viewpoint using the inverse homography matrix H -1 . This is to convert the display area D to a different viewpoint. In other words, the display area converting means 12 receives the display area D h at the front viewpoint as a known one, and uses the inverse homography matrix H -1 to calculate the display area D on the photographed image I from another viewpoint D = H -1. Calculate D h . Note that in FIG. 4, the areas shown in white are display areas D and Dh indicating areas of the
Thereafter, the display area converting means 12 outputs the converted display area D to the combining means 19.
参照画像検索手段１３は、前記した参照画像群を予め設定し、変換画像Ｉｈに含まれる出演者の顔方向を算出し、参照画像群の中から、算出した顔方向に最も近い参照画像Ｉ*
ｒを検索するものである。例えば、参照画像検索手段１３は、図５に示すように、変換画像Ｉｈに既知の顔検出及びモデル化手法を適用し、顔メッシュを生成する（参考文献１）。なお、図５では、図面を見やすくするため、出演者の顔を破線で図示した。そして、参照画像検索手段１３は、顔メッシュから全体的な顔方向を算出し、参照画像群の中で最も類似する顔方向の参照画像Ｉ*
ｒを検索する（参考文献２，３）。さらに、参照画像検索手段１３は、変換画像Ｉｈと同様、参照画像Ｉ*
ｒからも顔メッシュを生成する。
その後、参照画像検索手段１３は、検索した参照画像Ｉ*
ｒ、参照画像Ｉ*
ｒ及び変換画像Ｉｈの顔メッシュをホモグラフィ行列Ｇ算出手段１４に出力する。
The reference image search means 13 sets the reference image group described above in advance, calculates the face direction of the performer included in the converted image Ih , and selects the reference image I closest to the calculated face direction from the reference image group. * This is to search for r . For example, as shown in FIG. 5, the reference image search means 13 applies a known face detection and modeling method to the converted image Ih to generate a face mesh (Reference Document 1). In addition, in FIG. 5, the faces of the performers are illustrated with broken lines in order to make the drawing easier to see. Then, the reference image search means 13 calculates the overall face direction from the face mesh, and searches for the reference image I * r with the most similar face direction among the reference image group (References 2 and 3). Further, the reference image search means 13 generates a face mesh from the reference image I * r as well as from the converted image Ih .
Thereafter, the reference image search means 13 outputs the face mesh of the searched reference image I * r , reference image I * r , and converted image Ih to the homography matrix G calculation means 14.
参考文献１：［online］、［令和２年９月１１日検索］、インターネット〈URL：https://www.geeksforgeeks.org/opencv-facial-landmarks-and-face-detection-using-dlib-and-opencv/〉
参考文献２：［online］、［令和２年９月１１日検索］、インターネット〈URL：https://www.learnopencv.com/head-pose-estimation-using-opencv-and-dlib/>
参考文献３：［online］、［令和２年９月１１日検索］、インターネット〈URL：https://github.com/yinguobing/head-pose-estimation>
Reference 1: [online], [searched on September 11, 2020], Internet <URL: https://www.geeksforgeeks.org/opencv-facial-landmarks-and-face-detection-using-dlib- and-opencv/〉
Reference 2: [online], [searched on September 11, 2020], Internet <URL: https://www.learnopencv.com/head-pose-estimation-using-opencv-and-dlib/>
Reference 3: [online], [searched on September 11, 2020], Internet <URL: https://github.com/yinguobing/head-pose-estimation>
ホモグラフィ行列Ｇ算出手段１４は、変換画像Ｉｈと参照画像Ｉ*
ｒとの顔方向の関係を示すホモグラフィ行列Ｇ（第２変換行列）を算出するものである。ここでは、変換画像Ｉｈ及び参照画像Ｉ*
ｒは、ディスプレイ領域の内側が十分に類似しているものとする。図６に示すように、ホモグラフィ行列Ｇ算出手段１４は、変換画像Ｉｈの顔メッシュから、顔輪郭の内側で目鼻に被らない境界点列を抽出し、各境界点を結んだ境界∂Ωｈを生成する。また、ホモグラフィ行列Ｇ算出手段１４は、参照画像Ｉ*
ｒの顔メッシュから、顔輪郭の内側で目鼻に被らない境界点列を抽出し、各境界点を結んだ境界∂Ωｒを生成する。そして、ホモグラフィ行列Ｇ算出手段１４は、境界∂Ωｈ，∂Ωｒそれぞれを構成している点列が最小誤差で変換されるように、ホモグラフィ行列Ｇを算出する。この場合、境界∂Ωｒ，∂Ωｈは、ホモグラフィ行列Ｇを用いて、以下の式（１）の関係式を近似的に満たすことになる。
∂Ωｒ≒∂Ωｇｈ＝Ｇ∂Ωｇ （１）
The homography matrix G calculation means 14 calculates a homography matrix G (second transformation matrix) indicating the relationship between the face directions of the transformed image Ih and the reference image I * r . Here, it is assumed that the transformed image Ih and the reference image I * r are sufficiently similar inside the display area. As shown in FIG. 6, the homography matrix G calculating means 14 extracts a sequence of boundary points that are inside the face contour and do not overlap the eyes and nose from the face mesh of the converted image Ih , and extracts a sequence of boundary points that do not overlap the eyes and nose, and bounds ∂ which connects each boundary point. Ω h is generated. Further, the homography matrix G calculation means 14 extracts a sequence of boundary points that are inside the face contour and do not overlap the eyes and nose from the face mesh of the reference image I * r , and generates a boundary ∂Ω r connecting each boundary point. do. Then, the homography matrix G calculation means 14 calculates the homography matrix G so that the point sequences forming each of the boundaries ∂Ω h and ∂Ω r are transformed with a minimum error. In this case, the boundaries ∂Ω r and ∂Ω h approximately satisfy the following relational expression (1) using the homography matrix G.
∂Ω r ≒∂Ω gh =G∂Ω g (1)
その後、ホモグラフィ行列Ｇ算出手段１４は、算出したホモグラフィ行列Ｇ、境界∂Ωｒ，∂Ωｈを顔方向調整手段１５に出力する。 Thereafter, the homography matrix G calculation means 14 outputs the calculated homography matrix G and the boundaries ∂Ω r and ∂Ω h to the face direction adjustment means 15 .
顔方向調整手段１５は、前記したホモグラフィ行列Ｇにより、変換画像Ｉｈの顔内側領域の方向が参照画像Ｉ*
ｒの顔方向に一致するように調整した顔方向調整画像Ｉｇｈを生成するものである。図６に示すように、顔方向調整手段１５は、ホモグラフィ行列Ｇで変換画像Ｉｈを変換することで、顔方向調整画像Ｉｇｈを生成する。なお、変換画像Ｉｈの顔内側領域とは、境界∂Ωｈの内側領域である。
その後、顔方向調整手段１５は、生成した顔方向調整画像Ｉｇｈを顔内側領域補正手段１６に出力する。
The face direction adjustment means 15 generates a face direction adjusted image Igh by adjusting the direction of the face inner region of the transformed image Ih so that it coincides with the face direction of the reference image I * r using the homography matrix G. As shown in Fig. 6, the face direction adjustment means 15 generates the face direction adjusted image Igh by transforming the transformed image Ih using the homography matrix G. The face inner region of the transformed image Ih is the region inside the boundary ∂Ωh .
Thereafter, the face direction adjustment means 15 outputs the generated face direction adjusted image Igh to the face inner area correction means 16 .
顔内側領域補正手段１６は、ポアソン画像合成により、顔方向調整画像Ｉｇｈと参照画像Ｉ* ｒとを合成することで、顔内側領域の色調を補正した顔内側領域補正画像Ｉｐ ｇｈを生成するものである。 The inner face region correction means 16 generates an inner face region corrected image I p gh in which the color tone of the inner face region is corrected by combining the face direction adjusted image I gh and the reference image I * r by Poisson image synthesis . It is something to do.
ポアソン画像合成（Poisson Image Editing）とは、画像を切り貼りするとき、画像の境界をシームレスに接続するように加工を行う技術である（参考文献４）。
参考文献４：P. Perez, M. Gangnet, A. Blake (2003), “Poisson image editing”, ACM Transactions on Graphics (SIGGRAPH'03) 22 (3): pp.313-318
Poisson Image Editing is a technique that processes images so that the boundaries of the images are seamlessly connected when cutting and pasting images (Reference Document 4).
Reference 4: P. Perez, M. Gangnet, A. Blake (2003), “Poisson image editing”, ACM Transactions on Graphics (SIGGRAPH'03) 22 (3): pp.313-318
このポアソン画像合成では、対象画素の４近傍の勾配を拘束条件として、上下左右方向の勾配誤差を最小化することで最適な画素値を算出する。このとき、ポアソン画像合成では、計算対象の画素をマスキングによって指定する。つまり、ポアソン画像合成は、以下の式（２）に示すように、色調変換の対象画像であるターゲット画像Ｉｔａｒｇｅｔ、色調変換の参照画像であるリファレンス画像Ｉｒｅｆｅｒｅｎｃｅ、マスキング領域を指定したマスク画像Ｉｍａｓｋを入力とし、合成画像Ｉｏｕｔを出力するという非線形変換ｆで定式化できる。
Ｉｏｕｔ＝ｆ（Ｉｔａｒｇｅｔ，Ｉｒｅｆｅｒｅｎｃｅ，Ｉｍａｓｋ） （２）
In this Poisson image synthesis, the optimum pixel value is calculated by minimizing gradient errors in the vertical and horizontal directions using the gradients of the four neighborhoods of the target pixel as a constraint condition. At this time, in Poisson image synthesis, pixels to be calculated are specified by masking. In other words, in Poisson image synthesis, as shown in Equation (2) below, a target image I target which is a target image for tone conversion, a reference image I reference which is a reference image for tone conversion, and a mask image I specifying a masking area are used. It can be formulated as a nonlinear transformation f that inputs mask and outputs a composite image Iout .
Iout =f( Itarget , Ireference , Imask ) (2)
前記した式（１）より、境界∂Ωｇｈは、参照画像Ｉ*
ｒ上で近似的に目鼻を囲んだ境界と等しくなる。図７に示すように、顔内側領域補正手段１６は、境界∂Ωｇｈの内側領域、つまり、顔内側領域をマスキングしたマスク画像Ｍｇｈを生成する。そして、顔内側領域補正手段１６は、参照画像Ｉ*
ｒの顔内側領域を顔方向調整画像Ｉｇｈに差し替えて、ポアソン画像合成を施す。顔内側領域補正手段１６でのポアソン画像合成は、以下の式（３）で表される。
Ｉｐ
ｇｈ＝ｆ（Ｉｇｈ，Ｉ*
ｒ，Ｍｇｈ） （３）
According to the above equation (1), the boundary ∂Ω gh is equal to the boundary approximately surrounding the eye and nose on the reference image I * r . As shown in FIG. 7, the inner face region correction means 16 generates a mask image M gh in which the inner region of the boundary ∂Ω gh , that is, the inner face region is masked. Then, the face inner region correction means 16 replaces the face inner region of the reference image I * r with the face direction adjusted image Igh , and performs Poisson image synthesis. Poisson image synthesis by the face inner area correction means 16 is expressed by the following equation (3).
I p gh = f (I gh , I * r , M gh ) (3)
これにより、顔内側領域補正手段１６は、境界∂Ωｇｈで顔方向調整画像Ｉｇｈと参照画像Ｉ*
ｒとをシームレスに合成できる。その結果、顔方向調整画像Ｉｇｈは、参照画像Ｉ*
ｒの局所的色調の影響を強く受けた顔内側領域補正画像Ｉｐ
ｇｈとして合成される。
その後、顔内側領域補正手段１６は、生成した顔内側領域補正画像Ｉｐ
ｇｈを顔方向復元手段１７に出力する。
Thereby, the face inner region correction means 16 can seamlessly combine the face direction adjusted image I gh and the reference image I * r at the boundary ∂Ω gh . As a result, the face direction adjusted image I gh is synthesized as a face inner region corrected image I p gh that is strongly influenced by the local tone of the reference image I * r .
Thereafter, the inner face region correction means 16 outputs the generated inner face region corrected image I p gh to the face direction restoration means 17 .
顔方向復元手段１７は、逆ホモグラフィ行列Ｇ－１により、顔内側領域補正画像Ｉｐ
ｇｈの顔方向が変換画像Ｉｈの顔方向に一致するように復元した顔方向復元画像Ｉｐ
ｈを生成するものである。図８に示すように、顔方向復元手段１７は、逆ホモグラフィ行列Ｇ－１で顔内側領域補正画像Ｉｐ
ｇｈを変換することで、顔方向復元画像Ｉｐ
ｈを生成する。
その後、顔方向復元手段１７は、生成した顔方向復元画像Ｉｐ
ｈを顔外側領域補正手段１８に出力する。
The face direction restoring means 17 restores the face direction restored image I p h using the inverse homography matrix G −1 so that the face direction of the face inner region corrected image I p gh matches the face direction of the converted image I h . It is something that generates. As shown in FIG. 8, the face direction restoring means 17 generates the face direction restored image I p h by converting the face inner region corrected image I p gh using the inverse homography matrix G −1 .
Thereafter, the face direction restoring means 17 outputs the generated face direction restored image I p h to the face outer
顔外側領域補正手段１８は、ポアソン画像合成により、顔方向復元画像Ｉｐ
ｈと変換画像Ｉｈとを合成することで、顔外側領域の色調を補正した顔外側領域補正画像Ｉｑ
ｈを生成するものである。図９に示すように、顔外側領域補正手段１８は、境界∂Ωｈの外側領域、つまり、顔外側領域をマスキングしたマスク画像Ｍｈを生成する。そして、顔外側領域補正手段１８は、顔方向復元画像Ｉｐ
ｈの顔外側領域を変換画像Ｉｈに差し替えて、ポアソン画像合成を施す。顔外側領域補正手段１８でのポアソン画像合成は、以下の式（４）で表される。
Ｉｑ
ｈ＝ｆ（Ｉｈ，Ｉｐ
ｈ，Ｍｈ） （４）
The face outer region correction means 18 generates a face outer region corrected image I q h in which the color tone of the face outer region is corrected by synthesizing the face direction restored image I p h and the converted image I h by Poisson image synthesis. It is something to do. As shown in FIG. 9, the face outer region correction means 18 generates a mask image M h in which the outer face region, that is, the outer face region, is masked. Then, the face outer region correction means 18 replaces the face outer region of the face direction restored image I p h with the converted image I h , and performs Poisson image synthesis. Poisson image synthesis by the face outer region correction means 18 is expressed by the following equation (4).
I q h = f (I h , I ph , M h ) (4)
その後、顔外側領域補正手段１８は、生成した顔外側領域補正画像Ｉｑ ｈを合成手段１９に出力する。 Thereafter, the face outer region correction means 18 outputs the generated face outer region corrected image I q h to the composition means 19 .
合成手段１９は、顔外側領域補正画像Ｉｑ
ｈに基づいて、出演者の顔の色調を補正した色調補正画像を生成するものである。具体的には、合成手段１９は、逆ホモグラフィ行列Ｈ－１により、顔外側領域補正画像Ｉｑ
ｈを別視点の顔外側領域補正画像Ｉｑに変換する。この顔外側領域補正画像Ｉｑは、画像全体の色調が補正されている。そこで、合成手段１９は、別視点の顔外側領域補正画像Ｉｑをディスプレイ領域Ｄでマスクする。さらに、合成手段１９は、マスクした顔外側領域補正画像Ｉｑと撮影画像Ｉとを合成することで、ディスプレイ領域Ｄの内側のみ色調が補正された色調補正画像を生成する。
その後、合成手段１９は、生成した色調補正画像を外部（例えば、スイッチャ）に出力する。
The synthesizing means 19 generates a tone corrected image in which the tone of the performer's face is corrected based on the face outer region corrected image I q h . Specifically, the synthesizing means 19 converts the face outer region corrected image I q h into a face outer region corrected image I q from a different viewpoint using the inverse homography matrix H −1 . In this face outer region corrected image Iq , the color tone of the entire image has been corrected. Therefore, the synthesizing means 19 masks the face outer region corrected image Iq from another viewpoint with the display area D. Further, the synthesizing means 19 synthesizes the masked face outer region corrected image Iq and the photographed image I to generate a tone corrected image in which only the tone inside the display area D is corrected.
Thereafter, the synthesizing means 19 outputs the generated tone-corrected image to the outside (for example, a switcher).
［色調補正装置の動作］
図１０を参照し、色調補正装置１の動作について説明する。
図１０に示すように、ステップＳ０において、色調補正装置１は、事前準備を行う。
ステップＳ１において、ホモグラフィ行列Ｈ算出手段１０は、マーカ９２からホモグラフィ行列Ｈを算出する。
ステップＳ２において、変換画像生成手段１１は、ホモグラフィ行列Ｈで変換画像Ｉｈを生成する。
ステップＳ３において、ディスプレイ領域変換手段１２は、逆ホモグラフィ行列Ｈ－１でディスプレイ領域Ｄを生成する。
なお、ステップＳ２，Ｓ３の処理は、並列で実行できる。
[Operation of color tone correction device]
The operation of the color
As shown in FIG. 10, in step S0, the color
In step S1, the homography matrix H calculation means 10 calculates the homography matrix H from the
In step S2, the transformed image generation means 11 generates a transformed image Ih using the homography matrix H.
In step S3, the display area conversion means 12 generates the display area D using the inverse homography matrix H -1 .
Note that the processes in steps S2 and S3 can be executed in parallel.
ステップＳ４において、参照画像検索手段１３は、顔メッシュを生成し、参照画像Ｉ*
ｒを検索する。
ステップＳ５において、ホモグラフィ行列Ｇ算出手段１４は、ホモグラフィ行列Ｇを算出する。
ステップＳ６において、顔方向調整手段１５は、ホモグラフィ行列Ｇで顔方向調整画像Ｉｇｈを生成する。
ステップＳ７において、顔内側領域補正手段１６は、ポアソン画像合成により、顔内側領域の色調を補正する。
In step S4, the reference image search means 13 generates a face mesh and searches for the reference image I * r .
In step S5, the homography matrix G calculation means 14 calculates the homography matrix G.
In step S6, the face direction adjusting means 15 generates a face direction adjusted image Igh using the homography matrix G.
In step S7, the face inner region correction means 16 corrects the color tone of the face inner region by Poisson image synthesis.
ステップＳ８において、顔方向復元手段１７は、逆ホモグラフィ行列Ｇ－１で顔方向復元画像Ｉｐ
ｈを生成する。
ステップＳ９において、顔外側領域補正手段１８は、ポアソン画像合成により、顔外側領域の色調を補正する。
ステップＳ１０において、合成手段１９は、逆ホモグラフィ行列Ｈ－１で顔外側領域補正画像Ｉｑを生成する。
ステップＳ１１において、合成手段１９は、ディスプレイ領域Ｄをマスクとして、撮影画像Ｉと合成する。
In step S8, the face direction restoring means 17 generates a face direction restored image I p h using the inverse homography matrix G −1 .
In step S9, the face outer region correction means 18 corrects the color tone of the face outer region by Poisson image synthesis.
In step S10, the synthesizing means 19 generates the facial outer region corrected image Iq using the inverse homography matrix H -1 .
In step S11, the synthesizing means 19 synthesizes with the photographed image I using the display area D as a mask.
［作用・効果］
以上のように、色調補正装置１は、カメラ９０が移動したときの顔方向に応じた参照画像Ｉ*
ｒを検索し、検索した参照画像Ｉ*
ｒを基準として、視聴者が注目しやすい出演者の顔の色調を補正する。
さらに、色調補正装置１は、顔内側領域と顔外側領域の二段階でポアソン画像合成を適用するので、顔を基準として高精度に色調を補正できる。
[Action/Effect]
As described above, the color
Further, since the color
テレビ番組において出演者がディスプレイ越しにリモート出演する場合、ディスプレイ越しに映る色調がスタジオ内の色調とズレが生じて不自然になる場合がある。このような場合でも、色調補正装置１は、テレビ番組においてディスプレイ越しの出演者とスタジオ中の出演者とを合成できる。
When performers perform remotely through a display in a television program, the color tone displayed through the display may deviate from the color tone in the studio, resulting in an unnatural appearance. Even in such a case, the color
ここで、ニューラルネットワークを用いて色調を補正する手法も考えられる。ニューラルネットワークでは、色調の変換を予め学習させる必要性があり、学習素材の取得コスト及び学習コスト、学習素材から離れた素材が入力されたときに誤変換する可能性が高くなってしまう。しかし、色調補正装置１では、このような問題が生じない。
Here, a method of correcting the color tone using a neural network may also be considered. In a neural network, it is necessary to learn color tone conversion in advance, which increases the acquisition cost and learning cost of learning materials, and the possibility of erroneous conversion when inputting materials that are far from the learning materials. However, in the color
なお、第１実施形態では、顔内側領域にポアソン画像合成を適用した後、顔外側領域にポアソン画像合成を適用する二段階処理として説明した。実際には、一段階目のポアソン画像合成の途中から二段階目のポアソン画像合成を並行処理することもできる。一段階目のポアソン画像合成で、境界∂Ωｇｈから数ピクセル分内側の領域の処理が終われば、その画素情報を境界条件として二段階目の処理を開始できる。このような並列処理により、色調補正装置１は、高速化を図ることができる。
In the first embodiment, a two-stage process has been described in which Poisson image synthesis is applied to the inner face region, and then to the outer face region. In practice, the second stage of Poisson image synthesis can be processed in parallel from the middle of the first stage of Poisson image synthesis. Once the first stage of Poisson image synthesis has completed processing of the region several pixels inside the boundary ∂Ω gh , the second stage of processing can be started with the pixel information as a boundary condition. This type of parallel processing allows the
（第２実施形態）
［色調補正装置の構成］
図１１を参照し、第２実施形態に係る色調補正装置１Ｂの構成について、第１実施形態と異なる点を説明する。
第１実施形態では、ポアソン画像合成を顔内側領域と顔外側領域との２段階で適用しているが、第２実施形態では、全体的な色調補正のみを行う点が第１実施形態と異なる。
Second Embodiment
[Configuration of Color Tone Correction Device]
With reference to FIG. 11, the configuration of a
In the first embodiment, Poisson image synthesis is applied in two stages to the inner face region and the outer face region, but the second embodiment differs from the first embodiment in that only overall color correction is performed.
色調補正装置１Ｂは、図１１に示すように、ホモグラフィ行列Ｈ算出手段１０と、変換画像生成手段１１と、ディスプレイ領域変換手段１２と、参照画像検索手段１３と、色情報ベクトル取得手段２０と、変換行列算出手段２１と、色調補正手段２２と、合成手段２３とを備える。
なお、ホモグラフィ行列Ｈ算出手段１０、変換画像生成手段１１、ディスプレイ領域変換手段１２及び参照画像検索手段１３は、第１実施形態と同様のため、説明を省略する。
As shown in FIG. 11, the color
Note that the homography matrix H calculation means 10, the converted image generation means 11, the display area conversion means 12, and the reference image search means 13 are the same as those in the first embodiment, so their explanations will be omitted.
色情報ベクトル取得手段２０は、変換画像Ｉｈの顔内側領域∂Ωｈから第１色情報の列ベクトルＶｈを取得し、参照画像Ｉ*
ｒの顔内側領域∂Ω＊から第２色情報の列ベクトルＶ＊を取得するものである。
以後、変換画像Ｉｈの顔内側領域を変換元領域と呼び、参照画像Ｉ*
ｒの顔内側領域を変換先領域と呼ぶ場合がある。
The color information vector acquisition means 20 acquires a column vector V h of first color information from the inner face region ∂Ω h of the converted image I h , and obtains a column vector V h of first color information from the inner face region ∂Ω * of the reference image I * r . This is to obtain the column vector V * .
Hereinafter, the inner face region of the converted image Ih may be referred to as a source region, and the inner face region of the reference image I * r may be referred to as a destination region.
具体的には、色情報ベクトル取得手段２０は、列ベクトルＶ＊，Ｖｈが属する変換元領域及び変換先領域の画素から、ｎ個の色情報ベクトルｖ＊，ｖｈをランダムサンプリングする。この色情報ベクトルｖ＊，ｖｈは、ＲＧＢの３次元で表される。そして、色情報ベクトル取得手段２０は、ｎ個の色情報ベクトルｖ＊，ｖｈで構成されている色情報の列ベクトルＶ＊＝（ｖ＊
１，…，ｖ＊
ｎ），Ｖｈ＝（ｖｈ１，…，ｖｈｎ）を生成する。
その後、色情報ベクトル取得手段２０は、生成した色情報の列ベクトルＶｈ，Ｖ＊を変換行列算出手段２１に出力する。
Specifically, the color information vector acquisition means 20 randomly samples n color information vectors v * , vh from the pixels of the conversion source area and conversion destination area to which the column vectors V * , Vh belong. The color information vectors v * and vh are expressed in three dimensions of RGB. Then, the color information vector acquisition means 20 acquires a color information column vector V * = (v * 1 ,...,v * n ) , Vh =( v h1 ,..., v hn ).
Thereafter, the color information vector acquisition means 20 outputs the generated color information column vectors V h , V * to the transformation matrix calculation means 21 .
変換行列算出手段２１は、第１色情報の列ベクトルＶｈと変換行列（第３変換行列）Ａとの積が第２色情報の列ベクトルＶ＊に等しくなる線形連立方程式を解くことで、変換行列Ａを算出するものである。例えば、変換行列算出手段２１は、線形連立方程式Ｖ＊＝ＡＶｈを生成し、生成した線形連立方程式を近似的に満たす変換行列Ａを最小二乗法で算出する。
その後、色情報ベクトル取得手段２０は、算出した変換行列Ａを色調補正手段２２に出力する。
The transformation matrix calculation means 21 solves a simultaneous linear equation in which the product of the column vector V h of the first color information and the transformation matrix (third transformation matrix) A is equal to the column vector V * of the second color information. This is to calculate the transformation matrix A. For example, the transformation matrix calculation means 21 generates the linear simultaneous equations V * =AV h , and calculates the transformation matrix A that approximately satisfies the generated linear simultaneous equations by the least squares method.
Thereafter, the color information vector acquisition means 20 outputs the calculated transformation matrix A to the color tone correction means 22.
色調補正手段２２は、変換行列Ａにより、変換画像Ｉｈの色調を補正するものである。具体的には、色調補正手段２２は、変換行列Ａを用いて、変換画像Ｉｈの全画素の画素値を変換する。
その後、色情報ベクトル取得手段２０は、色調を補正後の変換画像Ｉｈを合成手段２３に出力する。
The tone correction means 22 corrects the tone of the converted image Ih using the conversion matrix A. Specifically, the color tone correction means 22 uses the conversion matrix A to convert the pixel values of all pixels of the converted image Ih .
Thereafter, the color information vector acquisition means 20 outputs the converted image I h after the color tone has been corrected to the composition means 23 .
合成手段２３は、色調補正後の変換画像Ｉｈに基づいて、出演者の顔の色調を補正した色調補正画像を生成するものである。なお、合成手段２３は、第１実施形態と同様の手法で色調補正画像を生成できるので、これ以上の説明を省略する。 The synthesizing means 23 generates a tone-corrected image in which the tone of the performer's face is corrected based on the converted image Ih after the tone correction. Note that the synthesis means 23 can generate the tone-corrected image using the same method as in the first embodiment, so further explanation will be omitted.
［色調補正装置の動作］
図１２を参照し、色調補正装置１Ｂの動作について説明する。
なお、ステップＳ０～Ｓ４の処理は、第１実施形態と同様のため、説明を省略する。
[Operation of color tone correction device]
The operation of the color
Note that the processing in steps S0 to S4 is the same as that in the first embodiment, so a description thereof will be omitted.
ステップＳ２０において、色情報ベクトル取得手段２０は、変換先領域から第２色情報の列ベクトルＶ＊をランダムサンプリングする。
ステップＳ２１において、色情報ベクトル取得手段２０は、変換元領域から第１色情報の列ベクトルＶｈをランダムサンプリングする。
ステップＳ２２において、変換行列算出手段２１は、線形連立方程式Ｖ＊＝ＡＶｈを生成する。
In step S20, the color information vector acquisition means 20 randomly samples the second color information column vector V * from the conversion destination area.
In step S21, the color information vector acquisition means 20 randomly samples the first color information column vector Vh from the conversion source area.
In step S22, the transformation matrix calculation means 21 generates linear simultaneous equations V * =AV h .
ステップＳ２３において、変換行列算出手段２１は、線形連立方程式Ｖ＊＝ＡＶｈを解き、変換行列Ａを算出する。
ステップＳ２４において、色調補正手段２２は、変換行列Ａを用いて、変換画像Ｉｈの全画素の色調を変換する。
ステップＳ２５において、合成手段２３は、ディスプレイ領域Ｄをマスクとして、撮影画像Ｉと合成する。
In step S23, the transformation matrix calculation means 21 solves the linear simultaneous equations V * = AVh to calculate the transformation matrix A.
In step S24, the color tone correction means 22 uses the transformation matrix A to transform the color tones of all the pixels of the transformed image Ih .
In step S25, the synthesizing means 23 synthesizes the captured image I with the display area D as a mask.
［作用・効果］
以上のように、色調補正装置１Ｂは、カメラ９０が移動したときの顔方向に応じた参照画像Ｉ*
ｒを検索し、検索した参照画像Ｉ*
ｒを基準として、視聴者が注目しやすい出演者の顔の色調を補正する。
さらに、色調補正装置１Ｂは、変換画像Ｉｈの全画素を一括で変換できるので、画素毎の逐次処理が必要なポアソン画像合成に比べ、処理の高速化を図ることができる。
[Action/Effect]
As described above, the color
Furthermore, since the color
以上、本発明の実施形態を詳述してきたが、本発明はこれに限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更なども含まれる。 Although the embodiments of the present invention have been described in detail above, the present invention is not limited thereto, and may include design changes within a range that does not depart from the gist of the present invention.
本発明は、コンピュータが備えるＣＰＵ、メモリ、ハードディスク等のハードウェア資源を、前記した色調補正装置として動作させるプログラムで実現することもできる。これらのプログラムは、通信回線を介して配布してもよく、ＣＤ－ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。 The present invention can also be realized by a program that causes hardware resources such as a CPU, memory, and hard disk included in a computer to operate as the above-mentioned color tone correction device. These programs may be distributed via communication lines, or may be written and distributed on recording media such as CD-ROMs and flash memories.
例えば、本発明は、制作スタジオ、中継現場などの映像制作の現場にて、ディスプレイ越しのリモート出演者の色調の不自然さを補正するときに利用できる。また、本発明は、２つの映像を窓枠合成する際、素材映像の色調が異なる場合にも利用できる。 For example, the present invention can be used to correct unnatural color tones of remote performers viewed through a display at video production sites such as production studios and live broadcast locations. The present invention can also be used when two videos are composited into a window frame if the raw video images have different color tones.
１，１Ｂ 色調補正装置
１０ ホモグラフィ行列Ｈ算出手段（第１変換行列算出手段）
１１ 変換画像生成手段
１２ディスプレイ領域変換手段
１３ 参照画像検索手段
１４ ホモグラフィ行列Ｇ算出手段
１５ 顔方向調整手段
１６顔内側領域補正手段
１７ 顔方向復元手段
１８ 顔外側領域補正手段
１９，２３ 合成手段
２０ 色情報ベクトル取得手段
２１ 変換行列算出手段
２２ 色調補正手段
1, 1B Color
11 Converted image generation means 12 Display area conversion means 13 Reference image search means 14 Homography matrix G calculation means 15 Face direction adjustment means 16 Face inner region correction means 17 Face direction restoration means 18 Face outer region correction means 19, 23 Synthesis means 20 Color information vector acquisition means 21 Transformation matrix calculation means 22 Color tone correction means
Claims (6)
前記ディスプレイの正対視点と前記正対視点から移動した別視点との関係を示す第１変換行列により、前記別視点で前記ディスプレイを撮影した撮影画像を前記正対視点の変換画像に変換する変換画像生成手段と、
所定の顔方向毎に前記顔の色調の基準となる参照画像群を予め設定し、前記変換画像に含まれる前記人物の顔方向を算出し、前記参照画像群の中から、算出した前記顔方向に最も近い参照画像を検索する参照画像検索手段と、
前記変換画像と前記参照画像との顔方向の関係を示す第２変換行列により、前記変換画像の顔内側領域の方向が前記参照画像の顔方向に一致するように調整した顔方向調整画像を生成する顔方向調整手段と、
ポアソン画像合成により、前記顔方向調整画像と前記参照画像とを合成することで、前記顔内側領域の色調を補正した顔内側領域補正画像を生成する顔内側領域補正手段と、
前記第２変換行列の逆行列により、前記顔内側領域補正画像の顔方向が前記変換画像の顔方向に一致するように復元した顔方向復元画像を生成する顔方向復元手段と、
前記ポアソン画像合成により、前記顔方向復元画像と前記変換画像とを合成することで、顔外側領域の色調を補正した顔外側領域補正画像を生成する顔外側領域補正手段と、
前記顔外側領域補正画像に基づいて、前記人物の顔の色調を補正した色調補正画像を生成する合成手段と、
を備えることを特徴とする色調補正装置。 A color tone correction device that corrects the color tone of a person's face displayed on a display,
Transformation of converting a captured image of the display from the different viewpoint into a converted image of the directly facing viewpoint using a first transformation matrix indicating a relationship between a directly facing viewpoint of the display and another viewpoint moved from the directly facing viewpoint. image generating means;
A reference image group serving as a reference for the face tone is set in advance for each predetermined face direction, the face direction of the person included in the converted image is calculated, and the calculated face direction is selected from among the reference image group. a reference image search means for searching for a reference image closest to the reference image;
Generating a face direction adjusted image in which the direction of the inner face region of the transformed image is adjusted to match the face direction of the reference image using a second transformation matrix indicating the relationship between the face directions of the transformed image and the reference image. a face direction adjustment means for
an inner face region correction means for generating an inner face region corrected image in which the color tone of the inner face region is corrected by composing the face direction adjusted image and the reference image by Poisson image synthesis;
face direction restoring means for generating a face direction restored image in which the face direction of the inner face region corrected image is restored to match the face direction of the converted image using an inverse matrix of the second transformation matrix;
a face outer region correction means for generating a face outer region corrected image in which the color tone of the face outer region is corrected by synthesizing the face direction restored image and the converted image by the Poisson image synthesis;
a synthesizing means for generating a tone corrected image in which the tone of the face of the person is corrected based on the face outer region corrected image;
A color tone correction device comprising:
前記合成手段は、前記第１変換行列の逆行列により、前記顔外側領域補正画像を前記別視点に変換し、前記別視点の顔外側領域補正画像を前記ディスプレイ領域でマスクし、マスクした当該顔外側領域補正画像と前記撮影画像とを合成することで、前記色調補正画像を生成することを特徴とする請求項１に記載の色調補正装置。 a display area conversion means for converting the display area of the frontal viewpoint into the display area of the different viewpoint by an inverse matrix of the first conversion matrix,
The color correction device according to claim 1, characterized in that the combining means transforms the face outer area corrected image to the different viewpoint using an inverse matrix of the first transformation matrix, masks the face outer area corrected image of the different viewpoint with the display area, and combines the masked face outer area corrected image with the captured image to generate the color corrected image.
前記ディスプレイの正対視点と前記正対視点から移動した別視点との関係を示す第１変換行列により、前記別視点で前記ディスプレイを撮影した撮影画像を前記正対視点の変換画像に変換する変換画像生成手段と、
所定の顔方向毎に前記顔の色調の基準となる参照画像群を予め設定し、前記変換画像に含まれる前記人物の顔方向を算出し、前記参照画像群の中から、算出した前記顔方向に最も近い参照画像を検索する参照画像検索手段と、
前記変換画像の顔内側領域から第１色情報の列ベクトルを取得し、前記参照画像の顔内側領域から第２色情報の列ベクトルを取得する色情報ベクトル取得手段と、
前記第１色情報の列ベクトルと第３変換行列との積が前記第２色情報の列ベクトルに等しくなる線形連立方程式を解くことで、前記第３変換行列を算出する変換行列算出手段と、
前記第３変換行列により、前記変換画像の色調を補正する色調補正手段と、
色調補正後の前記変換画像に基づいて、前記人物の顔の色調を補正した色調補正画像を生成する合成手段と、
を備えることを特徴とする色調補正装置。 A color tone correction device that corrects the color tone of a person's face displayed on a display,
Transformation of converting a captured image of the display from the different viewpoint into a converted image of the directly facing viewpoint using a first transformation matrix indicating a relationship between a directly facing viewpoint of the display and another viewpoint moved from the directly facing viewpoint. image generating means;
A reference image group serving as a reference for the face tone is set in advance for each predetermined face direction, the face direction of the person included in the converted image is calculated, and the calculated face direction is selected from among the reference image group. a reference image search means for searching for a reference image closest to the reference image;
Color information vector acquisition means for acquiring a column vector of first color information from the inner face region of the converted image and a column vector of second color information from the inner face region of the reference image;
Transformation matrix calculation means for calculating the third transformation matrix by solving simultaneous linear equations in which the product of the column vector of the first color information and the third transformation matrix is equal to the column vector of the second color information;
tone correction means for correcting the tone of the converted image using the third conversion matrix;
a synthesizing means for generating a tone corrected image in which the tone of the face of the person is corrected based on the converted image after the tone correction;
A color tone correction device comprising:
前記合成手段は、色調補正後の前記変換画像を前記ディスプレイ領域でマスクし、マスクした当該変換画像と前記撮影画像とを合成することで、前記色調補正画像を生成することを特徴とする請求項３に記載の色調補正装置。 Further comprising display area converting means for presetting a display area in the converted image of the directly facing viewpoint and converting the display area of the directly facing viewpoint into a display area of the different viewpoint using an inverse matrix of the first transformation matrix. ,
2. The combining means generates the color tone corrected image by masking the converted image after color tone correction in the display area and combining the masked converted image with the photographed image. 3. The color tone correction device according to 3.
前記マーカに基づいて、前記別視点の撮影画像が前記正対視点の変換画像に変換されるように前記第１変換行列を算出する第１変換行列算出手段、
をさらに備えることを特徴とする請求項１から請求項４の何れか一項に記載の色調補正装置。 The display has four or more markers attached to it,
a first transformation matrix calculation means for calculating the first transformation matrix based on the marker so that the captured image from the different viewpoint is transformed into a transformed image from the directly facing viewpoint;
The color tone correction device according to any one of claims 1 to 4, further comprising the following.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020164748A JP7458281B2 (en) | 2020-09-30 | 2020-09-30 | Color correction device and its program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020164748A JP7458281B2 (en) | 2020-09-30 | 2020-09-30 | Color correction device and its program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022056803A JP2022056803A (en) | 2022-04-11 |
| JP7458281B2 true JP7458281B2 (en) | 2024-03-29 |
Family
ID=81111379
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020164748A Active JP7458281B2 (en) | 2020-09-30 | 2020-09-30 | Color correction device and its program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7458281B2 (en) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001325069A (en) | 2000-03-07 | 2001-11-22 | Nikon Gijutsu Kobo:Kk | Device and method for detecting position |
| JP2008228238A (en) | 2007-03-15 | 2008-09-25 | Omron Corp | Pupil color correction apparatus and program |
| JP2009218919A (en) | 2008-03-11 | 2009-09-24 | Clarion Co Ltd | Image display apparatus for vehicle |
| JP2009253324A (en) | 2008-04-01 | 2009-10-29 | Seiko Epson Corp | Image processing unit, image processing method, and program |
| JP2010062825A (en) | 2008-09-03 | 2010-03-18 | Ricoh Co Ltd | Imaging device and method of controlling imaging |
| JP2010219587A (en) | 2009-03-13 | 2010-09-30 | Panasonic Corp | Driving support display device |
| JP2020013368A (en) | 2018-07-19 | 2020-01-23 | 桂子 向山 | Makeup support system, makeup support program and makeup support method |
-
2020
- 2020-09-30 JP JP2020164748A patent/JP7458281B2/en active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001325069A (en) | 2000-03-07 | 2001-11-22 | Nikon Gijutsu Kobo:Kk | Device and method for detecting position |
| JP2008228238A (en) | 2007-03-15 | 2008-09-25 | Omron Corp | Pupil color correction apparatus and program |
| JP2009218919A (en) | 2008-03-11 | 2009-09-24 | Clarion Co Ltd | Image display apparatus for vehicle |
| JP2009253324A (en) | 2008-04-01 | 2009-10-29 | Seiko Epson Corp | Image processing unit, image processing method, and program |
| JP2010062825A (en) | 2008-09-03 | 2010-03-18 | Ricoh Co Ltd | Imaging device and method of controlling imaging |
| JP2010219587A (en) | 2009-03-13 | 2010-09-30 | Panasonic Corp | Driving support display device |
| JP2020013368A (en) | 2018-07-19 | 2020-01-23 | 桂子 向山 | Makeup support system, makeup support program and makeup support method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2022056803A (en) | 2022-04-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8049786B2 (en) | Method for improving image stitching accuracy with lens distortion correction and device for implementing the same | |
| US9533618B2 (en) | Method, apparatus and system for processing a display from a surround view camera solution | |
| JPH1091765A (en) | Device for synthesizing picture and method therefor | |
| US7583288B2 (en) | Panoramic video | |
| JP7093015B2 (en) | Panorama video compositing device, panoramic video compositing method, and panoramic video compositing program | |
| JP2015075516A (en) | Image processing device, image processing method, and display device | |
| JP2010009417A (en) | Image processing apparatus, image processing method, program and recording medium | |
| CN104363385B (en) | Line-oriented hardware implementing method for image fusion | |
| CN105141841B (en) | Picture pick-up device and its method | |
| US20170061686A1 (en) | Stage view presentation method and system | |
| TWI602154B (en) | Panoramic image stitching method and system thereof | |
| JPH0993430A (en) | Image synthesis method and image synthesizer | |
| KR101915540B1 (en) | Compose System on Image Similarity Analysis And Compose Method on Image Similarity Analysis | |
| WO2022164895A3 (en) | Neural 3d video synthesis | |
| JP6610659B2 (en) | Information processing apparatus, information processing method, and program | |
| JP2006229789A (en) | Camera surveillance system, image synthesizing method used therein, and image synthesizing program | |
| KR20200045682A (en) | Parallax minimized stitching using HLBP descriptor | |
| JPH09321972A (en) | Image synthesis device and method | |
| KR101801100B1 (en) | Video providing apparatus and method for supporting production of immersive contents | |
| JP7458281B2 (en) | Color correction device and its program | |
| KR101819984B1 (en) | Image synthesis method in real time | |
| CN109218602B (en) | Image acquisition device, image processing method and electronic device | |
| JP6391356B2 (en) | Image processing apparatus, image processing method, and program | |
| KR101473648B1 (en) | Method and system for real-time chroma-key image synthesis without background screen | |
| JPH07222052A (en) | Method for separating paper material area from picked-up image and remote presentation method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230807 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240213 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240220 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240318 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7458281 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |