JP5880182B2 - 画像生成装置、画像生成方法及びプログラム - Google Patents
画像生成装置、画像生成方法及びプログラム Download PDFInfo
- Publication number
- JP5880182B2 JP5880182B2 JP2012061686A JP2012061686A JP5880182B2 JP 5880182 B2 JP5880182 B2 JP 5880182B2 JP 2012061686 A JP2012061686 A JP 2012061686A JP 2012061686 A JP2012061686 A JP 2012061686A JP 5880182 B2 JP5880182 B2 JP 5880182B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- face
- unit
- replacement
- face image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 43
- 238000012545 processing Methods 0.000 claims description 62
- 238000001514 detection method Methods 0.000 claims description 41
- 238000000605 extraction Methods 0.000 claims description 35
- 230000008569 process Effects 0.000 claims description 29
- 239000000470 constituent Substances 0.000 claims description 17
- 239000000284 extract Substances 0.000 claims description 12
- 230000001131 transforming effect Effects 0.000 claims description 6
- 238000003384 imaging method Methods 0.000 description 69
- 238000004891 communication Methods 0.000 description 20
- 230000004048 modification Effects 0.000 description 13
- 238000012986 modification Methods 0.000 description 13
- 210000004709 eyebrow Anatomy 0.000 description 9
- 230000001815 facial effect Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 241000282414 Homo sapiens Species 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 210000004209 hair Anatomy 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Television Signal Processing For Recording (AREA)
- Image Analysis (AREA)
- Character Discrimination (AREA)
Description
図1に示すように、本実施形態の撮像システム100は、撮像装置1(図2参照)と、サーバ2とを備え、撮像装置1とサーバ2とは、アクセスポイントAP及び通信ネットワークNを介して相互に情報通信可能に接続されている。
サーバ2は、例えば、予めユーザによって登録された外部記録装置を構成する。即ち、サーバ2は、例えば、通信ネットワークNを介してアップロードされた画像データをインターネット上に公開することが可能なコンテンツサーバ等から構成され、当該サーバ2にアップロードされた画像データを記録する。
具体的には、サーバ2は、例えば、図示は省略するが、当該サーバ2本体の各部を制御する中央制御部と、外部機器(例えば、撮像装置1等)と情報通信するための通信処理部と、外部機器から送信された画像データを記録する画像記録部とを具備している。
図2は、撮像システム100を構成する撮像装置1の概略構成を示すブロック図である。
図2に示すように、撮像装置1は、具体的には、撮像部101と、撮像制御部102と、画像データ生成部103と、メモリ104と、画像記録部105と、画像処理部106と、表示制御部107と、表示部108と、無線処理部109と、操作入力部110と、中央制御部111とを備えている。
また、撮像部101、撮像制御部102、画像データ生成部103、メモリ104、画像記録部105、画像処理部106、表示制御部107、無線処理部109及び中央制御部111は、バスライン112を介して接続されている。
具体的には、撮像部101は、レンズ部101aと、電子撮像部101bと、レンズ駆動部101cとを備えている。
電子撮像部101bは、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal-oxide Semiconductor)等のイメージセンサ(撮像素子)から構成されている。そして、電子撮像部101bは、レンズ部101aの各種レンズを通過した光学像を二次元の画像信号に変換する。
レンズ駆動部101cは、例えば、図示は省略するが、ズームレンズを光軸方向に移動させるズーム駆動部、フォーカスレンズを光軸方向に移動させる合焦駆動部等を備えている。
なお、撮像部101は、レンズ部101a、電子撮像部101b及びレンズ駆動部101cに加えて、レンズ部101aを通過する光の量を調整する絞り(図示略)を備えても良い。
また、撮像制御部102は、AF(自動合焦処理)、AE(自動露出処理)、AWB(自動ホワイトバランス)等の被写体を撮像する際の条件の調整制御を行っても良い。
カラープロセス回路から出力される輝度信号Y及び色差信号Cb,Crは、図示しないDMAコントローラを介して、バッファメモリとして使用されるメモリ104にDMA転送される。
差替用顔画像F1〜Fnの画像データの各々は、例えば、図3(a)〜(c)等に示すように、画像から抽出された顔が含まれる顔領域に対応する画像である。
顔の特徴情報は、差替用顔画像Fの各々から抽出された顔の主要な顔構成部(例えば、目、鼻、口、眉、顔輪郭等)に係る情報であり、例えば、各顔構成部を構成する画素のXY平面空間での座標位置(x, y)に係る位置情報が挙げられる。なお、顔の主要な顔構成部は、例えば、差替用顔画像Fの各々から抽出された顔領域に対してAAM(Active Appearance Model)を用いた処理(詳細後述)を行うことにより、顔輪郭並びに当該顔輪郭よりも内側に存する目、鼻、口、眉等が顔構成部として検出されている。
また、図3(a)〜(c)に示す差替用顔画像F1〜Fnは、一例であってこれらに限られるものではなく、適宜任意に変更可能である。
なお、画像処理部106の各部は、例えば、所定のロジック回路から構成されているが、当該構成は一例であってこれに限られるものではない。
即ち、画像取得部106aは、取得手段として、元画像(例えば、写真画像等)P1の画像データを取得する。具体的には、画像取得部106aは、撮像部101及び撮像制御部102による被写体の撮像によって画像データ生成部103により生成された元画像P1の画像データ(YUVデータ)の複製をメモリ104から取得したり、画像記録部105に記録されている元画像P1の画像データ(YUVデータ)の複製を取得する(図5参照)。
なお、画像取得部106aは、画像記録部105に記録されている所定数の画像データの中で、例えば、デフォルトとして予め定められている一の画像の画像データを、画像生成処理の処理対象の画像データとして自動的に取得する構成としても良い。
即ち、顔検出部106bは、顔検出手段として、画像取得部106aにより取得された元画像P1から顔が含まれる顔領域Aを検出する。具体的には、顔検出部106bは、画像取得部106aにより画像生成処理の処理対象の画像として取得された元画像P1の画像データを取得して、当該画像データに対して所定の顔検出処理を行って顔領域Aを検出する。
なお、顔検出処理は、公知の技術であるので、ここでは詳細な説明を省略する。
また、図6(a)及び後述する図6(b)には、元画像P1から検出された顔領域Aが含まれる部分のみを模式的に拡大して表している。
即ち、構成部検出部106cは、構成部検出手段として、画像取得部106aにより取得された元画像P1内の顔から主要な顔構成部を検出する。具体的には、構成部検出部106cは、例えば、顔検出部106bにより元画像P1の画像データから検出された顔領域Aに対してAAMを用いた処理を行うことにより、顔輪郭並びに当該顔輪郭よりも内側に存する目、鼻、口、眉等の顔構成部を検出する(図6(b)参照)。
なお、図6(b)には、元画像P1内の顔から検出された主要な顔構成部を破線により模式的に表している。
即ち、特徴情報抽出部106dは、抽出手段として、画像取得部106aにより取得された元画像P1内の顔から特徴情報を抽出する。具体的には、特徴情報抽出部106dは、例えば、構成部検出部106cにより元画像P1から検出された、例えば、顔輪郭、目、鼻、口、眉等の顔構成部の特徴情報を抽出する。より具体的には、特徴情報抽出部106dは、例えば、顔検出部106bにより検出された顔領域Aから構成部検出部106cにより検出された各顔構成部の特徴情報を抽出する。
ここで、特徴情報は、元画像P1から抽出された顔の主要な顔構成部に係る情報であり、例えば、各顔構成部を構成する画素のXY平面空間での座標位置(x, y)に係る位置情報や、各顔構成部を構成する画素のXY平面空間での相対的な位置関係に係る位置情報等が挙げられる。
なお、特徴情報として例示したものは一例であってこれらに限られるものではなく、適宜任意に変更可能である。例えば、肌や髪の毛や目の色等を特徴情報としても良い。
即ち、差替用顔画像特定部106eは、特定手段として、画像記録部105に記録されている顔の特徴情報に基づいて、特徴情報抽出部106dにより抽出された特徴情報に対応する差替用顔画像Fを特定する。具体的には、差替用顔画像特定部106eは、画像記録部105の差替用顔画像テーブルT1に記録されている所定数の差替用顔画像Fの各々の特徴情報と、特徴情報抽出部106dにより元画像P1の顔領域Aから抽出された特徴情報とを比較して、差替用顔画像Fの各々について顔構成部どうしの一致度(例えば、対応する顔構成部を構成する画素の座標位置どうしの最短距離のL2ノルム等)を算出する。そして、差替用顔画像特定部106eは、算出された一致度が最も高くなった特徴情報と対応付けられている差替用顔画像F(例えば、差替用顔画像F2等)の画像データを特定する。
このとき、差替用顔画像特定部106eは、一致度が所定値よりも高い特徴情報と対応付けられている差替用顔画像Fを複数特定し、当該複数の差替用顔画像F、…の中で、ユーザによる操作入力部110の所定操作に基づいて選択されたユーザ所望の差替用顔画像Fを特定しても良い。
なお、差替用顔画像テーブルT1に記録されている差替用顔画像Fと元画像P1の顔領域Aとは、元画像P1内の顔の特徴情報に対応する差替用顔画像Fの特定前に、予め水平・垂直方向の大きさ(画素数)を揃えておくのが好ましい。
即ち、差替用顔画像変形部106fは、変形手段として、特徴情報抽出部106dにより抽出された顔構成部の特徴情報に基づいて、画像記録部105に記録されている顔画像を変形させる。具体的には、差替用顔画像変形部106fは、元画像P1内の顔領域Aと差し替えられる差替用顔画像F、即ち、差替用顔画像特定部106eにより特定された差替用顔画像Fを、特徴情報抽出部106dにより元画像P1から抽出された顔構成部の特徴情報に基づいて変形させて、変形後の差替用顔画像Fの画像データを生成する。
例えば、差替用顔画像変形部106fは、元画像P1の各顔構成部を構成する画素の座標位置を変形後の目標座標位置とし、差替用顔画像Fの対応する各顔構成部を構成する画素の座標位置を移動させるように、当該差替用顔画像Fの変形、回転、拡大・縮小、傾斜、歪曲等を行う。
なお、差替用顔画像Fを変形させる処理は、公知の技術であるので、ここでは詳細な説明を省略する。
即ち、差替画像生成部106gは、生成手段として、特徴情報抽出部106dにより抽出された特徴情報及び画像記録部105に記録されている顔の特徴情報に基づいて、画像取得部106aにより取得された元画像P1内の顔領域Aの画像を、画像記録部105に記録されている何れか一の差替用顔画像Fで差し替えた差替画像P2を生成する。具体的には、差替画像生成部106gは、元画像P1内の顔領域Aの画像を差替用顔画像変形部106fにより変形された変形後の差替用顔画像Fで差し替えて差替画像P2の画像データを生成する。
例えば、差替画像生成部106gは、元画像P1内の顔領域Aの画像の所定位置(例えば、四隅等)に、変形後の差替用顔画像Fの所定位置に対応する位置を一致させるようにして差し替えを行う。このとき、差替画像生成部106gは、例えば、元画像P1内の顔領域Aの顔の首から上の部分を変形後の差替用顔画像Fの首から上の部分で差し替えるようにしても良いし、また、元画像P1内の顔領域Aの顔輪郭の内側部分を変形後の差替用顔画像Fの顔輪郭の内側部分で差し替えるようにしても良い。さらに、差替画像生成部106gは、元画像P1内の顔領域Aの一部の顔構成部についてのみ変形後の差替用顔画像Fの対応する顔構成部で差し替えるようにしても良い。
また、差替画像生成部106gは、例えば、差替用顔画像Fの色を差替画像P2における差替用顔画像F以外の領域の色に合わせるように、即ち、差し替えられた領域と他の領域とで色の違いにより違和感を生じさせないように色調を整えても良い。
つまり、撮像装置1は、必ずしも差替用顔画像変形部106fにより変形後の差替用顔画像Fを生成する必要はなく、当該差替用顔画像変形部106fを具備するか否かは適宜任意に変更可能である。
具体的には、表示制御部107は、VRAM(Video Random Access Memory)、VRAMコントローラ、デジタルビデオエンコーダなどを備えている。そして、デジタルビデオエンコーダは、中央制御部111の制御下にてメモリ104から読み出されてVRAM(図示略)に格納されている輝度信号Y及び色差信号Cb,Crを、VRAMコントローラを介してVRAMから定期的に読み出して、これらのデータを元にビデオ信号を発生して表示部108に出力する。
即ち、無線処理部109は、所定の無線通信回線を介して通信する無線通信手段を構成し、例えば、通信アンテナ109aを具備する無線LANモジュール等を備えている。具体的には、無線処理部109は、通信アンテナ109aから差替画像P2の画像データを、アクセスポイントAP並びに通信ネットワークNを介してサーバ2に送信する。
図4は、画像生成処理に係る動作の一例を示すフローチャートである。
また、画像生成処理の処理対象となる元画像P1の画像データが画像記録部105に記録されているものとする。さらに、所定数の差替用顔画像Fの画像データが顔の特徴情報と対応付けられて画像記録部105に記録されているものとする。
そして、画像処理部106は、検出された顔領域Aの中で、ユーザによる操作入力部110の所定操作に基づいて選択された顔領域Aを処理対象領域として指定する(ステップS3)。例えば、本実施形態では、一番奥側にいる白衣の男性の顔領域A(図6(a)参照)を処理対象領域として指定して、以下の各処理を行うものとする。
次に、特徴情報抽出部106dは、構成部検出部106cにより元画像P1の顔領域Aから検出された、顔輪郭、目、鼻、口、眉等の各顔構成部の特徴情報を抽出する(ステップS5)。具体的には、特徴情報抽出部106dは、例えば、顔輪郭、目、鼻、口、眉等を構成する画素のXY平面空間での座標位置(x, y)に係る位置情報を特徴情報として抽出する。
具体的には、差替用顔画像特定部106eは、所定数の差替用顔画像Fの各々の特徴情報と、元画像P1の顔領域Aから抽出された特徴情報とを比較して、差替用顔画像Fの各々について顔構成部どうしの一致度を算出する。そして、差替用顔画像特定部106eは、一致度が最も高くなった特徴情報と対応付けられている差替用顔画像F(例えば、差替用顔画像F2等)の画像データを特定して、画像記録部105から読み出して取得する。
続けて、差替画像生成部106gは、元画像P1内の顔領域Aの画像を差替用顔画像変形部106fにより変形された差替用顔画像Fで差し替えて、具体的には、元画像P1内の顔領域Aの顔輪郭の内側部分を差替用顔画像Fの顔輪郭の内側部分で差し替えて、差替画像P2の画像データを生成する(ステップS8)。そして、画像記録部105は、差替画像生成部106gにより生成された差替画像P2の画像データ(YUVデータ)を取得して、記録する。
サーバ2にあっては、送信された差替画像P2の画像データが通信処理部により受信されると、中央制御部の制御下にて、画像記録部は、当該画像データを所定の記録領域に記録する。そして、サーバ2は、インターネット上に開設されたWebページに差替画像P2をアップロードすることで、当該差替画像P2がインターネット上に公開された状態となる。
これにより、画像生成処理を終了する。
即ち、元画像P1内の顔から抽出された特徴情報を基準として、画像記録部105から顔領域Aと差し替えられる差替用顔画像Fを取得することができ、元画像P1内の顔領域Aの顔が差し替え前後でかけ離れてしまうことを防止することができる。つまり、プライバシーの保護の観点から、元画像P1内の顔領域A(例えば、白衣の男性の顔領域A;図6(a)参照)の差し替えを行っても、元画像P1と差替画像P2とで差し替え前後の顔の整合性を確保することができる。
従って、元画像P1内の顔に対して、例えば、モザイク処理やぼかし処理等の各種の画像処理を直接的に施す場合に比べて、プライバシーの保護を図りつつも自然な差替画像P2を生成することができる。
さらに、顔構成部の特徴情報に基づいて差替用顔画像Fを変形させ、変形後の差替用顔画像Fで元画像P1の顔領域Aの画像を差し替えるので、例えば、画像記録部105に元画像P1内の顔領域Aとの類似度合いが相対的に低い差替用顔画像Fしか記録されていない状態であっても、元画像P1の顔領域Aに対する類似度合いを向上させた差替用顔画像Fを生成することができる。これにより、差し替え前後の顔の整合性を確保することができ、より自然な差替画像P2を生成することができる。
以下に、撮像装置1の変形例について説明する。
変形例1の撮像装置301は、所定の登録手段(例えば、画像記録部105等)に顔を登録しておき、所定の登録手段に登録されていない顔を含む顔領域Aが検出された場合に、当該顔領域Aの画像を差替用顔画像Fで差し替えて差替画像P2を生成する。
なお、変形例1の撮像装置301は、以下に詳細に説明する以外の点で上記実施形態の撮像装置1と略同様の構成をなし、詳細な説明は省略する。
図8に示すように、変形例1の撮像装置301の画像処理部106は、画像取得部106a、顔検出部106b、構成部検出部106c、特徴情報抽出部106d、差替用顔画像特定部106e、差替用顔画像変形部106f、差替画像生成部106gに加えて、判定部106hを具備している。
即ち、画像記録部105は、差替用顔画像Fによる差し替え対象から除外される顔領域Aを予め登録する顔登録テーブルT2を記録している。この顔登録テーブルT2は、例えば、顔領域Aと人物名とを対応付けて記録する構成であっても良いし、顔領域Aのみを記録する構成であっても良い。例えば、図5に示す元画像P1の場合、顔登録テーブルT2に、白衣の男性の顔領域A以外の3人のヒトと赤ん坊の顔領域Aをそれぞれ登録するものとする。
そして、顔検出部106bにより元画像P1から顔領域Aが検出されると(ステップS2参照)、判定部106hは、各顔領域Aの顔が顔登録テーブルT2に登録されている顔であるか否かを判定する。具体的には、判定部106hは、例えば、それぞれの顔領域Aから特徴情報を抽出して、それらの一致度を基準として、検出された各顔領域Aの顔が登録されている顔であるか否かを判定する。
即ち、差替画像生成部106gは、元画像P1内における当該登録されていない顔領域Aの画像を差替用顔画像特定部106eにより特定された差替用顔画像F(或いは、差替用顔画像変形部106fにより変形された差替用顔画像F)で差し替えて差替画像P2を生成する。
即ち、元画像P1から検出された顔領域Aの顔の性別や年代や人種等を特定する処理を行って、特定された性別や年代や人種に対応する代表差替用顔画像で当該元画像P1の顔領域Aを差し替えて差替画像P2を生成することができる。
なお、元画像P1の顔領域Aの性別や年代や人種については、例えば、AAMの処理に用いられる基準モデルを性別や年代や人種毎に用意しておき、元画像P1の顔領域Aと最も一致度が高くなった基準モデルを利用して、性別や年代や人種を特定するようにしても良い。
さらに、差替用顔画像Fの生成元となる画像や元画像P1の顔領域Aの画像は、必ずしも正面顔を表した画像である必要はなく、例えば、斜めを向くように顔が傾いた画像の場合には、当該顔が正面を向くように変形させた画像を生成して、画像生成処理に用いても良い。
即ち、プログラムを記憶するプログラムメモリ(図示略)に、取得処理ルーチン、抽出処理ルーチン、生成処理ルーチンを含むプログラムを記憶しておく。そして、取得処理ルーチンにより中央制御部111のCPUを、画像を取得する取得手段として機能させるようにしても良い。また、抽出処理ルーチンにより中央制御部111のCPUを、取得手段により取得された画像内の顔から特徴情報を抽出する抽出手段として機能させるようにしても良い。また、生成処理ルーチンにより中央制御部111のCPUを、抽出手段により抽出された特徴情報及び記録手段に記録されている顔の特徴情報に基づいて、取得手段により取得された画像内の顔領域Aの画像を、記録手段に記録されている何れか一の顔画像で差し替えた差替画像P2を生成する生成手段として機能させるようにしても良い。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
<請求項1>
少なくとも一の顔画像と各顔の特徴情報とを対応付けて記録する記録手段と、
画像を取得する取得手段と、
前記取得手段により取得された画像内の顔から特徴情報を抽出する抽出手段と、
前記抽出手段により抽出された特徴情報及び前記記録手段に記録されている顔の特徴情報に基づいて、前記取得手段により取得された画像内の顔領域の画像を、前記記録手段に記録されている何れか一の顔画像で差し替えた差替画像を生成する生成手段と、
を備えたことを特徴とする画像生成装置。
<請求項2>
前記取得手段により取得された画像内の顔から主要な顔構成部を検出する構成部検出手段を更に備え、
前記抽出手段は、前記構成部検出手段により検出された顔構成部の特徴情報を抽出することを特徴とする請求項1に記載の画像生成装置。
<請求項3>
前記抽出手段により抽出された顔構成部の特徴情報に基づいて、前記記録手段に記録されている顔画像を変形させる変形手段を更に備え、
前記生成手段は、前記顔領域の画像を前記変形手段により変形された顔画像で差し替えて前記差替画像を生成することを特徴とする請求項2に記載の画像生成装置。
<請求項4>
前記記録手段に記録されている顔の特徴情報に基づいて、前記抽出手段により抽出された特徴情報に対応する顔画像を特定する特定手段を更に備え、
前記生成手段は、前記顔領域の画像を前記特定手段により特定された顔画像で差し替えて前記差替画像を生成することを特徴とする請求項1〜3の何れか一項に記載の画像生成装置。
<請求項5>
前記取得手段により取得された画像から顔が含まれる顔領域を検出する顔検出手段を更に備え、
前記抽出手段は、前記顔検出手段により検出された顔領域から特徴情報を抽出することを特徴とする請求項1〜4の何れか一項に記載の画像生成装置。
<請求項6>
前記顔検出手段により検出された顔領域の顔が予め登録手段に登録されている顔であるか否かを判定する判定手段を更に備え、
前記生成手段は、前記判定手段により顔領域の顔が予め登録されている顔でないと判定された場合に、当該顔領域の画像を前記何れか一の顔画像で差し替えて前記差替画像を生成することを特徴とする請求項5に記載の画像生成装置。
<請求項7>
少なくとも一の顔画像と各顔の特徴情報とを対応付けて記録する記録手段を備える画像生成装置を用いた画像生成方法であって、
画像を取得する処理と、
取得された画像内の顔から特徴情報を抽出する処理と、
抽出された特徴情報及び前記記録手段に記録されている顔の特徴情報に基づいて、取得された画像内の顔領域の画像を、前記記録手段に記録されている何れか一の顔画像で差し替えた差替画像を生成する処理と、
を含むことを特徴とする画像生成方法。
<請求項8>
少なくとも一の顔画像と各顔の特徴情報とを対応付けて記録する記録手段を備える画像生成装置のコンピュータを、
画像を取得する取得手段、
前記取得手段により取得された画像内の顔から特徴情報を抽出する抽出手段、
前記抽出手段により抽出された特徴情報及び前記記録手段に記録されている顔の特徴情報に基づいて、前記取得手段により取得された画像内の顔領域の画像を、前記記録手段に記録されている何れか一の顔画像で差し替えた差替画像を生成する生成手段、
として機能させることを特徴とするプログラム。
105 画像記録部
106 画像処理部
106a 画像取得部
106b 顔検出部
106c 構成部検出部
106d 特徴情報抽出部
106e 差替用顔画像特定部
106f 差替用顔画像変形部
106g 差替画像生成部
106h 判定部
111 中央制御部
T1 差替用顔画像テーブル
T2 顔登録テーブル
Claims (8)
- 少なくとも一の顔画像と顔画像の特徴情報とを対応付けて記録する記録手段と、
画像を取得する取得手段と、
前記取得手段により取得された画像内の顔画像から特徴情報を抽出する抽出手段と、
前記抽出手段により抽出された特徴情報及び前記記録手段に記録されている特徴情報に基づいて、前記取得手段により取得された顔画像における主要な顔構成部の位置を変形後の目標位置として、前記記録手段に記録されている何れか一の顔画像の対応する各顔構成部の位置を移動させるように、前記何れか一の顔画像を変形させて差替用顔画像とする変形手段と、
前記取得手段により取得された顔画像を、前記変形手段により変形された前記差替用顔画像で差し替えた差替画像を生成する生成手段と、
を備える、
ことを特徴とする画像生成装置。 - 前記取得手段により取得された画像内の顔画像から前記主要な顔構成部を検出する構成部検出手段を更に備え、
前記抽出手段は、前記構成部検出手段により検出された前記主要な顔構成部の特徴情報を抽出することを特徴とする請求項1に記載の画像生成装置。 - 前記変形手段は、前記構成部検出手段により検出された前記主要な顔構成部を構成する画素の座標位置を変形後の目標座標位置として、前記記録手段に記録されている前記何れか一の顔画像の対応する各顔構成部を構成する画素の座標位置を移動させるように、前記何れか一の顔画像を変形させて前記差替用顔画像とすることを特徴とする請求項2に記載の画像生成装置。
- 前記記録手段に記録されている特徴情報に基づいて、前記抽出手段により抽出された特徴情報に対応する、前記記録手段に記録されている顔画像を特定する特定手段を更に備え、
前記変形手段は、前記特定手段により特定された顔画像を変形させて前記差替用顔画像とする、
ことを特徴とする請求項1〜3の何れか一項に記載の画像生成装置。 - 前記取得手段により取得された画像から顔画像を検出する顔検出手段を更に備え、
前記抽出手段は、前記顔検出手段により検出された顔画像から特徴情報を抽出する、
ことを特徴とする請求項1〜4の何れか一項に記載の画像生成装置。 - 前記顔検出手段により検出された顔画像が予め登録手段に登録されている顔画像であるか否かを判定する判定手段を更に備え、
前記生成手段は、前記判定手段により、前記顔検出手段により検出された顔画像が予め前記登録手段に登録されている顔画像でないと判定された場合に、前記顔検出手段により検出された顔画像を前記差替用顔画像で差し替えて前記差替画像を生成する、
ことを特徴とする請求項5に記載の画像生成装置。 - 少なくとも一の顔画像と顔画像の特徴情報とを対応付けて記録する記録手段を備える画像生成装置を用いた画像生成方法であって、
画像を取得する処理と、
取得された画像内の顔画像から特徴情報を抽出する処理と、
抽出された特徴情報及び前記記録手段に記録されている特徴情報に基づいて、取得された顔画像における主要な顔構成部の位置を変形後の目標位置として、前記記録手段に記録されている何れか一の顔画像の対応する各顔構成部の位置を移動させるように、前記何れか一の顔画像を変形させて差替用顔画像とする処理と、
取得された顔画像を、前記差替用顔画像で差し替えた差替画像を生成する処理と、
を含む、
ことを特徴とする画像生成方法。 - 少なくとも一の顔画像と顔画像の特徴情報とを対応付けて記録する記録手段を備える画像生成装置のコンピュータを、
画像を取得する取得手段、
前記取得手段により取得された画像内の顔画像から特徴情報を抽出する抽出手段、
前記抽出手段により抽出された特徴情報及び前記記録手段に記録されている特徴情報に基づいて、前記取得手段により取得された顔画像における主要な顔構成部の位置を変形後の目標位置として、前記記録手段に記録されている何れか一の顔画像の対応する各顔構成部の位置を移動させるように、前記何れか一の顔画像を変形させて差替用顔画像とする変形手段、
前記取得手段により取得された顔画像を、前記変形手段により変形された前記差替用顔画像で差し替えた差替画像を生成する生成手段、
として機能させる、
ことを特徴とするプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012061686A JP5880182B2 (ja) | 2012-03-19 | 2012-03-19 | 画像生成装置、画像生成方法及びプログラム |
US13/796,615 US20130242127A1 (en) | 2012-03-19 | 2013-03-12 | Image creating device and image creating method |
CN2013100862831A CN103327231A (zh) | 2012-03-19 | 2013-03-18 | 图像生成装置以及图像生成方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012061686A JP5880182B2 (ja) | 2012-03-19 | 2012-03-19 | 画像生成装置、画像生成方法及びプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2013197785A JP2013197785A (ja) | 2013-09-30 |
JP2013197785A5 JP2013197785A5 (ja) | 2015-04-23 |
JP5880182B2 true JP5880182B2 (ja) | 2016-03-08 |
Family
ID=49157257
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012061686A Expired - Fee Related JP5880182B2 (ja) | 2012-03-19 | 2012-03-19 | 画像生成装置、画像生成方法及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20130242127A1 (ja) |
JP (1) | JP5880182B2 (ja) |
CN (1) | CN103327231A (ja) |
Families Citing this family (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6098133B2 (ja) * | 2012-11-21 | 2017-03-22 | カシオ計算機株式会社 | 顔構成部抽出装置、顔構成部抽出方法及びプログラム |
JP2015002423A (ja) * | 2013-06-14 | 2015-01-05 | ソニー株式会社 | 画像処理装置、サーバ及び記憶媒体 |
JP2015106212A (ja) * | 2013-11-29 | 2015-06-08 | カシオ計算機株式会社 | 表示装置、画像処理方法及びプログラム |
US9693023B2 (en) | 2014-02-05 | 2017-06-27 | Panasonic Intellectual Property Management Co., Ltd. | Monitoring apparatus, monitoring system, and monitoring method |
CN103914634A (zh) * | 2014-03-26 | 2014-07-09 | 小米科技有限责任公司 | 图片加密方法、装置及电子设备 |
RU2014111792A (ru) * | 2014-03-27 | 2015-10-10 | ЭлЭсАй Корпорейшн | Процессор изображений, содержащий систему распознавания лиц на основании преобразования двухмерной решетки |
JP6537332B2 (ja) * | 2014-04-28 | 2019-07-03 | キヤノン株式会社 | 画像処理方法および撮影装置 |
JP6205599B2 (ja) * | 2014-05-19 | 2017-10-04 | 株式会社コナミデジタルエンタテインメント | 画像合成装置、画像合成方法、及びコンピュータプログラム |
JP2016126510A (ja) * | 2014-12-26 | 2016-07-11 | カシオ計算機株式会社 | 画像生成装置、画像生成方法及びプログラム |
CN105791671B (zh) * | 2014-12-26 | 2021-04-02 | 中兴通讯股份有限公司 | 一种前摄像头拍摄修正方法、装置及终端 |
CN105160264B (zh) * | 2015-09-29 | 2019-03-29 | 努比亚技术有限公司 | 照片加密装置及方法 |
JP6726052B2 (ja) | 2015-11-20 | 2020-07-22 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 画像処理方法およびプログラム |
CN107181908B (zh) | 2016-03-11 | 2020-09-11 | 松下电器(美国)知识产权公司 | 图像处理方法、图像处理装置及计算机可读记录介质 |
US10282634B2 (en) | 2016-03-11 | 2019-05-07 | Panasonic Intellectual Property Corporation Of America | Image processing method, image processing apparatus, and recording medium for reducing variation in quality of training data items |
CN107330408B (zh) * | 2017-06-30 | 2021-04-20 | 北京乐蜜科技有限责任公司 | 视频处理方法、装置、电子设备及存储介质 |
CN109325988B (zh) * | 2017-07-31 | 2022-11-11 | 腾讯科技(深圳)有限公司 | 一种面部表情合成方法、装置及电子设备 |
CN108111868B (zh) * | 2017-11-17 | 2020-06-09 | 西安电子科技大学 | 一种基于mmda的表情不变的隐私保护方法 |
CN108200334B (zh) * | 2017-12-28 | 2020-09-08 | Oppo广东移动通信有限公司 | 图像拍摄方法、装置、存储介质及电子设备 |
CN108549853B (zh) * | 2018-03-29 | 2022-10-04 | 上海明殿文化传播有限公司 | 一种图像处理方法、移动终端以及计算机可读存储介质 |
CN110674765A (zh) * | 2019-09-27 | 2020-01-10 | 上海依图网络科技有限公司 | 摄像***以及视频处理方法 |
CN110572604B (zh) * | 2019-09-27 | 2023-04-07 | 上海依图网络科技有限公司 | 摄像***以及视频处理方法 |
CN110620891B (zh) * | 2019-09-27 | 2023-04-07 | 上海依图网络科技有限公司 | 摄像***以及视频处理方法 |
CN110610456A (zh) * | 2019-09-27 | 2019-12-24 | 上海依图网络科技有限公司 | 摄像***以及视频处理方法 |
CN110647659B (zh) * | 2019-09-27 | 2023-09-15 | 上海依图网络科技有限公司 | 摄像***以及视频处理方法 |
CN111083352A (zh) * | 2019-11-25 | 2020-04-28 | 广州富港万嘉智能科技有限公司 | 带隐私保护的摄像头工作控制方法、计算机可读存储介质及摄像终端 |
CN111031236A (zh) * | 2019-11-25 | 2020-04-17 | 广州富港万嘉智能科技有限公司 | 带隐私保护的摄像头工作控制方法、计算机可读存储介质及摄像终端 |
CN111931145A (zh) * | 2020-06-29 | 2020-11-13 | 北京爱芯科技有限公司 | 人脸加密方法、识别方法、装置、电子设备及存储介质 |
CN113473075A (zh) * | 2020-07-14 | 2021-10-01 | 青岛海信电子产业控股股份有限公司 | 一种视频监控数据隐私保护方法及其装置 |
CN113747112B (zh) * | 2021-11-04 | 2022-02-22 | 珠海视熙科技有限公司 | 一种多人视频会议头像的处理方法及处理装置 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB0112773D0 (en) * | 2001-05-25 | 2001-07-18 | Univ Manchester | Object identification |
GB2382289B (en) * | 2001-09-28 | 2005-07-06 | Canon Kk | Method and apparatus for generating models of individuals |
US6959099B2 (en) * | 2001-12-06 | 2005-10-25 | Koninklijke Philips Electronics N.V. | Method and apparatus for automatic face blurring |
JP4036051B2 (ja) * | 2002-07-30 | 2008-01-23 | オムロン株式会社 | 顔照合装置および顔照合方法 |
JP4795718B2 (ja) * | 2005-05-16 | 2011-10-19 | 富士フイルム株式会社 | 画像処理装置および方法並びにプログラム |
US7787664B2 (en) * | 2006-03-29 | 2010-08-31 | Eastman Kodak Company | Recomposing photographs from multiple frames |
JP4424364B2 (ja) * | 2007-03-19 | 2010-03-03 | ソニー株式会社 | 画像処理装置、画像処理方法 |
WO2009094661A1 (en) * | 2008-01-24 | 2009-07-30 | The Trustees Of Columbia University In The City Of New York | Methods, systems, and media for swapping faces in images |
US8098904B2 (en) * | 2008-03-31 | 2012-01-17 | Google Inc. | Automatic face detection and identity masking in images, and applications thereof |
JP2010021921A (ja) * | 2008-07-14 | 2010-01-28 | Nikon Corp | 電子カメラおよび画像処理プログラム |
JP5423379B2 (ja) * | 2009-08-31 | 2014-02-19 | ソニー株式会社 | 画像処理装置および画像処理方法、並びにプログラム |
TWI420405B (zh) * | 2010-10-20 | 2013-12-21 | Hon Hai Prec Ind Co Ltd | 人臉影像代換系統及方法 |
-
2012
- 2012-03-19 JP JP2012061686A patent/JP5880182B2/ja not_active Expired - Fee Related
-
2013
- 2013-03-12 US US13/796,615 patent/US20130242127A1/en not_active Abandoned
- 2013-03-18 CN CN2013100862831A patent/CN103327231A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
CN103327231A (zh) | 2013-09-25 |
JP2013197785A (ja) | 2013-09-30 |
US20130242127A1 (en) | 2013-09-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5880182B2 (ja) | 画像生成装置、画像生成方法及びプログラム | |
JP5949331B2 (ja) | 画像生成装置、画像生成方法及びプログラム | |
JP5949030B2 (ja) | 画像生成装置、画像生成方法及びプログラム | |
JP6111723B2 (ja) | 画像生成装置、画像生成方法及びプログラム | |
US8421901B2 (en) | Display apparatus and imaging apparatus | |
US20100188520A1 (en) | Imaging device and storage medium storing program | |
CN105744144A (zh) | 图像生成方法以及图像生成装置 | |
JP6098133B2 (ja) | 顔構成部抽出装置、顔構成部抽出方法及びプログラム | |
US8971636B2 (en) | Image creating device, image creating method and recording medium | |
JP2017188787A (ja) | 撮像装置、画像合成方法、および画像合成プログラム | |
JP2015184701A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2014174855A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP6668646B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP6260094B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
CN111083345A (zh) | 独照生成装置和方法及其非易失性计算机可读媒体 | |
JP6354118B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP6070098B2 (ja) | 閾値設定装置、閾値設定方法及びプログラム | |
JP2012060292A (ja) | 画像処理装置、画像選択方法、及び、プログラム | |
JP5927972B2 (ja) | 画像生成装置、画像生成方法及びプログラム | |
JP6476811B2 (ja) | 画像生成装置、画像生成方法及びプログラム | |
JP6142604B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
US20200118304A1 (en) | Image processing apparatus, image processing method, and recording medium | |
JP6606935B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP5962268B2 (ja) | 画像処理装置、画像処理方法、画像生成方法及びプログラム | |
JP2014048767A (ja) | 画像生成装置、画像生成方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150309 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150309 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150901 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151028 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160105 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160118 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5880182 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |