JP4995935B2 - 画像生成装置、画像加工方法、および、プログラム - Google Patents
画像生成装置、画像加工方法、および、プログラム Download PDFInfo
- Publication number
- JP4995935B2 JP4995935B2 JP2010073388A JP2010073388A JP4995935B2 JP 4995935 B2 JP4995935 B2 JP 4995935B2 JP 2010073388 A JP2010073388 A JP 2010073388A JP 2010073388 A JP2010073388 A JP 2010073388A JP 4995935 B2 JP4995935 B2 JP 4995935B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- eye
- face
- unit
- person
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims description 8
- 238000012545 processing Methods 0.000 claims description 94
- 210000001747 pupil Anatomy 0.000 claims description 63
- 238000004364 calculation method Methods 0.000 claims description 26
- 238000000034 method Methods 0.000 claims description 25
- 238000001514 detection method Methods 0.000 claims description 22
- 230000006870 function Effects 0.000 claims description 11
- 241001469893 Oxyzygonectes dovii Species 0.000 claims description 4
- 238000004891 communication Methods 0.000 description 24
- 238000010586 diagram Methods 0.000 description 16
- 230000003287 optical effect Effects 0.000 description 8
- 238000003384 imaging method Methods 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 3
- 239000013256 coordination polymer Substances 0.000 description 2
- 210000000744 eyelid Anatomy 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000004886 process control Methods 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 238000004148 unit process Methods 0.000 description 2
- 101150028385 ATG2 gene Proteins 0.000 description 1
- 101100164184 Candida albicans (strain SC5314 / ATCC MYA-2876) SPO72 gene Proteins 0.000 description 1
- 235000002673 Dioscorea communis Nutrition 0.000 description 1
- 241000544230 Dioscorea communis Species 0.000 description 1
- 101000607335 Homo sapiens Serine/threonine-protein kinase ULK1 Proteins 0.000 description 1
- 101100380548 Neurospora crassa (strain ATCC 24698 / 74-OR23-1A / CBS 708.71 / DSM 1257 / FGSC 987) apg-2 gene Proteins 0.000 description 1
- 208000035753 Periorbital contusion Diseases 0.000 description 1
- 101100398413 Schizosaccharomyces pombe (strain 972 / ATCC 24843) ksg1 gene Proteins 0.000 description 1
- 102100039988 Serine/threonine-protein kinase ULK1 Human genes 0.000 description 1
- 230000000994 depressogenic effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 229920001690 polydopamine Polymers 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
このようなカメラは、例えば、ビデオチャットを行う際に利用される。つまり、通信可能に接続された各パソコンにおいて、カメラで撮影された画像が相互に送られるため、各ユーザは相手の顔等を見ながら、チャットを行うことができるようになっている。
例えば、カメラが表示部の上部枠に組み込まれている場合では、上方からユーザを撮影することになり、視線を下方に向けたユーザの画像が撮影される。そして、撮影されたその画像が相手側の装置に送られると、相手ユーザは、ユーザ(送信元のユーザ)が、絶えずうつむいているように見えてしまい、会話を楽しめない場合も多かった。
この結果、ユーザの視線方向を適切に修正した画像を生成できる。
この結果、ユーザの視線方向を適切に修正した画像を生成できる。
この場合、キャッチライト加工により、ユーザの表情をより豊かに見せることができる。
画像加工部は、算定された当該視線方向が所定範囲内である場合に、当該眼部画像における瞳の位置を加工してもよい。
つまり、ユーザの視線が大きく外れている場合では、眼部画像の瞳の位置を中央とする加工を行っても、不自然な顔画像となってしまう。そのため、視線が大きく外れている場な場合ではあえて加工を行わず、無理のない視線範囲に限り、眼部画像の瞳の位置を加工する。
この場合、不自然とならない範囲で、ユーザの視線方向を修正した画像を生成できる。
この結果、ユーザの視線方向を適切に修正した画像を生成できる。
図1は、本発明の実施の形態に係る画像生成装置が実現される典型的なゲーム装置の外観を示す模式図である。このゲーム装置1は、一例として、携帯型のゲーム機器であって、第1の表示部18と、第2の表示部19とを有しており、それらの間に、カメラ21が配置されている。また、第2の表示部19の前面にはタッチパネル20が配置されている。
WRAM 10eは、CPUコア10aがプログラムに従った各種処理を実行する際に必要となるワークデータ等を記憶する。
また、WRAM 10eは、DMAコントローラ10cから転送された画像を一時的に記憶する。
ROM 12aには、ゲームを実現するためのプログラムとゲームに付随する画像データや音声データ等が記録される。
RAM 12bには、ゲームの進行状況等を示す種々のデータが記憶される。
なお、無線通信部13は、所定の無線アクセスポイントとの間で、無線通信を行うこともできる。また、無線通信部13には、固有のMAC(Media Access Control)アドレスが採番されている。
また、ゲーム装置1が、近傍の無線アクセスポイント等を介してインターネットに接続する際には、無線LANに準拠したプロトコルに沿って、処理制御部10と無線アクセスポイント等との間で行われる無線通信の仲立ちをする。
スピーカ16は、例えば、ステレオスピーカ等からなり、サウンドアンプ15にて増幅された音声信号に従って、所定の楽曲音や効果音等を出力する。
例えば、タッチパネル20は、抵抗膜方式のタッチセンサパネル等からなり、タッチペン等による押圧(押下)を検知し、その座標に応じた情報(信号等)を出力する。
以下、このようなゲーム装置1によって実現される画像生成装置について説明する。
図3は、本実施の形態に係る画像生成装置100の概要構成を示すブロック図である。この画像生成装置100は、一例として、所定のネットワークを介して接続された他の画像生成装置100との間で、ビデオチャットを行うために用いられる装置であり、上述した第1の表示部18等に、相手側のユーザ等の画像を表示しつつ、カメラ21で撮影した自分(ユーザ自身)の画像を送信可能な装置である。以下、このようなビデオチャットが行われる場合を一例として、本図を参照して画像生成装置100について説明する。
具体的に撮影部110は、ビデオチャットを行う際に、ユーザを含む画像を順次撮影し、撮影した撮影画像(一例として、動画)を、顔検出部120等に供給する。
なお、上述したカメラ21が、このような撮影部110として機能しうる。
例えば、顔検出部120は、顔認識によって、撮影画像に写っているユーザの顔画像を検出する。具体的に顔検出部120は、図4(a)に示すような撮影画像SGから、肌色の領域A1〜A4をサーチし、それらの領域内から人間の顔の特徴部位が抽出できるかどうかを判断する。この場合、図4(b)に示すように、領域A1内から、少なくとも、両眼、口を含む特徴部位が抽出でき、人間の顔面として認識できるため、顔検出部120は、ユーザの顔画像K1を検出する。
なお、このようなユーザ(人物)の顔画像を検出する手法は、一例であり、他の手法を用いてもよい。例えば、肌色領域をエッジ処理により輪郭を抽出し、所定形状(略楕円形状等)であるかどうかを判別して、ユーザの画像画像を検出してもよい。
そして、上述した処理制御部10のCPUコア10aや画像処理部10b等が、このような顔検出部120として機能しうる。
例えば、画像特定部130は、検出された顔画像中の特徴点の位置関係等から、顔画像における眼部画像を特定する。
具体的に画像特定部130は、図5(a)に示すような顔画像KGから、両眼の眼部画像G1,G2を特定する。なお、この図5(a)の画像は、ユーザが第1の表示部18に注目している(視線を向けている)場合の一例である。つまり、図5(b)に示すように、ユーザYが第1の表示部18に視線L1を向けており、第1の表示部18の下枠に埋設されたカメラ21から光軸L2にて撮影した場合の一例である。
この場合、ユーザの眼部を円(より詳細には球)と仮定すると、図5(c)に示すように、視線L1と光軸L2とがずれており、眼部の中心CPよりも上部に瞳Hが位置するように撮影される。そのため、画像特定部130は、図5(a)等に示すような、少し上目遣い気味の眼部画像G1,G2を特定する。なお、より詳細に画像特定部130は、皮膚に隠れた部分も含めた略円形の眼部画像を特定する。一例として、図5(d)に示すような眼部画像G1,G2において、皮膚に隠れている点線部CRまでを、眼部を略円形であると仮定して特定する。つまり、画像特定部130は、両眼について、図5(e)に示すような、白目SRと瞳(つまり、黒目:虹彩と瞳孔)Hとが含まれる略円形の眼部画像GBを特定する。なお、瞳Hの一部が皮膚(まぶた等)に隠れていた場合には、瞳Hを略円形と仮定し、隠れていた部分を補完した眼部画像GBを特定する。
一方、図6(a)に示すように、ユーザYが第2の表示部19に視線L3を向けており、第2の表示部19の上枠(第1の表示部18の下枠)に埋設されたカメラ21から光軸L2にて撮影した場合では、図6(b)に示すように、視線L3と光軸L2とがずれており、眼部の中心CPよりも下部にに瞳Hが位置するように撮影される。そのため、画像特定部130は、図6(c)に示すような、少し伏し目がちの眼部画像G1,G2を特定する。この場合も、皮膚に隠れている点線部CRまでを、眼部を略円形であると仮定して特定するため、画像特定部130は、両眼について、図6(d)に示すような、白目SRと瞳H(一部が皮膚に隠れていた場合には、補完した瞳H)とが含まれる略円形の眼部画像GBを特定する。
なお、ユーザが表示部170(第1の表示部18若しくは、第2の表示部19)を見ている限り、顔の向きに拘わらず、瞳(瞳孔)が撮影されている。つまり、ユーザが顔を上げて(あごを突き出して)いたり、顔を俯いて(あごを引いて)いるような場合では、瞳の一部が皮膚(上下のまぶた等)に隠れることがあるものの、視線と光軸との関係は、図5(c)や図6(b)のような関係となる。そのため、画像特定部130は、図5(e)や図6(d)のような眼部画像GBを特定する。
そして、上述した処理制御部10のCPUコア10aや画像処理部10b等が、このような画像特定部130として機能しうる。
例えば、画像加工部140は、特定された各眼部画像における瞳の位置を、眼部画像の中央となるように加工する。具体的にユーザが第1の表示部18に注目している場合に、画像加工部140は、両眼について、図7(a)に示すような少し上目遣い気味の眼部画像GBの瞳Hを、図7(b)に示すように、眼部画像GBの中央、つまり、略円形の中央に移動させる加工を行う。また、ユーザが第2の表示部19に注目している場合に、画像加工部140は、両眼について、図7(c)に示すような少し伏し目がちの眼部画像GBの瞳Hを、図7(d)に示すように、眼部画像GBの中央に移動させる加工を行う。
なお、瞳の位置を眼部画像の中央に移動させる際に、画像加工部140は、瞳(虹彩)における瞳孔の位置も適宜移動させてもよい。つまり、図7(e)に示すように、瞳Hだけでなく、瞳孔Dも、眼部画像GBの中央に移動させる。そして、画像加工部140は、皮膚に隠れている部分を切り取り(取り除き)、図7(f)に示すような眼部画像G1,G2に戻す。
また、画像加工部140は、加工した瞳の一部に輝点(光輝点:ハイライト)を合成する。つまり、キャッチライト加工を行う。具体的には、図8(a)に示すように、所定の仮想光源からの光を反射した輝点KT1を生成し、眼部画像G1,G2における瞳H内の所定箇所(一例として、瞳孔の周縁等)に合成する。なお、合成する輝点の形状や大きさ、そして、合成位置等は任意である。例えば、図8(b)に示すような略三日月形状の輝点KT2を瞳H内に合成してもよい。
このような加工を、両眼について行うことにより、画像加工部140は、最終的に、図8(c)に示すようなユーザが撮影部110(カメラ21)に視線を向けている(カメラ目線の)顔画像KGを生成する。
なお、上述した処理制御部10のCPUコア10aや画像処理部10b等が、このような画像加工部140として機能しうる。
具体的に、通信部150は、画像送信部151と画像受信部152とを含んで構成される。
画像送信部151は、画像加工部140により加工された顔画像(眼部画像)を含む撮影画像を、他の画像生成装置100に送信する。つまり、ユーザの顔画像における眼部画像を加工した撮影画像を、ビデオチャット相手の画像生成装置100に送信する。
一方、画像受信部152は、他の画像生成装置100から送信された画像を受信する。つまり、ビデオチャット相手の画像生成装置100でも、同様にこのような加工された顔画像(眼部画像)を含む撮影画像を受信する。
なお、上述した無線通信部13や通信コントローラ14等が、このような通信部150として機能しうる。
例えば、表示制御部160は、画像受信部152が受信した画像をメインとし、その一部に、画像加工部140が顔画像を加工した撮影画像を適宜縮小して合成する。具体的に表示制御部160は、図9(a)に示すように、ビデオチャットの相手からの画像ATG1の右上に、縮小した撮影画像KSG1を合成したビデオチャット画面を生成する。
なお、表示制御部160の合成手法は、一例であり、他の手法により両画像を合成してもよい。例えば、図9(b)に示すように、ビデオチャットの相手からの画像ATG2と、中央をトリミングした加工撮影画像KSG2とを並べて合成してもよい。
そして、上述した処理制御部10のCPUコア10aや画像処理部10b等が、このような表示制御部160として機能しうる。
なお、上述した第1の表示部18や第2の表示部19が、このような表示部170として機能しうる。
以下、このような構成の画像生成装置100の動作について図面を参照して説明する。一例として、ビデオチャット時における処理動作を、図10を参照して説明する。図10は、画像生成装置100にて実行される画像加工処理の流れを示すフローチャートである。
すなわち、撮影部110は、ビデオチャットを行うユーザを含む画像を順次撮影し、撮影した撮影画像(一例として、動画)を顔検出部120に供給する。
すなわち、顔検出部120は、顔認識によって、撮影画像に写っているユーザの顔画像を検出する。つまり、上述した図4(a),(b)に示すように、ユーザの顔画像を検出する。
すなわち、画像特定部130は、検出された顔画像中の特徴点の位置関係等から、顔画像における眼部画像を特定する。すなわち、上述した図5(d),(e)や図6(c),(d)に示すように、検出された顔画像から眼部画像を特定する。
例えば、画像加工部140は、上述した図7(a),(c)に示すような眼部画像GBの中心から外れいている瞳H(瞳孔D)の位置を、図7(e)に示すように、中心に移動させる加工を行う。また、画像加工部140は、上述した図8(a),(b)に示すように、加工した瞳の一部に輝点を合成する。
すなわち、画像加工部140は、このような加工を、両眼について行うことにより、最終的に、上述した図8(c)に示すようなユーザが撮影部110に視線を向けている顔画像KGを生成する。
すなわち、画像送信部151は、画像加工部140により加工された顔画像(眼部画像)を含む撮影画像を、ビデオチャット相手の画像生成装置100に送信する。一方、画像受信部152は、ビデオチャット相手の画像生成装置100から送信された画像を受信する。
すなわち、表示制御部160は、画像受信部152によって受信された画像と、画像加工部140によって加工された自身の顔画像を含む撮影画像とを合成し、上述した図9(a),(b)に示すようなビデオチャット画面を表示部170に表示する。
画像生成装置100は、ビデオチャットが終了していないと判別すると(ステップS207;No)、ステップS201に処理を戻し、上述したステップS201〜S207の処理を繰り返し実行する。
一方、ビデオチャットが終了したと判別した場合に(ステップS207;Yes)、画像生成装置100は、画像加工処理を終える。
そして、画像生成装置100は、特定した眼部画像の瞳の位置等を、眼部画像の中央となるように加工し、更にキャッチライト加工を行う。つまり、上述した図7(e)に示すように瞳H等を眼部画像GBの中心に移動させ、また、図8(a)等に示すように、瞳Hの所定位置に輝点KT1等を合成する。
このように、略円形の眼部画像を特定し、その中の瞳を眼部画像の中心に移動させることで、ユーザの顔の向きや視線方向に拘わらず、ユーザの視線をカメラ目線とすることができる。
そして、画像生成装置100は、このように加工した眼部画像(顔画像)を含む撮影画像を他の装置に送信する。つまり、ユーザが撮影部110に視線を向けている(カメラ目線の)顔画像に加工した顔画像を含む撮影画像を他の装置に送信する。このため、相手側(他の装置)では、自分(相手ユーザ)に視線を向けているユーザの画像が得られるため、ビデオチャット等を違和感なく自然に行うことができる。
この結果、ユーザの視線方向を適切に修正した画像を生成できる。
上記の実施形態では、ユーザの顔画像(眼部画像)における瞳の位置を、無条件で眼部画像の中央となるように加工したが、ユーザの視線方向によっては、不都合が生じる場合がある。例えば、ユーザの視線が表示部170から大きく外れている場合(よそ見をしている場合等)では、眼部画像の瞳の位置を中央とする加工をおこなうと、不自然な顔画像となってしまう。そのため、ユーザの視線方向を算定し、無理のない視線範囲内に限り、眼部画像の瞳の位置を加工するようにしてもよい。
以下、このように、ユーザの視線方向を確認した上で、眼部画像の瞳の位置を加工することを特徴とする他の実施形態について、図面を参照して説明する。
つまり、撮影部110〜表示部170の構成は、図3の画像生成装置100と同様である。
算定部310は、人間が正面を向いた場合における特徴部位の位置関係を示す形状を予め記憶しておく。具体的に算定部310は、図12(a)に示すように、一例として、標準的な人物の顔を、一定距離を離れて正面から撮影した画像における、両眼と口とを直線で結んだ平面(具体的には三角形)の基準形状SFを予め記憶しておく。なお、この基準形状SFは、実際のユーザを正面から一定距離を隔てて撮影した画像から得たものであってもよい。
この基準形状SFを予め記憶した状態で、図12(b)に示すように、検出されたユーザの顔画像KGにおける両眼と口とを直線で結んだ平面の形状Fを得ると、この形状Fと基準形状SFとを比較することにより、算定部310は、観察者の視線方向を算定する。
例えば、図12(c)のように、得られた形状F1が基準形状SFと相似形である場合に、算定部310は、真正面となる視線方向GL1を算定する。一方、図12(d)のように、得られた形状F2が、基準形状SFと相似形でない場合に、算定部310は、形状F2における各点の位置関係や各辺の長さから、形状F2の歪み(基準形状SFを基準とした歪み)を求める。そして、その歪みに基づいて、斜め方向となる視線方向GL2を算定する。つまり、図12(e)に示すような大きく視線を外しているユーザの視線方向も算定できる。
なお、このようなユーザの視線方向を算定する手法は、一例であり、他の手法を用いてもよい。例えば、算定部310は、よりシンプルに、両眼の位置関係に基づいて、ユーザの視線方向を簡易に算定してもよい。
算定部310は、このようにして算定したユーザの視線方向を、画像加工部140に供給する。
そして、上述した処理制御部10のCPUコア10aや画像処理部10b等が、このような算定部310として機能しうる。
つまり、算定された視線方向が所定範囲を超えており、ユーザの視線が大きく外れている場合では、画像加工部140は、あえて眼部画像の瞳の位置を中央とする加工を行わずに、瞳の一部に輝点を合成する加工にとどめる。
すなわち、画像加工部140は、ユーザの視線方向を確認した上で、無理のない視線範囲に限り、眼部画像の瞳の位置を加工する。
10 処理制御部
11 コネクタ
12 カートリッジ
13 無線通信部
14 通信コントローラ
15 サウンドアンプ
16 スピーカ
17 操作キー
18 第1の表示部
19 第2の表示部
20 タッチパネル
21 カメラ
100,300 画像生成装置
110 撮影部
120 顔検出部
130 画像特定部
140 画像加工部
150 通信部
160 表示制御部
170 表示部
310 算定部
Claims (6)
- 撮影画像から人物の顔画像を検出する顔検出部と、
検出された当該顔画像から眼部画像を特定する画像特定部と、
予め記憶した当該人物の顔から得た基準形状と、検出された当該顔画像から得た形状とを比較することにより、当該人物の視線方向を算定する算定部と、
算定された当該視線方向が所定範囲内である場合にのみ、特定された当該眼部画像における瞳の位置を加工する画像加工部と、を備え、
前記算定部は、当該人物が正面を向いた際における両眼と口とを直線で結んだ逆三角形の基準形状を記憶しており、当該基準形状を基準として、検出された当該顔画像における両眼と口とを直線で結んだ逆三角形の歪みに基づいて、当該人物の視線方向を算定し、
前記画像特定部は、検出された当該顔画像から、皮膚に隠れた箇所を補完した眼部画像を特定し、
前記画像加工部は、特定された当該眼部画像における瞳の位置を移動させた後、皮膚に隠れる部分を取り除く加工を行う、
ことを特徴とする画像生成装置。 - 人物を含む撮影画像を撮影する撮影部と、
撮影された当該撮影画像から、顔認識により当該人物の顔画像を検出する顔検出部と、
検出された当該顔画像から眼部画像を特定する画像特定部と、
予め記憶した当該人物の顔から得た基準形状と、検出された当該顔画像から得た形状とを比較することにより、当該人物の視線方向を算定する算定部と、
算定された当該視線方向が所定範囲内である場合にのみ、特定された当該眼部画像における瞳の位置を、当該眼部画像の中央となるように加工する画像加工部と、
当該眼部画像が加工された顔画像を含む撮影画像を、他の装置に送信する画像送信部と、を備え、
前記算定部は、当該人物が正面を向いた際における両眼と口とを直線で結んだ逆三角形の基準形状を記憶しており、当該基準形状を基準として、検出された当該顔画像における両眼と口とを直線で結んだ逆三角形の歪みに基づいて、当該人物の視線方向を算定し、
前記画像特定部は、検出された当該顔画像から、眼部を略円形と仮定して、皮膚に隠れた箇所を補完した眼部画像を特定し、
前記画像加工部は、特定された当該眼部画像における瞳の位置を中央に移動させた後、皮膚に隠れる部分を取り除く加工を行う、
ことを特徴とする画像生成装置。 - 請求項1又は2に記載の画像生成装置であって、
前記画像加工部は、加工した当該眼部画像の瞳の一部に、更に輝点を合成する、
ことを特徴とする画像生成装置。 - 請求項1乃至3の何れか1項に記載の画像生成装置であって、
前記画像特定部は、検出された当該顔画像から、白目及び瞳を含む眼部及び瞳が略円形と仮定して、皮膚に隠れた当該白目及び瞳を補完した眼部画像を特定する、
ことを特徴とする画像生成装置。 - 顔検出部と、画像特定部と、算定部と、画像加工部とを有する画像生成装置における画像加工方法であって、
前記顔検出部が、撮影画像から人物の顔画像を検出する顔検出ステップと、
前記画像特定部が、検出された当該顔画像から眼部画像を特定する画像特定ステップと、
前記算定部が、予め記憶した当該人物の顔から得た基準形状と、検出された当該顔画像から得た形状とを比較することにより、当該人物の視線方向を算定する算定ステップと、
前記画像加工部が、算定された当該視線方向が所定範囲内である場合にのみ、特定された当該眼部画像における瞳の位置を加工する画像加工ステップと、を備え、
前記算定ステップでは、当該人物が正面を向いた際における両眼と口とを直線で結んだ逆三角形の基準形状を記憶しており、当該基準形状を基準として、検出された当該顔画像における両眼と口とを直線で結んだ逆三角形の歪みに基づいて、当該人物の視線方向を算定し、
前記画像特定ステップでは、検出された当該顔画像から、皮膚に隠れた箇所を補完した眼部画像を特定し、
前記画像加工ステップでは、特定された当該眼部画像における瞳の位置を移動させた後、皮膚に隠れる部分を取り除く加工を行う、
ことを特徴とする画像加工方法。 - コンピュータを、
撮影画像から人物の顔画像を検出する顔検出部、
検出された当該顔画像から眼部画像を特定する画像特定部、
予め記憶した当該人物の顔から得た基準形状と、検出された当該顔画像から得た形状とを比較することにより、当該人物の視線方向を算定する算定部、
算定された当該視線方向が所定範囲内である場合にのみ、特定された当該眼部画像における瞳の位置を加工する画像加工部、として機能させ、
前記算定部は、当該人物が正面を向いた際における両眼と口とを直線で結んだ逆三角形の基準形状を記憶しており、当該基準形状を基準として、検出された当該顔画像における両眼と口とを直線で結んだ逆三角形の歪みに基づいて、当該人物の視線方向を算定し、
前記画像特定部は、検出された当該顔画像から、皮膚に隠れた箇所を補完した眼部画像を特定し、
前記画像加工部は、特定された当該眼部画像における瞳の位置を移動させた後、皮膚に隠れる部分を取り除く加工を行う、ように機能させる、
ことを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010073388A JP4995935B2 (ja) | 2010-03-26 | 2010-03-26 | 画像生成装置、画像加工方法、および、プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010073388A JP4995935B2 (ja) | 2010-03-26 | 2010-03-26 | 画像生成装置、画像加工方法、および、プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011204182A JP2011204182A (ja) | 2011-10-13 |
JP4995935B2 true JP4995935B2 (ja) | 2012-08-08 |
Family
ID=44880731
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010073388A Active JP4995935B2 (ja) | 2010-03-26 | 2010-03-26 | 画像生成装置、画像加工方法、および、プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4995935B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5601179B2 (ja) * | 2010-12-01 | 2014-10-08 | 富士通株式会社 | 視線検出装置及び視線検出方法 |
KR101977638B1 (ko) * | 2012-02-29 | 2019-05-14 | 삼성전자주식회사 | 영상 내 사용자의 시선 보정 방법, 기계로 읽을 수 있는 저장 매체 및 통신 단말 |
JP6700840B2 (ja) * | 2016-02-18 | 2020-05-27 | キヤノン株式会社 | 画像処理装置、撮像装置、制御方法及びプログラム |
JP2017188766A (ja) * | 2016-04-05 | 2017-10-12 | レノボ・シンガポール・プライベート・リミテッド | カメラを備える電子機器、撮影映像の補正方法および記憶媒体 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0690445A (ja) * | 1992-09-09 | 1994-03-29 | Hitachi Ltd | 映像入出力装置 |
JP4118773B2 (ja) * | 2003-09-11 | 2008-07-16 | 日産ディーゼル工業株式会社 | 視線方向検出装置及び視線方向検出方法 |
JP4823970B2 (ja) * | 2007-05-24 | 2011-11-24 | オリンパスイメージング株式会社 | 画像編集装置 |
JP2009246408A (ja) * | 2008-03-28 | 2009-10-22 | Toshiba Corp | 対話装置、画像処理モジュール、画像処理方法およびプログラム |
-
2010
- 2010-03-26 JP JP2010073388A patent/JP4995935B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2011204182A (ja) | 2011-10-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102184272B1 (ko) | 글래스 타입 단말기 및 이의 제어방법 | |
JP6094190B2 (ja) | 情報処理装置および記録媒体 | |
JP6229314B2 (ja) | 情報処理装置、表示制御方法及びプログラム | |
KR20180112599A (ko) | 가상 공간의 캡쳐 방법 및 그 전자장치 | |
KR102240639B1 (ko) | 글래스 타입 단말기 및 그것의 제어 방법 | |
US11616867B2 (en) | Foldable mobile phone | |
CN108495045B (zh) | 图像拍摄方法、装置、电子装置以及存储介质 | |
WO2019234877A1 (ja) | 携帯情報端末 | |
CN110830811A (zh) | 直播互动方法及装置、***、终端、存储介质 | |
JP2007052780A (ja) | 移動通信端末のユーザー入力方法及び装置 | |
TW201122909A (en) | Method for switching to display three-dimensional images and digital display system | |
CN106406509A (zh) | 一种头戴式眼控虚拟现实设备 | |
JP2022505283A (ja) | オーディオの再生及び収集方法、装置、機器並びにコンピュータプログラム | |
EP3086216A1 (en) | Mobile terminal and controlling method thereof | |
JP2016201090A (ja) | 移動端末機及びその制御方法 | |
JP4995935B2 (ja) | 画像生成装置、画像加工方法、および、プログラム | |
JP2017028390A (ja) | 仮想現実空間音声コミュニケーション方法、プログラム、プログラムを記録した記録媒体、および、装置 | |
CN109978996B (zh) | 生成表情三维模型的方法、装置、终端及存储介质 | |
CN110275613A (zh) | 屏幕显示处理方法、装置、电子设备及存储介质 | |
JP2012070081A (ja) | 画像表示装置、画像表示プログラム及び画像表示システム | |
CN113509720A (zh) | 虚拟对战的回放方法、装置、终端、服务器及存储介质 | |
JP4892071B2 (ja) | 画像生成装置、画像加工方法、および、プログラム | |
JP5017382B2 (ja) | 画像表示装置、画像加工方法、および、プログラム | |
KR102154528B1 (ko) | 이동 단말기 및 그 제어 방법 | |
CN110856152A (zh) | 播放音频数据的方法、装置、电子设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110823 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111020 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111206 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120206 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120508 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120510 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150518 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4995935 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |