JP6839771B2 - 補正パターン分析による映像補正方法およびシステム - Google Patents

Description

以下の説明は、補正パターン分析による映像補正方法およびシステム、コンピュータと結合して映像補正方法をコンピュータに実行させるためにコンピュータ読み取り可能な記録媒体に記録されるコンピュータプログラムとその記録媒体に関する。

顔イメージから認識された顔を補正するための従来技術が存在する。このような従来技術は、予め生成されたフィルタの中からユーザによって選択されたフィルタを利用して入力された映像の顔を補正する。例えば、特許文献１は、自動顔抽出基盤の仮想顔成形方法およびシステムに関するものであり、ユーザが選択した成形スタイル（一例として、特許文献１で開示される「目の大きさ」や「鼻の高さ」など）を予めフィルタとして製作し、このようなフィルタをユーザが選択すると、入力された映像の顔が補正されることを開示している。

しかし、このような従来技術のフィルタは、ユーザの顔を利用して生成されたものではなく、ユーザが好むと思われる成形スタイル（上述したように、「目の大きさ」や「鼻の高さ」など）として既に製作されたものであるため、ユーザは自身が選択した成形スタイルが自身の顔に合ったスタイルであるかをリアルタイムで確認するのは難しい。

例えば、ユーザは、自身が好む成形スタイルでフィルタを製作した後、入力された映像に、製作されたフィルタを適用することによってその結果を確認することが可能となるため、補正結果が気に入らない場合には、新しい成形スタイルでフィルタを製作し直した後、入力された映像に、製作されたフィルタを適用する過程を繰り返さなければならず、その過程は不便かつ複雑である。

これだけでなく、従来技術に係るフィルタは、顔の特定部位に対して予め指定された変化量を歪曲させるだけに過ぎず（上述した「目の大きさ」のために指定された変化量だけ目を大きくする）、すべてのユーザに合った補正を生成するのが困難である。例えば、目が小さい人のために製作された「目の大きさ」フィルタは、目が大きい人には合わない。

言い換えれば、従来技術の映像補正方法は、ユーザ自身に適したフィルタを生成するのが困難である上に、生成されたフィルタを他のユーザと共有することにも困難が生じるという問題を抱えている。

韓国公開特許第１０−２００６−０１０４０２７号公報

入力された映像で認識される顔特徴点を入力された映像とともに画面に表示した状態で、顔特徴点をユーザが直接移動させる方式によって入力された映像を補正することができる機能を提供することにより、ユーザが、映像に含まれる顔が変化していく過程をリアルタイムで観察しながら映像を補正することができる映像補正方法およびシステム、コンピュータと結合して映像補正方法をコンピュータに実行させるためのコンピュータプログラムとそのコンピュータプログラムが記録されるコンピュータ読み取り可能な記録媒体を提供する。

顔の特定部位を一定の変化量だけ変更させるのではなく、移動させた顔特徴点に基づいて顔全体に対する顔部位別の比率を変化させた補正パターン情報を生成し、このような補正パターン情報に従って入力される映像を自動補正することにより、すべてのユーザに合った補正が可能な映像補正方法およびシステム、コンピュータと結合して映像補正方法をコンピュータに実行させるためのコンピュータプログラムとそのコンピュータプログラムが記録されているコンピュータ読み取り可能な記録媒体を提供する。

ユーザの他の映像に対するユーザの補正パターンを分析して補正パターン情報を更新することによって、補正パターン情報を最適化することができる映像補正方法およびシステム、コンピュータと結合して映像補正方法をコンピュータに実行させるためのコンピュータプログラムとそのコンピュータプログラムが記録されているコンピュータ読み取り可能な記録媒体を提供する。

映像補正方法であって、入力された第１映像に含まれる顔の顔特徴点を認識する段階、前記認識された顔特徴点のうちの少なくとも一部を前記入力された第１映像とともに前記電子機器の画面に表示する段階、前記画面に表示された第１映像の顔特徴点のうちの少なくとも１つの顔特徴点の移動のためのユーザ入力を認識する段階、前記認識されたユーザ入力に従って前記第１映像の少なくとも１つの顔特徴点を移動させ、前記移動によって変更された前記第１映像の顔特徴点を利用して前記入力された第１映像を補正する段階、および前記第１映像の補正に対するパターンを分析して補正パターン情報を生成および記録する段階を含む、映像補正方法を提供する。

映像補正方法であって、電子機器からネットワークを介して受信された第１映像に含まれる顔の顔特徴点を認識する段階、前記認識された顔特徴点のうちの少なくとも一部が前記入力された第１映像とともに前記電子機器の画面に表示されるように制御し、前記画面に表示された第１映像の顔特徴点のうちの少なくとも１つの顔特徴点の移動のためのユーザ入力を受信するための機能を提供する段階、前記認識されたユーザ入力に従って前記第１映像の少なくとも１つの顔特徴点を移動させ、前記移動によって変更された前記第１映像の顔特徴点を利用して前記入力された第１映像を補正する段階、前記第１映像の補正に対するパターンを分析して補正パターン情報を生成して前記電子機器または前記電子機器のユーザと関連付けて記録する段階、および前記補正された第１映像を、ネットワークを介して前記電子機器に送信する段階を含む、映像補正方法を提供する。

前記映像補正方法をコンピュータに実行させるためのコンピュータプログラムが記録されている、コンピュータ読み取り可能な記録媒体を提供する。

コンピュータと結合して前記映像補正方法をコンピュータに実行させるための、コンピュータプログラムを提供する。

映像補正システムであって、コンピュータ読み取り可能な命令を実行するように実現される少なくとも１つのプロセッサを含み、前記少なくとも１つのプロセッサは、電子機器からネットワークを介して受信された第１映像に含まれる顔の顔特徴点を認識し、前記認識された顔特徴点のうちの少なくとも一部が前記入力された第１映像とともに前記電子機器の画面に表示されるように制御し、前記画面に表示された第１映像の顔特徴点のうちの少なくとも１つの顔特徴点の移動のためのユーザ入力を受信するための機能を提供し、前記認識されたユーザ入力に従って前記第１映像の少なくとも１つの顔特徴点を移動させ、前記移動によって変更された前記第１映像の顔特徴点を利用して前記入力された第１映像を補正し、前記第１映像の補正に対するパターンを分析して補正パターン情報を生成して前記電子機器または前記電子機器のユーザと関連付けて記録し、前記補正された第１映像を、ネットワークを介して前記電子機器に送信する、映像補正システムを提供する。

入力された映像で認識される顔特徴点を、入力された映像とともに画面に表示した状態で、ユーザが顔特徴点を直接移動させる方式によって入力された映像を補正することができる機能を提供することにより、ユーザは、映像に含まれる顔が変化していく過程をリアルタイムで観察しながら映像を補正することができる。

顔の特定部位を一定の変化量だけ変更させるのではなく、移動された顔特徴点に基づいて顔全体に対する顔部位別の比率を変化させた補正パターン情報を生成し、このような補正パターン情報に従って入力される映像を自動補正することにより、すべてのユーザに合った補正を可能にする。

ユーザの他の映像に対するユーザの補正パターンを分析して補正パターン情報を更新することにより、補正パターン情報を最適化することができる。

本発明の一実施形態における、ネットワーク環境の例を示した図である。 本発明の一実施形態における、電子機器およびサーバの内部構成を説明するためのブロック図である。 本発明の一実施形態における、映像補正環境の一例を示した図である。 本発明の一実施形態における、映像補正環境の他の例を示した図である。 本発明の一実施形態における、映像に含まれる顔の顔特徴点を認識する例を示した図である。 本発明の一実施形態における、顔全体に対する顔部位それぞれの比率情報の例を示した図である。 本発明の一実施形態における、電子機器のプロセッサが含むことのできる構成要素の例を示したブロック図である。 本発明の一実施形態における、電子機器が実行することのできる映像補正方法の例を示したフローチャートである。 本発明の一実施形態における、サーバのプロセッサが含むことのできる構成要素の例を示したブロック図である。 本発明の一実施形態における、サーバが実行することのできる映像補正方法の例を示したフローチャートである。

以下、実施形態について、添付の図面を参照しながら詳しく説明する。

本発明の実施形態に係る映像補正システムは、以下で説明される電子機器やサーバで実現されてよく、本発明の実施形態に係る映像補正方法は、このような電子機器やサーバで実現された映像補正システムによって実行されてよい。このとき、電子機器またはサーバにおいては、本発明の一実施形態に係るコンピュータプログラムがインストールされて実行されてよく、電子機器またはサーバは、実行されたコンピュータプログラムの制御に従って本発明の一実施形態に係る映像補正方法を実行してよい。上述したコンピュータプログラムは、コンピュータで実現される電子機器またはサーバと結合して映像補正方法をコンピュータに実行させるためにコンピュータ読み取り可能な記録媒体に記録されてよい。

図１は、本発明の一実施形態における、ネットワーク環境の例を示した図である。図１のネットワーク環境は、複数の電子機器１１０、１２０、１３０、１４０、複数のサーバ１５０、１６０、およびネットワーク１７０を含む例を示している。このような図１は、発明の説明のための一例に過ぎず、電子機器の数やサーバの数が図１のように限定されることはない。

複数の電子機器１１０、１２０、１３０、１４０は、コンピュータ装置によって実現される固定端末や移動端末であってよい。複数の電子機器１１０、１２０、１３０、１４０の例としては、スマートフォン、携帯電話、ナビゲーション、ＰＣ（ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ）、ノート型ＰＣ、デジタル放送用端末、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、ＰＭＰ（Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｍｅｄｉａ Ｐｌａｙｅｒ）、タブレットなどがある。一例として、図１では、電子機器１（１１０）の例としてスマートフォンを示しているが、本発明の実施形態において、電子機器１（１１０）は、実質的に無線または有線通信方式を利用し、ネットワーク１７０を介して他の電子機器１２０、１３０、１４０および／またはサーバ１５０、１６０と通信することのできる多様な物理的なコンピュータシステムのうちの１つを意味してよい。

通信方式が限定されることはなく、ネットワーク１７０が含むことのできる通信網（一例として、移動通信網、有線インターネット、無線インターネット、放送網）を利用する通信方式だけではなく、機器間の近距離無線通信が含まれてよい。例えば、ネットワーク１７０は、ＰＡＮ（ｐｅｒｓｏｎａｌ ａｒｅａ ｎｅｔｗｏｒｋ）、ＬＡＮ（ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）、ＣＡＮ（ｃａｍｐｕｓ ａｒｅａ ｎｅｔｗｏｒｋ）、ＭＡＮ（ｍｅｔｒｏｐｏｌｉｔａｎ ａｒｅａ ｎｅｔｗｏｒｋ）、ＷＡＮ（ｗｉｄｅ ａｒｅａ ｎｅｔｗｏｒｋ）、ＢＢＮ（ｂｒｏａｄｂａｎｄ ｎｅｔｗｏｒｋ）、インターネットなどのネットワークのうちの１つ以上の任意のネットワークを含んでよい。さらに、ネットワーク１７０は、バスネットワーク、スターネットワーク、リングネットワーク、メッシュネットワーク、スター−バスネットワーク、ツリーまたは階層的ネットワークなどを含むネットワークトポロジのうちの任意の１つ以上を含んでもよいが、これらに限定されることはない。

サーバ１５０、１６０のそれぞれは、複数の電子機器１１０、１２０、１３０、１４０とネットワーク１７０を介して通信して命令、コード、ファイル、コンテンツ、サービスなどを提供する１つ以上のコンピュータ装置によって実現されてよい。例えば、サーバ１５０は、ネットワーク１７０を介して接続した複数の電子機器１１０、１２０、１３０、１４０に第１サービスを提供するシステムであってよく、サーバ１６０も、ネットワーク１７０を介して接続した複数の電子機器１１０、１２０、１３０、１４０に第２サービスを提供するシステムであってよい。より具体的な例として、サーバ１５０は、複数の電子機器１１０、１２０、１３０、１４０においてインストールされて実行されるコンピュータプログラムであるアプリケーションを通じ、該当のアプリケーションが目的とするサービス（一例として、映像補正サービス、メッセージングサービス、メールサービス、コンテンツ送信サービスなど）を第１サービスとして提供してよい。他の例として、サーバ１６０は、上述したアプリケーションのインストールおよび実行のためのファイルを複数の電子機器１１０、１２０、１３０、１４０に配布するサービスを第２サービスとして提供してよい。

図２は、本発明の一実施形態における、電子機器およびサーバの内部構成を説明するためのブロック図である。図２では、電子機器に対する例として電子機器１（１１０）の内部構成およびサーバ１５０の内部構成について説明する。また、他の電子機器１２０、１３０、１４０やサーバ１６０も、上述した電子機器１（１１０）またはサーバ１５０と同一または類似の内部構成を有してよい。

電子機器１（１１０）およびサーバ１５０は、メモリ２１１、２２１、プロセッサ２１２、２２２、通信モジュール２１３、２２３、および入力／出力インタフェース２１４、２２４を含んでよい。メモリ２１１、２２１は、コンピュータ読み取り可能な記録媒体であって、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＲＯＭ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、およびディスクドライブのような永続的大容量記録装置を含んでよい。ここで、ＲＯＭやディスクドライブのような永続的大容量記録装置は、メモリ２１１、２２１とは区別される別の永続的記録装置として電子機器１（１１０）やサーバ１５０に含まれてもよい。また、メモリ２１１、２２１には、オペレーティングシステムと、少なくとも１つのプログラムコード（一例として、電子機器１（１１０）においてインストールされて実行されるブラウザや特定のサービスの提供のために電子機器１（１１０）にインストールされるアプリケーションなどのためのコード）が記録されてよい。このようなソフトウェア構成要素は、メモリ２１１、２２１とは別のコンピュータ読み取り可能な記録媒体からロードされてよい。このような別のコンピュータ読み取り可能な記録媒体は、フロッピードライブ、ディスク、テープ、ＤＶＤ／ＣＤ−ＲＯＭドライブ、メモリカードなどのコンピュータ読み取り可能な記録媒体を含んでよい。他の実施形態において、ソフトウェア構成要素は、コンピュータ読み取り可能な記録媒体ではない通信モジュール２１３、２２３を通じてメモリ２１１、２２１にロードされてもよい。例えば、少なくとも１つのプログラムは、開発者またはアプリケーションのインストールファイルを配布するファイル配布システム（一例として、上述したサーバ１６０）がネットワーク１７０を介して提供するファイルによってインストールされるコンピュータプログラム（一例として、上述したアプリケーション）に基づいてメモリ２１１、２２１にロードされてよい。

プロセッサ２１２、２２２は、基本的な算術、ロジック、および入出力演算を実行することにより、コンピュータプログラムの命令を処理するように構成されてよい。命令は、メモリ２１１、２２１または通信モジュール２１３、２２３によって、プロセッサ２１２、２２２に提供されてよい。例えば、プロセッサ２１２、２２２は、メモリ２１１、２２１のような記録装置に記録されたプログラムコードに従って受信される命令を実行するように構成されてよい。

通信モジュール２１３、２２３は、ネットワーク１７０を介して電子機器１（１１０）とサーバ１５０とが互いに通信するための機能を提供してもよいし、電子機器１（１１０）および／またはサーバ１５０が他の電子機器（一例として、電子機器２（１２０））または他のサーバ（一例として、サーバ１６０）と通信するための機能を提供してもよい。一例として、電子機器１（１１０）のプロセッサ２１２がメモリ２１１のような記録装置に記録されたプログラムコードに従って生成した要求が、通信モジュール２１３の制御に従ってネットワーク１７０を介してサーバ１５０に伝達されてよい。これとは逆に、サーバ１５０のプロセッサ２２２の制御に従って提供される制御信号や命令、コンテンツ、ファイルなどが、通信モジュール２２３とネットワーク１７０を経て電子機器１（１１０）の通信モジュール２１３を通じて電子機器１（１１０）で受信されてよい。例えば、通信モジュール２１３を通じて受信されたサーバ１５０の制御信号や命令、コンテンツ、ファイルなどは、プロセッサ２１２やメモリ２１１に伝達されてよく、コンテンツやファイルなどは、電子機器１（１１０）がさらに含むことができる記録媒体（上述した永続的記録装置）に記録されてよい。

入力／出力インタフェース２１４は、入力／出力装置２１５とのインタフェースのための手段であってよい。例えば、入力装置は、キーボードまたはマウスなどの装置を含んでよく、出力装置は、ディスプレイやスピーカのような装置を含んでよい。他の例として、入力／出力インタフェース２１４は、タッチスクリーンのように入力と出力のための機能が１つに統合された装置とのインタフェースのための手段であってもよい。入力／出力装置２１５は、電子機器１（１１０）と１つの装置で構成されてもよい。また、サーバ１５０の入力／出力インタフェース２２４は、サーバ１５０に接続するかサーバ１５０が含むことのできる入力または出力のための装置（図示せず）とのインタフェースのための手段であってよい。より具体的な例として、電子機器１（１１０）のプロセッサ２１２がメモリ２１１にロードされたコンピュータプログラムの命令を処理するにあたり、サーバ１５０や電子機器２（１２０）が提供するデータを利用して構成されるサービス画面やコンテンツが、入力／出力インタフェース２１４を通じてディスプレイに表示されてよい。

また、他の実施形態において、電子機器１（１１０）およびサーバ１５０は、図２の構成要素よりも多くの構成要素を含んでもよい。しかし、大部分の従来技術的構成要素を明確に図に示す必要はない。例えば、電子機器１（１１０）は、上述した入力／出力装置２１５のうちの少なくとも一部を含むように実現されてもよいし、トランシーバ、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）モジュール、カメラ、各種センサ、データベースなどのような他の構成要素をさらに含んでもよい。より具体的な例として、電子機器１（１１０）がスマートフォンである場合、一般的にスマートフォンに含まれる加速度センサやジャイロセンサ、カメラモジュール、物理的な各種ボタン、タッチパネルを利用したボタン、入力／出力ポート、振動のための振動器などのような多様な構成要素が、電子機器１（１１０）にさらに含まれるように実現されてよい。

図３は、本発明の一実施形態における、映像補正環境の一例を示した図である。図３の実施形態は、映像補正サーバ３１０がＮ個のユーザ端末３２０に映像補正サービスを提供する例を示している。例えば、映像補正サーバ３１０は、Ｎ個のユーザ端末３２０のうちの特定のユーザ端末（一例として、ユーザ端末１）の要求に従って特定のユーザ端末からネットワーク１７０を介して映像を受信し、受信した映像を補正して特定のユーザ端末に提供することができる。実施形態によって、特定のユーザ端末は、ウェブ上に記録された映像を指定してもよく、映像補正サーバ３１０は、指定された映像を補正して該当のユーザ端末に提供してもよい。ここで、映像補正サーバ３１０は上述したサーバ１５０に対応してよく、特定のユーザ端末は、上述した複数の電子機器１１０、１２０、１３０、１４０のうちの１つに対応してよい。

このような実施形態において、特定のユーザ端末においては、映像補正サービスと連係するアプリケーションがインストールされて実行されてよく、特定のユーザ端末は、アプリケーションの制御に従って映像補正サーバ３１０と通信しながら映像補正サービスの提供を受けることができる。例えば、特定のユーザ端末は、特定のユーザ端末の格納場所に格納された映像のうち、アプリケーションで選択された映像を映像補正サーバ３１０に送信してよい。他の例として、特定のユーザ端末は、特定のユーザ端末に備えられたカメラに入力される映像を映像補正サーバ３１０に送信してよい。このとき、映像補正サーバ３１０は、本発明の実施形態に係る映像補正方法に従って、受信した映像を補正して特定のユーザ端末に提供してよい。

図４は、本発明の一実施形態における、映像補正環境の他の例を示した図である。図４の実施形態は、ユーザ端末４００においてインストールされて実行されたアプリケーション４１０が映像補正サービスを直接提供する例について説明している。例えば、ユーザ端末４００は、アプリケーション４１０の制御に従ってカメラモジュール４２０に入力された映像を補正することができる。あるいは、ユーザ端末４００の格納場所に格納された映像を、アプリケーション４１０の制御に従って補正してもよい。ここで、カメラモジュール４２０は、ユーザ端末４００に内蔵された形態であってもよいが、別の機器としてユーザ端末４００と有線／無線ネットワークを介して通信する形態で実現されてもよい。

このとき、ユーザ端末４００は、入力された映像に含まれる顔の顔特徴点を認識することができ、認識された顔特徴点を、入力された映像とともにユーザ端末４００の画面に表示することができる。

また、図３の実施形態では、映像補正サーバ３１０で受信した映像に含まれる顔の顔特徴点を認識することができ、認識された顔特徴点が、入力された映像とともに図３で説明された特定のユーザ端末の画面に表示されるように制御してよい。このとき、特定のユーザ画面に認識された顔特徴点と、入力された映像がともに表示されるように制御することは、特定のユーザ端末にインストールされたアプリケーションとの通信によってなされてよい。

図５は、本発明の一実施形態における、映像に含まれる顔の顔特徴点を認識した例を示した図である。図５は、映像に含まれる顔に対して認識される顔特徴点を、該当の映像とともに表示した例を示している。このとき、ユーザには、このような顔特徴点を移動させることができる機能を提供することができる。例えば、図４の実施形態において、ユーザ端末４００にインストールされたアプリケーションは、ユーザの入力によって対応する顔特徴点を移動させることができる機能を提供してよい。一例として、ユーザは、上述した機能を利用することにより、図５の第１顔特徴点５１０を自身が望む位置に選択的に移動させることができる。より具体的な例として、タッチスクリーン環境において、アプリケーションは、ユーザのタッチが発生した位置に対応する顔特徴点を認識してよく、ユーザがタッチスクリーンをタッチした状態でドラッグをしてタッチを解除した位置を、認識された顔特徴点が移動する位置として認識してよい。他の例として、マウスを利用する環境において、アプリケーションは、ユーザのマウスクリックが発生した位置に対応する顔特徴点を認識してよく、ユーザがマウスをクリックした状態でドラッグしてマウスクリックを解除した位置を、認識された顔特徴点が移動する位置として認識してよい。

この場合、アプリケーションは、認識された顔特徴点を認識された位置に移動させてよく、このような顔特徴点の移動によって変更された顔特徴点を利用して映像を補正することができる。このような顔特徴点の移動は、数回にわたって繰り返されてよく、顔特徴点の移動のたびに変更される顔特徴点を利用して映像の補正が繰り返されてよい。したがって、ユーザは、補正される映像をリアルタイムで観察しながら映像補正を繰り返すことにより、ユーザ自身が好む映像を取得できるようになる。

上述した図３の実施形態では、ユーザの入力によって認識される顔特徴点の情報（一例として、該当の顔特徴点の識別子）と認識された顔特徴点を移動させる位置の情報が特定のユーザ端末で認識され、ネットワークを介して映像補正サーバ３１０に伝達される。このとき、映像補正サーバ３１０は、変更された顔特徴点を利用して映像を補正し、補正された映像を特定のユーザ端末に提供してよい。この場合にも、補正された映像は、変更された顔特徴点とともに特定のユーザ端末の画面に表示されてよい。したがって、ユーザは、変化する映像を観察しながら顔特徴点の移動を繰り返すことにより、映像を補正することが可能となる。

ユーザ端末４００や映像補正サーバ３１０は、映像の補正に対するパターンを分析して補正パターン情報を生成および記録することができる。例えば、このような補正パターン情報は、映像補正の終了後に最終的に生成されてよい。このような補正パターン情報は、顔全体に対する顔部位それぞれの比率情報を含むように生成されてよい。

また、本発明の実施形態では、このような補正パターン情報を利用して他の映像を自動補正することが可能となる。

図６は、本発明の一実施形態における、顔全体に対する顔部位それぞれの比率情報の例を示した図である。このような比率情報は、特定部位を特定値だけを補正するフィルタではなく、顔全体の比率を変更することができる情報を提供することができる。例えば、従来技術では、目の幅を左側に０．１ｃｍだけ補正するフィルタは、目の幅が３ｃｍである映像内の目であっても、目の幅が４ｃｍである映像内の目であっても、すべて一括して左側に０．１ｃｍだけ補正をすることになるため、映像内の目の大きさによっては不自然な補正となる確率が高い。この反面、本発明の実施形態では、特定部位の大きさを調節するのではなく、補正パターン情報に基づいて顔全体に対する部位別の比率を調節するようになるため、映像に含まれる顔ごとの実際の部位別に変更する値が異なるようになり、すべてのユーザに汎用的に活用することが可能なフィルタを生成することができる。

より具体的な例として、図６では、顔全体の幅が「７」であるとき、顔の右端と右眉毛との幅（以下、第１部位）、右眉毛（以下、第２部位）、眉間（以下、第３部位）、左眉毛（以下、第４部位）、そして左眉毛と顔の左端との幅（以下、第５部位）が１：２：１：２：１の比率を有する例を示している。もし、他の映像において第１部位〜第５部位の比率が１：２：１：２：１であれば、他の映像において該当の部位は補正がなされないであろう。この反面、さらに他の映像において第１部位〜第５部位の比率が０．８：２．１：１．２：２．１：０．８であるとき、このような比率は、補正パターン情報に基づいて１：２：１：２：１の比率となるように映像が補正されてよい。他の方式で説明すると、顔全体の幅が「７」であり、左眉毛の幅が「２」である７：２の比率を考慮するとき、他の映像において左眉毛の幅と該当の映像の顔全体の幅との比率が７：２となるように、左眉毛の幅が補正されてよい。

言い換えれば、特定部位が固定された変位値だけ変更されるのではなく、補正パターン情報に含まれる、顔全体に対する該当の部位の比率情報だけが変更されるため、このような補正パターン情報は、すべてのユーザに汎用的に活用可能となり、個別のユーザそれぞれに適合した補正がなされるようになる。したがって、特定のユーザが自身の顔に合うように映像を補正する過程において、生成された補正パターン情報が他のユーザの顔映像にも適用可能となるが、これは補正パターン情報の共有による活用性の向上を意味することにもなる。

また、ユーザに対して入力される他の顔映像に対しても、このような補正パターン情報の活用が繰り返されてよい。例えば、ユーザの顔が撮影された動画に対し、このような動画に含まれるフレームそれぞれに補正パターン情報を利用した自動補正を実行して、動画全体に対する顔補正を処理してよい。他の例として、映像通話の際にカメラに入力されたユーザの顔映像フレームそれぞれに対して補正パターン情報に基づいた自動補正を実行し、映像通話の際に補正された映像が映像通話の相手に伝達されるようにしてもよい。

一方、このような補正パターン情報は、ユーザの他の映像に対する補正パターンを追加で反映して更新されてもよい。例えば、他の映像に対する補正パターンは、一例として、ユーザの要求に従って予め生成されて記録された補正パターン情報に追加で反映されて、補正パターン情報の更新に利用されてよい。この場合、変化する比率の平均値が活用されてよい。例えば、上述した顔全体の幅と左眉毛の幅との比率が最初は７：２であり、次の映像で計算された顔全体の幅と左眉毛の幅との比率が７：１．８である場合、補正パターン情報に含まれる比率７：２は、７：１．９のように更新されてよい。ここで、１．９は、（２＋１．８）／２のように計算されてよい。もし、次の映像で計算された顔全体と左眉毛の幅との比率が１０：２．４であれば、補正パターン情報が含む比率７：２は、７０：１８．４（＝７：１．８４）のように更新されてよい。ここで、１８．４は、（（２×１０）＋（２．４×７））／２のように計算されてよい。このような他の映像に対する補正パターンは、実施形態によっては、他の補正パターン情報の生成に活用されてもよい。

以下の表１は、補正パターン情報を記録したデータベース（ＤＢ）テーブルの例を示した図である。

表１において、「Ｏｂｊｅｃｔ」項目は、顔部位を意味する項目であって、その値は顔部位を識別してよく、「Ｐｒｏｐｅｒｔｙ」項目は、顔部位の幅（Ｗｉｄｔｈ）と長さ（Ｌｅｎｇｔｈ）のように比率を測定するための基準を意味してよい。また、「Ｒａｔｉｏ」項目は、顔全体に対する該当の顔部位の比率情報を意味してよく、「Ｍａｒｋｅｒ」項目は、顔特徴点を意味してよい。このとき、顔特徴点それぞれは、該当の顔特徴点が該当の顔映像内で該当する位置情報に対応してよい。顔全体に対する幅と長さは、それぞれ別の「Ｏｂｊｅｃｔ」項目として表１に含まれてもよく、必要によっては、顔部位の結合によって計算されてもよい。

図７は、本発明の一実施形態における、電子機器のプロセッサが含むことのできる構成要素の例を示したブロック図であり、図８は、本発明の一実施形態における、電子機器が実行することのできる映像補正方法の例を示したフローチャートである。

本発明の実施形態に係る映像補正システムは、上述した電子機器１（１１０）のようなコンピュータ装置の形態で実現されてよい。また、図７に示すように、電子機器１（１１０）のプロセッサ２１２は、映像補正システムを実現するための構成要素として、顔特徴点認識部７１０、表示部７２０、ユーザ入力認識部７３０、映像補正部７４０、補正パターン情報管理部７５０、および送信部７６０を備えてよい。このようなプロセッサ２１２およびプロセッサ２１２の構成要素は、図８の映像補正方法に含まれる段階８１０〜段階８９０を実行してよい。このとき、プロセッサ２１２およびプロセッサ２１２の構成要素は、メモリ２１１が含むオペレーティングシステムのコードと少なくとも１つのプログラムのコードとによる制御命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行するように実現されてよい。ここで、プロセッサ２１２の構成要素は、電子機器１（１１０）に記録されたコードが提供する制御命令に従ってプロセッサ２１２によって実行される、プロセッサ２１２の互いに異なる機能（ｄｉｆｆｅｒｅｎｔ ｆｕｎｃｔｉｏｎｓ）の表現であってよい。例えば、プロセッサ２１２が上述した制御命令に従って顔特徴点を認識するように電子機器１（１１０）を制御するプロセッサ２１２の機能的表現として顔特徴点認識部７１０が使用されてよい。

段階８１０において、顔特徴点認識部７１０は、入力された第１映像に含まれる顔の顔特徴点を認識することができる。顔映像で顔特徴点を認識するための具体的な技術は、当業者であれば、周知の技術から容易に理解することができるであろう。入力される映像は、電子機器１（１１０）に記録されたものであっても、電子機器１（１１０）と連動するカメラに入力される映像であっても、電子機器１（１１０）のローカル格納場所に格納された映像であってもよい。あるいは、電子機器１（１１０）がネットワーク１７０を介して他の機器から受信した映像やウェブ上に記録された映像であってもよい。

段階８２０において、表示部７２０は、認識された顔特徴点うちの少なくとも一部を、入力された第１映像とともに電子機器１（１１０）の画面に表示することができる。例えば、図５を参照しながら説明したように、映像と顔特徴点がともに１つの画面に表示されてよい。ここで、電子機器１（１１０）の画面は、電子機器１（１１０）に備えられたディスプレイ装置（一例として、タッチスクリーン）の画面を意味してもよく、電子機器１（１１０）とは別の装置として電子機器１（１１０）と通信するディスプレイ装置（一例として、モニタ）の画面を意味してもよい。

段階８３０において、ユーザ入力認識部７３０は、画面に表示された第１映像の顔特徴点のうちの少なくとも１つの顔特徴点の移動のためのユーザ入力を認識することができる。タッチスクリーン環境やマウスを利用する環境でユーザ入力によって顔特徴点を移動させる例については、上述で説明したとおりである。このような例により、他の入力環境でも顔特徴点の移動のためのユーザ入力を認識することができることは、当業者であれば、容易に理解することができるであろう。

段階８４０において、映像補正部７４０は、認識されたユーザ入力に従って第１映像の少なくとも１つの顔特徴点を移動させ、移動によって変更された第１映像の顔特徴点を利用して、入力された第１映像を補正することができる。本発明の実施形態は、どのような方式によって顔特徴点を移動させることができるかに関するものであり、既に移動させた顔特徴点の位置に基づいて映像の顔を補正することについては、当業者であれば、周知の技術から容易に理解することができるであろう。例えば、予め製作されたフィルタを活用する技術も、予め設定された変化量だけマーカを移動させ、移動させたマーカに基づいて顔映像を補正する技術であって、このような補正は周知の技術である。補正された第１映像と変更された顔特徴点はともに画面に表示されてよく、このような顔特徴点の移動と移動による第１映像の補正の過程（段階８２０〜段階８４０）は、数回にわたって繰り返されてよい。

段階８５０において、補正パターン情報管理部７５０は、第１映像の補正に対するパターンを分析して補正パターン情報を生成および記録することができる。補正パターン情報は多様な方式によって生成されてよいが、上述したように、生成された補正パターン情報の汎用性のために、顔全体に対する顔部位それぞれの比率情報を利用して生成されることが好ましい。例えば、補正パターン情報管理部７５０は、移動によって変更された第１映像の顔特徴点を利用して、第１映像の顔の顔部位を認識し、顔全体に対する顔部位それぞれの比率情報を補正パターン情報として計算してよい。より具体的な例として、補正パターン情報は、顔部位それぞれの部位識別子、顔全体の幅および長さと顔部位それぞれの幅および長さとの比率情報、および顔部位それぞれに対応する顔特徴点の特徴点識別子が互いに連係された情報を含んでよい。このような方式によって生成された補正パターン情報は、上述した表１のようにＤＢ化されて記録されてよい。

他の実施形態として、補正パターン情報は、移動によって変更された第１映像の顔特徴点を含むように生成されてもよい。また他の実施形態として、補正パターン情報は、変更前の第１映像の顔特徴点と変更後の第１映像の顔特徴点とをすべて含むように生成されてもよい。例えば、まずは移動によって変更された第１映像の顔特徴点だけを記録しておき、追って選択的に上述した比率情報を計算して活用するか実際に変更された顔特徴点の情報だけを活用して他の映像の自動補正を処理してもよい。

このような段階８１０〜段階８５０は、第２映像（または、２つ以上の異なる映像それぞれ）に対して選択的に繰り返されてもよい。言い換えれば、第２映像（または、２つ以上の異なる映像それぞれ）に対しても、顔特徴点の認識、移動、補正、補正パターン情報の生成のような過程が繰り返されてよい。

段階８６０において、補正パターン情報管理部７５０は、第２映像の補正に対するパターンを分析して、記録された補正パターン情報を更新することができる。例えば、第２映像に対して生成された補正パターン情報を利用することで、記録された第１映像に対する補正パターン情報が更新されてよい。補正の比率の平均値を利用して補正パターン情報を更新する例については、上述で説明したとおりである。また、このような補正パターン情報の更新に、補正パターン情報が生成された時点による加重値やユーザによって設定された加重値などがさらに活用されてもよく、計算の過程において、一定の小数点以下の値を四捨五入したり切り捨てしたりしてもよいことは、当業者であれば、上述した例から容易に理解することができるであろう。また、２つ以上の異なる映像それぞれに対して段階８１０〜段階８５０が繰り返された場合、このような２つ以上の異なる映像それぞれに対して生成された補正パターン情報を利用することで、記録された補正パターン情報が更新されてよい。このような段階８６０は、第２映像を含む異なる映像に対して段階８１０〜段階８５０が繰り返された場合に限って選択的に実行されてよい。

段階８７０において、顔特徴点認識部７１０は、入力された第３映像に含まれる顔の顔特徴点を認識することができる。このような段階８７０は段階８１０に対応し、第３映像に対する自動補正を処理しようとする場合に実行されてよい。例えば、ユーザから自動補正に関する明らかな命令が受信された場合や、自動補正が必要として予め設定された条件が満たされた場合、このような自動補正のための顔特徴点の認識過程が実行されてよい。

段階８８０において、映像補正部７４０は、第３映像で認識された顔特徴点のうちの少なくとも１つの顔特徴点を、記録された補正パターン情報を利用して移動させ、移動によって変更された第３映像の顔特徴点を利用することで、入力された第３映像を自動補正してよい。例えば、映像補正部７４０は、第３映像に含まれる顔に対し、顔全体に対する顔部位それぞれの比率情報が、記録された補正パターン情報に含まれる比率情報となるように、第３映像を自動で補正してよい。

段階８９０において、送信部７６０は、記録された補正パターン情報の共有のために、記録された補正パターン情報を、ネットワークを介して他の電子機器およびサーバのうちの少なくとも１つに送信することができる。このような段階８９０は、段階８５０で最初に補正パターン情報が生成および記録された後であれば、いつでも実行可能である。

このように、本実施形態によると、ユーザが補正しようとする映像と顔特徴点を観察しながら顔特徴点を直接移動させることで、顔特徴点の移動による映像の補正過程を観察しながら映像を望みどおりに補正していくことができ、このような補正に関する補正パターン情報を利用して他の映像も自動補正することができるだけでなく、記録された補正パターン情報も他の映像に関する補正パターン情報を利用して更新することができる。これだけでなく、顔全体に対する顔部位それぞれの比率情報を活用して補正パターン情報を生成し、このような比率情報を利用して顔映像を補正することにより、補正パターン情報の汎用性を達成することができる。

図７および図８の実施形態では、電子機器１（１１０）がアプリケーションの制御に従って映像補正サービスを提供する実施形態について説明したが、上述したように、映像補正サービスは、映像補正サーバ３１０から提供されてもよい。

図９は、本発明の一実施形態における、サーバのプロセッサが含むことのできる構成要素の例を示したブロック図であり、図１０は、本発明の一実施形態における、サーバが実行することのできる映像補正方法の例を示したフローチャートである。

本実施形態に係る映像補正システムは、上述したサーバ１５０のようなコンピュータ装置の形態で実現されてよい。また、図９に示すように、サーバ１５０のプロセッサ２２２は、映像補正システムを実現するための構成要素として、受信部９１０、顔特徴点認識部９２０、機能提供部９３０、映像補正部９４０、送信部９５０、および補正パターン情報管理部９６０を備えてよい。このようなプロセッサ２２２およびプロセッサ２２２の構成要素は、図１０の映像補正方法に含まれる段階１０１０〜段階１０９０を実行してよい。このとき、プロセッサ２２２およびプロセッサ２２２の構成要素は、メモリ２２１が含むオペレーティングシステムのコードと少なくとも１つのプログラムのコードとによる制御命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行するように実現されてよい。ここで、プロセッサ２２２の構成要素は、サーバ１５０に記録されたコードが提供する制御命令に従ってプロセッサ２２２によって実行される、プロセッサ２２２の互いに異なる機能（ｄｉｆｆｅｒｅｎｔ ｆｕｎｃｔｉｏｎｓ）の表現であってよい。例えば、プロセッサ２２２が上述した制御命令に従って映像を受信するようにサーバ１５０を制御するプロセッサ２２２の機能的表現として受信部９１０が使用されてよい。

段階１０１０において、受信部９１０は、電子機器からネットワークを介して第１映像を受信することができる。電子機器は、映像補正サービスと関連するアプリケーションがインストールされて実行された機器であってよく、アプリケーションを通じてサーバ１５０と通信し、補正しようとする第１映像をサーバ１５０に送信してよい。このような第１映像は、電子機器に含まれるものであっても、電子機器と連動するカメラに入力される映像であっても、電子機器のローカル格納場所に格納された映像であってもよい。あるいは、電子機器がネットワーク１７０を介して他の機器から受信した映像やウェブ上に記録された映像であってもよい。

段階１０２０において、顔特徴点認識部９２０は、第１映像に含まれる顔の顔特徴点を認識することができる。上述したように、顔映像で顔特徴点を認識するための具体的な技術は、当業者であれば、周知の技術から容易に理解することができるであろう。

段階１０３０において、機能提供部９３０は、認識された顔特徴点のうちの少なくとも一部が、入力された第１映像とともに電子機器の画面に表示されるように制御し、画面に表示された第１映像の顔特徴点のうちの少なくとも１つの顔特徴点の移動に関する情報を受信するための機能を提供することができる。このような機能は、電子機器においてインストールされて実行されたアプリケーションとの連動によってなされてよい。上述したように、電子機器において移動された顔特徴点の識別子と移動された位置の情報が電子機器のアプリケーションの制御に従って認識され、サーバ１５０に送信されてよい。

段階１０４０において、映像補正部９４０は、移動によって変更された第１映像の顔特徴点を利用することで、入力された第１映像を補正することができる。本発明の実施形態は、どのような方式によって顔特徴点を移動させることができるかに関するものであり、既に移動された顔特徴点の位置に基づいて映像の顔を補正することについては、当業者であれば、周知の技術から容易に理解することができるであろう。例えば、予め製作されたフィルタを活用する技術も、予め設定された変化量だけマーカを移動させ、移動させたマーカに基づいて顔映像を補正する技術であって、このような補正は周知の技術である。

段階１０５０において、送信部９５０は、補正された第１映像を、ネットワークを介して電子機器に送信することができる。このような段階１０１０〜段階１０５０に係る第２映像の補正過程は、数回にわたって繰り返されてよい。

段階１０６０において、補正パターン情報管理部９６０は、第１映像の補正に対するパターンを分析して補正パターン情報を生成し、電子機器または電子機器のユーザと関連付けて記録することができる。このような補正パターン情報については上述したとおりであるため、繰り返される説明は省略する。

一方、このような段階１０１０〜段階１０６０は、第２映像（または、２つ以上の異なる映像それぞれ）に対して選択的に繰り返されてもよい。言い換えれば、第２映像（または、２つ以上の異なる映像それぞれ）に対しても、映像の受信、顔特徴点の認識、移動、補正、補正された映像の送信、補正パターン情報の生成のような過程が繰り返されてよい。

段階１０７０において、補正パターン情報管理部９６０は、第２映像の補正に対するパターンを分析することで、記録された補正パターン情報を更新してよい。例えば、第２映像に対して生成された補正パターン情報を利用することで、記録された第１映像に関する補正パターン情報が更新されてよい。また、２つ以上の異なる映像それぞれに対して段階１０１０〜段階１０６０が繰り返された場合、このような２つ以上の異なる映像それぞれに対して生成された補正パターン情報を利用することで、記録された補正パターン情報が更新されてよい。このような段階１０７０は、第２映像を含む他の映像に対して段階１０１０〜段階１０６０が繰り返し実行された場合に限って選択的に実行されてよい。

段階１０８０において、顔特徴点認識部９２０は、電子機器からネットワークを介して受信した第３映像に含まれる顔の顔特徴点を認識することができる。このような段階１０８０は段階１０１０および段階１０２０に対応し、第３映像に対する自動補正を処理しようとする場合に選択的に実行されてよい。例えば、ユーザから自動補正に関する明らかな命令が受信された場合や、自動補正が必要であるとした予め設定された条件が満たされた場合、このような自動補正のための顔特徴点の認識過程が実行されてよい。

段階１０９０において、映像補正部９４０は、第３映像で認識された顔特徴点のうちの少なくとも１つの顔特徴点を記録された補正パターン情報を利用して移動させ、移動によって変更された第３映像の顔特徴点を利用することで、入力された第３映像を自動補正することができる。補正された第３映像は、ネットワークを介して電子機器に送信されてよい。

また、本実施形態において、記録された補正パターン情報も、他のユーザに共有されてよい。例えば、サーバ１５０は、ユーザの要求に従って記録された補正パターン情報を、その要求に従って認識された他のユーザに伝達してよい。また、記録された補正パターン情報をユーザの電子機器で受信した後、ユーザが他のユーザと直接共有してもよい。

以上のように、本発明の実施形態によると、入力された映像で認識される顔特徴点を入力された映像とともに画面に表示した状態で、顔特徴点をユーザが直接移動させる方式によって入力された映像を補正することができる機能を提供することにより、ユーザは、映像に含まれる顔が変化していく過程をリアルタイムで観察しながら映像を補正することができる。また、顔の特定部位を一定の変化量だけ変更させるのではなく、移動された顔特徴点によって顔全体に対する顔部位別の比率を変化させた補正パターン情報を生成し、このような補正パターン情報に基づいて入力される映像を自動補正することにより、すべてのユーザに合った補正を可能にすることができる。さらに、ユーザの他の映像に対するユーザの補正パターンを分析して補正パターン情報を更新することにより、補正パターン情報を最適化することができる。

上述したシステムまたは装置は、ハードウェア構成要素、ソフトウェア構成要素、またはハードウェア構成要素とソフトウェア構成要素との組み合わせによって実現されてよい。例えば、実施形態で説明された装置および構成要素は、例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ、マイクロコンピュータ、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサ、または命令を実行して応答することができる様々な装置のように、１つ以上の汎用コンピュータまたは特殊目的コンピュータを利用して実現されてよい。処理装置は、オペレーティングシステム（ＯＳ）およびＯＳ上で実行される１つ以上のソフトウェアアプリケーションを実行してよい。また、処理装置は、ソフトウェアの実行に応答し、データにアクセスし、データを記録、操作、処理、および生成してもよい。理解の便宜のために、１つの処理装置が使用されるとして説明される場合もあるが、当業者は、処理装置が複数個の処理要素および／または複数種類の処理要素を含んでもよいことが理解できるであろう。例えば、処理装置は、複数個のプロセッサまたは１つのプロセッサおよび１つのコントローラを含んでよい。また、並列プロセッサのような、他の処理構成も可能である。

ソフトウェアは、コンピュータプログラム、コード、命令、またはこれらのうちの１つ以上の組み合わせを含んでもよく、思うままに動作するように処理装置を構成したり、独立的または集合的に処理装置に命令したりしてよい。ソフトウェアおよび／またはデータは、処理装置に基づいて解釈されたり、処理装置に命令またはデータを提供したりするために、いかなる種類の機械、コンポーネント、物理装置、仮想装置、コンピュータ記録媒体または装置に具現化されてよい。ソフトウェアは、ネットワークによって接続されたコンピュータシステム上に分散され、分散された状態で記録されても実行されてもよい。ソフトウェアおよびデータは、１つ以上のコンピュータ読み取り可能な記録媒体に記録されてよい。

実施形態に係る方法は、多様なコンピュータ手段によって実行可能なプログラム命令の形態で実現されてコンピュータ読み取り可能な媒体に記録されてよい。コンピュータ読み取り可能な媒体は、プログラム命令、データファイル、データ構造などを単独でまたは組み合わせて含んでよい。媒体に記録されるプログラム命令は、実施形態のために特別に設計されて構成されたものであっても、コンピュータソフトウェアの当業者に公知な使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例としては、ハードディスク、フロッピーディスク、磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような光磁気媒体、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を格納して実行するように特別に構成されたハードウェア装置が含まれる。このような記録媒体は、単一または複数のハードウェアが結合された形態の多様な記録手段または格納手段であってよく、あるコンピュータシステムに直接接続する媒体に限定されることはなく、ネットワーク上に分散して存在するものであってもよい。プログラム命令の例は、コンパイラによって生成されるもののような機械語コードだけではなく、インタプリタなどを使用してコンピュータによって実行される高級言語コードを含む。

以上のように、実施形態を、限定された実施形態および図面に基づいて説明したが、当業者であれば、上述した記載から多様な修正および変形が可能であろう。例えば、説明された技術が、説明された方法とは異なる順序で実行されたり、かつ／あるいは、説明されたシステム、構造、装置、回路などの構成要素が、説明された方法とは異なる形態で結合されたりまたは組み合わされたり、他の構成要素または均等物によって代替されたり置換されたとしても、適切な結果を達成することができる。

したがって、異なる実施形態であっても、特許請求の範囲と均等なものであれば、添付される特許請求の範囲に属する。

Claims (16)

1. コンピュータで実現される電子機器と結合して映像補正方法をコンピュータに実行させるためのコンピュータプログラムであって、
   前記映像補正方法は、
   入力された第１映像に含まれる顔の顔特徴点を認識する段階、
   認識された前記顔特徴点のうちの少なくとも一部を前記入力された第１映像とともに前記電子機器の画面に表示する段階、
   前記画面に表示された第１映像の顔特徴点のうちの少なくとも１つの顔特徴点の移動のためのユーザ入力を認識する段階、
   認識された前記ユーザ入力に従って前記第１映像の少なくとも１つの顔特徴点を移動させることによって変更された前記第１映像の顔特徴点を利用して前記入力された第１映像を補正する段階、および
   前記第１映像の補正に対するパターンを分析して補正パターン情報を生成および記録する段階
   を含み、
   記録された前記補正パターン情報は、他の映像に関する補正パターン情報を利用して更新される、
   コンピュータプログラム。
2. 前記映像補正方法は、
   入力された第２映像に含まれる顔の顔特徴点を認識する段階、
   認識された前記第２映像に含まれる顔の顔特徴点のうちの少なくとも一部を前記入力された第２映像とともに前記電子機器の画面に表示する段階、
   前記画面に表示された第２映像の顔特徴点のうちの少なくとも１つの顔特徴点の移動のためのユーザ入力を認識する段階、
   認識された前記第２映像の顔特徴点のうちの少なくとも１つの顔特徴点の移動のためのユーザ入力に従って前記第２映像の少なくとも１つの顔特徴点を移動させることによって変更された前記第２映像の顔特徴点を利用して前記入力された第２映像を補正する段階、および
   前記第２映像の補正に対するパターンを分析して前記記録された補正パターン情報を更新する段階
   をさらに含む、請求項１に記載のコンピュータプログラム。
3. 前記映像補正方法は、
   入力された第３映像に含まれる顔の顔特徴点を認識する段階、および
   前記第３映像で認識された顔特徴点のうちの少なくとも１つの顔特徴点を、前記記録された補正パターン情報を利用して移動させることによって変更された前記第３映像の顔特徴点を利用して前記入力された第３映像を自動補正する段階
   をさらに含む、請求項１に記載のコンピュータプログラム。
4. 前記補正パターン情報を生成および記録する段階は、
   前記変更された前記第１映像の顔特徴点を利用して前記第１映像の顔の顔部位を認識し、前記顔全体に対する前記顔部位それぞれの比率情報を前記補正パターン情報として計算する、請求項１に記載のコンピュータプログラム。
5. 前記補正パターン情報は、前記顔部位それぞれの部位識別子、前記顔全体の幅および長さと前記顔部位それぞれの幅および長さとの比率情報、および前記顔部位それぞれに対応する顔特徴点の特徴点識別子が互いに連係された情報を含む、請求項４に記載のコンピュータプログラム。
6. 前記補正パターン情報は、前記変更された前記第１映像の顔特徴点をさらに含む、請求項４に記載のコンピュータプログラム。
7. 前記映像補正方法は、
   前記記録された補正パターン情報の共有のために、前記記録された補正パターン情報を、ネットワークを介して他の電子機器およびサーバのうちの少なくとも１つに送信する段階
   をさらに含む、請求項１に記載のコンピュータプログラム。
8. 映像補正方法であって、
   入力された第１映像に含まれる顔の顔特徴点を認識する段階、
   認識された前記顔特徴点のうちの少なくとも一部を前記入力された第１映像とともに電子機器の画面に表示する段階、
   前記画面に表示された第１映像の顔特徴点のうちの少なくとも１つの顔特徴点の移動のためのユーザ入力を認識する段階、
   認識された前記ユーザ入力に従って前記第１映像の少なくとも１つの顔特徴点を移動させることによって変更された前記第１映像の顔特徴点を利用して前記入力された第１映像を補正する段階、および
   前記第１映像の補正に対するパターンを分析して補正パターン情報を生成および記録する段階
   を含み、
   記録された前記補正パターン情報は、他の映像に関する補正パターン情報を利用して更新される、
   映像補正方法。
9. 入力された第２映像に含まれる顔の顔特徴点を認識する段階、
   認識された前記第２映像に含まれる顔の顔特徴点のうちの少なくとも一部を前記入力された第２映像とともに前記電子機器の画面に表示する段階、
   前記画面に表示された第２映像の顔特徴点のうちの少なくとも１つの顔特徴点の移動のためのユーザ入力を認識する段階、
   認識された前記第２映像の顔特徴点のうちの少なくとも１つの顔特徴点の移動のためのユーザ入力に従って前記第２映像の少なくとも１つの顔特徴点を移動させることによって変更された前記第２映像の顔特徴点を利用して前記入力された第２映像を補正する段階、および
   前記第２映像の補正に対するパターンを分析して前記記録された補正パターン情報を更新する段階
   をさらに含む、請求項８に記載の映像補正方法。
10. 入力された第３映像に含まれる顔の顔特徴点を認識する段階、および
    前記第３映像で認識された顔特徴点のうちの少なくとも１つの顔特徴点を前記記録された補正パターン情報を利用して移動させることによって変更された前記第３映像の顔特徴点を利用して前記入力された第３映像を自動補正する段階
    をさらに含む、請求項８に記載の映像補正方法。
11. 映像補正方法であって、
    電子機器からネットワークを介して受信された、入力された第１映像に含まれる顔の顔特徴点を認識する段階、
    認識された前記顔特徴点のうちの少なくとも一部が前記入力された第１映像とともに前記電子機器の画面に表示されるように制御し、前記画面に表示された第１映像の顔特徴点のうちの少なくとも１つの顔特徴点の移動に関する情報を受信するための機能を提供する段階、
    移動によって変更された前記第１映像の顔特徴点を利用して前記入力された第１映像を補正する段階、
    補正された前記第１映像を、ネットワークを介して前記電子機器に送信する段階、および
    前記第１映像の補正に対するパターンを分析して補正パターン情報を生成し、前記電子機器または前記電子機器のユーザと関連付けて記録する段階
    を含み、
    記録された前記補正パターン情報は、他の映像に関する補正パターン情報を利用して更新される、
    映像補正方法。
12. 前記電子機器からネットワークを介して受信された、入力された第２映像に含まれる顔の顔特徴点を認識する段階、
    認識された前記第２映像に含まれる顔の顔特徴点のうちの少なくとも一部が前記入力された第２映像とともに前記電子機器の画面に表示されるように制御し、前記画面に表示された第２映像の顔特徴点のうちの少なくとも１つの顔特徴点の移動に関する情報を受信するための機能を提供する段階、
    移動によって変更された前記第２映像の顔特徴点を利用して前記入力された第２映像を補正する段階、
    補正された前記第２映像を、ネットワークを介して前記電子機器に送信する段階、および
    前記第２映像の補正に対するパターンを分析して前記記録された補正パターン情報を更新する段階
    をさらに含む、請求項１１に記載の映像補正方法。
13. 前記電子機器からネットワークを介して受信された、入力された第３映像に含まれる顔の顔特徴点を認識する段階、
    前記第３映像で認識された顔特徴点のうちの少なくとも１つの顔特徴点を前記記録された補正パターン情報を利用して移動させることによって変更された前記第３映像の顔特徴点を利用して前記入力された第３映像を自動補正する段階、および
    自動補正された前記第３映像を、ネットワークを介して前記電子機器に送信する段階
    をさらに含む、請求項１１に記載の映像補正方法。
14. 前記補正パターン情報を生成および記録する段階は、
    前記移動によって変更された前記第１映像の顔特徴点を利用して前記第１映像の顔の顔部位を認識し、前記顔全体に対する前記顔部位それぞれの比率情報を前記補正パターン情報として計算する、請求項１１に記載の映像補正方法。
15. 前記補正パターン情報は、前記顔部位それぞれの部位識別子、前記顔全体の幅および長さと前記顔部位それぞれの幅および長さとの比率情報、および前記顔部位それぞれに対応する顔特徴点の特徴点識別子が互いに連係された情報を含む、請求項１４に記載の映像補正方法。
16. 前記補正パターン情報は、前記移動によって変更された前記第１映像の顔特徴点をさらに含む、請求項１４に記載の映像補正方法。

Images