JP2021068455A - 写真に基づいてユーザの顔を認識して活用する方法およびコンピュータシステム - Google Patents

Abstract

【課題】 グループアルバムを利用するチャットルームでプロフィール写真に基づいてユーザの顔を認識して活用する方法を提供する。【解決手段】 顔認識結果を活用するためにコンピュータシステムが実行する方法は、インスタントメッセージングサービスで共有されるイメージから少なくとも１つ以上のオブジェクトを認識する段階、および認識された少なくとも１つ以上のオブジェクトと関連して探索されたインスタントメッセージングサービスのユーザアカウントを推薦する段階を含む。【選択図】図７

Description

以下の説明は、イメージに基づいてユーザの顔を認識する技術に関する。

コミュニケーションツールであるインスタントメッセンジャー（ｉｎｓｔａｎｔ ｍｅｓｓｅｎｇｅｒ）は、メッセージやデータをリアルタイムで送受信することのできるソフトウェアであって、ユーザがメッセンジャー上に対話の相手を登録すると、対話リストに登録された相手とリアルタイムでメッセージをやり取りすることができる。このようなメッセンジャー機能は、ＰＣはもちろん、移動通信端末のモバイル環境でもその使用が広く普及している。

インスタントメッセンジャーの利用が高まることでインスタントメッセンジャーが提供する機能はますます多様化し、１：１または１：Ｎでの対話が可能となった。一例として、インスタントメッセンジャーのそれぞれのユーザが自身のアカウントにプロフィール写真を登録した後、ユーザがグループチャットルームを生成して相手を招待すれば、ユーザと相手とがメッセージを送受信することにより、対話はもちろん、写真、映像、文書のような多様なコンテンツを共有することができるようになった。

しかし、インスタントメッセンジャーでは、それぞれのユーザアカウントに、ユーザ本人の写真、ユーザ本人ではなく他の人物やペットの写真、風景写真などをプロフィール写真として登録することが可能であるので、ユーザアカウントに登録されたプロフィール写真だけではユーザの顔を正確に知ることができない場合がある。さらに、インスタントメッセンジャーのチャットルームで共有する写真は、メッセンジャーサービスが設定した短い期間に限ってサーバに格納されるため、それ以後に写真を確認することができなかった。

インスタントメッセージングサービスで送受信されるメッセージの対話内容の脈絡を分析することにより、イメージからユーザの顔を認識する方法およびシステムを提供する。

インスタントメッセージングサービスで共有されるイメージから顔を認識し、認識された顔と関連するユーザアカウントをチャットルームに招待するか、新たなチャットルームを生成する方法およびシステムを提供する。

コンピュータシステムが実行するユーザの顔認識方法は、インスタントメッセージングサービスで共有されるイメージから少なくとも１つ以上のオブジェクトを認識する段階、および前記認識された少なくとも１つ以上のオブジェクトと関連して探索されたインスタントメッセージングサービスのユーザアカウントを推薦する段階を含んでよい。

前記推薦する段階は、前記推薦されたインスタントメッセージングサービスのユーザアカウントを、前記インスタントメッセージングサービスに生成されたグループチャットルームのメンバーとして招待する段階を含んでよい。

前記推薦する段階は、前記推薦されたインスタントメッセージングサービスのユーザアカウントを含む新たなグループチャットルームを生成する段階を含んでよい。

前記推薦する段階は、前記探索されたインスタントメッセージングサービスのユーザアカウントが前記グループチャットルームに存在するかを判断し、前記グループチャットルームに含まれていないユーザアカウントを、前記インスタントメッセージングサービスに生成されたグループチャットルームのメンバーとして招待する段階を含んでよい。

前記推薦する段階は、ユーザがメンバーとして参加しているグループチャットルームの他に、メンバーとして参加していない他のグループチャットルームで共有される写真から前記ユーザの顔が識別されることにより、前記写真が共有された他のグループチャットルームに含まれたメンバーを前記ユーザの友達として推薦する段階を含んでよい。

前記推薦する段階は、前記インスタントメッセージングサービスのグループチャットルームに構成されたグループアルバムから選択された写真に存在する人物が含まれた少なくとも１つ以上のグループチャットルームに前記選択された写真が送信されるように、前記人物が含まれたグループチャットルームを推薦する段階を含んでよい。

前記推薦する段階は、前記インスタントメッセージングサービスのグループチャットルームまたは前記グループチャットルームに構成されたグループアルバムで共有される写真に対し、前記グループチャットルームに含まれたそれぞれのメンバーを基準としてメンバーの写真を分類し、前記分類されたメンバーの写真を提供する段階を含んでよい。

前記推薦する段階は、前記インスタントメッセージングサービスに存在する全体のグループチャットルームまたは前記全体のグループチャットルームに構成されたグループアルバムにアップロードされた写真から前記インスタントメッセージングサービスに登録された友達の写真を分類し、前記分類された友達の写真を提供する段階を含んでよい。

前記推薦する段階は、前記インスタントメッセージングサービスで提供されるユーザのプロフィールに前記インスタントメッセージングサービスで共有されるユーザの写真がタイムライン形式のビューとして表示されるように、前記ユーザの写真を提供する段階を含んでよい。

前記オブジェクトを認識する段階は、前記インスタントメッセージングサービスのチャットルームで送受信されるメッセージに基づいて対話の脈絡を分析し、前記分析された脈絡に基づき、前記共有されるイメージからユーザの顔を認識する段階を含んでよい。

前記オブジェクトを認識する段階は、前記インスタントメッセージングサービスで提供されるイン−アプリ（Ｉｎ−ａｐｐ）カメラによって撮影されたイメージを利用してインスタントメッセージングサービスに登録されたユーザ情報を識別することにより、ユーザの顔を認識する段階を含んでよい。

前記オブジェクトを認識する段階は、前記インスタントメッセージングサービスのグループチャットルームに存在するメンバーのプロフィール写真に基づいてユーザの顔を認識する段階を含んでよい。

前記オブジェクトを認識する段階は、前記インスタントメッセージングサービスのグループチャットルームに存在するグループアルバム内の写真情報に基づいてユーザの顔を認識する段階を含んでよい。

前記オブジェクトを認識する段階は、前記ユーザの顔を認識するためのそれぞれの候補群の比較によるクラスタリングにより、ユーザの顔を認識する段階を含んでよい。

前記オブジェクトを認識する段階は、前記インスタントメッセージングサービスで送受信されるメッセージに基づいて推定されたユーザの識別情報をマッチングする段階を含んでよい。

前記オブジェクトを認識する段階は、前記インスタントメッセージングサービスで入力されるメッセージとして送受信される対話スタイル、前記インスタントメッセージングサービスに登録されたユーザアカウントを分析することにより、ユーザの識別情報を推定する段階を含んでよい。

顔認識結果の活用方法を前記コンピュータシステムに実行させるために非一時的なコンピュータ読み取り可能な記録媒体に記録される、コンピュータプログラムを含んでよい。

ユーザの顔認識を実行するためのコンピュータシステムは、インスタントメッセージングサービスで共有されるイメージから少なくとも１つ以上のオブジェクトを認識するオブジェクト認識部、および前記認識された少なくとも１つ以上のオブジェクトと関連して探索されたインスタントメッセージングサービスのユーザアカウントを推薦する友達推薦部を備えてよい。

前記友達推薦部は、前記推薦されたインスタントメッセージングサービスのユーザアカウントを、前記インスタントメッセージングサービスに生成されたグループチャットルームのメンバーとして招待するか、前記推薦されたインスタントメッセージングサービスのユーザアカウントを含む新たなグループチャットルームを生成してよい。

前記オブジェクト認識部は、前記インスタントメッセージングサービスのチャットルームで送受信されるメッセージに基づいて対話の脈絡を分析し、前記分析された脈絡に基づき、前記共有するイメージからユーザの顔を認識してよい。

インスタントメッセージングサービスで送受信されるメッセージの対話内容に対する脈絡を分析することにより、共有されるイメージから認識されるユーザの顔の正確度を高めることができる。

インスタントメッセージングサービスで共有されるイメージに基づいて認識された顔を利用して多様なサービスに活用することができる。

一実施形態における、ネットワーク環境の例を示した図である。 一実施形態における、電子機器およびサーバの内部構成を説明するためのブロック図である。 一実施形態における、サーバのプロセッサが含むことのできる構成要素を説明するためのブロック図である。 一実施形態における、サーバが実行することのできる顔認識方法を説明するためのフローチャートである。 一実施形態における、グループチャットルームを生成することを説明するための例示図である。 一実施形態における、イメージを選択することを説明するための例示図である。 一実施形態における、イメージからオブジェクトを認識することを説明するための例示図である。 一実施形態における、グループチャットルームにメンバーを招待することを説明するための例示図である。 一実施形態における、イメージを共有することを説明するため例示図である。

以下、本発明の実施形態について、添付の図面を参照しながら詳しく説明する。

図１は、本発明の一実施形態における、ネットワーク環境の例を示した図である。図１のネットワーク環境は、複数の電子機器１１０、１２０、１３０、１４０、複数のサーバ１５０、１６０、およびネットワーク１７０を含む例を示している。このような図１は、発明の説明のための一例に過ぎず、電子機器の数やサーバの数が図１のように限定されることはない。

複数の電子機器１１０、１２０、１３０、１４０は、コンピュータシステムによって実現される固定端末や移動端末であってよい。複数の電子機器１１０、１２０、１３０、１４０の例としては、スマートフォン、携帯電話、ナビゲーション、ＰＣ（ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ）、ノート型ＰＣ、デジタル放送用端末、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、ＰＭＰ（Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｍｅｄｉａ Ｐｌａｙｅｒ）、タブレット、ゲームコンソール、ウェアラブルデバイス、ＩｏＴ（ｉｎｔｅｒｎｅｔ ｏｆ ｔｈｉｎｇｓ）デバイス、ＶＲ（ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ）デバイス、ＡＲ（ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ）デバイスなどがある。一例として、図１では、電子機器１１０の例としてスマートフォンを示しているが、本発明の実施形態において、電子機器１１０は、実質的に無線または有線通信方式を利用し、ネットワーク１７０を介して他の電子機器１２０、１３０、１４０および／またはサーバ１５０、１６０と通信することのできる多様な物理的なコンピュータシステムのうちの１つを意味してよい。

通信方式が限定されることはなく、ネットワーク１７０が含むことのできる通信網（一例として、移動通信網、有線インターネット、無線インターネット、放送網、衛星網など）を利用する通信方式だけではなく、機器間の近距離無線通信が含まれてもよい。例えば、ネットワーク１７０は、ＰＡＮ（ｐｅｒｓｏｎａｌ ａｒｅａ ｎｅｔｗｏｒｋ）、ＬＡＮ（ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）、ＣＡＮ（ｃａｍｐｕｓ ａｒｅａ ｎｅｔｗｏｒｋ）、ＭＡＮ（ｍｅｔｒｏｐｏｌｉｔａｎ ａｒｅａ ｎｅｔｗｏｒｋ）、ＷＡＮ（ｗｉｄｅ ａｒｅａ ｎｅｔｗｏｒｋ）、ＢＢＮ（ｂｒｏａｄｂａｎｄ ｎｅｔｗｏｒｋ）、インターネットなどのネットワークのうちの１つ以上の任意のネットワークを含んでよい。さらに、ネットワーク１７０は、バスネットワーク、スターネットワーク、リングネットワーク、メッシュネットワーク、スター−バスネットワーク、ツリーまたは階層的ネットワークなどを含むネットワークトポロジのうちの任意の１つ以上を含んでもよいが、これらに限定されることはない。

サーバ１５０、１６０それぞれは、複数の電子機器１１０、１２０、１３０、１４０とネットワーク１７０を介して通信して命令、コード、ファイル、コンテンツ、サービスなどを提供する１つ以上のコンピュータ装置によって実現されてよい。例えば、サーバ１５０は、ネットワーク１７０を介して接続した複数の電子機器１１０、１２０、１３０、１４０に第１サービスを提供するシステムであってよく、サーバ１６０も、ネットワーク１７０を介して接続した複数の電子機器１１０、１２０、１３０、１４０に第２サービスを提供するシステムであってよい。より具体的な例として、サーバ１５０は、複数の電子機器１１０、１２０、１３０、１４０においてインストールされて実行されるコンピュータプログラムであるアプリケーションを通じ、該当のアプリケーションが目的とするサービス（一例として、メッセージングサービスなど）を第１サービスとして複数の電子機器１１０、１２０、１３０、１４０に提供してよい。他の例として、サーバ１６０は、上述したアプリケーションのインストールおよび実行のためのファイルを複数の電子機器１１０、１２０、１３０、１４０に配布するサービスを第２サービスとして提供してよい。

図２は、本発明の一実施形態における、電子機器およびサーバの内部構成を説明するためのブロック図である。図２では、電子機器に対する例として電子機器１１０の内部構成、およびサーバ１５０の内部構成について説明する。また、他の電子機器１２０、１３０、１４０やサーバ１６０も、上述した電子機器１１０またはサーバ１５０と同一または類似の内部構成を有してよい。

電子機器１１０およびサーバ１５０は、メモリ２１１、２２１、プロセッサ２１２、２２２、通信モジュール２１３、２２３、および入力／出力インタフェース２１４、２２４を含んでよい。メモリ２１１、２２１は、非一時的なコンピュータ読み取り可能な記録媒体であって、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＲＯＭ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、ディスクドライブ、ＳＳＤ（ｓｏｌｉｄ ｓｔａｔｅ ｄｒｉｖｅ）、フラッシュメモリ（ｆｌａｓｈ ｍｅｍｏｒｙ）などのような永続的大容量記録装置を含んでよい。ここで、ＲＯＭ、ＳＳＤ、フラッシュメモリ、ディスクドライブのような永続的大容量記録装置は、メモリ２１１、２２１とは区分される別の永続的記録装置として電子機器１１０やサーバ１５０に含まれてもよい。また、メモリ２１１、２２１には、オペレーティングシステムと、少なくとも１つのプログラムコード（一例として、電子機器１１０においてインストールされて実行されるブラウザや、特定のサービスの提供のために電子機器１１０にインストールされるアプリケーションなどのためのコード）が記録されてよい。このようなソフトウェア構成要素は、メモリ２１１、２２１とは別のコンピュータ読み取り可能な記録媒体からロードされてよい。このような別のコンピュータ読み取り可能な記録媒体は、フロッピードライブ、ディスク、テープ、ＤＶＤ／ＣＤ−ＲＯＭドライブ、メモリカードなどのコンピュータ読み取り可能な記録媒体を含んでよい。他の実施形態において、ソフトウェア構成要素は、コンピュータ読み取り可能な記録媒体ではない通信モジュール２１３、２２３を通じてメモリ２１１、２２１にロードされてもよい。例えば、少なくとも１つのプログラムは、開発者またはアプリケーションのインストールファイルを配布するファイル配布システム（一例として、上述したサーバ１６０）がネットワーク１７０を介して提供するファイルによってインストールされるコンピュータプログラム（一例として、上述したアプリケーション）に基づいてメモリ２１１、２２１にロードされてよい。

プロセッサ２１２、２２２は、基本的な算術、ロジック、および入出力演算を実行することにより、コンピュータプログラムの命令を処理するように構成されてよい。命令は、メモリ２１１、２２１または通信モジュール２１３、２２３によって、プロセッサ２１２、２２２に提供されてよい。例えば、プロセッサ２１２、２２２は、メモリ２１１、２２１のような記録装置に記録されたプログラムコードにしたがって受信される命令を実行するように構成されてよい。

通信モジュール２１３、２２３は、ネットワーク１７０を介して電子機器１１０とサーバ１５０とが互いに通信するための機能を提供してもよいし、電子機器１１０および／またはサーバ１５０が他の電子機器（一例として、電子機器１２０）または他のサーバ（一例として、サーバ１６０）と通信するための機能を提供してもよい。一例として、電子機器１１０のプロセッサ２１２がメモリ２１１のような記録装置に記録されたプログラムコードにしたがって生成した要求が、通信モジュール２１３の制御にしたがってネットワーク１７０を介してサーバ１５０に伝達されてよい。これとは逆に、サーバ１５０のプロセッサ２２２の制御にしたがって提供される制御信号や命令、コンテンツ、ファイルなどが、通信モジュール２２３とネットワーク１７０を経て電子機器１１０の通信モジュール２１３を通じて電子機器１１０に受信されてよい。例えば、通信モジュール２１３を通じて受信されたサーバ１５０の制御信号や命令、コンテンツ、ファイルなどは、プロセッサ２１２やメモリ２１１に伝達されてよく、コンテンツやファイルなどは、電子機器１１０がさらに含むことのできる記録媒体（上述した永続的記録装置）に記録されてよい。

入力／出力インタフェース２１４は、入力／出力装置２１５とのインタフェースのための手段であってよい。例えば、入力装置は、キーボード、マウス、マイクロフォン、カメラなどの装置を、出力装置は、ディスプレイ、スピーカ、触覚フィードバックデバイスなどのような装置を含んでよい。他の例として、入力／出力インタフェース２１４は、タッチスクリーンのように入力と出力のための機能が１つに統合された装置とのインタフェースのための手段であってもよい。入力／出力装置２１５は、電子機器１１０と１つの装置で構成されてもよい。また、サーバ１５０の入力／出力インタフェース２２４は、サーバ１５０に接続するかサーバ１５０が含むことのできる入力または出力のための装置（図示せず）とのインタフェースのための手段であってよい。より具体的な例として、電子機器１１０のプロセッサ２１２がメモリ２１１にロードされたコンピュータプログラムの命令を処理するにあたり、サーバ１５０や電子機器１２０が提供するデータを利用して構成されるサービス画面やコンテンツが、入力／出力インタフェース２１４を通じてディスプレイに表示されてよい。

また、他の実施形態において、電子機器１１０およびサーバ１５０は、図２の構成要素よりも多くの構成要素を含んでもよい。しかし、大部分の従来技術的構成要素を明確に図に示す必要はない。例えば、電子機器１１０は、上述した入力／出力装置２１５のうちの少なくとも一部を含むように実現されてもよいし、トランシーバ、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）モジュール、カメラ、各種センサ、データベースなどのような他の構成要素をさらに含んでもよい。より具体的な例として、電子機器１１０がスマートフォンである場合、一般的にスマートフォンが含んでいる加速度センサやジャイロセンサ、カメラモジュール、物理的な各種ボタン、タッチパネルを利用したボタン、入力／出力ポート、振動のための振動器などのような多様な構成要素が、電子機器１１０にさらに含まれるように実現されてよい。

実施形態に係るサーバ１５０には、コンピュータによって実現された顔認識システムが構成されてよい。一例として、サーバは、インスタントメッセージングサービスを電子機器（例えば、ユーザ端末）１１０に提供するシステムであってよい。顔認識システムは、インスタントメッセージングサービスで顔認識を実行し、認識された顔に対応する相手のユーザを推薦する機能を提供してよい。これにより、インスタントメッセージングサービスで共有されるイメージから認識された顔と関連するユーザアカウントをチャットルームに招待するか、新たなチャットルームを生成することにより、特定の事件を主題とした対話に参加させることができる。

図３は、一実施形態における、サーバのプロセッサが含むことのできる構成要素を説明するためのブロック図であり、図４は、一実施形態における、サーバが実行することのできる顔認識方法を説明するためのフローチャートである。

サーバのプロセッサ２２２は、オブジェクト認識部３１０および友達推薦部３２０を含んでよい。このようなプロセッサ２２２の構成要素は、サーバに記録されたプログラムコードが提供する制御命令にしたがってプロセッサ２２２によって実行される互いに異なる機能（ｄｉｆｆｅｒｅｎｔ ｆｕｎｃｔｉｏｎｓ）の表現であってよい。プロセッサ２２２およびプロセッサ２２２の構成要素は、図４の顔認識方法が含む段階４１０〜４２０を実行するようにサーバを制御してよい。このとき、プロセッサ２２２およびプロセッサ２２２の構成要素は、メモリが含むオペレーティングシステムのコードと、少なくとも１つのプログラムのコードによる命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行するように実現されてよい。

プロセッサ２２２は、顔認識方法のためのプログラムのファイルに記録されたプログラムコードをメモリにロードしてよい。例えば、サーバでプログラムが実行されれば、プロセッサは、オペレーティングシステムの制御にしたがい、プログラムのファイルからプログラムコードをメモリにロードするようにサーバを制御してよい。このとき、プロセッサ２２２およびプロセッサ２２２が含むオブジェクト認識部３１０および友達推薦部３２０それぞれは、メモリにロードされたプログラムコードのうちの対応する部分の命令を実行して以後の段階４１０〜４２０を実行するためのプロセッサ２２２の互いに異なる機能的表現であってよい。

段階４１０で、オブジェクト認識部３１０は、インスタントメッセージングサービスで共有されるイメージから少なくとも１つ以上のオブジェクトを認識してよい。例えば、オブジェクト認識部３１０は、写真や動画などを含むイメージからオブジェクトを認識してよい。ここで、オブジェクトとは、事物や人物だけでなく、事物や人物の特定情報を意味してよい。以下、実施形態では、ユーザの顔を認識することを例示して説明する。より詳しく説明すると、オブジェクト認識部３１０は、多様な方法を利用してユーザの顔を認識してよい。このとき、多様な方法により、ユーザの顔を認識するそれぞれの候補群が設定されてよい。オブジェクト認識部３１０は、インスタントメッセージングサービスで写真が選択されることにより、ユーザの顔を探索してよい。オブジェクト認識部３１０は、探索されたユーザの顔を類似度に基づいて分類してよい。

オブジェクト認識部３１０は、インスタントメッセージングサービスのチャットルームで送受信されるメッセージから対話の脈絡を分析し、分析された脈絡に基づき、共有されるイメージから抽出されたユーザの顔を認識してよい。このとき、インスタントメッセージングサービスのチャットルーム内でメッセージとして送受信される対話の脈絡分析によって認識されたユーザの顔は、候補群１として設定されてよい。オブジェクト認識部３１０は、インスタントメッセージングサービスで提供されるイン−アプリ（Ｉｎ−ａｐｐ）カメラによって撮影されたイメージを利用してインスタントメッセージングサービスに登録されたユーザ情報を識別することにより、ユーザの顔を認識してよい。例えば、インスタントメッセージングサービスで提供されるイン−アプリカメラによって自撮り写真が撮影された場合、自撮り写真がサーバに送信されてよい。このとき、インスタントメッセージングサービスで提供されるイン−アプリカメラによって撮影されたイメージを利用して認識されたユーザの顔は、候補群２として設定されてよい。オブジェクト認識部３１０は、インスタントメッセージングサービスのチャットルームに存在するメンバーのプロフィール写真に基づいてユーザの顔を認識してよい。このとき、チャットルームに存在するメンバーのプロフィール写真から認識されたユーザの顔は、候補群３として設定されてよい。オブジェクト認識部３１０は、インスタントメッセージングサービスのチャットルームに存在するグループアルバム内の写真情報に基づいて顔を認識してよい。このとき、チャットルームで共有される写真がグループアルバムにアップロードされてよく、グループアルバムにアップロードされた写真から認識されたユーザの顔は、候補群４として設定されてよい。

オブジェクト認識部３１０は、ユーザの顔を認識するためのそれぞれの候補群を比較してクラスタリングすることにより、ユーザの顔を認識してよい。オブジェクト認識部３１０は、候補群１〜４をそれぞれ比較し、類似度に基づいてクラスタリングを実行してよい。オブジェクト認識部３１０は、候補群１〜４に加重値を付与してスコアを取得してよい。例えば、オブジェクト認識部３１０は、候補群１〜４の認識の正確度に応じて加重値を付与してよい。オブジェクト認識部３１０は、取得したスコアに基づいてクラスタリングされたユーザの顔を認識してよい。このとき、１つのユーザが複数のグループチャットルームに属していることを考慮した上で、複数のグループチャットルームで認識された候補群が同時に交互に使用されてもよい。

オブジェクト認識部３１０は、インスタントメッセージングサービスで送受信されるメッセージから推定されたユーザの識別情報をマッチングしてよい。オブジェクト認識部３１０は、ユーザの情報を追加で認識してよい。オブジェクト認識部３１０は、インスタントメッセージングサービスで入力されるメッセージとして送受信される対話の対話スタイル、インスタントメッセージングサービスに登録されたユーザアカウントの分析により、ユーザの識別情報を認識してよい。例えば、オブジェクト認識部３１０は、ユーザの普段の対話スタイル、インスタントメッセージングサービスに登録された友達と関連するネットワーク分析により、ユーザの年齢や性別などのようなユーザ識別情報を推定してよい。ネットワーク分析とは、インスタントメッセージングサービスを始めるときに登録されたユーザの情報と、インスタントメッセージングサービスの利用によってそれぞれのユーザと関連して蓄積されたデータを分析することを意味してよい。例えば、オブジェクト認識部３１０は、ユーザ以外のユーザ（例えば、友達）の対話からユーザの情報を認識してよい。

段階４２０で、友達推薦部３２０は、認識された少なくとも１つ以上のオブジェクトと関連して探索されたインスタントメッセージングサービスのユーザアカウントを推薦してよい。一例として、友達推薦部３２０は、探索されたインスタントメッセージングサービスのユーザアカウントを、インスタントメッセージングサービスに生成されたグループチャットルームのメンバーとして招待してよい。例えば、友達推薦部３２０は、グループチャットルームの友達招待メニューに友達推薦リストを提供してよく、グループチャットルームのメンバーリストに友達推薦リストを提供してよい。これにより、ユーザの友達推薦リストを利用して招待しようとする相手ユーザ（ユーザアカウント）を、グループチャットルームのメンバーに招待してよい。このとき、友達推薦部３２０は、探索されたインスタントメッセージングサービスのユーザアカウントがグループチャットルームに存在するかを判断し、グループチャットルームに含まれていないユーザアカウントを、インスタントメッセージングサービスに生成されたグループチャットルームのメンバーとして招待してよい。他の例として、友達推薦部３２０は、推薦されたインスタントメッセージングサービスのユーザアカウントを含んだ新たなグループチャットルームを生成してよい。

また、友達推薦部３２０は、ユーザがメンバーとして参加しているグループチャットルームの他に、メンバーとして参加していない他のグループチャットルームで共有される写真からユーザの顔を識別することにより、写真が共有された他のグループチャットルームに含まれたメンバーをユーザの友達として推薦してよい。例えば、友達推薦部３２０は、推薦された他のグループチャットルームに含まれたメンバーをユーザの友達推薦リストに追加して提供してよい。

また、友達推薦部３２０は、インスタントメッセージングサービスでイメージ（例えば、写真）が複数のグループチャットルームに同時に送信されるように、イメージに含まれた人物が含まれたグループチャットルームを推薦してよい。例えば、インスタントメッセージングサービスの対話リストに、イメージを送信するためのユーザインタフェースが存在してよい。このようなユーザインタフェースを利用して送信する写真が選択されることにより、写真に写っている人物が識別されてよい。識別されたすべての人物が属しているグループチャットルーム、または識別された人物がそれぞれ属しているグループチャットルームが推薦されてよい。ユーザが、推薦されたグループチャットルームのうちから写真を送信するグループチャットルームを選択することにより、同時に複数のチャットルームに写真が送信されてよい。

また、友達推薦部３２０は、インスタントメッセージングサービスのグループチャットルームまたはグループチャットルームに構成されたグループアルバムで共有された写真に対し、グループチャットルームに含まれたそれぞれのメンバーを基準としてメンバーの写真を分類し、分類されたメンバーの写真を提供してよい。例えば、グループチャットルームにおいて、グループチャットルームに含まれたメンバーが選択されてもよいし、インスタントメッセージングサービスに登録された友達リストから友達が選択されてもよいし、チャットルーム内で対話相手のプロフィールが選択されてもよい。友達推薦部３２０は、グループチャットルームまたはグループチャットルームに構成されたグループアルバムで共有された写真のうちから選択されたメンバー、友達、またはプロフィールに対応する相手ユーザの写真を分類して提供してよい。ユーザまたは相手ユーザは、インスタントメッセージングサービスにおいて、表示された相手ユーザと関連して分類された写真を確認してよい。他の例として、友達推薦部３２０は、インスタントメッセージングサービスに存在する全体のグループチャットルームまたは全体のグループチャットルームに構成されたグループアルバムにアップロードされた写真からインスタントメッセージングサービスに登録された友達の写真を分類し、分類された友達の写真を提供してよい。また他の例として、友達推薦部３２０は、インスタントメッセージングサービスで提供されるユーザのプロフィールに、インスタントメッセージングサービスで共有されたユーザの写真がタイムライン形式のビューとして表示されるように提供してよい。例えば、ユーザは、インスタントメッセージングサービスにおいて、時間の流れによるタイムライン形式で提供されるユーザのすべての写真をヒストリービューとして確認してよい。

図５は、一実施形態における、グループチャットルームを生成することを説明するための例示図である。

電子機器１１０では、インスタントメッセージングサービス５１０が実行されてよい。このとき、電子機器１１０には、コンピュータによって実現される顔認識システムが構成されてよい。一例として、顔認識システムは、独立的に動作するプログラム形態で実現されても、特定のアプリケーションのイン−アプリ（ｉｎ−ａｐｐ）形態で構成され、特定のアプリケーション上で動作可能であるように実現されてもよく、場合によっては、サーバ１５０との連動によってインスタントメッセージングサービスを提供してもよい。電子機器１１０でインスタントメッセージングサービス５１０が実行されてユーザ識別情報が登録されることで、ユーザアカウントが生成されてよい。例えば、電子機器１１０により、ユーザの電話番号、ＩＤ、パスワードなどのようなユーザを識別することのできるユーザ識別情報が登録されてよい。電子機器１１０が実行するインスタントメッセージングサービス５１０は、電子機器１１０に格納された電話番号と連動してインスタントメッセージングサービス５１０を利用する友達に提供されてよい。

電子機器１１０により、写真を利用してグループチャットルームを生成するためのユーザインタフェース５２０が選択されてよい。ユーザインタフェース５２０が選択されることにより、グループチャットルームの開設が要求されてよい。ユーザインタフェース５２０が選択されることにより、写真を選択することのできるアルバムを開いてよい。このとき、写真が選択されることによってユーザの顔が認識されてよく、認識された相手ユーザを、インスタントメッセージングサービスに生成されたグループチャットルームのメンバーとして招待してよい。または、写真が選択されることによってユーザの顔が認識されてよく、認識された相手ユーザを含む新たなグループチャットルームが生成されてよい。

図６は、一実施形態における、イメージを選択することを説明するための例示図である。

電子機器１１０に格納されたアルバム情報６００が提供されてもよいし、インスタントメッセージングサービスで共有または記録されたアルバム情報６００が提供されてもよい。また、インスタントメッセージングサービスのグループチャットルームそれぞれのグループアルバムに記録されたアルバム情報６００が提供されてもよい。このようなアルバム情報は、予め設定された基準によって分類されて提供されてよい。例えば、フォルダ名、期間、時間順などのような多様な基準によってアルバム情報が分類されて電子機器１１０に表示されてよい。電子機器１１０に提供されたアルバム情報６００から少なくとも１つ以上の写真が選択されてよい。このとき、写真はもちろん、動画や文書ファイルなどのようなイメージが含まれたコンテンツも同じように適用されてよい。

図７は、一実施形態における、イメージからオブジェクトを認識することを説明するための例示図である。

電子機器でイメージ７００が選択されることにより、オブジェクト７１０が認識されてよい。このとき、電子機器では、イメージ７００に対するオブジェクト７１０を認識するための分析が実行されてよく、または電子機器が選択したイメージ７００に対するオブジェクト７１０を認識するための分析がサーバで実行されてもよい。または、サーバは、電子機器が選択したイメージ７００の収集に対する同意を電子機器に確認してよい。サーバは、電子機器から受信した同意に応じてイメージ７００に対するオブジェクト認識を実行してよい。電子機器がイメージ７００の収集に対して同意すれば、サーバは、イメージ７００を収集してオブジェクトを認識してよく、電子機器がイメージ７００の収集に対して反対すれば、サーバがオブジェクト認識を実行せず、電子機器がオブジェクト認識を実行してよい。

一例として、インスタントメッセージングサービスのいずれか１つのグループチャットルームにおいて、ユーザがグループチャットルームのメンバーに写真を送信するとする。このとき、グループチャットルームで写真が送信されるときに、送受信されるメッセージから対話の脈絡が分析されてよい。このとき、対話の脈絡を分析するために、対話内容に対して自然語処理が実行されてよい。例えば、グループチャットルーム内のメンバーがやり取りした対話内容として、写真内の人物が言及されたり他のユーザが言及されたりすることがある。または、自撮り写真の場合は、「うまく撮れたでしょ？」のようなメッセージが送受信されることがある。このような対話の脈絡から、写真に存在するユーザの顔に対するユーザを推定してよい。具体的に、字句解析（Ｔｏｋｅｎｉｚｅｒ）により、ユーザと相手がやり取りした対話内容から文段と文章を区分した後、各文段や文章を句と単語に分割してよい。自然語処理技法（Ｎａｔｕｒａｌ Ｌａｎｇｕａｇｅ Ｐｒｏｃｅｓｓｉｎｇ）の形態素分析、品詞分析、基本形分析が実行されてよい。または、対話の脈絡を分析するための学習モデルが構成されてよく、構成された学習モデルに対話内容を学習させることにより、対話の脈絡からユーザ識別情報を取得してよい。例えば、対話内容を分析することにより、女性または男性が使用する単語や文句などが抽出されてよく、抽出された単語や文句などに基づいて性別が識別されてよい。または、女性または男性がよく使用する単語を分析することによって性別が識別されてよい。また、年代別によく使用する単語、絵文字を使用する頻度数、単語の数、文章の長さなどの特徴を分類して年代が推定されてよい。また、インスタントメッセージングサービスに登録された友達の識別情報に基づいてユーザの年齢や性別が推定されてよい。

他の例として、インスタントメッセージングサービスで提供されるイン−アプリ（Ｉｎ−ａｐｐ）カメラによって撮影されたイメージを利用してインスタントメッセージングサービスに登録されたユーザ情報を識別することにより、ユーザの顔が認識されてよい。例えば、イン−アプリカメラとして、インカメラを実行させるインカメラモード、またはアウトカメラを実行させるアウトカメラモードが存在してよい。インカメラモードの実行によって動作するインカメラによって撮影されたユーザの自撮り写真からユーザの顔が認識されてよい。また他の例として、インスタントメッセージングサービスのチャットルームに存在するメンバーのプロフィール写真に基づいてユーザの顔が認識されてよい。また他の例として、インスタントメッセージングサービスのチャットルームに存在するグループアルバム内の写真情報に基づいてユーザの顔が認識されてよい。このとき、認識されるユーザの顔の数は、少なくとも１つ以上であってよい。また、ユーザの顔を認識する方法により、それぞれの候補群が選出されてよい。認識されたユーザの顔を含む候補群を比較してクラスタリングすることにより、ユーザの顔が認識されてもよい。

さらに、ユーザ情報が追加で認識されてよい。例えば、インスタントメッセージングサービスで入力されるメッセージとして送受信される普段の対話スタイルや、インスタントメッセージングサービスに登録されたユーザアカウントを分析することにより、ユーザの識別情報が認識されてよい。例えば、これにより、グループチャットルームに存在するメンバーと写真に含まれたユーザの顔とがマッチングされてよい。例えば、写真７００から、Ｊａｎｅ、Ｐａｕｌ、Ｍｉｃｈａｅｌ、Ｍａｘ、Ｊｏｙなどのユーザの顔が認識されてよい。

図８は、一実施形態における、グループチャットルームにメンバーを招待することを説明するための例示図である。

電子機器１１０に、グループチャットルーム内に存在するメンバーが表示されてよい。例えば、電子機器１１０に、グループチャットルームのメンバーリストに友達推薦リストが提供されてよい。または、電子機器１１０のグループチャットルームに存在する個別の友達招待メニューに友達推薦リストが提供されてよい。ユーザが、電子機器１１０に表示された友達推薦リストから希望する相手ユーザを選択することにより、グループチャットルームのメンバーに招待するか、選択された相手ユーザを含む新たなグループチャットルームを生成してよい。

図９は、一実施形態における、イメージを共有することを説明するための例示図である。

電子機器１１０で動作するインスタントメッセージングサービスには、複数のグループチャットルームが存在してよい。インスタントメッセージングサービスには、ユーザのアカウントによって生成されたグループチャットルームリストが提供されてよい。ユーザは、グループチャットルームリストからメッセージを送受信しようとするグループチャットルーム９００を選択することにより、グループチャットルーム９００に参加してよい。グループチャットルーム９００に存在するメンバーとメッセージを送受信しながらイメージを共有してよい。例えば、グループチャットルーム９００に存在するメンバーのうちのいずれか１人のメンバーが写真を共有したとする。このとき、共有される写真は、グループチャットルーム９００に構成されたグループアルバムにアップロードされてよく、アップロードされた写真は、格納または削除が可能であってよい。または、アップロードされた写真は、グループチャットルームに写真をアップロードしたメンバー以外のメンバーによって加工（編集）が可能であってよい。

上述した装置は、ハードウェア構成要素、ソフトウェア構成要素、および／またはハードウェア構成要素とソフトウェア構成要素との組み合わせによって実現されてよい。例えば、実施形態で説明された装置および構成要素は、例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ、マイクロコンピュータ、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサ、または命令を実行して応答することができる様々な装置のように、１つ以上の汎用コンピュータまたは特殊目的コンピュータを利用して実現されてよい。処理装置は、オペレーティングシステム（ＯＳ）およびＯＳ上で実行される１つ以上のソフトウェアアプリケーションを実行してよい。また、処理装置は、ソフトウェアの実行に応答し、データにアクセスし、データを記録、操作、処理、および生成してもよい。理解の便宜のために、１つの処理装置が使用されるとして説明される場合もあるが、当業者は、処理装置が複数個の処理要素および／または複数種類の処理要素を含んでもよいことが理解できるであろう。例えば、処理装置は、複数個のプロセッサまたは１つのプロセッサおよび１つのコントローラを含んでよい。また、並列プロセッサのような、他の処理構成も可能である。

ソフトウェアは、コンピュータプログラム、コード、命令、またはこれらのうちの１つ以上の組み合わせを含んでもよく、思うままに動作するように処理装置を構成したり、独立的または集合的に処理装置に命令したりしてよい。ソフトウェアおよび／またはデータは、処理装置に基づいて解釈されたり、処理装置に命令またはデータを提供したりするために、いかなる種類の機械、コンポーネント、物理装置、仮想装置、コンピュータ記録媒体または装置に具現化されてよい。ソフトウェアは、ネットワークによって接続されたコンピュータシステム上に分散され、分散された状態で記録されても実行されてもよい。ソフトウェアおよびデータは、１つ以上のコンピュータ読み取り可能な記録媒体に記録されてよい。

実施形態に係る方法は、多様なコンピュータ手段によって実行可能なプログラム命令の形態で実現されてコンピュータ読み取り可能な媒体に記録されてよい。コンピュータ読み取り可能な媒体は、プログラム命令、データファイル、データ構造などを単独でまたは組み合わせて含んでよい。媒体に記録されるプログラム命令は、実施形態のために特別に設計されて構成されたものであっても、コンピュータソフトウェア当業者に公知な使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例としては、ハードディスク、フロッピディスク、磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような光磁気媒体、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を格納して実行するように特別に構成されたハードウェア装置が含まれる。プログラム命令の例は、コンパイラによって生成されるもののような機械語コードだけではなく、インタプリタなどを使用してコンピュータによって実行される高級言語コードを含む。

以上のように、実施形態を、限定された実施形態および図面に基づいて説明したが、当業者であれば、上述した記載から多様な修正および変形が可能であろう。例えば、説明された技術が、説明された方法とは異なる順序で実行されたり、かつ／あるいは、説明されたシステム、構造、装置、回路などの構成要素が、説明された方法とは異なる形態で結合されたりまたは組み合わされたり、他の構成要素または均等物によって対置されたり置換されたとしても、適切な結果を達成することができる。

したがって、異なる実施形態であっても、特許請求の範囲と均等なものであれば、添付される特許請求の範囲に属する。

２２２：プロセッサ
３１０：オブジェクト認識部
３２０：友達推薦部

Claims (20)

1. 顔認識結果を活用するためにコンピュータシステムが実行する方法であって、
   インスタントメッセージングサービスで共有されるイメージから少なくとも１つ以上のオブジェクトを認識する段階、および
   前記認識された少なくとも１つ以上のオブジェクトと関連して探索されたインスタントメッセージングサービスのユーザアカウントを推薦する段階
   を含む、方法。
2. 前記推薦する段階は、
   前記推薦されたインスタントメッセージングサービスのユーザアカウントを、前記インスタントメッセージングサービスに生成されたグループチャットルームのメンバーとして招待する段階
   を含む、請求項１に記載の方法。
3. 前記推薦する段階は、
   前記推薦されたインスタントメッセージングサービスのユーザアカウントを含む新たなグループチャットルームを生成する段階
   を含む、請求項１に記載の方法。
4. 前記推薦する段階は、
   前記探索されたインスタントメッセージングサービスのユーザアカウントが前記グループチャットルームに存在するかを判断し、前記グループチャットルームに含まれていないユーザアカウントを、前記インスタントメッセージングサービスに生成されたグループチャットルームのメンバーとして招待する段階
   を含む、請求項２に記載の方法。
5. 前記推薦する段階は、
   ユーザがメンバーとして参加しているグループチャットルームの他に、メンバーとして参加していない他のグループチャットルームで共有される写真から前記ユーザの顔が識別されることにより、前記写真が共有された他のグループチャットルームに含まれたメンバーを前記ユーザの友達に推薦する段階
   を含む、請求項１に記載の方法。
6. 前記推薦する段階は、
   前記インスタントメッセージングサービスのグループチャットルームに構成されたグループアルバムから選択された写真に存在する人物が含まれた少なくとも１つ以上のグループチャットルームに前記選択された写真が送信されるように、前記人物が含まれたグループチャットルームを推薦する段階
   を含む、請求項１に記載の方法。
7. 前記推薦する段階は、
   前記インスタントメッセージングサービスのグループチャットルームまたは前記グループチャットルームに構成されたグループアルバムで共有された写真に対し、前記グループチャットルームに含まれたそれぞれのメンバーを基準としてメンバーの写真を分類し、前記分類されたメンバーの写真を提供する段階
   を含む、請求項１に記載の方法。
8. 前記推薦する段階は、
   前記インスタントメッセージングサービスに存在する全体のグループチャットルームまたは前記全体のグループチャットルームに構成されたグループアルバムにアップロードされた写真から前記インスタントメッセージングサービスに登録された友達の写真を分類し、前記分類された友達の写真を提供する段階
   を含む、請求項１に記載の方法。
9. 前記推薦する段階は、
   前記インスタントメッセージングサービスで提供されるユーザのプロフィールに前記インスタントメッセージングサービスで共有されたユーザの写真がタイムライン形式のビューとして表示されるように、前記ユーザの写真を提供する段階
   を含む、請求項１に記載の方法。
10. 前記オブジェクトを認識する段階は、
    前記インスタントメッセージングサービスのチャットルームで送受信されるメッセージから対話の脈絡を分析し、前記分析された脈絡に基づき、前記共有されるイメージからユーザの顔を認識する段階
    を含む、請求項１に記載の方法。
11. 前記オブジェクトを認識する段階は、
    前記インスタントメッセージングサービスで提供されるイン−アプリ（Ｉｎ−ａｐｐ）カメラによって撮影されたイメージを利用してインスタントメッセージングサービスに登録されたユーザ情報を識別することにより、ユーザの顔を認識する段階
    を含む、請求項１に記載の方法。
12. 前記オブジェクトを認識する段階は、
    前記インスタントメッセージングサービスのグループチャットルームに存在するメンバーのプロフィール写真に基づいてユーザの顔を認識する段階
    を含む、請求項１に記載の方法。
13. 前記オブジェクトを認識する段階は、
    前記インスタントメッセージングサービスのグループチャットルームに存在するグループアルバム内の写真情報に基づいてユーザの顔を認識する段階
    を含む、請求項１に記載の方法。
14. 前記オブジェクトを認識する段階は、
    前記ユーザの顔を認識するためのそれぞれの候補群を比較してクラスタリングすることにより、ユーザの顔を認識する段階
    を含む、請求項１０〜１３のうちのいずれか一項に記載の方法。
15. 前記オブジェクトを認識する段階は、
    前記インスタントメッセージングサービスで送受信されるメッセージに基づいて推定されたユーザの識別情報をマッチングする段階
    を含む、請求項１に記載の方法。
16. 前記オブジェクトを認識する段階は、
    前記インスタントメッセージングサービスで入力されるメッセージとして送受信される対話の対話スタイル、前記インスタントメッセージングサービスに登録されたユーザアカウントを分析することにより、ユーザの識別情報を推定する段階
    を含む、請求項１５に記載の方法。
17. 請求項１〜１６のうちのいずれか一項に記載の方法を前記コンピュータシステムに実行させる、コンピュータプログラム。
18. 顔認識を実行して活用するためのコンピュータシステムであって、
    インスタントメッセージングサービスで共有されるイメージから少なくとも１つ以上のオブジェクトを認識するオブジェクト認識部、および
    前記認識された少なくとも１つ以上のオブジェクトと関連して探索されたインスタントメッセージングサービスのユーザアカウントを推薦する友達推薦部
    を備える、コンピュータシステム。
19. 前記友達推薦部は、
    前記推薦されたインスタントメッセージングサービスのユーザアカウントを、前記インスタントメッセージングサービスに生成されたグループチャットルームのメンバーとして招待するか、前記推薦されたインスタントメッセージングサービスのユーザアカウントを含む新たなグループチャットルームを生成することを特徴とする、請求項１８に記載のコンピュータシステム。
20. 前記オブジェクト認識部は、
    前記インスタントメッセージングサービスのチャットルームで送受信されるメッセージから対話の脈絡を分析し、前記分析された脈絡に基づき、前記共有されるイメージからユーザの顔を認識することを特徴とする、請求項１８に記載のコンピュータシステム。

Images