JP5218989B2 - 通信端末装置、及び、プログラム - Google Patents

通信端末装置、及び、プログラム Download PDF

Info

Publication number
JP5218989B2
JP5218989B2 JP2009184388A JP2009184388A JP5218989B2 JP 5218989 B2 JP5218989 B2 JP 5218989B2 JP 2009184388 A JP2009184388 A JP 2009184388A JP 2009184388 A JP2009184388 A JP 2009184388A JP 5218989 B2 JP5218989 B2 JP 5218989B2
Authority
JP
Japan
Prior art keywords
image
mail
mail address
attached
person
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009184388A
Other languages
English (en)
Other versions
JP2011040865A (ja
Inventor
望 下田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Casio Mobile Communications Ltd
Original Assignee
NEC Casio Mobile Communications Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Casio Mobile Communications Ltd filed Critical NEC Casio Mobile Communications Ltd
Priority to JP2009184388A priority Critical patent/JP5218989B2/ja
Priority to US12/851,911 priority patent/US8713113B2/en
Publication of JP2011040865A publication Critical patent/JP2011040865A/ja
Priority to US13/832,714 priority patent/US9015260B2/en
Application granted granted Critical
Publication of JP5218989B2 publication Critical patent/JP5218989B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
    • H04L51/08Annexed information, e.g. attachments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/26Devices for calling a subscriber
    • H04M1/27Devices whereby a plurality of signals may be stored simultaneously
    • H04M1/274Devices whereby a plurality of signals may be stored simultaneously with provision for storing more than one subscriber number at a time, e.g. using toothed disc
    • H04M1/2745Devices whereby a plurality of signals may be stored simultaneously with provision for storing more than one subscriber number at a time, e.g. using toothed disc using static electronic memories, e.g. chips
    • H04M1/27467Methods of retrieving data
    • H04M1/27475Methods of retrieving data using interactive graphical means or pictorial representations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72436User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for text messaging, e.g. short messaging services [SMS] or e-mails

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Information Transfer Between Computers (AREA)
  • Telephone Function (AREA)

Description

本発明は、画像が添付されたメールを作成する通信端末装置、及び、プログラムに関する。
画像を添付した電子メールを携帯電話等から送信することが行われている。
このような画像が添付された電子メールは、当該画像の被写体人物宛に送信したい場合が多い。特許文献1には、ユーザ端末から受信した電子メールに添付されている画像から被写体人物を特定し、特定した人物宛に、当該画像が添付された電子メールを送信する画像配信サーバが開示されている。
また、特許文献2には、ユーザが指定した人物から、人物に関連する画像を選び出し、選び出した画像を添付したメールを指定した人物に送信するカメラ撮影装置が開示されている。
特開2004−326281号公報 特開2004−356985号公報
特許文献1では、添付画像から特定した人物全てに電子メールが送信される。従って、ユーザにとっては、宛先が自動で判別される利便性がある反面、送信したくない人物にまでも電子メールが送信されてしまう虞がある。
また、特許文献2では、指定人物に関連する全ての画像が添付された電子メールが送信される。従って、ユーザにとっては、添付画像が自動で判別される利便性がある反面、送信したくない画像までもメールに添付されて送信されてしまう虞がある。
本発明は、上記実情に鑑みてなされたものであり、添付画像から電子メールの宛先を自動判別する利便性を保ちつつも、ユーザの意図しない宛先に電子メールが送信されてしまうことを防ぐことができる、通信端末装置、及び、プログラムを提供することを目的とする。
また、本発明は、上記実情に鑑みてなされたものであり、電子メールの宛先から添付画像を自動判別する利便性を保ちつつも、ユーザの意図しない添付画像が送信されてしまうことを防ぐことができる、通信端末装置、及び、プログラムを提供することを目的とする。
上記目的を達成するため、本発明の第1の観点に係る通信端末装置は、
画像が記憶される画像記憶手段と、
人物のメールアドレスが記憶されるメールアドレス記憶手段と、
前記画像記憶手段に記憶される画像の中から、ユーザによる電子メールに添付する添付画像の選択を受け付ける添付画像選択手段と、
前記添付画像選択手段で選択された添付画像の被写体人物を特定する情報を検出する被写体検出手段と、
前記被写体検出手段によって検出された情報に基づいて、前記被写体人物のメールアドレスを前記メールアドレス記憶手段に記憶されているメールアドレスの中から取得するメールアドレス取得手段と、
前記添付画像を添付した電子メールの宛先候補として、前記メールアドレス取得手段によって取得されたメールアドレスをユーザが選択可能に表示させる表示手段と、
前記添付画像を添付した電子メールの宛先に、前記表示手段によって選択可能に表示されたメールアドレスの中からユーザによって選択されたメールアドレスを設定するメールアドレス設定手段と、
前記被写体検出手段によって検出された情報により特定される被写体人物が前記添付画像とどれくらい関連しているかを示す関連度を求める関連度算出手段と、を備え、
前記表示手段は、前記メールアドレス取得手段によって取得されたメールアドレスが複数ある場合、各メールアドレスの電子メールの宛先候補としての該複数のメールアドレスの中での、前記関連度算出手段によって算出された関連度に応じた順位を示す情報を、各メールアドレスとともに表示させる、
とを特徴とする。
上記目的を達成するため、本発明の第2の観点に係る通信端末装置は、
画像が記憶される画像記憶手段と、
人物のメールアドレスが記憶されるメールアドレス記憶手段と、
ユーザからメールアドレスの入力を受け付けるメールアドレス入力手段と、
前記メールアドレス入力手段で入力されたメールアドレスを宛先とする人物が被写体となっている画像を、前記画像記憶手段に記憶されている画像の中から特定する画像特定手段と、
前記メールアドレス入力手段で入力されたメールアドレスを宛先とした電子メールに添付する画像候補として、前記画像特定手段によって特定された画像の識別情報をユーザが選択可能に表示させる表示手段と、
前記メールアドレス入力手段で入力されたメールアドレスを宛先とした電子メールに、前記表示手段によって選択可能に表示された画像の中からユーザによって選択された画像を添付する画像添付手段と、
を備えることを特徴とする。
上記目的を達成するため、本発明の第3の観点に係るプログラムは、
コンピュータを、
画像が記憶される画像記憶手段、
人物のメールアドレスが記憶されるメールアドレス記憶手段、
前記画像記憶手段に記憶される画像の中から、ユーザによる電子メールに添付する添付画像の選択を受け付ける添付画像選択手段、
前記添付画像選択手段で選択された添付画像の被写体人物を特定する情報を検出する被写体検出手段、
前記被写体検出手段によって検出された情報に基づいて、前記被写体人物のメールアドレスを前記メールアドレス記憶手段に記憶されているメールアドレスの中から取得するメールアドレス取得手段、
前記添付画像を添付した電子メールの宛先候補として、前記メールアドレス取得手段によって取得されたメールアドレスをユーザが選択可能に表示させる表示手段、
前記添付画像を添付した電子メールの宛先に、前記表示手段によって選択可能に表示されたメールアドレスの中からユーザによって選択されたメールアドレスを設定するメールアドレス設定手段
前記被写体検出手段によって検出された情報により特定される被写体人物が前記添付画像とどれくらい関連しているかを示す関連度を求める関連度算出手段、として機能させ、
前記表示手段は、前記メールアドレス取得手段によって取得されたメールアドレスが複数ある場合、各メールアドレスの電子メールの宛先候補としての該複数のメールアドレスの中での、前記関連度算出手段によって算出された関連度に応じた順位を示す情報を、各メールアドレスとともに表示させる、
ことを特徴とする。
上記目的を達成するため、本発明の第4の観点に係るプログラムは、
コンピュータを、
画像が記憶される画像記憶手段、
人物のメールアドレスが記憶されるメールアドレス記憶手段、
ユーザからメールアドレスの入力を受け付けるメールアドレス入力手段、
前記メールアドレス入力手段で入力されたメールアドレスを宛先とする人物が被写体となっている画像を、前記画像記憶手段に記憶されている画像の中から特定する画像特定手段、
前記メールアドレス入力手段で入力されたメールアドレスを宛先とした電子メールに添付する画像候補として、前記画像特定手段によって特定された画像の識別情報をユーザが選択可能に表示させる表示手段、
前記メールアドレス入力手段で入力されたメールアドレスを宛先とした電子メールに、前記表示手段によって選択可能に表示された画像の中からユーザによって選択された画像を添付する画像添付手段として機能させる、
ことを特徴とする。
本発明によれば、画像内の人物認識機能を利用してユーザが選択した添付画像から特定した宛先の候補を、ユーザが選択可能に表示する。従って、添付画像から電子メールの宛先を自動判別する利便性を保ちつつも、ユーザの意図しない宛先に電子メールが送信されてしまうことを防ぐことができる。
また、本発明によれば、画像内の人物認識機能を利用してユーザが入力した宛先から特定した添付画像の候補を、ユーザが選択可能に表示する。従って、電子メールの宛先から添付画像を自動判別する利便性を保ちつつも、ユーザの意図しない添付画像が送信されてしまうことを防ぐことができる
本発明の実施形態に係る通信端末装置の概観図である。 本発明の実施形態に係る通信端末装置のブロック図である。 画像格納領域に格納されているデータの例を示す図である。 アドレス帳データ格納領域に格納されているデータの例を示す図である。 人物データ格納領域に格納されているデータの例を示す図である。 関連付情報の例を示す図である。 添付画像付電子メール送信処理のフローチャートである。 宛先自動取得処理のフローチャートである。 宛先自動設定処理を具体的に説明するための図である。 宛先自動設定処理を具体的に説明するための図である。 関連度が所定値以上の人物のみを宛先候補とする場合の宛先自動取得処理のフローチャートである。 関連度も含めて記憶する関連付情報の例を示す図である。 宛先候補としてメールアドレスにランクを付して、選択可能に表示する例を示した図である。 動画像から関連度を算出する処理のフローチャートである。 AE/AF制御履歴情報の例を示す図である。 人物が被写体でない画像からメールアドレスを取得する場合の、宛先自動取得処理のフローチャートである。 添付画像付電子メール送信処理のフローチャートである。 画像自動取得処理のフローチャートである。 画像自動取得処理を具体的に説明するための図である。 宛先画像の候補として画像にランクを付して、選択可能に表示する例を示した図である。
本発明の実施形態について図面を参照して説明する。なお、本発明は下記の実施形態及び図面によって限定されるものではない。本発明の要旨を変更しない範囲で下記の実施形態及び図面に変更を加えることが出来るのはもちろんである。
以下、本発明の実施形態に係る通信端末装置1について説明する。本実施形態の通信端末装置1は、携帯電話であるが、本発明に係る通信端末装置1は、PHS(Personal Handy-phone System)、PDA(Personal Digital Assistant)、PC(Personal Computer)などであってもよい。
図1は通信端末装置1の概観図、図2は通信端末装置1の構成を示すブロック図である。通信端末装置1は、操作部101、制御部102、撮像部103、記憶部104、画像認識部105、通信部106、表示部107、音声処理部108、多重/分離部109、外部メモリドライバ110、及び、外部メモリ装填部111を備える。
操作部101は、各種のキーボタンを備え、電話番号やその他の情報を入力する入力部である。操作部101は、携帯電話の電源をON/OFFするとき、被写体を撮像するときなど、ユーザが通信端末装置1に対して何らかの操作を行う際に使用される。
制御部102は、CPU(Central Processing Unit)等を備え、記憶部104に記憶されたプログラムに基づいて通信端末装置1全体の動作を制御する。例えば、制御部102は、操作部101からのユーザ操作に応じて、各部を制御する。また、制御部102は、電子メール作成用のソフトウェア(メーラ)を起動して、電子メールの作成、送信の処理を行う。
撮像部103は、CCD(Charge Coupled Device)やA/Dコンバータ等を備え、被写体を撮像した画像情報を光信号からアナログ電気信号に変換するとともに、アナログ電気信号をデジタル信号に変換する。例えば、撮像部103は、被写体である人物の顔や、景色、文字などを撮像し、制御部102で扱えるデジタル信号である画像情報に変換し、変換した画像情報を、必要に応じて表示部107に出力する。
表示部107は、例えば、LCD(Liquid Crystal Display)や有機EL(Electro-Luminescence)ディスプレイ等を備え、撮像部103により撮像された画像や、後述する画像認識部105により認識された識別情報を表示する。
また、表示部107は、通信端末装置の機能を利用するために必要な各種の情報(例えば、電源状態、電波強度、電池残量、サーバ接続状態もしくは未読メール等の動作状態、入力した電話番号、メール宛先、メール送信文書等や、動画および静止画、着信時の発呼者の電話番号、着信メール文書、接続されたインターネット画面等の受信データ等)を表示する。ユーザは、通信端末装置1で画像を撮影する際、表示部107に出力された画像情報をモニタしながら撮像したい画像を選んで、例えば、シャッターキーとして割り当てられた操作キー(以下、シャッターキー)等を押下することにより撮像の指示を行う。シャッターキーが押下されると、撮像部103により被写体の画像が撮像され、その画像情報が記憶部104に記憶される。なお、表示部107は、メインとサブの2つ、もしくはそれ以上の複数の表示部107から構成されてもよい。
記憶部104は、例えば、ROM(Read Only Memory)やRAM(Random Access Memory)等で構成され、通信端末装置1で扱うデータや、メーラなどのソフトウェア、および、プログラムなどを記憶する。また、記憶部104は、画像処理に必要なテンプレート画像を記憶する。テンプレートは、例えば人の目、鼻、口等を模擬し、画像から人の顔画像を抽出するために用いられる。
また、記憶部104は、画像格納領域201と、アドレス帳データ格納領域202と、人物データ格納領域203とを備える。
画像格納領域201には、図3に示すように、撮像部103によって主に撮影された画像(静止画、動画)が記憶される。また、各画像には、当該画像を一意に識別するためのID(画像ID)が付与されている。
アドレス帳データ格納領域202には、図4に示すように、通話相手等の人物別に、アドレス帳ID、当該人物の氏名、電話番号、及び、メールアドレス等を対応付けたアドレス帳データを記憶する。アドレス帳IDは、アドレス帳データを一意に識別するためのIDである。なお、図4の例では、アドレス帳ID「A04」のアドレス帳データには、メールアドレスが未だ設定されておらず、空欄となっている。
人物データ格納領域203には、図5に示すように、その人物が誰であるかを特定するために必要となるデータ(人物データ)が記憶される。なお、人物データは、主としてその人物の顔を撮像した画像(顔画像)である。また、人物データには、当該人物データを一意に識別するためのID(人物ID)が付与される。なお、人物データは、人物を特徴付ける各種の情報(肌の色、目、口の大きさ等)であってもよい。
また、記憶部104は、関連付情報204を記憶する。関連付情報204は、画像格納領域201に記憶されている画像と、アドレス帳データ格納領域202に格納されているアドレス帳データと、人物データ格納領域203に記憶されている人物データと、を関連付けるための情報である。関連付情報204の例を図6に示す。図6に示す関連付情報204の先頭のエントリから、画像ID「I01」の画像と、人物ID「P01」の人物データと、アドレス帳ID「A01」のアドレス帳データとが関連付けられていることがわかる。また、2番目のエントリから画像ID「I02」の画像は、人物ID「P02」の人物データとは関連付けられているが、アドレス帳データとは未だ関連付けられていないことがわかる。なお、図6の例はあくまで一例であり、IDを関連付けないでデータのファイル名同士を対応付ける等してもよく、関連付情報204の形態は任意である。
なお、記憶部104の容量には上限があり、通信端末装置1においては、容量が不足する可能性がある。そのため、本実施形態の通信端末装置1は、半導体メモリなどの外部メモリ113に対応するために、外部メモリ装填部111、および、外部メモリドライバ110を備える。ユーザの操作中に外部メモリ113が脱落することがないように、外部メモリ装填部111は、筐体の側面に設置されている。
通信端末装置1は、撮像部103が撮像した画像や、各種の情報を、外部メモリ装填部111に装填された外部メモリ113に読み書きすることが可能である。
図2に戻り、画像認識部105は、画像格納領域201に格納されている画像の中から人間の顔画像を抽出する。そして、画像認識部105は、抽出した顔画像を人物データ格納領域203に記憶されている人物データと照合することで、その顔画像が誰の顔画像であるかを特定する。
音声処理部108は、音声入出力端子から入出力されるデジタル音声信号に対して、圧縮や伸張などの処理を行う。
多重/分離部109は、映像信号の圧縮・伸張を行うほか、動画の場合には映像圧縮データと音声圧縮データを多重化してストリームデータを生成する。また、多重/分離部109は、記憶部104や外部メモリ113からストリームデータを読み出し、映像圧縮データと音声圧縮データに分離して、分離したデータを音声処理部108や表示部107に受け渡す。
通信部106は、アンテナ等を備え、他の情報処理装置と情報のやり取りを行う。また、通信部106は、基地局、ロケーションサーバ、GPS(Global Positioning System)衛星と情報のやり取りを行い、通信端末装置1の位置座標(経度、緯度)を取得する。また、通信部106は、通信端末装置1がインターネットにアクセスするための通信処理等も行う。なお、通信部106は、図1に示すように1つである必要はなく、例えば、CDMA、EV−DO、無線LAN等の複数の通信方式を利用可能にするために、複数の通信部106を備えても良い。
なお、音声処理部108、多重/分離部109、および、外部メモリドライバ110は、専用の回路でハードウェア的にその機能を実現してもよいし、制御部102が記憶部104に記憶されているプログラムを実行することでソフトウェア的にその機能を実現してもよい。
(添付画像付電子メール送信処理)
続いて、ユーザが通信端末装置1を操作して、添付画像付きの電子メールを作成する処理(添付画像付電子メール送信処理)について、図7を参照して説明する。
まず、ユーザは、通信端末装置1の操作部101を操作して電子メール作成用のソフトウェア(メーラ)を起動させるための指示を入力する。制御部102はその指示に応答して、メーラを起動する(ステップS101)。具体的には、ユーザがメニュー画面から「メール」→「新規作成」などの項目を選択していきメーラを起動すればよい。また、ショートカットキーなど、特定のキーを押下することで即座にメーラを起動してもよい。このように、メーラを起動させる方法は多様であるが、本実施形態ではメーラを起動できればどのような場合にも適用可能である。
続いて、ユーザは、メーラの所定のメニューやアイコンを操作する等して、作成する電子メールに画像を添付することを制御部102に指示する。制御部102は、この指示に応答して、画像格納領域201に記憶されている画像を選択可能に一覧表示させて、ユーザからの電子メールに添付する画像(以下、添付画像とする)の選択を受け付ける(ステップS102)。ユーザは画像が一覧表示されている画面から、電子メールに添付したい添付画像を選択する。
画像が選択されると、制御部102は、宛先自動取得処理を実行して、選択された添付画像に関連するメールアドレスを取得する(ステップS103)。宛先自動取得処理の詳細については後述する。
宛先自動取得処理によりメールアドレスが取得できなかった場合(ステップS104;No)、制御部102は、その後ユーザによって入力された件名と本文と宛先とを設定した、ステップS102で選択された添付画像が添付された電子メールを作成する(ステップS105)。
宛先自動取得処理によりメールアドレスが取得できた場合(ステップS104;Yes)、制御部102は、取得したメールアドレスを電子メールの宛先の候補として、ユーザが選択可能に表示させる(ステップS106)。ユーザは、操作部101を操作して、表示された宛先の候補のなかから、電子メールの宛先に設定したいものを選択する。そして、制御部102は、選択されたメールアドレスを電子メールの宛先に設定する(ステップS107)。
続いて、制御部102は、その後ユーザによって入力された件名と本文とを設定した、ステップS102で選択された添付画像が添付された電子メールを作成する(ステップS108)。
そして、ユーザからメール送信用のボタンを押下する等の指示がなされると、制御部102は、ステップS105、又は、ステップS108で作成した添付画像が添付された電子メールを送信する(ステップS109)。以上で、添付画像付電子メール送信処理は終了する。
(宛先自動取得処理)
続いて、上述した宛先自動取得処理(ステップS103)について、図8のフローチャートを参照して詳細に説明する。
まず、制御部102は、記憶部104に記憶されている関連付情報204を参照して、ステップS102で選択された添付画像に関連付けられているアドレス帳データがあるか否かを判別する(ステップS201)。
関連付けられているアドレス帳データがあると判別した場合(ステップS201;Yes)、制御部102は、該アドレス帳データからメールアドレスを取得して(ステップS212)、宛先自動取得処理は終了する。この場合は、後述する添付画像を解析して被写体となっている顔画像を認識する処理等は実行せずとも、関連付情報204を参照して添付画像に関連するメールアドレスを即時に取得することができる。
関連付けられているアドレス帳データがないと判別した場合(ステップS201;No)、制御部102は、画像認識部105を制御して、ステップS102で選択された添付画像を解析して、該添付画像の中から被写体となっている人物の顔画像を検出する(ステップS202)。具体的には、制御部102は、人の顔のテンプレート画像を用いて添付画像内のパターンマッチングを行い、添付画像内から被写体の顔画像を取得すればよい。また、テンプレート画像を用いる以外の他の画像認識技術を用いて、添付画像から顔画像を検出してもよい。
ステップS202の処理で顔画像を検出できなかった場合(ステップS203;No)、添付画像には被写体となる人物が存在していないこととなる。従って、制御部102は、その旨を報知する「添付画像に人物が存在しないので宛先を自動設定できません」などのメッセージを表示部107に表示させる(ステップS204)。そして、宛先自動取得処理は、宛先となるメールアドレスを取得できない状態で終了する。
ステップS202の処理で顔画像を検出できた場合(ステップS203;Yes)、制御部102は、画像認識部105を制御して、所定の人物照会アルゴリズムなどを用いて、該検出した顔画像の人物と一致する人物の人物データを、記憶部104の人物データ格納領域203に記憶されている人物データのうちから検出する(ステップS205)。
ステップS205の処理で一致する人物データを検出できなかった場合(ステップS206;No)、添付画像の被写体の人物データは人物データ格納領域203に記憶されていないこととなる。従って、制御部102は、その旨を報知する「画像に写っていた人物が誰か分からないので宛先を自動設定できません」などのメッセージを表示部107に表示させる(ステップS207)。そして、宛先自動取得処理は、宛先となるメールアドレスを取得できない状態で終了する。
なお、ステップS207の処理の後、一致する人物データがないと判別された顔画像を新規の人物データとして、人物データ格納領域203に追加記憶してもよい。このようにすることで、次回以降は、その人物が誰であるかが特定できるようになるため、利便性が向上する。
ステップS205の処理で人物データを検出できた場合(ステップS206;Yes)、制御部102は、記憶部104に記憶されている関連付情報204を参照して、検出した人物データに関連付けられているアドレス帳データを特定する(ステップS208)。そして、制御部102は、特定したアドレス帳データを記憶部104のアドレス帳データ格納領域202から取得し、取得したアドレス帳データにメールアドレスが設定されているか否かを判別する(ステップS209)。
アドレス帳データにメールアドレスが設定されていないと判別された場合(ステップS209;No)、制御部102は、その旨を報知する「メールアドレスがアドレス帳に登録されていないので宛先を自動設定できません」などのメッセージを表示部107に表示させる(ステップS210)。そして、宛先自動取得処理は、宛先となるメールアドレスを取得できない状態で終了する。
アドレス帳データにメールアドレスが設定されていると判別された場合(ステップS209;Yes)、制御部102は、そのアドレス帳データからメールアドレスを取得する(ステップS211)。以上で、宛先自動取得処理は終了する。
なお、ステップS211の処理の後、メールアドレスを取得したアドレス帳データと、ステップS205で検出した人物データと、ステップS102でユーザによって選択された画像とを対応付けた関連付情報204を作成して記憶部104に記憶してもよい。このようにすることで、次回以降は、その画像が添付ファイルとして選択された際に、その関連付情報204があるため、ステップS201でYesと判定されて、関連するアドレス帳データから、即時にメールアドレスを取得することが可能となる。また、ステップS202の処理で、人物の顔画像が複数検出された場合には、各顔画像毎に、ステップS205〜S211の処理を行う。
続いて、上述した処理について、具体例を挙げて説明する。
例えば、ステップS102の処理で、ユーザが添付画像として図9(A)に示す画像「STIL0100.JPG」を選択したとし、該添付画像には3人の人物が被写体となっている場合を考える。この画像が関連付情報204に登録されていない場合(ステップS201;No)、ステップS202の処理により、図9(B)で示すように、太線で囲まれた3つの顔画像が検出される。そして、ステップS205の処理により、3つの顔画像のそれぞれと人物データとの比較がなされて、図9(C)に示すように、3つの顔画像の人物に対応する人物データとして、人物ID「PA」、「PB」、「PC」の人物データが検出される。
そして、図10に示すように、関連付情報204から、人物ID「PA」、「PB」、「PC」の各人物データに対応する各アドレス帳ID「A01」、「A02」、「A03」のアドレス帳データが特定され(ステップS208)、特定されたアドレス帳データから、メールアドレス「[email protected]」、「[email protected]」、「[email protected]」が取得される(ステップS211)。そして、取得されたメールアドレスが、選択された画像「STIL0100.JPG」を添付した電子メールの宛先候補として、選択可能に表示部107に表示される(ステップS106)。そして、ユーザが、宛先の候補のなかから選択したメールアドレス(図10では「[email protected],」)が、添付画像「STIL0100.JPG」を添付した電子メールの宛先に設定される(ステップS107)。
このように、本実施形態では、ユーザが電子メールに添付する画像を選択すると、該画像に対して画像認識機能が実行されて画像の被写体となっている人物が特定され、特定された人物のメールアドレスが宛先の候補として、ユーザが選択可能に表示される。従って、ユーザがメールの宛先をアドレス帳から探し出す手間が不要となるだけでなく、ユーザが候補の中から宛先を選択して設定する必要があるため、意図しない宛先に電子メールが送信されてしまうことを防ぐことができる。
なお、本発明は、種々の変形、及び、応用が可能である。
(添付画像との関連度を考慮に入れて宛先候補を特定)
図9、および、図10の例では、3人の被写体のメールアドレス「[email protected]」、「[email protected]」、及び、「[email protected]」を同列に扱い、宛先候補として選択可能に表示した。しかし、制御部102は、各被写体が添付画像とどれくらい関連しているのかを示す関連度を所定の情報から算出して、関連度が所定値以上の人物データのみを宛先候補として表示させるようにしてもよい。
このような制御を行った場合の宛先自動取得処理のフローチャートを図11に示す。なお、図8に示した宛先自動取得処理と同じ内容の処理について重複する説明は省略する。
人物データを検出できた場合(ステップS206;Yes)、制御部201は、検出された人物データが示す人物と添付画像との関連度を算出する(ステップS213)。なお、関連度を求める方法の詳細については後述する。
そして、制御部102は、算出した関連度が所定の値以上であるか否かを判別する(ステップS214)。
関連度が所定値未満と判別された場合(ステップS214;No)、制御部102は、その旨を報知する「検出された人物は画像とあまり関連しないので、宛先に設定しません」などのメッセージを表示部に107に表示させる(ステップS215)。
関連度が所定値以上であると判別された場合(ステップS214;Yes)、制御部102は、顔画像に対応するアドレス帳データを特定して、メールアドレスを取得する処理を、図8で説明したときと同様に実施して宛先自動取得処理は終了する(ステップS208〜S211)。
このような宛先自動取得処理を実行することにより、例えば、添付画像の隅に小さく写っているような、ユーザにとってはあまり重要でない(関連度が低い)と推定される被写体に対しては宛先候補から外す等の制御が可能となり、より使い勝手が向上する。
なお、図12に示すように、関連付情報204に、上述の関連度を含ませてもよい。図12より、画像ID「I01」の画像には、人物ID「P11」「P22」「P33」の3人の人物が被写体となっていることがわかるだけでなく、人物ID「P01」の人物が3人のうちで最も画像に関連した人物であること等もわかる。なお、図12のように数値で表した関連度を記憶する以外に、「大」「中」「小」等で表した関連度を記憶してもよい。
このように関連付情報204が関連度を含む場合には、制御部102は、当該関連付情報204を参照して、添付画像との関連度が所定値以上であるアドレス帳データを特定して、メールアドレスを取得してもよい。
また、1枚の添付画像から被写体人物(人物データ)が複数検出された場合に、各被写体人物の関連度を算出、若しくは関連付情報204から取得して、関連度に応じて各被写体をランク付けし、各被写体のメールアドレスとともに宛先候補として、ユーザが選択可能に表示してもよい。図13では、3人の被写体のメールアドレス「[email protected]」、「[email protected]」、「[email protected]」に1位〜3位のランクが付されて、宛先候補としてユーザが選択可能に表示されている。このように表示することで、ユーザは、ランクを参考にして送信したいメールアドレスを選択できるため、より使い勝手が向上する。
次に、上述の関連度を求める方法の例(A)〜(D)を、以下に示す。なお、以下に示す関連度を求める方法はあくまで一例であり、各方法で求めた値の平均値を関連度としてもよい。また、これ以外の別の方法を用いて関連度を求めてもよい。
(A)顔画像の画像内位置から関連度を求める
制御部102は、宛先自動取得処理のステップS202で検出した被写体の顔画像の添付画像内での位置を判別して、判別した位置が添付画像内の中心に近い程、高い関連度を与える。
例えば、図13の画像「STIL0100.JPG」に対して、この手法で関連度を求めて、各被写体をランク付けた場合、中心に写っている人物ID「PA」の人物のメールアドレス「[email protected]」が宛先候補の第1位となり、その両サイドに居る人物ID「PA」、「PB」の人物のメールアドレス「[email protected]」、「[email protected]」は同列の第2位とランクが付与されて表示される(図13の(A))。
(B)顔画像のサイズから関連度を求める
制御部102は、宛先自動取得処理のステップS202で検出した顔画像のサイズを判別して、サイズの大きい程、その顔画像の被写体に高い関連度を与える。
例えば、図13の画像「STIL0100.JPG」に対して、この手法で関連度を求めて、各被写体をランク付けした場合、最も顔画像が大きい人物ID「PB」、「PC」の人物のメールアドレス「[email protected]」、「[email protected]」が宛先候補の第1位となり、人物ID「PA」の人物のメールアドレス「[email protected]」は第3位としたランクが付与されて表示される(図13の(B))。
(C)メールの送受信履歴に基づいて関連度を求める
制御部102は、電子メールの送受信履歴を記憶部104が記憶している場合、電子メールの送受信履歴に基づいて被写体の関連度を求めてもよい。例えば、送受信履歴を参照して、メールの送受信回数が多い被写体に、より高い関連度を与える。又は、送受信履歴を参照して、添付画像付のメールの送受信回数が多い被写体に、より高い関連度を与える。
(D)動画像の場合の関連度
上述した(A)〜(C)の関連度算出の方法は、主に静止画像から検出される被写体に対して適用される方法である。例えば、動画像Aから、該動画像A内の各人物の関連度を求める関連度算出処理について、図14のフローチャートを参照して説明する。
即ち、まず、制御部102は、動画像Aを構成するフレーム画像のうちから、1枚のフレーム画像を選択する(ステップS10)。続いて、制御部102は、人物データ格納領域203に記憶されている人物データを用いて、選択したフレーム画像内から人物(顔画像)を特定する(ステップS20)。なお、この際、この人物(顔画像)の人物IDも、人物データ格納領域203に記憶されている人物データから取得する。
そして、制御部102は、特定した人物(顔画像)がフレーム画像とどれだけ関連しているのかを示す関連度を求める(ステップS30)。例えば、制御部102は、検出した顔画像のフレーム画像内での位置とサイズとを判別する。そして、制御部102は、顔画像の位置がフレーム画像の中心に近く、且つ、顔画像のサイズが大きいほど、高い関連度を与えるような所定の関連度算出用の式に判別結果を代入して、関連度を求めればよい。そして、制御部102は、求めた関連度を、検出した人物(顔画像)の人物ID毎に、記憶部104に累算して記憶する(ステップS40)。
動画像Aを構成するフレーム画像のうち、上述のステップS10〜S40の処理を未だ実施していないフレーム画像がある場合(ステップS50;No)、制御部102は、当該フレーム画像を選択して(ステップS10)、フレーム画像内の人物を検出して(ステップS20)、検出した人物の関連度を算出して(ステップS30)、人物毎に累算記憶する処理(ステップS40)を繰り返す。
動画像Aを構成するフレーム画像の全てで上述のステップS10〜S40の処理が実施された場合(ステップS50;Yes)、ステップS40で各人物毎に累算記憶された関連度が、動画像A内の各人物の関連度となる。従って、制御部102は、ステップS40で記憶した人物(人物ID)毎の関連度と、動画像Aの画像IDとを対応付けた関連付情報204を作成する(ステップS60)。以上で、動画像における、関連度算出の処理は終了する。この処理により、動画像内を構成するフレーム画像内に多く写っており、且つ、画像の中央に大きく写っている人物ほど、大きい関連度が算出されることとなる。
(AE/AF制御履歴を用いて宛先特定)
また、撮像部103で人物の画像を撮像する際に、その人物の顔に対してAE(Auto Exposure)/AF(Auto Finder)制御を行うことができる。例えば、撮影前に優先してAE/AF制御を行う人物(人物ID)を予め登録しておき、撮影中にその人物の顔画像を認識した場合、制御部102は、認識した顔画像が最も美しく撮影できるように、露光時間やピントを自動で調整(AE/AF制御)する。また、その際、その制御記録を、図15に示すようなAE/AF制御履歴として記録することもできる。図15(A)は、静止画像撮影時における、静止画像と当該静止画像でAE/AF制御された人物の人物IDとを関連付けたAE/AF制御履歴情報の一例を示した図である。例えば、図15(A)のAE/AF制御履歴情報から、静止画像「STIL0999.JPG」では、人物ID「PA」、「PB」の人物を美しく撮影すべくAE/AF制御が行われたことが分かる。即ち、静止画像「STIL0999.JPG」では、人物ID「PA」と「PB」の人物が被写体の中心であると考えられる。従って、ユーザがメールに添付して送信する画像として「STIL0999.JPG」を選択した場合、制御部102は、このAE/AF制御履歴情報を参照することにより、送信相手として人物ID「PA」、「PB」の人物のメールアドレスを宛先の候補としてユーザが選択可能に表示することができる。従って、AE/AF制御履歴も考慮に入れて、静止画像から宛先候補とするメールアドレスを表示することができ、ユーザの使い勝手がより向上する。
また、図15(B)は、動画像撮影時におけるAE/AF制御履歴情報を示した図である。図15(B)に示すAE/AF制御履歴情報から、動画像「MOVE001.m2ts」は、人物ID「PA」と「PI」の人物でAE/AF制御が行われたことがわかる。また、露光時間とピントの調整に要した時間(AE動作時間、AF動作時間)から、人物ID「PA」の人物の方が、人物ID「PI」の人物よりも頻繁にAE/AF制御が働いたことが分かる。従って、ユーザが電子メールの添付画像として「MOVE001.m2ts」を選択した場合、制御部102は、このAE/AF制御履歴情報を参照することにより、送信相手としてAE/AF制御を行った人物ID「PA」の人物と人物ID「PI」の人物の二人のメールアドレスを宛先に設定したり、宛先の有力候補の第1位として人物ID「PA」の人物のメールアドレス、第2位として人物ID「PI」の人物のメールアドレスを表示したりすることが可能である。
このように、本実施形態では、AE/AF制御の履歴も考慮に入れて、動画像からメールアドレスを宛先候補として表示することができ、よりユーザの使い勝手が向上する。
なお、ここではAE/AF制御履歴情報を用いて判断する例を示したが、どの人物を中心に撮影されたかを判断可能であれば、その他の情報を用いても同様の効果が得られる。
(ユーザ自身には送信しない例)
また、ユーザがメールに添付する画像として選択した画像に画像認識機能を働かせた結果、ユーザ自身が認識されることも起こり得る。例えば、ユーザとAさんとが肩を組んでユーザの携帯電話で「自分撮り」した画像を選択した場合などである。この場合、ユーザ自身に該画像を送信する必要性は著しく低い。従って、ユーザが添付した画像からユーザ自身とAさんが認識された場合には、ユーザ自身は宛先候補から除く、あるいは宛先候補の下位にするように制御してもよい。なお、ユーザ自身のメールアドレスを宛先候補として表示しておき、同時に、警告メッセージを表示する等してもよい。
(人物が被写体でない画像からメールアドレスを取得、設定する例)
上記実施形態では、添付画像からメールアドレスを取得するためには、該添付画像が被写体として人物を含んでいる必要がある。しかしながら、添付画像に含まれているメタデータを用いることで、被写体の人物が検出できない風景のみを写したような画像からも、メールアドレスを取得することが可能となる。この場合の宛先自動取得処理について、図16のフローチャートを参照して説明する。
まず、制御部102は、ユーザによって選択された添付画像から、メタデータを取得する(ステップS301)。ここでは、メタデータとして、添付画像の撮影日時と、撮影場所とを取得するものとする。なお、メタデータは、添付画像のヘッダファイル領域から取得してもよいし、別途、メタデータが記憶部104などに記憶されている場合には、そこから取得してもよい。
続いて、制御部102は、取得したメタデータに基づいて作成した検索条件で記憶部104の画像格納領域201に記憶されている画像を検索して、検索条件に合致する画像を取得する(ステップS302)。ここで、メタデータに基づいた検索条件の例としては、「添付画像の撮影日から3日以内に撮影された画像を検索する」、「添付画像の撮影場所から、所定距離以内の場所で撮影された画像を検索する」、「添付画像と撮影日が同じで、添付画像の撮影時刻の前後一時間以内に撮影された画像を検索する」などの検索条件である。そして、これらの検索条件で、画像格納領域201に記憶されている画像のメタデータを検索して、検索条件に合致する画像を取得すればよい。
続いて、制御部102は、画像認識部105を制御して、ステップS302で取得した検索条件に合致した画像のうち人物が被写体となっている画像を特定する(ステップS303)。具体的には、制御部102は、人の顔のテンプレート画像を用いてステップS302で取得した各画像内のパターンマッチングを行い、顔画像が検出できた画像を特定すればよい。
続いて、制御部102は、画像認識部105を制御して、所定の人物照会アルゴリズムなどを用いて、ステップS303で特定した画像の被写体となっている人物と一致する人物の人物データを、記憶部104の人物データ格納領域203から検出する(ステップS304)。
そして、制御部102は、関連付情報204を参照して、検出した人物データに関連付けられているアドレス帳データを特定して、アドレス帳データ格納領域202から取得する(ステップS305)。そして、制御部102は、取得したアドレス帳データからメールアドレスを取得する(ステップS306)。以上で宛先自動取得処理は終了する。そして、取得したメールアドレスを、顔画像が検出されなかった添付画像を添付した電子メールの宛先の候補として表示することができる。
このように、被写体の人物が検出できない風景を写した画像等からも、メールアドレスを取得することが可能となり、よりユーザの利便性を高めることができる。
例えば、AさんとBさんが旅行に行き、Aさんは旅行先で風景を撮影したがBさんは撮影しなかったため、AさんからBさんへ撮影した風景写真を添付画像として送信しようとする場面を考える。この場合、この風景写真のメタデータから、同時期、又は、同地点で撮影されたBさんが被写体となっている画像が検索され、その画像からBさんのメールアドレスを特定することが可能となる。
(メールアドレスから、添付画像を取得する例)
上記実施形態では、ユーザが電子メールに添付する画像を選択した際に、画像認識機能を用いて画像に含まれる被写体人物を特定して、該人物のメールアドレスを宛先候補として選択可能に表示した。しかしながら、ユーザが宛先のメールアドレスを入力した際に、宛先人物が被写体となっている画像を検出し、電子メールに添付する画像の候補として表示させるようにしても、ユーザの利便性を向上させることができる。
この場合の添付画像付電子メール送信処理について、図17のフローチャートを参照して説明する。
まず、ユーザは、操作部101を操作してメーラを起動させるための指示を入力し、制御部102はメーラを起動する(ステップS401)。そして、ユーザは、メーラのメニューを操作する等して電子メールを作成することを指示し、制御部102は、宛先のメールアドレスの入力を受け付ける(ステップS402)。
宛先のメールアドレスが入力されると、制御部102は、画像自動取得処理を実行して、入力されたメールアドレスに関連する画像を取得する(ステップS403)。画像自動取得処理については後述する。なお、メールアドレスの入力の代わりに、アドレス帳データを指定してもよい。
続いて、制御部102は、ステップS402で入力されたメールアドレスを宛先とする電子メールに添付する添付画像の候補として、ステップS403で取得した画像をユーザが選択可能に表示させる(ステップS404)。ユーザは、操作部101を操作して、表示された添付画像の候補のなかから、電子メールに添付したい画像を選択する。そして、制御部102は、選択された画像を電子メールの添付画像に設定する(ステップS405)。
続いて、制御部102は、その後ユーザによって入力された件名と本文とを設定した電子メールを作成して(ステップS406)、送信する(ステップS407)。
(画像自動取得処理)
続いて、上述した画像自動取得処理(ステップS403)について、図18のフローチャートを参照して詳細に説明する。なお、図18のフローチャートでは、説明を容易にするため、画像自動取得処理で画像が取得できなかった場合の処理ステップについては省略している。
まず、制御部102は、ステップS402で入力されたメールアドレスが設定されているアドレス帳データを、記憶部104のアドレス帳データ格納領域202から特定する(ステップS501)。
続いて、制御部102は、記憶部104に記憶されている関連付情報204を参照して、ステップS501で特定されたアドレス帳データに関連付けられている画像があるか否かを判別する(ステップS502)。
関連付けられている画像があると判別した場合(ステップS502;Yes)、制御部102は、該画像を取得して(ステップS505)、画像自動取得処理は終了する。この場合は、後述するアドレス帳データに関連する人物データで画像を検索する処理を実行せずとも、関連付情報204を参照してメールアドレスに関連する画像を即時に取得することができる。
関連付けられている画像がないと判別した場合(ステップS502;No)、制御部102は、関連付情報204を参照して、ステップS501で特定されたアドレス帳データに関連付けられている人物データを取得する(ステップS503)。
そして、制御部102は、画像認識部105を制御して、所定の人物照会アルゴリズムなどを用いて、取得した人物データで特定される人物が被写体となっている画像を、画像格納領域201に格納されている画像のなかから取得する(ステップS504)。以上で、画像自動取得処理は終了する。
なお、ステップS504の処理の後、取得した画像と、ステップS503で検出した人物データと、ステップS501で特定したアドレス帳データとを対応付けた関連付情報204を作成して記憶部104に記憶してもよい。このようにすることで、次回以降は、そのアドレス帳データに含まれるメールアドレスが選択された際に、その関連付情報204があるため、ステップS502でYesと判定されて、関連する画像を即時に取得することが可能となる。
続いて、上述した処理について、図19を参照して、具体的に説明する。
例えば、ユーザからメールアドレス「[email protected]」が電子メールの宛先として入力されると(ステップS402)、そのメールアドレスが設定されているアドレス帳ID「A01」のアドレス帳データが特定される(ステップS501)。そして、関連付情報204を参照して、このアドレス帳IDデータに関連付けられている画像「MOVE001.m2ts」が取得され(ステップS505)、電子メールの添付画像の候補として、選択可能に表示部107に表示される(ステップS404)。そして、ユーザが添付画像の候補のなかから選択した画像(図19では「MOVE001.m2ts」)が、ユーザが入力した宛先「[email protected]」の電子メールの添付ファイルに設定される(ステップS405)。
このように、ユーザが宛先であるメールアドレスを入力すると、そのメールアドレスに対応した画像が特定され、電子メールに添付するための画像の候補として、ユーザが選択可能に表示される。従って、ユーザが添付画像を探し出す手間が不要となるだけでなく、ユーザが候補の中から添付画像を選択して設定する必要があるため、意図しない画像が電子メールに添付されてしまうのを防ぐことができる。
なお、図19では、添付画像候補の2つの画像「MOVE001.m2ts」と「MOVE002.m2ts」とを同列に扱って、添付画像の候補として表示している。しかし、制御部102は、各画像が被写体とどれくらい関連しているのかを示す関連度を所定の情報(被写体の位置やサイズ、動画の場合は表示時間など)から算出して、関連度が所定値未満の画像に対しては、電子メールの添付画像に設定しない、又は、添付画像の候補として表示させない等の制御を行ってもよい。
そのようにすることで、例えば、送信先の人物が画像の隅に小さく写っているような、送信先の人物にとってはあまり重要でないと推定される画像を添付画像の候補から外す、等の制御が可能となりより使い勝手が向上する。
また、画像自動取得処理で複数の画像が検出された場合に、各被写体人物の関連度を算出、若しくは関連付情報204から取得して、関連度に応じて各画像をランク付けして、添付画像の候補として、ユーザが選択可能に表示してもよい。図20では、2つの動画像「MOVE001.m2ts」、「MOVE002.m2ts」をその関連度で順位付けし、動画像「MOVE001.m2ts」を1位、「MOVE002.m2ts」を2位としたランクが付与された添付画像の候補が、選択可能に表示されている。このように表示することで、ユーザは、ランクを参考にして添付したい画像を選択できるため、より使い勝手が向上する。
(その他)
なお、本発明の通信端末装置は、専用のハードウェアに限られるものではなく、通常のコンピュータシステムによっても実現することができる。具体的には、上記実施形態では、通信端末装置のプログラムが、記憶部104に予め記憶されているものとして説明した。しかし、上述の処理動作を実行させるためのプログラムを、外部メモリ113やフレキシブルディスク、CD−ROM(Compact Disk Read-Only Memory)、DVD(Digital Versatile Disk)、MO(Magneto-Optical disk)等のコンピュータ読み取り可能な記録媒体に格納して配布し、そのプログラムをコンピュータにインストールすることにより、上述の処理を実行する通信端末装置を構成してもよい。
また、プログラムをインターネット等の通信ネットワーク上のサーバ装置が有するディスク装置等に格納しておき、例えば、搬送波に重畳させて、コンピュータにダウンロード等するようにしてもよい。さらに、通信ネットワークを介してプログラムを転送しながら起動実行することによっても、上述の処理を達成することができる。
また、上述の機能を、OS(Operating System)が分担又はOSとアプリケーションの協働により実現する場合等には、OS以外の部分のみを媒体に格納して配布してもよく、また、コンピュータにダウンロード等してもよい。
1…通信端末装置、101…操作部、102…制御部、103…撮像部、104…記憶部、105…画像認識部、106…通信部、107…表示部、108…音声処理部、109…多重/分離部、110…外部メモリドライバ、113…外部メモリ装填部、110…外部メモリ、201…画像格納領域、202…アドレス帳データ格納領域、203…人物データ格納領域、204…関連付情報

Claims (9)

  1. 画像が記憶される画像記憶手段と、
    人物のメールアドレスが記憶されるメールアドレス記憶手段と、
    前記画像記憶手段に記憶される画像の中から、ユーザによる電子メールに添付する添付画像の選択を受け付ける添付画像選択手段と、
    前記添付画像選択手段で選択された添付画像の被写体人物を特定する情報を検出する被写体検出手段と、
    前記被写体検出手段によって検出された情報に基づいて、前記被写体人物のメールアドレスを前記メールアドレス記憶手段に記憶されているメールアドレスの中から取得するメールアドレス取得手段と、
    前記添付画像を添付した電子メールの宛先候補として、前記メールアドレス取得手段によって取得されたメールアドレスをユーザが選択可能に表示させる表示手段と、
    前記添付画像を添付した電子メールの宛先に、前記表示手段によって選択可能に表示されたメールアドレスの中からユーザによって選択されたメールアドレスを設定するメールアドレス設定手段と、
    前記被写体検出手段によって検出された情報により特定される被写体人物が前記添付画像とどれくらい関連しているかを示す関連度を求める関連度算出手段と、を備え、
    前記表示手段は、前記メールアドレス取得手段によって取得されたメールアドレスが複数ある場合、各メールアドレスの電子メールの宛先候補としての該複数のメールアドレスの中での、前記関連度算出手段によって算出された関連度に応じた順位を示す情報を、各メールアドレスとともに表示させる、
    とを特徴とする通信端末装置。
  2. 記表示手段は、前記関連度算出手段によって求められた関連度が所定値未満の人物のメールアドレスは表示しない、
    ことを特徴とする、請求項1に記載の通信端末装置。
  3. 人物のメールアドレスと画像とを関連付ける関連付情報を記憶する関連付情報記憶手段をさらに備え、
    前記メールアドレス取得手段は、前記関連付情報を参照して、前記添付画像選択手段で選択された添付画像に関連付けられているメールアドレスがある場合、該メールアドレスを取得する、
    ことを特徴とする、請求項1又は2に記載の通信端末装置。
  4. 画像が記憶される画像記憶手段と、
    人物のメールアドレスが記憶されるメールアドレス記憶手段と、
    ユーザからメールアドレスの入力を受け付けるメールアドレス入力手段と、
    前記メールアドレス入力手段で入力されたメールアドレスを宛先とする人物が被写体となっている画像を、前記画像記憶手段に記憶されている画像の中から特定する画像特定手段と、
    前記メールアドレス入力手段で入力されたメールアドレスを宛先とした電子メールに添付する画像候補として、前記画像特定手段によって特定された画像の識別情報をユーザが選択可能に表示させる表示手段と、
    前記メールアドレス入力手段で入力されたメールアドレスを宛先とした電子メールに、前記表示手段によって選択可能に表示された画像の中からユーザによって選択された画像を添付する画像添付手段と、
    を備えることを特徴とする通信端末装置。
  5. 前記画像特定手段で特定された画像が、前記メールアドレス入力手段で入力されたメールアドレスを宛先とする人物とどれくらい関連しているかを示す関連度を求める関連度算出手段をさらに備え、
    前記表示手段は、前記関連度算出手段によって求められた関連度が所定値未満の画像は表示しない、
    ことを特徴とする、請求項に記載の通信端末装置。
  6. 前記画像特定手段で特定された画像が、前記メールアドレス入力手段で入力されたメールアドレスを宛先とする人物とどれくらい関連しているかを示す関連度を求める関連度算出手段をさらに備え、
    前記表示手段は、前記画像特定手段によって特定された画像が複数ある場合、各画像の電子メールに添付する画像候補としての該複数の画像の中での、前記関連度算出手段によって算出された関連度に応じた順位を示す情報を、各画像の画像名とともに表示させる、
    ことを特徴とする、請求項に記載の通信端末装置。
  7. 人物のメールアドレスと画像とを関連付ける関連付情報を記憶する関連付情報記憶手段をさらに備え、
    前記画像特定手段は、前記関連付情報を参照して、前記メールアドレス入力手段で入力されたメールアドレスに関連付けられている画像がある場合、該画像を取得する、
    ことを特徴とする、請求項乃至の何れか1項に記載の通信端末装置。
  8. コンピュータを、
    画像が記憶される画像記憶手段、
    人物のメールアドレスが記憶されるメールアドレス記憶手段、
    前記画像記憶手段に記憶される画像のうちから、ユーザによる電子メールに添付する添付画像の選択を受け付ける添付画像選択手段、
    前記添付画像選択手段で選択された添付画像の被写体人物を特定する情報を検出する被写体検出手段、
    前記被写体検出手段によって検出された情報に基づいて、前記被写体人物のメールアドレスを前記メールアドレス記憶手段に記憶されているメールアドレスの中から取得するメールアドレス取得手段、
    前記添付画像を添付した電子メールの宛先候補として、前記メールアドレス取得手段によって取得されたメールアドレスをユーザが選択可能に表示させる表示手段、
    前記添付画像を添付した電子メールの宛先に、前記表示手段によって選択可能に表示されたメールアドレスの中からユーザによって選択されたメールアドレスを設定するメールアドレス設定手段
    前記被写体検出手段によって検出された情報により特定される被写体人物が前記添付画像とどれくらい関連しているかを示す関連度を求める関連度算出手段、として機能させ、
    前記表示手段は、前記メールアドレス取得手段によって取得されたメールアドレスが複数ある場合、各メールアドレスの電子メールの宛先候補としての該複数のメールアドレスの中での、前記関連度算出手段によって算出された関連度に応じた順位を示す情報を、各メールアドレスとともに表示させる、
    ことを特徴とするプログラム。
  9. コンピュータを、
    画像が記憶される画像記憶手段、
    人物のメールアドレスが記憶されるメールアドレス記憶手段、
    ユーザからメールアドレスの入力を受け付けるメールアドレス入力手段、
    前記メールアドレス入力手段で入力されたメールアドレスを宛先とする人物が被写体となっている画像を、前記画像記憶手段に記憶されている画像の中から特定する画像特定手段、
    前記メールアドレス入力手段で入力されたメールアドレスを宛先とした電子メールに添付する画像候補として、前記画像特定手段によって特定された画像の識別情報をユーザが選択可能に表示させる表示手段、
    前記メールアドレス入力手段で入力されたメールアドレスを宛先とした電子メールに、前記表示手段によって選択可能に表示された画像の中からユーザによって選択された画像を添付する画像添付手段として機能させる、
    ことを特徴とするプログラム。
JP2009184388A 2009-08-07 2009-08-07 通信端末装置、及び、プログラム Expired - Fee Related JP5218989B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2009184388A JP5218989B2 (ja) 2009-08-07 2009-08-07 通信端末装置、及び、プログラム
US12/851,911 US8713113B2 (en) 2009-08-07 2010-08-06 Communication terminal device, and recording medium
US13/832,714 US9015260B2 (en) 2009-08-07 2013-03-15 Communication terminal device, and recording medium for image storage, selection and email attachment

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009184388A JP5218989B2 (ja) 2009-08-07 2009-08-07 通信端末装置、及び、プログラム

Publications (2)

Publication Number Publication Date
JP2011040865A JP2011040865A (ja) 2011-02-24
JP5218989B2 true JP5218989B2 (ja) 2013-06-26

Family

ID=43648512

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009184388A Expired - Fee Related JP5218989B2 (ja) 2009-08-07 2009-08-07 通信端末装置、及び、プログラム

Country Status (2)

Country Link
US (2) US8713113B2 (ja)
JP (1) JP5218989B2 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5448188B2 (ja) * 2010-07-14 2014-03-19 Necカシオモバイルコミュニケーションズ株式会社 通信端末装置及びプログラム
JP2013200715A (ja) * 2012-03-26 2013-10-03 Fujifilm Corp 画像評価装置、画像評価方法、画像評価システムおよびプログラム
JP5904887B2 (ja) * 2012-06-27 2016-04-20 株式会社オプティム メッセージ送信システム、メッセージ送信方法、プログラム
KR101434234B1 (ko) * 2012-08-13 2014-09-19 네이버 주식회사 피드백 정보를 제공하는 전자 액자 서비스를 위한 방법 및 장치
JP6139138B2 (ja) * 2013-01-09 2017-05-31 京セラ株式会社 携帯通信端末、送信制御プログラムおよび送信制御方法
JP6445750B2 (ja) 2013-02-25 2018-12-26 京セラ株式会社 携帯端末装置、プログラムおよび携帯端末装置の制御方法
KR20140112914A (ko) * 2013-03-14 2014-09-24 삼성전자주식회사 휴대단말기의 어플리케이션 정보 처리 장치 및 방법
JP6270325B2 (ja) 2013-03-15 2018-01-31 キヤノン株式会社 情報処理装置およびその制御方法
JP2014204350A (ja) * 2013-04-08 2014-10-27 パナソニック株式会社 携帯端末装置
US9628986B2 (en) 2013-11-11 2017-04-18 At&T Intellectual Property I, L.P. Method and apparatus for providing directional participant based image and video sharing
JP6338418B2 (ja) * 2014-03-28 2018-06-06 三菱電機株式会社 画像処理装置及び画像処理方法
JP5743017B2 (ja) * 2014-10-30 2015-07-01 富士ゼロックス株式会社 画像管理装置及びプログラム
WO2016098589A1 (ja) * 2014-12-15 2016-06-23 ソニー株式会社 情報処理装置、情報処理方法、プログラム、および情報処理システム
US9940637B2 (en) 2015-06-05 2018-04-10 Apple Inc. User interface for loyalty accounts and private label accounts
JP6645699B2 (ja) * 2016-01-15 2020-02-14 キヤノン株式会社 情報処理装置、画像送信方法、コンピュータプログラム
JP6140327B2 (ja) * 2016-03-15 2017-05-31 株式会社オプティム メッセージ送信システム、メッセージ送信方法、プログラム
US11580608B2 (en) 2016-06-12 2023-02-14 Apple Inc. Managing contact information for communication applications
DK201870374A1 (en) 2018-05-07 2019-12-04 Apple Inc. AVATAR CREATION USER INTERFACE
CN113535047A (zh) * 2019-05-06 2021-10-22 苹果公司 头像与多个应用程序的集成

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6819783B2 (en) * 1996-09-04 2004-11-16 Centerframe, Llc Obtaining person-specific images in a public venue
JPH10289243A (ja) 1997-04-14 1998-10-27 Casio Comput Co Ltd データ検索システム
JP2001265697A (ja) 2000-03-21 2001-09-28 Casio Comput Co Ltd 画像データの分類方法及びその方法を使用したメール端末
JP2002215643A (ja) 2001-01-15 2002-08-02 Minolta Co Ltd 画像分類プログラム、画像分類プログラムを記録したコンピュータ読み取り可能な記録媒体、画像分類方法および画像分類装置
US20040243671A9 (en) * 2001-07-26 2004-12-02 Needham Bradford H. Method and system for image sharing based on faces in an image
US7693942B2 (en) * 2001-09-10 2010-04-06 Nale David S Method and system for postal service mail delivery via electronic mail
JP2004201191A (ja) * 2002-12-20 2004-07-15 Nec Corp 画像処理送信システム、携帯電話、画像処理送信方法、および、画像処理送信プログラム
JP2004326281A (ja) 2003-04-23 2004-11-18 Fuji Photo Film Co Ltd 画像配信サーバ
JP2004356985A (ja) * 2003-05-29 2004-12-16 Casio Comput Co Ltd カメラ撮影装置およびプログラム
US8363951B2 (en) * 2007-03-05 2013-01-29 DigitalOptics Corporation Europe Limited Face recognition training method and apparatus
US20050125541A1 (en) * 2003-12-04 2005-06-09 Randall Frank Integrating multiple communication modes
JP2005267146A (ja) * 2004-03-18 2005-09-29 Nec Corp 画像認識機能を利用した電子メール作成方法および装置
JP2005301647A (ja) 2004-04-12 2005-10-27 Sony Corp 情報処理装置および方法、並びにプログラム
JP2006209462A (ja) * 2005-01-28 2006-08-10 Kyocera Corp 端末装置
JP2007028077A (ja) * 2005-07-14 2007-02-01 Noritsu Koki Co Ltd 携帯端末
US8000747B2 (en) * 2006-04-03 2011-08-16 Research In Motion Limited Communications device and method for associating contact names with contact methods
JP4823135B2 (ja) * 2006-05-22 2011-11-24 ソニー・エリクソン・モバイルコミュニケーションズ株式会社 情報処理装置、情報処理方法、情報処理プログラム、及び携帯端末装置
US8564543B2 (en) * 2006-09-11 2013-10-22 Apple Inc. Media player with imaged based browsing
JP4848569B2 (ja) 2007-06-14 2011-12-28 シャープ株式会社 デジタルカメラ、カメラ付き携帯電話
US8774767B2 (en) * 2007-07-19 2014-07-08 Samsung Electronics Co., Ltd. Method and apparatus for providing phonebook using image in a portable terminal
JP4506801B2 (ja) * 2007-09-25 2010-07-21 カシオ計算機株式会社 画像認識装置、画像認識方法、画像認識プログラム
US9584343B2 (en) * 2008-01-03 2017-02-28 Yahoo! Inc. Presentation of organized personal and public data using communication mediums
US8539031B2 (en) * 2008-06-27 2013-09-17 Microsoft Corporation Displaying images for people associated with a message item
TW201223209A (en) * 2010-11-30 2012-06-01 Inventec Corp Sending a digital image method and apparatus thereof

Also Published As

Publication number Publication date
JP2011040865A (ja) 2011-02-24
US20130204956A1 (en) 2013-08-08
US9015260B2 (en) 2015-04-21
US8713113B2 (en) 2014-04-29
US20110060799A1 (en) 2011-03-10

Similar Documents

Publication Publication Date Title
JP5218989B2 (ja) 通信端末装置、及び、プログラム
US9471600B2 (en) Electronic device and method for handling tags
JP5763075B2 (ja) オブジェクト情報の提供方法及びそれを適用した撮影装置
US20090280859A1 (en) Automatic tagging of photos in mobile devices
JP2005267146A (ja) 画像認識機能を利用した電子メール作成方法および装置
JP2006293912A (ja) 情報表示システム、情報表示方法および携帯端末装置
JP2015220616A (ja) 電子機器
JP5152045B2 (ja) 電話装置、画像表示方法及び画像表示処理プログラム
US9762767B2 (en) Imaging operation terminal, imaging system, software extraction method, and computer-readable device
US10178305B2 (en) Imaging apparatus and method to capture images based on recommended applications
JP2004252081A (ja) 通信機能付撮像装置
JP2011155584A (ja) 撮像システム、撮像方法、及び撮像プログラム
JP5743017B2 (ja) 画像管理装置及びプログラム
JP5977697B2 (ja) 電子機器、および電子機器を制御するための方法
KR20110139441A (ko) 네트워크를 이용한 이미지 콘텐츠 공유 방법
KR101619091B1 (ko) 영상 전송 방법 및 이를 적용한 촬영장치
KR20060024962A (ko) 휴대 단말기의 사진 관리 방법
JP5473034B2 (ja) 端末装置及びプログラム
KR20090011153A (ko) 이동통신 단말기 및 그의 데이터 전송 방법
KR101623494B1 (ko) 사진 파일 관리 장치 및 방법
JP5634910B2 (ja) 携帯情報端末装置
JP5218987B2 (ja) 端末装置及びプログラム
KR101060841B1 (ko) 주소록에 촬상된 화상 이미지를 자동 저장하는 이동통신단말 및 그 방법
KR100594463B1 (ko) 전화번호부 기반의 영상 촬영 및 검색 기능을 가지는이동통신단말기 및 그 방법
JP2015099421A (ja) 映像コンテンツ管理装置及び携帯通信端末

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120709

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121115

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121120

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130118

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130225

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160315

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5218989

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees