JP2007199908A

JP2007199908A - 顔文字入力装置

Info

Publication number: JP2007199908A
Application number: JP2006016154A
Authority: JP
Inventors: Yasuko Kawarada; 泰子川原田
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2006-01-25
Filing date: 2006-01-25
Publication date: 2007-08-09

Abstract

【課題】画像データから抽出した顔画像データに対応する顔文字を入力できるようにして、顔文字の入力を簡易にした顔文字入力装置を提供する。
【解決手段】文章作成モード下において顔文字入力の開始が選択されると、ＣＰＵ２４は、文章データをＲＡＭ３２ｂに記憶させたまま、撮影モードを作動させる。撮影モードにおいて人の顔などの被写体が内蔵デジタルカメラ５によって撮影されると、ＣＰＵ２４は、画像データから顔画像データを抽出する処理を行い、撮影モードを終了させる。ＣＰＵ２４は、抽出した顔画像データに対応する顔文字を、ＲＯＭ３２ａに記憶されている顔画像顔文字対応表３３を用いて検索し、該当した顔文字がある場合、該顔文字を構成する文字列データを作成中の文章データに付加する。
【選択図】図４

Description

本発明は、画像データから抽出した顔画像データに対応する顔文字を入力することができる顔文字入力装置である。

近年、携帯電話機には文章作成機能やデジタルカメラが内蔵され、デジタルカメラで撮影した画像データを電子メールに添付して送受信するなどの用途に使用されている。また、携帯電話機上で、画像データに文字や絵柄を合成するなどして楽しむことが行われており、人の顔を撮影した画像データから顔の輪郭や目、口といった部分のデータ（顔画像データ）を抽出し、該顔画像データに基づく画像加工を、例えば、目の下に涙の絵を合成するといったことなどを行えるものもある。

また、文章作成機能において、「（＾＾）」や「（＾ｏ＾）」などのように人の顔などを模した顔文字と呼ばれる文字列を入力することがある。顔文字を入力する方法は、文字列を構成する文字を１文字ずつ入力する方法の他に、単語を入力する際に利用する文字変換辞書に顔文字を単語として予め登録しておき、単語を入力する方法と同様に、顔文字の読みを入力して顔文字に変換する方法がある。文章作成機能において、顔文字の入力を簡易にするため、顔文字の読み及び一部を入力することで顔文字を入力できるようにした、複数の検索方法を用いた顔文字入力システム及び方法が提案されている（特許文献１参照）。
特開２００５−２５３１２号公報

しかしながら、上記のような顔文字入力システムでは、顔文字を入力するには、入力者が顔文字の読み及び一部の文字を入力し、顔文字を検索し、検索した結果の顔文字候補から入力したい顔文字を選択するといった作業が必要があり、手間がかかるものであった。

本発明は、上記課題を鑑みてなされたものであり、画像データから抽出した顔画像データに対応する顔文字を入力できるようにして、顔文字の入力を簡易にした顔文字入力装置を提供することを目的とする。

本発明の顔文字入力装置は、被写体を撮影して画像データに変換する撮影手段と、前記画像データから顔画像データを抽出する顔画像抽出手段と、顔文字と顔画像データとの対応表を記憶する顔画像顔文字対応表記憶手段と、前記顔画像抽出手段によって抽出された顔画像データに対応する顔文字を、前記顔画像顔文字対応表記憶手段を用いて検索する顔画像顔文字検索手段と、前記顔画像顔文字検索手段による検索で該当した顔文字を付加した文章データを作成する文章作成手段とを備えたことを特徴とするものである。

また、文字データを入力する文字入力手段を備え、前記文章作成手段は、前記文字入力手段によって入力された文字データを前記文章データに付加することが好適である。

また、前記文章作成手段によって作成された文章データを表示する表示手段を備えすることが好適である。

本発明の顔文字入力装置は、撮影手段が被写体を撮影して画像データに変換し、顔画像抽出手段が画像データから顔画像データを抽出し、顔画像顔文字検索手段が、顔画像抽出手段によって抽出された顔画像データに対応する顔文字を、顔文字と顔画像データとの対応表を記憶する顔画像顔文字対応表記憶手段を用いて検索し、顔画像顔文字検索手段による検索で該当した顔文字を付加した文章データを文章作成手段が作成するので、画像データから抽出した顔画像データに対応する顔文字を入力でき、顔文字の入力を簡易にすることができる。

また、文字データを入力する文字入力手段を備え、文章作成手段は、文字入力手段によって入力された文字データを文章データに付加することによって、顔文字を付加する文章データを顔文字入力装置上で作成することができる。

また、文章作成手段によって作成された文章データを表示する表示手段を備えることによって、文章データを顔文字入力装置上で確認しながら作成することができる。

図１及び図２にデジタルカメラが内蔵されたカメラ付き携帯電話機（顔文字入力装置）２の外観を示す。このカメラ付き携帯電話機２は、ヒンジ部３により折り畳み自在に連結された受話器ユニット４ａと送話器ユニット４ｂとからなる。以下の記述において、カメラ付き携帯電話機２を折り畳んだときに外側となる面を外面、内側となる面を内面とする。受話器ユニット４ａは、その内部に内蔵デジタルカメラ（撮影手段）５（図３参照）を備えており、内蔵デジタルカメラ５の撮像レンズ５ａが、受話器ユニット４ａの外面に露出している。

受話器ユニット４ａの内面側には、受話スピーカ６とＬＣＤ（表示手段）７とが設けられている。受話器ユニット４ａの外面側には、撮像レンズ５ａのほか、アンテナ８及びＬＣＤ９が設けられ、また、端部には他の携帯電話機と赤外線データ通信を行うための赤外線ポート１０が設けられている。なお、ＬＣＤ７またはＬＣＤ９、もしくはこれら両方に代えてＥＬ（ＥｌｅｃｔｒｏｎｉｃＬｕｍｉｎｅｓｃｅｎｔ）ディスプレイなどの電子表示器を用いることも可能である。

送話器ユニット４ｂの内面側には、送話マイク１２のほか、ダイヤルキー１３や各種の選択キー１４などからなる入力操作部（文字入力手段）１５が設けられている。また、送話器ユニット４ｂの一方の側面には、メモリカード２７（図３参照）が着脱自在に装填されるメモリカードスロット１６と、他の携帯電話機やパーソナルコンピュータなどの外部機器とケーブル接続するためのソケット１７とが設けられている。

選択キー１４は、電話番号やメールアドレスの登録、電子メールなどの文章作成における文字入力、及びインターネット接続サービス等の利用などを行う際の各種メニューの選択・設定に操作される。また、この選択キー１４を操作することにより、内蔵デジタルカメラ５による撮影を行うことができる。ダイヤルキー１３は、電話番号の発信番号入力や電子メールの文字入力の際に操作される。電子メールなどの文章作成では、ダイヤルキー１３によって文字が仮入力された後、選択キー１４による仮名漢字変換等の文字変換を経て文字データが入力される。

アンテナ８は、音声通話や電子メールサービス及びインターネット接続サービスを利用する際に、他の携帯電話機やインターネットサーバなどからの電波信号を受信するとともに、カメラ付き携帯電話機２から発信される電波信号を外部に送信する。受話スピーカ６は、受話音声や着信メロディを出力する。ＬＣＤ７は、各種メニュー画面、着信相手の電話番号やメールアドレス、インターネットサーバからダウンロードした画像、内蔵デジタルカメラ５から出力されるスルー画像や撮影画像などを表示する液晶表示器である。また、ＬＣＤ９は、日付、バッテリの残量、着信の有り無しなどの情報を表示する液晶表示器であり、カメラ付き携帯電話機２が折り畳まれた状態でこれらの情報を表示する。送話マイク１２は、送話音声を電気的な音声信号に変換する。この音声信号はアンテナ８から電波となって発信され、基地局及び回線網を介して通話相手の携帯電話機に送信される。

図３は、カメラ付き携帯電話機２の電気的構成を示す。内蔵デジタルカメラ５は、撮像レンズ５ａ、ＣＣＤ型イメージセンサ２１、信号処理回路２２、及びフレームメモリ２３によって構成されている。ＣＣＤ型イメージセンサ２１は、撮像レンズ５ａで結像された被写体光を電気的な撮像信号に変換する固体撮像素子であって、撮像レンズ５ａの背後に配置されている。信号処理回路２２は、ＣＣＤ型イメージセンサ２１から出力された撮像信号に対して、サンプリング、増幅、Ａ／Ｄ変換を施し、デジタル化された画像データを出力する。出力された画像データは、フレームメモリ２３に一旦格納される。なお、ＣＣＤ型イメージセンサ２１は、図示しないタイミングジェネレータによって、個別に動作制御される。また、固体撮像素子として、ＣＣＤ型イメージセンサの代わりに、省電力化・小型化等に供するＭＯＳ型イメージセンサを用いることも可能である。

ＣＰＵ（顔画像抽出手段，顔画像顔文字検索手段，文章作成手段）２４は、カメラ付き携帯電話機２の全体の動作を統括的に制御する。このＣＰＵ２４には、赤外線ポート１０や入力操作部１５の他に、受話スピーカ６および送話マイク１２で入出力される音声に対してノイズ除去などの各種処理を施す音声処理回路２５、ＬＣＤ７およびＬＣＤ９の表示制御を行うＬＣＤドライバ２６、メモリカード２７へのデータの入出力制御を行うメディアコントローラ２８、アンテナ８を介して基地局と電波信号の送受信を行う電波通信Ｉ／Ｆ２９、ソケット１７を介して外部機器とデータの送受信を行う外部通信Ｉ／Ｆ３０、ＲＯＭ（顔画像顔文字対応表記憶手段）３２ａとＲＡＭ３２ｂとからなる内部メモリ３２、および上記各部に電源電圧を供給するバッテリ３４が接続されている。

ＲＯＭ３２ａは、フラッシュメモリなどの不揮発性メモリであり、ＣＰＵ２４が上記各部を制御するためのプログラムが格納されているプログラム領域、並びに、仮名漢字変換辞書、顔文字の文字列、及び、顔画像データと顔文字との対応を記した顔画像顔文字対応表３３などのデータを格納するためのデータ領域とを備えている。また、ＲＡＭ３２ｂは、ＳＲＡＭ（ＳｔａｔｉｃＲＡＭ）やＤＲＡＭ（ＤｙｎａｍｉｃＲＡＭ）などの揮発性メモリであり、ＣＰＵ２４と高速にデータ入出力を行うことが可能である。ＲＡＭ３２ｂには、ＲＯＭ３２ａに格納されたプログラムが転送され、ＣＰＵ２４から随時にアクセスされる。ＣＰＵ２４は、このプログラムに基づいてカメラ付き携帯電話機２の制御を行う。

ＣＰＵ２４は、各部を制御することによって、カメラ付き携帯電話機２を、電話機として動作させる音声通信モード、電子メール等の文章を入出力する機器として動作させる文章作成モード、電子メールの送受信を行う端末として動作させるデータ通信モード、または、デジタルカメラとして動作させる撮影モードとする。

ＣＰＵ２４は、撮影モード下においてフレームメモリ２３に順次格納される画像データを、ＬＣＤドライバ２６を介してＬＣＤ７にスルー画像として表示させる。入力操作部１５の選択キー１４の操作によってシャッタレリーズが行われたとき、内蔵デジタルカメラ５によって被写体が撮影され、ＣＰＵ２４は、デジタル化された１画面分の画像データをＲＡＭ３２ｂに一時的に記憶させる。そして、撮影された画像データがＲＡＭ３２ｂに一時的に記憶されている状態で、選択キー１４において、画像を保存する操作が行われると、ＣＰＵ２４は、撮影された画像データをＲＯＭ３２ａに記憶させ、その画像データの記憶をＲＡＭ３２ｂから削除する。なお、このとき、撮影された画像データをメディアコントローラ２８を介してメモリカード２７に記憶させることも可能である。

ＣＰＵ２４は、文章作成モード下において、電子メール等の文章を作成する文章作成処理を行う。文章作成処理では、ＣＰＵ２４は、入力操作部１５の操作による文字データの入力を有効化し、入力された文字データを逐次付加して一連の文章データとし、文章データをＲＡＭ３２ｂに一時的に記憶させるとともにＬＣＤドライバ２６を介してＬＣＤ７に文章を表示させる。

文章作成モード下において、選択キー１４によって顔文字入力の開始が選択されると、ＣＰＵ２４は、文章データをＲＡＭ３２ｂに記憶させたまま、撮影モードを作動させる。撮影モードにおいて人の顔などの被写体が内蔵デジタルカメラ５によって撮影されると、ＣＰＵ２４は、ＲＡＭ３２ｂに記憶されている画像データから顔画像データを抽出する処理を行い、撮影モードを終了させる。そして、ＣＰＵ２４は、文章作成モードを復帰させ、抽出した顔画像データに対応する顔文字を、顔画像顔文字対応表３３を用いて検索する。該検索で該当した顔文字がある場合、ＣＰＵ２４は、該顔文字を構成する文字列データをＲＡＭ３２ｂに記憶されている文章データに付加する。このとき、顔画像顔文字対応表３３を用いた検索で該当した顔文字が複数あった場合には、ＣＰＵ２４は、該当した顔文字を選択候補としてＬＣＤドライバ２６を介してＬＣＤ７に表示させ、選択キー１４によっていずれかを選択できるようにする。なお、画像データから顔画像データを抽出する処理は既存の技術を用いれば良く、また、抽出する顔画像データとして抽出する部分も、例えば顔の輪郭、目及び口に該当する部分としたりするなど、適宜設定すれば良い。このように、ＣＰＵ２４は顔画像抽出手段、顔画像顔文字検索手段及び文章作成手段として機能する。

次に、顔文字入力の処理の流れを図４のフローチャートに基づいて説明する。なお、図４には、ＬＣＤ７上の表示態様の例をフローチャートに沿って示してある。

顔文字入力は文章作成モード下において行われる。文章作成モード下において、ＣＰＵ２４は文章作成処理を行う。文章作成処理では、ＣＰＵ２４は、入力操作部１５の操作による文字データの入力を有効化し、入力された文字データを逐次付加して一連の文章データとし、文章データをＲＡＭ３２ｂに一時的に記憶させるとともにＬＣＤドライバ２６を介してＬＣＤ７に文章を表示させる。

文章作成モード下において、入力者が顔文字を入力する際には、選択キー１４によって顔文字入力の開始を選択する。ＣＰＵ２４は、文章データをＲＡＭ３２ｂに記憶させたまま、撮影モードを作動させる。入力者は、内蔵デジタルカメラ５によって人の顔などの被写体を撮影する。ＣＰＵ２４は、撮影された画像データをＲＡＭ３２ｂに記憶し、該画像データから顔画像データを抽出する処理を行い、撮影モードを終了させる。

ＣＰＵ２４は、撮影モードを終了させた後、抽出した顔画像データに対応する顔文字を、顔画像顔文字対応表３３を用いて検索する。該検索で該当した顔文字がある場合、該顔文字を構成する文字列データがＣＰＵ２４によって作成中の文章データに付加され、顔文字が付加された文章データがＬＣＤ７に表示される。このように、画像データから抽出した顔画像データを用いて検索した顔文字を入力できるようにして、顔文字の入力を簡易にすることができる。

なお、上記実施形態では、顔画像データを抽出する画像データを、顔文字を入力する際に撮影モードを作動させて取得していたが、顔画像データを抽出する画像データを取得する方法はこれに限られず、例えば、予め人の顔などの被写体を撮影して得られた画像データをＲＯＭ３２ａに記憶させておき、顔文字を入力する際にＲＯＭ３２ａに記憶されている画像データから選択して取得するようにしても良い。

上記実施形態では、カメラ付き携帯電話２を例示して説明したが、顔文字入力装置としてはこれに限られず、他の携帯電子機器、例えばＰＤＡ（ＰｅｒｓｏｎａｌＤｉｇｉｔａｌＡｓｓｉｓｔａｎｃｅ）や、文字入力機能を備えたデジタルスチルカメラなどに適用した場合にも本発明は有効である。

カメラ付き携帯電話の内面側を示す外観斜視図である。カメラ付き携帯電話の外面側を示す外観斜視図である。カメラ付き携帯電話の電気的構成を示すブロック図である。顔文字入力の処理の流れを示すフローチャートである。

符号の説明

２カメラ付き携帯電話機（顔文字入力装置）
５内蔵デジタルカメラ（撮影手段）
７ＬＣＤ（表示手段）
１５入力操作部（文字入力手段）
２４ＣＰＵ（顔画像抽出手段，顔画像顔文字検索手段，文章作成手段）
３２ａＲＯＭ（顔画像顔文字対応表記憶手段）

Claims

被写体を撮影して画像データに変換する撮影手段と、
前記画像データから顔画像データを抽出する顔画像抽出手段と、
顔文字と顔画像データとの対応表を記憶する顔画像顔文字対応表記憶手段と、
前記顔画像抽出手段によって抽出された顔画像データに対応する顔文字を、前記顔画像顔文字対応表記憶手段を用いて検索する顔画像顔文字検索手段と、
前記顔画像顔文字検索手段による検索で該当した顔文字を付加した文章データを作成する文章作成手段とを備えたことを特徴とする顔文字入力装置。
文字データを入力する文字入力手段を備え、前記文章作成手段は、前記文字入力手段によって入力された文字データを前記文章データに付加することを特徴とする請求項１記載の顔文字入力装置。
前記文章作成手段によって作成された文章データを表示する表示手段を備えたことを特徴とする請求項１または２記載の顔文字入力装置。