JP2006303651A - 電子装置 - Google Patents

Abstract

【課題】電子装置の操作者が現実世界の情報と直感的に関わることのできる技術を提供する。
【解決手段】１つの側面によれば、電子装置であって、撮像素子と、前記撮像素子を用いて得られる映像を表示するスクリーンと、前記電子装置の動きを検出する動き検出手段と、前記スクリーン上の位置に関連すると共に特有の選択動作に関連する変数とを有し、さらに、前記選択操作を契機として前記電子装置の動きを補償するように前記動き検出手段を利用して前記変数の値を刻々と変化させ、前記変数の値に基づき前記電子装置の動作に関する動作領域を定めるように構成される、電子装置が提供される。上記の電子装置は、ユーザーに現実世界の情報と直感的に関わることを可能とする。
【選択図】図５

Description

本発明はカメラを備えた電子機器に関し、特にカメラを備えた電子機器において処理領域を定める方法及び装置に関し、さらにカメラで撮影した画像データの利用に関する。

近年、コンピュータで生成された映像や文字などのグラフィックスを現実世界に重ね合わせる技術が注目を浴びている。情報が補完された「現実世界」を提示することで、現実世界と人間との関係を強化することができる。このような技術は強化現実技術と呼ばれ、例えば米国コロンビア大学などでその研究が行なわれている。（例えばｈｔｔｐ：／／ｗｗｗ１．ｃｓ．ｃｏｌｕｍｂｉａ．ｅｄｕ／ｇｒａｐｈｉｃｓ を参照。）

携帯電話やＰＤＡなど、最近の携帯電子機器には高解像度のカメラが内蔵されているものが多く、またこれらの演算能力は数年前のパーソナル・コンピュータに匹敵するほど強力なものになっている。カメラは現実世界を写し取る能力を持ち、演算装置は映像や文字などのグラフィックスを作ることができる。さらに最近の携帯電子機器の演算能力は、国際公開ＷＯ０２／４１２４１号公報にも記載されているように、画像データからＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ）処理によって文字情報を抽出できる十分な能力を有する。

このような背景の下、本願発明者は、カメラで写し取られた現実世界のイメージと、電子機器の処理能力とを組み合わせることで、現実世界の情報に直感的に関わることのできる、電子機器のための新しいコンセプトを創造するに至った。
国際公開ＷＯ０２／４１２４１号公報

本発明の目的は、ユーザーが現実世界の情報と直感的に関わることのできる技術を提供することにある。

本発明の１つの側面によれば、電子装置であって、
・ 撮像素子と、
・ 前記撮像素子を用いて得られる映像を表示するスクリーンと、
・ 前記電子装置の動きを検出する動き検出手段と、
・ 前記スクリーン上の位置に関連すると共に所定の選択動作に関連する変数と
を有し、さらに、
・ 前記選択操作を契機として、前記電子装置の動きを補償するように前記動き検出手段を利用して前記変数の値を刻々と変化させ、
・ 前記変数の値に基づき前記電子装置の動作に関する動作領域を定める
ように構成される、電子装置が提供される。

変数の数は１つでも複数でもよい。１つの実施態様において、それぞれ前記スクリーン上の独自の位置に関連すると共に独自の選択動作に関連する複数の変数を有し、前記複数の変数の値に基づき前記動作領域を定めるように、上記電子装置を構成することができる。

選択操作が行なわれた直後の上記変数の値はスクリーン上の特定の位置、例えば中央に対応させることができる。このような実施態様では、ユーザーは、現実世界の光景の特定の点がスクリーン中央に表示されるように上記電子装置を動かし、上記選択操作を行なうことにより、現実世界の光景の一点を指定することができる。一旦選択操作が行なわれると、その後の上記変数の値は電子装置の動きを補償するように刻々と更新される。このため上記変数の値に対応するスクリーン平面上の位置は、ユーザーが上記電子装置を動かしても、現実世界の光景の同じ点をポイントし続ける。（もちろん、その正確性は上記動き検出手段の性能に依存する。）従って上記選択操作は、あたかも現実世界の光景に印を付けるような結果をもたらす。ユーザーは、電子装置を動かしながら、上記の選択操作を所定の回数繰り返すことで、現実世界の１又は２以上の場所に印を付け、続いて上記の決定操作を行なうことで、その印に基づいて現実世界の領域を定めることができる。

このように、上記電子装置によれば、ユーザーは、電子装置を動かすという非常に直感的な操作によって、スクリーンに投影される現実世界の領域を定めることができる。定めた上記動作領域は電子装置の様々な動作のために用いられることができ、例えば写真を撮影したり、その写真にＯＣＲをかけて文字情報を抽出したり、ピントを調節したり、ホワイトバランスを調節したりなどのために用いられることができる。従って本発明の利点のおかげで、ユーザーは、非常に直感的な方法で、現実世界の情報と関わり合うことができる。上記の電子装置は、現実世界と関わり合うための非常に直感的なユーザーインターフェースを提供していると言えるかもしれない。

上記の電子装置の特長をより優れたものとするため、前記選択操作はなるべく直感的なものとすることが好ましい。この目的のために、一つの実施態様において、上記の電子装置は、１回目の前記選択操作は前記キーを押すことであり、２回目の前記選択操作は前記キーを離すことであるように、構成することができる。さらに上記の電子装置は、再び同じキーを押すと、上記動作領域を決定するように構成することができる。選択操作や決定操作に用いるキー（ボタン）は専用のキーを設けてもよいし、別の機能が割り当てられているキーと共用してもよい。このような実施態様によれば、ユーザーは単純なキー操作によって現実世界の領域を選択することができるので、選択操作をさらに直感的なものとすることができる。なお、上記選択操作や決定操作は、例えば音声入力手段によることもできる。

また、上記の電子装置の特長をより優れたものとするため、上記電子装置は、上記変数の値に関連する位置を前記スクリーン上に標示するように構成されることができる。標示する方法はユーザーが容易に認識できる方法であることが好ましい。例えば輝点であったり任意の形のマークであったりすることができる。さらに上記電子装置は、前記変数の値に基づいて前記スクリーン領域を定め、前記スクリーン領域を前記スクリーン上に標示するように構成されることが好ましい。標示する方法としては、蛍光色でハイライト表示したり、境界を色線で強調したりすることができる。スクリーン領域は、後に上記動作領域として決定されることができる。しかし決定されるまでは、前記変数の値が上記電子装置の動きに応じて刻々と変化するため、スクリーン領域も刻々と変化する。従って、これらの実施態様において、ユーザーは、選択した点や、前記動作領域のプレビューを、スクリーン上で現実世界に重ねて確認することができる。これらのことは、ユーザーの操作をさらに直感的にすることができる。

さらに上記の実施態様において、上記変数の値が電子装置の動きを補償するように変化するため、前記輝点やスクリーン領域が指し示す現実世界の場所は、電子装置が動かされても、スクリーン上では同じであり続ける。（もちろん、その正確性は上記動き検出手段の性能に依存する。）従って、ユーザーは現実世界の光景を、本発明による電子装置を用いて現実に選択することができる。このように、本発明は、現実世界の情報と関わる非常に直感的な方法を提供する。

上記電子装置の特長をより優れたものとするため、本発明による電子装置は、筐体は手持ちサイズであり、前記スクリーンは前記筐体の前面に配置され、前記撮像素子への入射口は背面に配置されることができる。かかる電子装置のユーザーは、小型軽量からもたらされる機動性と、本発明によってもたらされる直感的なユーザーインターフェースとを利用して、現実世界の情報、例えばイメージ情報や文字情報などとアクティブに関わっていくことが可能になるだろう。カメラ付き携帯電話やカメラ付きＰＤＡは本発明の好適な適用対象である。

上記の電子装置において、動作領域の形は、様々な形に定められることができる。１つの実施態様において、前記動作領域の形は矩形に定められ、１回目の前記選択操作に関連する前記変数は前記矩形の左上隅に対応し、２回目の前記選択に関連する前記変数は前記矩形の右下隅に対応するように、前記電子装置を構成することができる。また別の実施態様において、前記動作領域の形は、前記変数の値と、その同じ変数の初期値との距離を半径とする円又は楕円に定められするように、前記電子装置を構成することができる。

上記の電子装置の１つの実施態様において、前記動き検出手段は、加速度センサ、ジャイロセンサ、磁気センサのいずれか１つ以上を備えることができる。また別の実施態様において、前記動き検出手段は、連続するフレームを比較して上記電子装置の動きを検出するなどの画像処理を備えることができる。画像処理は純粋にソフトウエア処理で行なっても良いし、ＤＳＰ等の専用ハードウエアの助けを借りて行なっても良い。また、さらに別の実施形態では、前記動き検出手段は、上記のセンサと画像処理手段を共に備えることができる。

本発明による電子装置の上記の機能は、ソフトウエア処理によって達成できる機能が多い。このことを考えると、本発明の別の側面によって、電子装置であって、撮像素子と、前記撮像素子を用いて得られる映像を表示するスクリーンと、前記電子装置の動きを検出する動き検出手段とを有する電子装置のためのコンピュータ・プログラムであって、
・ 前記スクリーン上の位置に関連すると共に所定の選択動作に関連する変数とをさらに有し、
さらに、
・ 前記選択操作を契機として、前記電子装置の動きを補償するように前記動き検出手段を利用して前記変数の値を刻々と変化させ、
・ 前記変数の値に基づき前記コンピュータ・プログラムの機能に関する動作領域を定める
ように、前記電子装置に指示するように構成される、コンピュータ・プログラムが提供される。

さらに本発明の別の側面によって、電子装置であって、撮像素子と、前記撮像素子を用いて得られる映像を表示するスクリーンと、前記電子装置の動きを検出する動き検出手段とを有する電子装置のための動作に関する動作領域を定める方法であって、
・ 前記スクリーン上の位置に関連すると共に所定の選択動作に関連する変数を準備し、
さらに、
・ 前記選択操作を契機として、前記電子装置の動きを補償するように前記動き検出手段を利用して前記変数の値を刻々と変化させるステップと、
・ 前記変数の値に基づき前記動作領域を定めるステップと、
を備える方法が提供される。

以下、本発明の実施例を添付図面を参照しながら説明する。特に、ＯＣＲ機能を有するカメラ付き携帯電話に関して本発明が説明される。

図１は本発明によるカメラ付き携帯電話の外観図を示したものであり、（ａ）は正面図、（ｂ）は背面図である。カメラ付き携帯電話１は、液晶画面２，機能キー３，左キー４，右キー５，テンキー６などを正面に備え、背面にはカメラ７などを備えている。液晶画面２は、電波状況やバッテリー残量、電話番号等の携帯電話機能に関する情報を表示すると共に、内蔵アプリケーションのための表示装置としても使われる。また、カメラ７のモニタとしても用いられ、カメラ７を用いて撮影しようとする光景は液晶画面２に表示される。機能キー３，左キー４，右キー５は、カメラ付き携帯電話１の様々な機能にアクセスするために用いられる。また、左キー４と右キー５はオンフックとオフフックのためにも用いられる。テンキー６は、電話番号を入力したり、テキストを入力したりするために用いられる。殆どのキーは、複数の機能が割り当てられている。カメラ付き携帯電話１は、電話やカメラ機能の他、カメラ７で撮影した画像データから文字情報を抽出するＯＣＲ機能、Ｅ−ｍａｉｌやＭＭＳなどのメッセージング機能、ゲーム、スケジューラーなど、様々な機能を備えている。

カメラ付き携帯電話１を用いて写真を撮ろうとする場合、カメラ付き携帯電話１はまず撮影しようとする光景をカメラ７で取り込み、画面２にプレビュー表示する。図２を参照する。符号９は新聞を表しており、新聞９上のアルファベットａ，ｂ，ｃ，．．．．は記事、すなわち文字情報を表している。カメラ付き携帯電話１は、カメラ７で新聞９を写し、それを画面２に表示する。プレビュー時、カメラ付き携帯電話１は１秒間に１０回程度の頻度で撮影を行ない、その度に画面２を更新する。このため、現実世界がカメラ７を通じてリアルタイムで画面２上に表示される。撮影時において、機能キー３はシャッターボタンの役割を果たす。写真データはカメラ付き携帯電話１のメモリに保存される。

図３は、カメラ付き携帯電話１のハードウエア構成を簡単に示した略ブロック図である。カメラ付き携帯電話１は、大きくは電話モジュール９とカメラモジュール７から構成される。電話モジュール９はＣＰＵ１０を備え、ＣＰＵ１０にディスプレイ１１，キーパッド１２，加速度センサ１３ａ，ジャイロセンサ１３ｂ，ベースバンド処理部１４，ＤＲＡＭ１７，フラッシュメモリ１８などが接続されている。フラッシュメモリ１８にはカメラ付き携帯電話１のオペレーティングシステム（ＯＳ）２１が格納されており、ＯＳ２１とＣＰＵ１０は協働して、カメラ付き携帯電話１の動作を制御する制御装置を構成する。またフラッシュメモリ１８には、カメラ付き携帯電話１のＯＣＲ機能を司るコンピュータ・プログラムであるＯＣＲソフトウエア１９や、カメラ付き携帯電話１のメッセージング機能を司るＭＭＳソフトウエア２０など、様々なアプリケーションソフトウエア格納されている。これらのソフトウエアはＣＰＵ１０や他のハードウエアと協働して、カメラ付き携帯電話１を特定の機能を有する情報処理装置として動作させる。ディスプレイ１１は液晶画面２を有する。キーパッド１２は、図１に示した機能キー３，左キー４，右キー５，テンキー６などの複数のキーを備える。加速度センサ１３ａは３軸の加速度センサであって、カメラ付き携帯電話１の傾きや直線的な動きを検出するために用いられる。ジャイロセンサ１３ｂも３軸のジャイロセンサであり、カメラ付き携帯電話１の回転を検出するために用いられる。ベースバンド処理部１４には、さらにＲＦ処理部１５及びアンテナ１６が接続されており、これらは信号の送受信機能を担う。ベースバンド処理部１４はデジタル変復調やエラー訂正などの機能を担当し、ＲＦ処理部１５は搬送周波数への周波数変換などの機能を担当する。ＤＲＡＭ１７はカメラ付き携帯電話１の主記憶装置として動作する。ＤＲＡＭはフラッシュメモリよりもアクセス速度が速いため、カメラ付き携帯電話１の動作中にＣＰＵ１０に使われる頻度の高いプログラムやデータが格納される。はじめフラッシュメモリ１８に格納されていたＯＳ２１やアプリケーションソフトウエアも、動作時にはＣＰＵ１０の中のキャッシュメモリやＤＲＡＭ１７に移されて（又はコピーされて）用いられることが多い。主記憶装置としては、ＳＲＡＭやＳＤＲＡＭを用いることができる。

カメラモジュール７は、レンズ２２，レンズモータ２３，ＣＣＤセンサ２４，ＣＣＤ駆動部２５，前段処理部２６，画像データ構築部２７，バス２８等を有する。レンズ２２は入射した光をＣＣＤセンサ２４へ集める。レンズ２２は図では１枚のレンズであるが、実際には複数枚のレンズが備わっていることが多い。レンズモータ２３はレンズの位置を動かすために設けられ、ピント合わせや光学ズームのために用いられる。ＣＣＤセンサ２４は、入射した光を電気信号に変換するセンサである。ＣＣＤ駆動部２５はＣＣＤセンサ２４によるデータ採取のタイミングや解像度を制御する。前段処理部２６は、ＣＣＤセンサ２４の出力信号に対してＡ／Ｄ変換を行ない、またホワイトバランスの調整を行なう。前段処理部２６の出力信号は、まだ生のデータであり、一般のカメラ付き携帯電話やパソコン等で表示や印刷ができる形式ではない。画像データ構築部２７は、前段処理部２６の出力信号を、補間処理によってＲＧＢ又はＹＵＶ形式の画像データとして構築する。この画像データは、一般のカメラ付き携帯電話やパソコン等で表示・印刷されることが可能である。構築された画像データはデータインターフェース３０によって電話モジュール９に送られる。

ＣＰＵ１０は制御インターフェース２９及びバス２８を通じてレンズモータ２３，ＣＣＤ駆動部２５，前段処理部２６などに接続されている。このためＣＰＵ１０は、レンズモータ２３を制御してピントやズームを調整したり、ＣＣＤ駆動部２５を制御してデータ採取の解像度を変更したり、前段処理部２６を通じて画像のホワイトバランスを制御することができる。写真を撮影する前に、写そうとする光景が液晶ディスプレイ１１の画面２上にプレビュー表示される。プレビューモードのとき、ＣＰＵ１０は、ＣＣＤセンサ２４が小さな解像度で、しかし１秒間に１０回程度の頻度で撮影を行なうように、ＣＣＤ駆動部２５を制御する。従ってプレビューモードにおいて、ユーザーはカメラを通じて写される光景を、リアルタイムで画面２上に見ることができる。写真を撮影するときは、ＣＰＵ１０はＣＣＤ駆動部２５を制御して、ＣＣＤセンサ２４がその最大解像度でデータ採取を行なうようにする。

図４に、ＯＣＲソフトウエア１９の構造を示す。ＯＣＲソフトウエア１９は、領域選択モジュール３３，カメラ制御モジュール３４，ＯＣＲモジュール３５，動き検出モジュール３６という４つのソフトウエア・モジュールを備える。領域選択モジュール３３は、ＯＣＲを行なう現実世界の領域を定めるためのユーザーインターフェースを提供する。ユーザーは、現実世界の光景を画面２で見ながら、現実世界に印を付けるようにして、ＯＣＲ領域を選択することができる。領域選択モジュール３３の詳細は図５と図６を参照して後に説明される。

カメラ制御モジュール３４は、ＣＣＤセンサ２４で捉えられた光景をディスプレイ１１に表示したり、領域選択モジュール３３によって定められた領域の光景を撮影して画像データを取得するためのモジュールである。カメラ制御モジュール３４は、カメラモジュール７を直接制御する命令を備える必要は必ずしもない。カメラモジュール７を直接制御する命令は、ＤＲＡＭ１７やフラッシュメモリ１８に格納されているＯＳ２１や別のカメラ制御ソフトウエアに組み込まれていてもよい。このような場合、カメラ制御モジュール３４はカメラ制御ソフトウエアと命令やデータをやりとりできるソフトウエア・インターフェースを備えることができる。このようなソフトウエア・インターフェースには、「プレビュー画像を供給せよ」とか「指定領域のデータ採取を行なえ」などという、カメラ制御ソフトウエアへの指示を含むことができる。

ＯＣＲモジュール３５は、カメラ制御モジュール３４によって得られた画像データにＯＣＲを適用し、文字情報を得るためのモジュールである。ＯＣＲのアルゴリズムは既に知られており、処理速度や電力消費・言語などの条件が合えば、如何なるアルゴリズムを用いてもよい。ＯＣＲモジュール３５は、ＯＣＲによって得られた文字情報を、アプリケーション間又はアプリケーション内でデータを転送するための共有メモリ空間に保存する。このため、ＯＣＲソフトウエア１９によって得られた文字情報は、カメラ付き携帯電話１にインストールされている、他の様々なアプリケーションから利用することができる。

動き検出モジュール３６は、ＣＰＵ１０と協働して、連続したフレームを比較することによって、カメラ付き携帯電話１の動きを調べる画像処理プログラムを備える。さらに動き検出モジュール３６は、加速度センサ１３ａとジャイロセンサ１３ｂの出力信号からも、カメラ付き携帯電話１の動きを調べる。加速度センサ１３ａの出力信号は、カメラ付き携帯電話１の傾きや直線的な運動を知るため用いられる。ジャイロセンサ１３ｂは、カメラ付き携帯電話１の回転運動を知るために用いられる。

次に、ＯＣＲソフトウエア１９の動作を図５と図６を用いてより詳細に説明する。図５はＯＣＲソフトウエア１９の動作を説明するためのフローチャートであり、図６はＯＣＲソフトウエア１９動作中における液晶画面２の表示の様子を描いた図である。図６（ａ）〜（ｆ）には、カメラ付き携帯電話１のハードウエア要素として、液晶画面２と機能キー３，左キー４，右キー５のみが描かれている。

まず、ＯＣＲソフトウエア１９が起動する（ステップＳ１）。するとＯＣＲソフトウエア１９は、ＣＰＵ１０に指示を出し、カメラ付き携帯電話１をプレビューモードへセットする。ＯＣＲソフトウエア１９の指示はＯＳ２１や他のカメラモジュール制御ソフトウエアに向けられる場合もある。ＣＰＵ１０は、ＯＣＲソフトウエア１９や他のソフトウエアの指示に従って、カメラモジュール７が１秒間に１０回程度、プレビュー用のデータ採取を行なうように制御し、得られた画像データを液晶画面２に表示する。このため、画面２には、現実世界の様子がリアルタイムで映し出される。このときの様子が図６（ａ）に示されている。

図６（ａ）は、ＯＣＲソフトウエア１９が起動した直後の画面である。図６（ａ）を見ると、画面２の中にカメラモジュール７によって撮影される現実世界の光景４１が表示されている。また、画面左下隅４３には「メニュー」と書かれており、これは左キー４が押されると、領域選択モジュール３３の機能にアクセスするためのメニューが表示されることを示している。画面右下隅４５には「終了」と書かれており、これは右キー５が押されると、ＯＣＲソフトウエア１９が終了することを示している。画面下中央４４には「選択（１）」と書かれており、これは、機能キー３が押されると、ＯＣＲのための領域の始点が定められることを示している。光景４１を見ると、画面中央領域に「Ｔｈｅｓｅ ｔｅｘｔ ａｒｅ ｔｏ ｂｅ ｅｘｔｒａｃｔｅｄ」の文字情報が存在する領域４２を見つけることができる。以下、この文字列をＯＣＲによって文字情報として取得することを例に取り、ＯＣＲソフトウエア１９の動作説明を続ける。

ステップ２において、領域選択モジュール３３は、画面２に映し出される現実世界の特定の場所を選択するため、２組の変数を準備する。以下、それぞれ第１の変数と第２の変数と呼ぶ。各々の変数は、画面上の２次元又は３次元の座標を内部パラメータとして有し、その初期値は画面２の中央位置に対応している。

ステップＳ３において、領域選択モジュール３３は、第１の変数の値に対応する画面２上の位置に、第１のポインタ７１を表示するようにＣＰＵ１０に指示する。第１のポインタ７１は、ＯＣＲのための領域の始点を指定するために用いられる。第１の変数の初期値が画面中央に対応しているため、図６（ａ）に示されるように、第１のポインタ７１は、はじめ画面中央に固定されている。そこでユーザーは、カメラ付き携帯電話１を方向４７の方に手で動かすことで、ＯＣＲを行なうべき領域４２の左上隅が画面２の中央に映されるように、カメラ付き携帯電話１の空間的な位置を調節する。図６（ｂ）を参照のこと。調節が終わると、ユーザーは、機能キー３を押す。

ステップＳ４において、領域選択モジュール３３は、ＣＰＵ１０と協働し、機能キー３の押下を観測する状態に入っている。機能キー３が押されたことを検知すると、領域選択モジュール３３は、第２の変数の値に対応する画面２上の位置、すなわち画面中央に、第２のポインタ７２を表示するようにＣＰＵ１０に指示する（ステップＳ５）（図６（ｃ）参照）。第２のポインタ７２は、ＯＣＲのための領域の終点を指定するために用いられる。そこでユーザーは、第２のポインタ７２が領域４２の右下隅が、画面中央に映し出されるように、カメラ付き携帯電話１を方向４８の方へ手で動かす。ユーザーがカメラ付き携帯電話１を動かしている間、ユーザーは機能キー３を押したままである。

このとき、領域選択モジュール３３は、動き検出モジュール３６を利用して、カメラ付き携帯電話１の動きを観測する状態に入っている（ステップＳ６）。カメラ付き携帯電話１が動かされたことを検知すると、領域選択モジュール３３は、第１の変数の値をカメラ付き携帯電話１の動きを補償するように変化させ、さらに第１のポインタ７１を第１の変数の新しい値に対応する画面２上の位置に表示し直すように、ＣＰＵ１０に指示する。この結果、第１のポインタは、方向４８とは逆の方向４９の向きに、画面２上を移動する。従って、第１のポインタ７１がポイントしている光景４１の場所は、カメラ付き携帯電話１が移動しても画面２上では変わらない。言葉を換えると、第１のポインタ７１は、最初にポイントした現実世界の場所を、画面２上で追跡する。追跡精度は動き検出モジュール３６の精度に依存する。このように画面２に映る光景は変化しても、図６（ｃ）に示されるように、第１のポインタ７１は、相変わらず領域４２の左上隅をポイントしている。従ってステップＳ４においてユーザーが機能キーを押したことは、あたかも現実世界の一点に印を付けたような効果をもたらすこととなる。

第２の変数の値は画面中央を指しているので、第２のポインタ７２もまた画面２の中央に固定されている。領域選択モジュール３３は、第１の変数と第２の変数とで定まる画面２上の矩形領域７３を、蛍光色などでハイライト表示するようにＣＰＵ１０に指示する（ステップＳ８）。これにより、ユーザーは、選択しようとする領域のプレビューを現実世界の光景に重ねて確認することができる。

ユーザーが機能キーを押してＯＣＲ領域の始点を選択した後、画面２の中央下部４４の表示は「選択（２）」と変わる。これは、機能キー３が離されると、ＯＣＲ領域の終点が選択されることを示している。

ステップＳ９において、領域選択モジュール３３は、ＣＰＵ１０と協働し、機能キー３が離されることを観測する。ＯＣＲ領域の終点を選択するため、ユーザーは、領域４２の右下隅が画面２の中央に表示されるように、カメラ付き携帯電話１を手で移動する。すると図６（ｄ）に示すように、第２のポインタ７２が領域４２の右下隅をポイントする。第１のポインタ７１は表示されていない。これは、第１の変数に対応する位置が、画面２の外にあるからである。

機能キー３が離されたことを観測すると、領域選択モジュール３３は、動き検出モジュール３６を利用して、再びカメラ付き携帯電話１の動きを観測する状態に入る（ステップＳ１１）。カメラ付き携帯電話１が動いたことを検知すると、領域選択モジュール３３は、第１の変数と第２の変数の両方の値を、カメラ付き携帯電話１の動きを補償するように変化させる。さらに第１及び第２のポインタと、矩形領域７３をそれぞれ第１の変数及び第２の変数の新しい値に対応する画面上の位置に表示し直すように、ＣＰＵ１０に指示する。この結果、矩形領域７３内に表示される現実世界の光景は、カメラ付き携帯電話１が動かされても、変化しなくなる。ユーザーは、選択した現実世界の範囲を画面２の中で見ることができる。

ユーザーが機能キー３を離してＯＣＲ領域の終点を選択した後、画面２の中央下部４４の表示は「決定」と変わる。これは、次に機能キー３が押されると、矩形領域７３がＯＣＲのための領域として決定されることを示している。つまり、矩形領域７３内の光景がカメラモジュール７によって撮影され、得られた画像データに対してＯＣＲが適用される。そこで所望の文字列を得るには、図６（ｆ）に示すように、矩形領域７３を全て画面２に表示されるようにカメラ付き携帯電話１の空間位置を調節する必要がある。

図６（ｅ）に示されるように、ユーザーは、選択した領域７３全てを画面２上に表示させるべく、カメラ付き携帯電話１を方向４９の方へ動かす。すると、領域選択モジュール３３は、第１のポインタ７１や第２のポインタ７２、矩形領域７３を、カメラ付き携帯電話１の動きを補償するように、画面上を方向５０の方へ移動する（ステップＳ１２）。矩形領域７３は、蛍光色などでハイライト表示される（ステップＳ１３）。ユーザーは、画面が図６（ｆ）の状態になるまでカメラ付き携帯電話１を動かす。

領域選択モジュール３３は、再び機能キー３の押下を観測する（ステップＳ１４）。機能キー３が押されると、領域選択モジュール３３は、領域７３を、ＯＣＲ動作を行なう動作領域と定める（ステップＳ１５）。このように、ユーザーは、簡単なキー操作と直感的な手の動きによって、現実世界の光景を画面２で見ながら、現実世界に印を付けるようにして、ＯＣＲ領域を選択することができる。従って、非常に直感的かつ効率的なユーザーインターフェースが実現される。

続いてＯＣＲソフトウエア１９は、カメラ制御モジュール３４によって上記動作領域の光景を撮影し、当該領域の画像データを構築するように、ＣＰＵ１０又はカメラモジュール７の制御プログラムに指示を出す（ステップＳ１６）。当該処理領域内のみの情報を有する画像データを得るための実装方法には２つの方法が考えられる。その１つは、ＣＣＤ駆動部２５が、ＣＰＵ１０の制御によって、当該処理領域に対応する画素からのみデータ採取を行なうように、ＣＣＤセンサ２４を制御する方法である。もう１つはＣＣＤセンサ２４の全ての画素を使って撮影を行ない、得られた画像データの中からＣＰＵ１０が必要なデータのみを抽出する方法である。

さらにＯＣＲソフトウエア１９は、加速度センサ１３ａから加速度情報を得るようにＣＰＵ１０に指示を出す。得られた加速度情報は、カメラ付き携帯電話１の傾きを表しており、ステップＳ１６で得られた画像データを補正するために用いられる（ステップＳ１７）。傾きを補正することにより、ＯＣＲの精度を向上させることが期待できる。なお、加速度センサ１３ａを用いた傾き補正機能は、ユーザーの選択により無効にできるようにすることができる。

ステップＳ１８では、ＯＣＲソフトウエア１９のＯＣＲモジュール３５がＣＰＵ１０と協働して、カメラ制御モジュール３４によって得られた画像データにＯＣＲを適用し、文字情報を抽出する。ＯＣＲのアルゴリズムは既に知られており、処理速度や電力消費・言語などの条件が合えば、如何なるアルゴリズムを用いてもよい。このＯＣＲ処理によって、図６（ｆ）で符号７３で示された領域の光景に存在した、「Ｔｈｅｓｅ ｔｅｘｔ ａｒｅ ｔｏ ｂｅ ｅｘｔｒａｃｔｅｄ」という文字情報が抽出されることができる。さらにＯＣＲモジュール３５は、ＯＣＲによって得られた文字情報を、アプリケーション間又はアプリケーション内でデータを転送するための共有メモリ空間に保存するように、ＣＰＵ１０に指示する（ステップＳ１９）。このため、ＯＣＲソフトウエア１９によって得られた文字情報は、カメラ付き携帯電話１にインストールされている、様々なアプリケーションから利用することができる。このようなアプリケーションとは、例えばテキストエディタ、ワードプロセッサ、電子メモ、メッセージングアプリケーション、インターネットブラウザなどである。共有メモリ空間はＤＲＡＭ１７の中に設けられる。ステップＳ２５ではＯＣＲソフトウエア１９が動作を終了する。

なお、ステップＳ６やステップＳ１１において、動き検出モジュール３６が、カメラ付き携帯電話１の動きの大きさが所定の閾値を越えたことを検出した場合は、画面２にエラーメッセージを表示し（ステップＳ２１）、機能キー３が押されると、ＯＣＲソフトウエア１９を初期化する（ステップＳ２２）。これは、そのような大きな動きが、動き検出モジュール３６の正確性を保証することが困難にするからである。

このように、本発明によるカメラ付き携帯電話１は、ＯＣＲ動作のために選択した領域を、現実世界の光景に画面２の中で重ねて見ることを可能とし、従ってユーザーが現実世界と処理領域との関係を直感的に理解することを可能とする。さらに本発明によるカメラ付き携帯電話１においては、ＯＣＲのための処理領域の設定から画像データ採取、ＯＣＲの実行までの全ての処理が、機能キー３を押して離すという単純なキー操作によって完了する。このためユーザーは、直感的かつ効率的に現実世界の文字情報に関わることができ、また直感的かつ効率的に現実世界の文字情報をカメラ付き携帯電話１に取り込むことが可能となる。このような文字情報は、単なるテキストである他に、Ｅ−ｍａｉｌアドレス、ＵＲＬ、電話番号など、様々であることができる。取り込んだ文字情報は、電子メモやＭＭＳ等のアプリケーションに貼付けることができる。このようにカメラ付き携帯電話１は、あたかもパーソナル・コンピュータにおけるコピー＆ペースト操作のような方法で、現実世界の情報を取得することができる。

別の実施態様において、領域選択モジュール３３は、次のように構成することもできる。

領域選択モジュール３３は、起動すると変数を１つ準備する。図７（ａ）に示されるように、領域選択モジュール３３は、その変数の初期値に対応する画面２の中央にポインタ８１を表示する。ユーザーは、選択したい現実世界の領域の中央が、画面中央に映し出されるようにカメラ付き携帯電話１を手で動かして調節し、機能キー３を押す。

機能キー３が押されると、領域選択モジュール３３は、動き検出モジュール３６の助けを借りて、上記変数の値をカメラ付き携帯電話１の動きを補償するように変化させる。さらに領域選択モジュール３３は、ポインタ８１を上記変数の新しい値に対応する画面２上の位置に表示し直すように、ＣＰＵ１０に指示する。従って、ポインタ８１がポイントする現実世界の場所は、カメラ付き携帯電話１が動いても変化しない。図７（ｂ）を参照する。ユーザーが、機能キー３を押したまま、カメラ付き携帯電話１を下方向５５に動かすと、ポインタ８１は画面の上方向５６に移動する。

領域選択モジュール３３は、ポインタ８１の初期位置に輝点８２を表示し続ける。さらに領域選択モジュール３３は、ポインタ８１と輝点８２との距離を半径とし、ポインタ８１の位置を中心とする楕円８３を画面２上に表示するように、ＣＰＵ１０に指示する。楕円８３は蛍光色でハイライト表示される。ポインタ８１が動くと楕円８３の位置も更新される。従って、楕円８３が囲む現実世界の場所は、カメラ付き携帯電話１が動いても変化しない。

ユーザーが機能キー３を離すと、領域選択モジュール３３は、楕円８３の半径を固定する。領域選択モジュール３３は、ポインタ８１を、カメラ付き携帯電話１の動きを補償するように画面２上を移動させ続け、それに伴って楕円８３も画面２上を移動させられる。ユーザーは、楕円８３が画面２上の適当な位置に来るようにカメラ付き携帯電話１を手で動かして調節する（図７（ｃ）参照）。

カメラ付き携帯電話１は、楕円８３で囲まれた領域を、ピント及びホワイトバランスを調節する領域として利用する。楕円８３が移動すると、ＣＰＵ１０は、レンズモータ２３及び前段処理部２６を制御して、ピントやホワイトバランスを調節し直す。従ってユーザーは、画面２ のどの場所に対してもピントやホワイトバランスを合わせることができる。ユーザーは機能キー３を再び押すと、画面２に映る光景を写真に撮影することができる。

このように、ユーザーは、簡単なキー操作と直感的な手の動きによって、現実世界の光景を画面２で見ながら、現実世界に印を付けるようにして、ピントを合わせる領域を選択することができる。従って、非常に直感的かつ効率的なユーザーインターフェースが実現される。

以上、本発明を好適な実施例を用いて説明したが、本発明の実施態様は他にも様々なバリエーションがあり、本発明の範囲内で様々な変形が可能である。例えば、領域選択モジュール３３や動き検出モジュール３６は、別のソフトウエアから呼び出されて用いられることも可能である。また領域選択モジュール３３によって指定された液晶画面２上の領域は、当該領域の写真を撮る必要のない目的にも使用されうる。例えばＯＳ２１やカメラモジュール７の制御ソフトウエアは、当該領域を、ピントを合わせたりホワイトバランスを調節したりする領域として用いることができる。また、当該選択領域の内部を電子ズームで拡大するような利用も可能である。さらに、写真に当該領域内のみ色やフレームを付けるという利用も可能である。さらにカメラ付き携帯電話１は、加速度センサのみならず、ジャイロセンサや磁気センサを備え、これらの出力を撮影した画像の補正に用いるように構成することもできる。本発明による電子装置は、領域選択モジュール３３を使用する機能を２つ以上備えていてもよい。このような実施態様では、電子装置は機能を切り替えるユーザーインターフェースを備える必要がある。例えば、当該動作領域の画像データにＯＣＲをかける動作とＭＭＳやＥ−ｍａｉｌ等のメッセージングアプリケーションによって送信する準備をする動作とを切り替えることができるように、本発明による電子装置を構成することが可能である。

本発明によるカメラ付き携帯電話１の外観図を描いた図である。 カメラ付き携帯電話１によるプレビュー時の動作を描いた図である。 カメラ付き携帯電話１のハードウエア構成を示した略ブロック図である。 本発明によるＯＣＲソフトウエア１９のソフトウエア構造を示した略ブロック図である。 ＯＣＲソフトウエア１９の動作を説明するためのフローチャートである。 ＯＣＲソフトウエア１９動作中における液晶画面２の表示の様子を描いた図である。 本発明による領域選択モジュール３３の別の実施態様を説明するための図である。

符号の説明

１ カメラ付き携帯電話
２ 液晶画面
３ 機能キー
４ 左キー
５ 右キー
６ テンキー
７ カメラモジュール
１８ フラッシュメモリ
１９ ＯＣＲソフトウエア
２１ オペレーティングシステム
２２ レンズ
２３ レンズモータ
２４ ＣＣＤセンサ
２５ ＣＣＤ駆動部
２６ 前段処理部
２７ 画像データ構築部
２８ バス２８
３３ 領域選択モジュール
３４ 撮影モジュール
３５ ＯＣＲモジュール

Claims (21)

1. 電子装置であって、
   ・ 撮像素子と、
   ・ 前記撮像素子を用いて得られる映像を表示するスクリーンと、
   ・ 前記電子装置の動きを検出する動き検出手段と、
   ・ 前記スクリーン上の位置に関連すると共に所定の選択動作に関連する変数と、
   を有し、さらに、
   ・ 前記選択操作を契機として、前記電子装置の動きを補償するように前記動き検出手段を利用して前記変数の値を刻々と変化させ、
   ・ 前記変数の値に基づき前記電子装置の動作に関する動作領域を定める
   ように構成される、電子装置。
2. それぞれ前記スクリーン上の独自の位置に関連すると共に独自の選択動作に関連する複数の変数を有し、前記複数の変数の値に基づき前記動作領域を定める、請求項１に記載の電子装置。
3. 前記変数の値に関連する位置を前記スクリーン上に標示するように構成される、請求項１又は２に記載の電子装置。
4. 前記変数の初期値は前記スクリーンの中央位置に関連する、請求項１から３のいずれかに記載の電子装置。
5. 前記電子装置は、前記変数の値に基づいて前記スクリーン領域を定め、前記スクリーン領域を前記スクリーン上に標示するように構成される、請求項１から４のいずれかに記載の電子装置。
6. 前記動作領域の形は矩形に定められ、１回目の前記選択操作に関連する前記変数は前記矩形の左上隅に対応し、２回目の前記選択に関連する前記変数は前記矩形の右下隅に対応する、請求項２から５のいずれかに記載の電子装置。
7. 前記動作領域の形は、前記変数の値と、当該変数の初期値との距離を半径とする円又は楕円に定められる、請求項１から６のいずれかに記載の電子装置。
8. 前記電子装置はさらにキーを備え、１回目の前記選択操作は前記キーを押すことであり、２回目の前記選択操作は前記キーを離すことである、請求項２から７のいずれかに記載の電子装置。
9. 前記動き検出手段は、加速度センサ、ジャイロセンサ、磁気センサのいずれか１つ以上を備える、請求項１から８のいずれかに記載の電子装置。
10. 前記動き検出手段は、連続したフレームを比較する画像処理手段を有する、請求項１から９のいずれかに記載の電子装置。
11. 前記動作は、前記動作領域の光景を前記撮像素子で撮影して画像データを取得することを含む、請求項１から１０のいずれかに記載の電子装置。
12. ＯＣＲ手段をさらに備え、前記動作は、前記画像データから前記ＯＣＲ手段によって文字情報を抽出することを含む、請求項１１に記載の電子装置。
13. 前記動作は、前記動作領域のピントを合わせること、及び／又はホワイトバランスを合わせること含む、請求項１から１１のいずれかに記載の電子装置。
14. 筐体は手持ちサイズであり、前記スクリーンは前記筐体の前面に配置され、前記撮像素子への入射口は背面に配置された、請求項１から１３のいずれかに記載の電子装置。
15. 電子装置であって、撮像素子と、前記撮像素子を用いて得られる映像を表示するスクリーンと、前記電子装置の動きを検出する動き検出手段とを有する電子装置のためのコンピュータ・プログラムであって、
    ・ 前記スクリーン上の位置に関連すると共に所定の選択動作に関連する変数とをさらに有し、
    さらに、
    ・ 前記選択操作を契機として、前記電子装置の動きを補償するように前記動き検出手段を利用して前記変数の値を刻々と変化させ、
    ・ 前記変数の値に基づき前記コンピュータ・プログラムの機能に関する動作領域を定める
    ように、前記電子装置に指示するように構成される、コンピュータ・プログラム。
16. それぞれ前記スクリーン上の独自の位置に関連すると共に独自の選択動作に関連する複数の変数を有し、前記複数の変数の値に基づき前記動作領域を定めるように前記電子装置に指示する、請求項１５に記載のコンピュータ・プログラム。
17. 請求項１５又は１６に記載のコンピュータ・プログラムであって、
    ・ 前記変数の値に関連する位置を前記スクリーン上に標示するように前記電子装置に指示する手段と、
    ・ 前記変数の値に基づいて前記スクリーン領域を定め、前記スクリーン領域を前記スクリーン上に標示するように前記電子装置に指示する手段と、
    を備えるコンピュータ・プログラム。
18. 前記動作領域の形を矩形に定め、１回目の前記選択操作に関連する前記変数を前記矩形の左上隅に対応させ、２回目の前記選択に関連する前記変数を前記矩形の右下隅に対応させるように、前記電子装置に指示する請求項１５から１７に記載のコンピュータ・プログラム。
19. 請求項１５から１８に記載のコンピュータ・プログラムであって、
    ・ 前記機能は、前記動作領域の光景を前記撮像素子で撮影して画像データを取得するように前記電子装置に指示する手段と、
    ・ 前記電子装置と協働して前記画像データからＯＣＲ処理によって文字情報を抽出する手段と、
    を備えるコンピュータ・プログラム。
20. 前記動き検出手段が閾値を超える大きさの動きを検出すると、エラーメッセージを前記スクリーンに表示するように前記電子装置に指示する、請求項１５から１９に記載のコンピュータ・プログラム。
21. 電子装置であって、撮像素子と、前記撮像素子を用いて得られる映像を表示するスクリーンと、前記電子装置の動きを検出する動き検出手段とを有する電子装置のための動作に関する動作領域を定める方法であって、
    ・ 前記スクリーン上の位置に関連すると共に所定の選択動作に関連する変数を準備し、
    さらに、
    ・ 前記選択操作を契機として、前記電子装置の動きを補償するように前記動き検出手段を利用して前記変数の値を刻々と変化させるステップと、
    ・ 前記変数の値に基づき前記動作領域を定めるステップと、
    を備える方法。

Images