JP2014045404A

JP2014045404A - 携帯端末

Info

Publication number: JP2014045404A
Application number: JP2012187381A
Authority: JP
Inventors: Hideo Suzue; 秀雄鈴江
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2012-08-28
Filing date: 2012-08-28
Publication date: 2014-03-13

Abstract

【課題】メインカメラを用いて自分撮りを行う場合に、ユーザの意図する構図で本撮影画像が得られるまでに要する時間を短縮するとともに、所望の本撮影画像を取得する際の操作性を向上させることができる携帯端末を提供する。
【解決手段】サブカメラ１４及びメインカメラ２２のいずれかを選択カメラとして選択するカメラ選択部１０１と、選択カメラにより撮影された事前撮影画像を繰り返し取得する事前撮影制御部１０２と、ユーザによる取込指示に基づいて、選択カメラにより撮影された本撮影画像を取得する本撮影制御部１０４と、本撮影画像を保持する画像記憶手段と、サブカメラ１４の事前撮影画像を表示するプレビュー制御部１０３と、メインカメラ２２の事前撮影画像を、画像記憶手段に保持されているサブカメラ１４の本撮影画像と比較する比較部１０５と、比較結果に基づいてユーザ報知を行うユーザ報知部１０６により構成される。
【選択図】図６

Description

本発明は、携帯端末に係り、さらに詳しくは、メインカメラ及びサブカメラが薄型の筐体に設けられた携帯端末の改良に関する。

携帯電話機には、端末を保持するユーザが撮影者となって自分自身を撮影する自分撮り用のサブカメラをメインカメラとは別個に搭載したものがある。メインカメラは、薄型筐体の背面に設けられ、撮影中のプレビュー用の撮影画像は、薄型筐体の前面に設けられた表示画面上に表示される。一方、サブカメラは、ユーザを被写体として撮影しながらプレビュー画像を当該ユーザに閲覧させることによってユーザ自身に構図を確認させるために、薄型筐体の前面に設けられる。

このようにサブカメラを用いることにより、いわゆる自分撮りを行うことが容易になる。しかしながら、サブカメラは、本来の用途がテレビ電話のような簡易的な画像撮影を目的としたものである。また、携帯電話機の前面には表示装置が存在することから、大きなレンズ用開口部を有するサブカメラは携帯電話機としての意匠性を低下させる。一方、メインカメラのカメラとしての性能は携帯電話機の魅力の一部であり、出来るだけ高い性能のメインカメラが搭載できるように努力が払われている。

従って、一つの携帯電話機に搭載されるカメラであってもメインカメラとサブカメラとでは、感度、像の歪み、色の再現性など、いわゆるカメラの撮像性能に大きな相違が存在しており、いうまでもなくメインカメラを用いた撮影画像の方が高い品位を有している。

この様な従来の携帯端末では、メインカメラを用いて自分撮りを行う場合、メインカメラと表示画面とが薄型筐体の互いに反対側に配置されていることから、ユーザは撮影中のプレビュー画像を閲覧することができない。このため、ユーザの意図する構図で保存用の本撮影画像を取得するには、まず、メインカメラにより撮影された本撮影画像を取得して表示画面上に表示し、表示画面上の本撮影画像を閲覧させることによってユーザに構図を確認させる必要がある。そして、ユーザがメインカメラの位置や向きを変えることによって構図調整を行った後、再度本撮影画像を取得して表示し、ユーザに構図を確認させるという作業を繰り返さなければならず、所望の本撮影画像が得られるまでに長い時間を要するとともに、所望の本撮影画像を取得するまでの操作手順が極めて煩雑であるという問題があった。

なお、メインカメラと表示画面とを相対的に回転させる機構を設けることにより、メインカメラを用いた自分撮りを容易化することが考えられる。しかしながら、その様な構成では、携帯端末の構造が複雑化し、携帯端末が大型化してしまうという問題があった。また、携帯端末とは別個に鏡を用意し、鏡に自身を投影させた際の投影像をメインカメラで撮影することが考えられる。しかし、その様な構成では、鏡を別個に用意する必要があり、また、鏡の投影像にユーザだけでなく携帯端末も映り込んでしまうという問題があった。

従って、自分撮りを行う際にサブカメラを用いると、撮影自体は容易ではあるが撮影の品位が携帯電話機の有する最良の品位を持つカメラでの撮影とはならず、また、メインカメラを用いて自分撮りを行うと、携帯電話機の持つ最良の品位を持つカメラで撮影できるが、撮影には困難を伴うという問題が存在する。

また、特許文献１及び２には、表示画面とは反対側のカメラを用いた自分撮りを容易化する技術が提案されている。特許文献１に記載の携帯端末では、カメラにより撮影された画像データに基づいて、撮影者の顔領域を検出し、顔領域が予め定められた目標領域に入っているか否かに応じて、カメラの位置や向きの補正が撮影者に指示される。この様な構成では、目標領域が実際の撮影画像とは無関係に定められることから、画像内における撮影者と背景との位置関係といった構図を撮影中の画像によって確認しながら目標領域を定めることはできなかった。

特許文献２に記載の撮影装置では、まず、背景だけを撮影し、撮影画像に対してユーザの位置やサイズが指定される。そして、ユーザ自身を被写体として撮影し、撮影画像中のユーザの位置やサイズを検出して、予め指定された位置やサイズと比較し、その比較結果に基づいてユーザに対する誘導指示が生成される。この様な構成においても、ユーザの位置やサイズが背景画像に対して指定されることから、画像内におけるユーザと背景との位置関係といった構図を撮影中の画像によって確認しながらユーザの位置やサイズを指定することはできなかった。

特開２００８−１１８２７６号公報特開２０１１−１９０５１号公報

本発明は、上記事情に鑑みてなされたものであり、メインカメラを用いて自分撮りを行う場合に、ユーザの意図する構図で保存用の本撮影画像が得られるまでに要する時間を短縮するとともに、所望の本撮影画像を取得する際の操作性を向上させることができる携帯端末を提供することを目的とする。

特に、ユーザは、メインカメラの本撮影画像を取得する際に、メインカメラの事前撮影画像を閲覧しなくても、サブカメラの本撮影画像との関係をユーザ報知によって認識することができる携帯端末を提供することを目的とする。

また、本発明は、サブカメラの本撮影画像に対する被写体のずれ量をユーザ報知によって確認しながら、メインカメラの位置又は向きを変えて構図調整を行うことができる携帯端末を提供することを目的とする。

特に、ユーザ報知に従ってメインカメラの位置又は向きを変えることにより、メインカメラの事前撮影画像の構図をサブカメラの本撮影画像の構図に近づけることができる携帯端末を提供することを目的とする。

また、本発明は、サブカメラの画角がメインカメラよりも小さい場合においても、予めサブカメラの事前撮影画像によって確認した撮影範囲をメインカメラで撮影することができる携帯端末を提供することを目的とする。

また、本発明は、サブカメラの画角がメインカメラよりも大きい場合、サブカメラの事前撮影画像を閲覧しながら構図調整を行う際に、メインカメラの画角内で構図調整を行うことができる携帯端末を提供することを目的とする。

第１の本発明による携帯端末は、薄型筐体の前面に設けられたサブカメラと、上記薄型筐体の背面に設けられたメインカメラと、ユーザ操作に基づいて、上記サブカメラ及び上記メインカメラのいずれか一方を選択カメラとして選択するカメラ選択手段と、ユーザによる取込指示の前に、上記選択カメラにより撮影された事前撮影画像を繰り返し取得する事前撮影制御手段と、上記取込指示に基づいて、上記選択カメラにより撮影された保存用の本撮影画像を取得する本撮影制御手段と、上記本撮影画像を保持する画像記憶手段と、上記薄型筐体の上記前面に設けられ、上記サブカメラの上記事前撮影画像を表示する事前撮影画像表示手段と、上記メインカメラの上記事前撮影画像を、上記画像記憶手段に保持されている上記サブカメラの上記本撮影画像と比較する比較手段と、上記比較結果に基づいて、ユーザ報知を行うユーザ報知手段とを備えて構成される。

この携帯端末では、サブカメラが選択されている場合に、サブカメラにより撮影された事前撮影画像が繰り返し取得され表示される。ユーザは、この様な事前撮影画像のプレビュー表示によって構図を確認しながら、サブカメラによって撮影された保存用の本撮影画像を取り込むための取込指示を行うことができる。

一方、メインカメラが選択されている場合には、メインカメラにより撮影された事前撮影画像が繰り返し取得され、メインカメラの事前撮影画像が予め取得されたサブカメラの本撮影画像と比較され、その比較結果に基づいてユーザ報知が行われる。メインカメラの事前撮影画像とサブカメラの本撮影画像との比較結果に基づいてユーザ報知を行うので、メインカメラの事前撮影画像と、ユーザが意図する構図で取得されたサブカメラの本撮影画像との関係をユーザに報知することができる。このため、メインカメラの本撮影画像を取得する際に、ユーザは、メインカメラの事前撮影画像を閲覧しなくても、サブカメラの本撮影画像との関係をユーザ報知によって認識することができ、メインカメラの位置又は向きを変えて構図調整を行うことができる。

第２の本発明による携帯端末は、上記構成に加え、上記比較手段が、上記メインカメラの上記事前撮影画像及び上記サブカメラの上記本撮影画像からそれぞれ特徴点を抽出する特徴点抽出手段と、抽出された上記特徴点に基づいて、両画像間における同一被写体のずれ量を求めるずれ量算出手段とを有し、上記ユーザ報知手段が、上記ずれ量に基づいて、上記ユーザ報知を行うように構成される。

この様な構成によれば、メインカメラの事前撮影画像及びサブカメラの本撮影画像間で同一被写体のずれ量を求めてユーザ報知を行うので、サブカメラの本撮影画像に対する被写体のずれ量をユーザ報知によって確認しながら、メインカメラの位置又は向きを変えて構図調整を行うことができる。例えば、メインカメラの事前撮影画像において、ユーザがサブカメラの本撮影画像と比べてどの方向にどれだけずれているのかや、一定レベルを越えるずれが生じているか否かといったことをユーザ報知によって確認することができる。

第３の本発明による携帯端末は、上記構成に加え、上記ユーザ報知手段が、上記ずれ量が小さくなるように上記メインカメラの位置又は向きを変えることをユーザに促す報知を行うように構成される。

この様な構成によれば、ユーザ報知に従ってメインカメラの位置又は向きを変えることにより、被写体のずれ量が小さくなるので、メインカメラの事前撮影画像の構図をサブカメラの本撮影画像の構図に近づけることができる。

第４の本発明による携帯端末は、上記構成に加え、上記メインカメラの上記事前撮影画像から上記サブカメラの画角に相当する照合画像を抽出する照合画像抽出手段を備え、上記比較手段が、上記照合画像を上記サブカメラの上記本撮影画像と比較して、上記ずれ量を求めるように構成される。

この携帯端末では、メインカメラの事前撮影画像から抽出した照合画像を用いて被写体のずれ量が求められる。このため、サブカメラの画角がメインカメラよりも小さい場合においても、予めサブカメラの事前撮影画像によって確認した撮影範囲をメインカメラで撮影することができる。

第５の本発明による携帯端末は、上記構成に加え、上記サブカメラの上記事前撮影画像から上記メインカメラの画角に相当する照合画像を抽出する照合画像抽出手段を備え、上記事前撮影画像表示手段が、上記照合画像を表示するように構成される。

この携帯端末では、サブカメラの事前撮影画像から抽出した照合画像がプレビュー表示される。このため、サブカメラの画角がメインカメラよりも大きい場合、サブカメラの事前撮影画像を閲覧しながら構図調整を行う際に、メインカメラの画角内で構図調整を行うことができる。

第６の本発明による携帯端末は、上記構成に加え、上記事前撮影画像表示手段が、上記サブカメラの上記事前撮影画像を表示する場合に、当該事前撮影画像上に上記メインカメラの画角を表示するように構成される。

この携帯端末では、サブカメラの事前撮影画像上にメインカメラの画角が表示される。このため、サブカメラの画角がメインカメラよりも大きい場合、サブカメラの事前撮影画像を閲覧しながら構図調整を行う際に、メインカメラの画角内で構図調整を行うことができる。

第７の本発明による携帯端末は、上記構成に加え、上記ずれ量を取込判定閾値と比較し、上記メインカメラの本撮影画像の取込可否を判別する取込判別手段を備え、上記本撮影制御手段が、上記取込可否の判別結果に基づいて、上記メインカメラにより撮影された保存用の上記本撮影画像を取得するように構成される。この様な構成によれば、被写体のずれ量が取込判定閾値以下であるか否かに応じて、メインカメラにより撮影された保存用の本撮影画像を自動的に取得させることができる。

第８の本発明による携帯端末は、上記構成に加え、上記ずれ量を補正不可閾値と比較し、上記ずれ量の補正可否を判別する補正判別手段と、上記補正可否の判別結果に基づいて、上記ずれ量が小さくなるように上記メインカメラ内で光軸調整を行うずれ量補正手段とを備えて構成される。この様な構成によれば、被写体のずれ量が補正不可閾値以下であるか否かに応じて、ずれ量が小さくなるようにメインカメラ内で光軸調整を行わせることができる。

本発明による携帯端末では、メインカメラを用いて自分撮りを行う場合に、ユーザの意図する構図で保存用の本撮影画像が得られるまでに要する時間を短縮するとともに、所望の本撮影画像を取得する際の操作性を向上させることができる。

特に、ユーザは、メインカメラの本撮影画像を取得する際に、メインカメラの事前撮影画像を閲覧しなくても、サブカメラの本前撮影画像との関係をユーザ報知によって認識することができる。

また、本発明による携帯端末では、サブカメラの本撮影画像に対する被写体のずれ量をユーザ報知によって確認しながら、メインカメラの位置又は向きを変えて構図調整を行うことができる。特に、ユーザ報知に従ってメインカメラの位置又は向きを変えることにより、メインカメラの事前撮影画像の構図をサブカメラの本撮影画像の構図に近づけることができる。

また、本発明による携帯端末では、サブカメラの画角がメインカメラよりも小さい場合においても、予めサブカメラの事前撮影画像によって確認した撮影範囲をメインカメラで撮影することができる。

また、本発明による携帯端末では、サブカメラの画角がメインカメラよりも大きい場合、サブカメラの事前撮影画像を閲覧しながら構図調整を行う際に、メインカメラの画角内で構図調整を行うことができる。

本発明の実施の形態１による携帯端末の一構成例を示した斜視図であり、携帯端末の一例として、２つのカメラ１４，２２を備えた携帯電話機１が示されている。図１の携帯電話機１の使用態様の一例を模式的に示した説明図であり、サブカメラ１４を用いた自分撮りの様子が示されている。図１の携帯電話機１の使用態様の一例を模式的に示した説明図であり、メインカメラ２２を用いた自分撮りの様子が示されている。メインカメラ２２により撮影された事前撮影画像４をサブカメラ１４の本撮影画像と比較して、被写体５のずれ量が検出される様子を模式的に示した説明図である。図１の携帯電話機１内の機能構成の一例を示したブロック図である。図５のＣＰＵ３０の構成例を示したブロック図である。図５の携帯電話機１における自分撮り時の動作の一例を示したフローチャートである。図５の携帯電話機１における自分撮り時の動作の一例を示したフローチャートである。本発明の実施の形態２による携帯端末の一構成例を示したブロック図であり、ＣＰＵ３０の構成例が示されている。本発明の実施の形態３による携帯端末の一構成例を示したブロック図であり、ＣＰＵ３０の構成例が示されている。本発明の実施の形態４による携帯端末の一構成例を示したブロック図であり、携帯電話機１内の機能構成の一例が示されている。図１１のＣＰＵ３０の構成例を示したブロック図である。

実施の形態１．
＜携帯電話機１＞
図１は、本発明の実施の形態１による携帯端末の一構成例を示した斜視図であり、携帯端末の一例として、２つのカメラ１４，２２を備えた携帯電話機１が示されている。図中の（ａ）には、端末筐体１０の前面１１が示され、（ｂ）には、端末筐体１０の背面２１が示されている。

この携帯電話機１は、片方の手で保持することができる程度のサイズからなる端末装置であり、端末筐体１０、タッチパネル１２、操作キー１３ａ〜１３ｃ、サブカメラ１４、メインカメラ２２、フラッシュライト２３及びスピーカ２４により構成される。

端末筐体１０は、薄型で縦長の直方体形状からなる。タッチパネル１２、操作キー１３ａ〜１３ｃ及びサブカメラ１４は、端末筐体１０の前面１１に設けられ、メインカメラ２２、フラッシュライト２３及びスピーカ２４は、端末筐体１０の背面２１に設けられている。上記前面及び背面は、いずれも端末筐体１０の外面であり、側面や端面に比べて面積が大きく、互いに対向している。

タッチパネル１２は、矩形形状の表示画面を有する表示装置と、表示画面に対するタッチ操作を検出するタッチセンサにより構成される。表示画面には、端末状態や撮影画像が表示される。例えば、上記表示装置は、ＬＣＤ（液晶ディスプレイ）からなる。

操作キー１３ａ〜１３ｃは、各種機能が予め割り当てられ、ユーザの押下操作により、割り当てられている機能を実行するための物理キーである。例えば、操作キー１３ａは、前の画面に戻るためのリターンキーである。また、操作キー１３ｂは、ホーム画面を表示するためのホームキーである。また、操作キー１３ｃは、メニュー画面を表示するためのメニューキーである。

サブカメラ１４は、被写体を撮影して撮影画像を生成する第１の撮像装置である。このサブカメラ１４は、タッチパネル１２と端末筐体１０の長手方向の一方の端部との間に配置され、操作キー１３ａ〜１３ｃは、タッチパネル１２と端末筐体１０の長手方向の他方の端部との間に配置されている。

撮影画像には、事前撮影画像と本撮影画像とがある。事前撮影画像は、ユーザによる取込指示よりも前にタッチパネル１２の表示画面上に表示することにより、動画映像としてプレビュー表示するのに用いられる撮影画像であり、一定の時間間隔で繰り返し取得される。事前撮影画像のプレビュー表示により、画角内における被写体の位置やサイズといった構図を確認したり、露出値やホワイトバランス値といった撮影条件を確認することができる。

一方、本撮影画像は、ユーザによる取込指示に基づいて取得される保存用の撮影画像であり、静止画像からなる。サブカメラ１４は、端末筐体１０を保持するユーザが撮影者となって撮影を行う場合に、ユーザ自身がプレビュー表示中の事前撮影画像を閲覧することができることから、自分撮りに適したカメラである。つまり、ユーザは、サブカメラ１４の画角内においてタッチパネル１２の表示画面を視認することができる。

メインカメラ２２は、被写体を撮影して事前撮影画像や本撮影画像を生成する第２の撮像装置である。メインカメラ２２とサブカメラ１４とは、同程度の性能のカメラであっても良いが、ここでは、メインカメラ２２の方が高性能なカメラであるものとする。例えば、メインカメラ２２により撮影される本撮影画像は、サブカメラ１４により撮影される本撮影画像よりも解像度が高い。

メインカメラ２２とサブカメラ１４とは、いずれか一方が選択カメラとして選択される。選択カメラは、所定のユーザ操作、例えば、メニュー操作によって任意に指定することができる。サブカメラ１４が選択されている場合、サブカメラ１４により撮影された事前撮影画像が繰り返し取得され表示される。ユーザは、この様な事前撮影画像のプレビュー表示によって構図を確認しながら、サブカメラ１４によって撮影された本撮影画像を取り込むための取込指示を行うことができる。

フラッシュライト２３は、メインカメラ２２を用いて撮影を行う場合に、光量不足を補うための撮影用照明装置である。スピーカ２４は、受話音を出力するための音声出力装置である。

メインカメラ２２は、端末筐体１０を保持するユーザが撮影者となって撮影を行う場合に、事前撮影画像をタッチパネル１２の表示画面上にプレビュー表示したとしても、ユーザ自身はプレビュー表示中の事前撮影画像を閲覧することができないので、自分撮りに適したカメラではない。

本実施の形態による携帯電話機１では、事前撮影画像によって構図を確認しながら予め取得されたサブカメラ１４の本撮影画像とメインカメラ２２の事前撮影画像とを比較し、その比較結果に基づいてユーザ報知を行うことにより、メインカメラ２２を用いて自分撮りを行うことができる。

図２は、図１の携帯電話機１の使用態様の一例を模式的に示した説明図であり、サブカメラ１４を用いた自分撮りの様子が示されている。ユーザは、片方の手２で端末筐体１０を保持しつつ、自分自身が被写体となるようにサブカメラ１４をユーザ自身に向ける。

サブカメラ１４により撮影された事前撮影画像３は、タッチパネル１２の表示画面上にプレビュー表示される。例えば、サブカメラ１４は、端末筐体１０を立てた状態、すなわち、ユーザから見て端末筐体１０の長手方向が上下方向と一致する状態で使用される。

ユーザは、この様なプレビュー表示された事前撮影画像３によって構図や撮影条件が適切であるか否かを判断し、構図や撮影条件が適切であれば本撮影画像の取込指示を行う。一方、構図や撮影条件が適切でなければ、サブカメラの位置や向きを変えるといった構図調整を行う。

図３は、図１の携帯電話機１の使用態様の一例を模式的に示した説明図であり、メインカメラ２２を用いた自分撮りの様子が示されている。この図には、ユーザから見て、左右方向をｘ軸方向、奥行き方向をｙ軸方向、上下方向をｚ軸方向として、メインカメラ２２の位置や向きを調整する様子が示されている。メインカメラ２２を用いて自分撮りを行う場合、ユーザは、サブカメラ１４を用いた自分撮りを予め行っておく。

サブカメラ１４の本撮影画像が取得された後、ユーザは、端末筐体１０を反転させることにより、自分自身が被写体となるようにメインカメラ２２をユーザ自身に向ける。メインカメラ２２を用いた自分撮りの場合、メインカメラ２２により撮影された事前撮影画像をタッチパネル１２の表示画面上に表示したとしても、ユーザ自身が閲覧することはできない。

端末筐体１０を反転させる際の回転軸が、端末筐体１０上におけるサブカメラ１４とメインカメラ２２との位置関係によって予め定められる望ましい回転軸と異なる場合には、その旨がユーザに対して報知される。例えば、サブカメラ１４及びメインカメラ２２が共に端末筐体１０の上端部に配置されている場合、縦軸（ｚ軸）を回転軸として端末筐体１０を反転させる左右回転が望ましい。

また、サブカメラ１４又はメインカメラ２２のいずれか一方が端末筐体１０の上端部に配置され、他方が端末筐体１０の下端部に配置されていれば、横軸（ｘ軸）を回転軸として端末筐体１０を反転させる上下回転が望ましい。つまり、反転させる前のサブカメラ１４の位置と、反転させた後のメインカメラ２２の位置とが近くなるように、端末筐体１０を反転させるのが望ましい。

この携帯電話機１では、メインカメラ２２を用いた自分撮りの場合に、メインカメラ２２の事前撮影画像をタッチパネル１２の表示画面には表示せず、ＬＣＤのバックライトを消灯させる表示制御が行われる。この様な表示制御により、メインカメラ２２の事前撮影画像がユーザ以外の人に閲覧されるのを防ぐことができるとともに、無駄な電力消費を抑制することができる。

また、この携帯電話機１では、メインカメラ２２の事前撮影画像を予め取得されたサブカメラ１４の本撮影画像と比較し、両画像間でユーザがどの方向にどれだけずれているのかを検出してユーザ報知が行われる。メインカメラ２２の事前撮影画像は、左右反転させていない本撮影画像と比較される。

ユーザ報知は、メインカメラ２２の事前撮影画像とサブカメラ１４の本撮影画像との間でユーザの位置やサイズのずれが小さくなるように構図調整を行うことをユーザに促すものであり、フラッシュライト２３を点灯させたり、点滅させ、或いは、スピーカ２４から報知音や音声メッセージを出力することによって行われる。

例えば、メインカメラ２２の事前撮影画像及びサブカメラ１４の本撮影画像間でユーザの位置やサイズがどの方向にどれだけずれているのかを示す音声メッセージが出力される。或いは、両画像間におけるユーザのずれ量に応じて、報知音の出力間隔やフラッシュライト２３の点滅間隔を異ならせる報知制御が行われる。

この様なユーザ報知により、ユーザは、メインカメラ２２の事前撮影画像を閲覧しなくても、当該事前撮影画像においてユーザがサブカメラ１４の本撮影画像と比べてどの方向にどれだけずれているのかを認識することができる。或いは、ユーザは、一定レベルを越えるずれが生じているか否かをユーザ報知によって認識することができる。

ユーザは、ユーザ報知の報知内容を参考にしてメインカメラ２２の位置や向きを変えることにより、構図調整を行う。メインカメラ２２の位置は、端末筐体１０を保持している手２を移動させて、当該端末筐体１０をｘ，ｙ又はｚ軸方向へ移動させることにより、変化させることができる。

また、メインカメラ２２の向きは、端末筐体１０を保持している手２の手首を捻る動作によって、ｘ，ｙ又はｚ軸を中心として端末筐体１０を回転させることにより、変化させることができる。なお、メインカメラ２２がズーム機構を備えている場合には、ズームレンズの焦点距離を変更することによって、構図調整を行うこともできる。

また、この携帯電話機１では、メインカメラ２２の事前撮影画像及びサブカメラ１４の本撮影画像間におけるユーザのずれ量が一定レベル以下であるか否かに応じて、メインカメラ２２により撮影された本撮影画像を自動的に取得させることができる。

図４は、メインカメラ２２により撮影された事前撮影画像４をサブカメラ１４の本撮影画像と比較して、被写体５のずれ量が検出される様子を模式的に示した説明図である。図中の（ａ）には、サブカメラ１４の本撮影画像に対し、メインカメラ２２の事前撮影画像４内の被写体５が左方向にずれている場合が示され、（ｂ）には、被写体５のサイズにずれが生じている場合が示されている。

メインカメラ２２の事前撮影画像４とサブカメラ１４の本撮影画像との比較は、両画像からそれぞれ特徴点を抽出し、画像ごとに、画像内における特徴点の配列パターンから顔の輪郭を認識する。そして、各画像から抽出された被写体５の顔を両画像間で照合して、顔の位置やサイズのずれ量Ｘ_１，Ｘ_１１，Ｘ_１２，Ｚ_１１，Ｚ_１２を求めることによって行われる。

ずれ量Ｘ_１，Ｘ_１１，Ｘ_１２は、ｘ軸方向のずれ量であり、被写体５の顔がｘ軸方向にどれだけずれているのかを表している。ずれ量Ｚ_１１，Ｚ_１２は、ｚ軸方向のずれ量であり、被写体５の顔がｚ軸方向にどれだけずれているのかを表している。ユーザ報知は、この様なずれ量の検出結果に基づいて行われる。

図５は、図１の携帯電話機１内の機能構成の一例を示したブロック図である。この携帯電話機１は、ＬＣＤ１２ａ、タッチセンサ１２ｂ、サブカメラ１４、メインカメラ２２、フラッシュライト２３、スピーカ２４、ＣＰＵ３０、セルラー通信部３１、マイクロホン３２及びストレージメモリ３３により構成される。

ＬＣＤ１２ａは、タッチパネル１２の表示部であり、タッチセンサ１２ｂは、タッチパネル１２の操作検出部である。ＣＰＵ３０は、各デバイスを制御する主制御部である。セルラー通信部３１は、基地局と通信し、移動体通信網を介して他の通信端末と通話や電子メールの送受信を行う無線部である。マイクロホン３２は、送話音を入力するための音声入力装置である。ストレージメモリ３３には、メインカメラ２２やサブカメラ１４により撮影された本撮影画像が保持される。

＜ＣＰＵ３０＞
図６は、図５のＣＰＵ３０の構成例を示したブロック図である。このＣＰＵ３０は、カメラ選択部１０１、事前撮影制御部１０２、プレビュー制御部１０３、本撮影制御部１０４、比較部１０５、ユーザ報知部１０６、取込判定閾値記憶部１０７及び取込判別部１０８により構成される。

カメラ選択部１０１は、ユーザ操作に基づいて、メインカメラ２２又はサブカメラ１４のいずれか一方を選択カメラとして選択し、選択結果を事前撮影制御部１０２及び本撮影制御部１０４へ通知する。メインカメラ２２及びサブカメラ１４が両方同時に選択されることはない。

事前撮影制御部１０２は、ユーザによる取込指示の前に、選択カメラにより撮影された事前撮影画像を繰り返し取得し、プレビュー制御部１０３又は比較部１０５へ出力する。この事前撮影制御部１０２は、選択カメラの事前撮影画像に基づいて、露出値の自動調整を行うＡＥ（Auto Exposure）機能と、ホワイトバランス値の自動調整を行うＡＷＢ機能とを有する。これらの露出値やホワイトバランス値は、ユーザが任意に指定することもできる。

事前撮影制御部１０２では、メインカメラ２２を用いた自分撮りの場合、サブカメラ１４の事前撮影画像をプレビュー制御部１０３へ出力する一方、比較部１０５へは出力せず、また、メインカメラ２２の事前撮影画像を比較部１０５へ出力する一方、プレビュー制御部１０３へは出力しない。

メインカメラ２２を用いた自分撮り以外の場合には、サブカメラ１４の事前撮影画像やメインカメラ２２の事前撮影画像をプレビュー制御部１０３へ出力する一方、比較部１０５へは出力しない。プレビュー制御部１０３は、選択カメラの事前撮影画像を表示するためのプレビューデータを生成し、ＬＣＤ１２ａへ出力する。

本撮影制御部１０４は、ユーザによる取込指示に基づいて、選択カメラにより撮影された本撮影画像を取得し、ストレージメモリ３３内に格納する。本撮影画像は、事前撮影画像よりも解像度が高い。上記取込指示は、本撮影画像を取得するタイミングを規定する本撮影トリガであり、操作キー１３ａ〜１３ｃの押下操作又はタッチパネル１２に対するタッチ操作に基づいて生成される。

或いは、マイクロホン３２から入力された音声信号に基づいて、ユーザが発した音声メッセージを認識する音声認識の機能が搭載されている場合に、その様な音声認識機能を利用して取込指示を行うケースも考えられる。

この本撮影制御部１０４は、メインカメラ２２を用いた自分撮りの場合、サブカメラ１４により予め取得された本撮影画像に対し、ユーザが指定した露出値又はホワイトバランス値が撮影条件として適用されていれば、メインカメラ２２の本撮影画像に対しても、当該露出値又はホワイトバランス値をメインカメラ用に変換した換算値を撮影条件として適用する。

比較部１０５は、メインカメラ２２の事前撮影画像を、ストレージメモリ３３内に保持されているサブカメラ１４の本撮影画像と比較する画像照合部であり、両画像の比較結果をユーザ報知部１０６及び取込判別部１０８へ出力する。この比較部１０５は、特徴点抽出部１１１及びずれ量算出部１１２により構成される。

特徴点抽出部１１１は、メインカメラ２２の事前撮影画像とサブカメラ１４の本撮影画像からそれぞれ特徴点を抽出する。メインカメラ２２の事前撮影画像及びサブカメラ１４の本撮影画像間で解像度が異なる場合は、解像度の高い撮影画像の方を低解像度化することによって両撮影画像間における解像度合わせを行った後、特徴点抽出が行われる。

ずれ量算出部１１２は、抽出された特徴点に基づいて、両撮影画像間における同一被写体５のずれ量を求め、ユーザ報知部１０６及び取込判別部１０８へ出力する。具体的には、特徴点の配列パターンからユーザの顔を認識し、顔の輪郭線を両撮影画像間で比較することにより、ずれ量が求められる。

ユーザ報知部１０６は、比較部１０５の比較結果に基づいて、ユーザ報知を行うための報知制御信号を生成し、フラッシュライト２３及びスピーカ２４へ出力する。具体的には、ずれ量が小さくなるようにメインカメラ２２の位置又は向きを変えることをユーザに促す報知を行う。

取込判定閾値記憶部１０７には、メインカメラ２２の本撮影画像を取得して良いか否かを判定するための取込判定閾値Ｔｈｒ１が保持される。取込判別部１０８は、ずれ量算出部１１２により求められたずれ量を取込判定閾値Ｔｈｒ１と比較し、メインカメラ２２の本撮影画像の取込可否を判別し、その判別結果を本撮影制御部１０４へ出力する。

本撮影制御部１０４では、取込判別部１０８による取込可否の判別結果に基づいて、メインカメラ２２により撮影された本撮影画像を取得し、ストレージメモリ３３内に格納する。

図７及び図８のステップＳ１０１〜Ｓ１１７は、図５の携帯電話機１における自分撮り時の動作の一例を示したフローチャートである。まず、ＣＰＵ３０は、サブカメラ１４により撮影された事前撮影画像を繰り返し取得し、ＬＣＤ１２ａの表示画面上にプレビュー表示する（ステップＳ１０１，Ｓ１０２）。

次に、ＣＰＵ３０は、ユーザによる取込指示を検知すれば、当該取込指示に基づいて、サブカメラ１４により撮影された本撮影画像を取得する（ステップＳ１０３，Ｓ１０４）。ＣＰＵ３０は、本撮影画像を取得した後、ストレージへの保存の可否をユーザに照会し、ユーザがストレージへの保存を許可する操作を行えば、当該本撮影画像をストレージメモリ３３内に格納する（ステップＳ１０５，Ｓ１０６）。一方、ユーザがストレージへの保存を拒否すれば、ステップＳ１０１からステップＳ１０４までの処理手順が繰り返される。

次に、ＣＰＵ３０は、ストレージメモリ３３内に保持されているサブカメラ１４の本撮影画像から特徴点を抽出する（ステップＳ１０７）。また、本撮影画像の取込指示が検知されるまでの間に、露出値又はホワイトバランス値が撮影条件としてユーザにより指定されれば、これらの撮影条件を保存する（ステップＳ１０８）。

ＣＰＵ３０は、撮影条件を保存した後、選択カメラをメインカメラ２２に変更し、サブカメラ１４の撮影条件をメインカメラ用に変換した換算値を適用する（ステップＳ１０９，Ｓ１１０）。選択カメラの変更は、例えば、本撮影画像のストレージへの保存を許可するユーザ操作に基づいて自動的に行われる。

次に、ＣＰＵ３０は、メインカメラ２２により撮影された事前撮影画像を取得する（ステップＳ１１１）。ＣＰＵ３０は、取得した事前撮影画像から特徴点を抽出し、ストレージメモリ３３内のサブカメラ１４の本撮影画像から抽出した特徴点と比較してずれ量を算出する（ステップＳ１１２，Ｓ１１３）。

このとき、ＣＰＵ３０は、ずれ量が取込判定閾値Ｔｈｒ１以下であれば、メインカメラ２２により撮影された本撮影画像を取得し、ストレージメモリ３３内に格納する（ステップＳ１１４〜Ｓ１１６）。一方、ずれ量が取込判定閾値Ｔｈｒ１を上回っている場合には、ずれ量に基づくユーザ報知が行われ（ステップＳ１１７）、ステップＳ１１１からステップＳ１１４までの処理手順が繰り返される。

本実施の形態によれば、ユーザは、メインカメラ２２の本撮影画像を取得する際に、メインカメラ２２の事前撮影画像を閲覧しなくても、サブカメラ１４の本撮影画像との関係をユーザ報知によって認識することができる。

特に、メインカメラ２２の事前撮影画像及びサブカメラ１４の本撮影画像間で同一被写体のずれ量を求めてユーザ報知を行うので、サブカメラ１４の本撮影画像に対する被写体のずれ量をユーザ報知によって確認しながら、メインカメラ２２の位置又は向きを変えて構図調整を行うことができる。

また、ユーザ報知に従ってメインカメラ２２の位置又は向きを変えることにより、被写体のずれ量が小さくなるので、メインカメラ２２の事前撮影画像の構図をサブカメラ１４の本撮影画像の構図に近づけることができる。さらに、被写体５のずれ量が取込判定閾値Ｔｈｒ１以下であるか否かに応じて、メインカメラ２２により撮影された本撮影画像を自動的に取得させることができる。

実施の形態２．
実施の形態１では、メインカメラ２２の事前撮影画像を予め取得されたサブカメラ１４の本撮影画像と比較してユーザ報知を行う場合の例について説明した。これに対し、本実施の形態では、メインカメラ２２の事前撮影画像からサブカメラ１４の画角に相当する照合画像を抽出してサブカメラ１４の本撮影画像と比較する場合について説明する。

図９は、本発明の実施の形態２による携帯端末の一構成例を示したブロック図であり、ＣＰＵ３０の構成例が示されている。このＣＰＵ３０は、図６のＣＰＵ３０と比較すれば、照合画像抽出部１２１を備えている点で異なる。

照合画像抽出部１２１は、メインカメラ２２の事前撮影画像からサブカメラ１４の画角に相当する照合画像を抽出する。比較部１０５は、照合画像抽出部１２１により抽出された照合画像をサブカメラ１４の本撮影画像と比較して、ずれ量を求める。

本実施の形態によれば、サブカメラ１４の画角がメインカメラ２２よりも小さい場合においても、予めサブカメラ１４の事前撮影画像によって確認した撮影範囲をメインカメラ２２で撮影することができる。なお、メインカメラ２２の事前撮影画像からサブカメラ１４の画角に相当する照合画像を抽出し、サブカメラ１４の本撮影画像と比較してずれ量を求める場合、メインカメラ２２の画角の中央に予め定められる画像領域を照合画像として切り出すことが考えられる。この様に構成することにより、メインカメラ２２の位置や向きを変えて構図調整を行う際に、サブカメラ１４の事前撮影画像によって確認した構図がメインカメラ２２の画角の中央になるように誘導することができる。また、上述した様な構成では、メインカメラ２２の事前撮影画像ごとに、サブカメラ１４の構図と一致する画像領域をサーチする場合と比べて、ずれ量を求める際の処理負荷を低減させることができる。

実施の形態３．
実施の形態１では、サブカメラ１４の事前撮影画像を表示する場合の例について説明した。これに対し、本実施の形態では、サブカメラ１４の事前撮影画像からメインカメラ２２の画角に相当する照合画像を抽出して表示する場合について説明する。

図１０は、本発明の実施の形態３による携帯端末の一構成例を示したブロック図であり、ＣＰＵ３０の構成例が示されている。このＣＰＵ３０は、図６のＣＰＵ３０と比較すれば、照合画像抽出部１３１を備えている点で異なる。

照合画像抽出部１３１は、サブカメラ１４の事前撮影画像からメインカメラ２２の画角に相当する照合画像を抽出する。プレビュー制御部１０３は、メインカメラ２２を用いた自分撮りの場合、サブカメラ１４の事前撮影画像をプレビュー表示する際に、照合画像抽出部１３１により抽出された照合画像を表示するためのプレビューデータを生成し、ＬＣＤ１２ａへ出力する。

本実施の形態によれば、サブカメラ１４の画角がメインカメラ２２よりも大きい場合、サブカメラ１４の事前撮影画像を閲覧しながら構図調整を行う際に、メインカメラ２２の画角内で構図調整を行うことができる。

なお、実施の形態３では、サブカメラ１４の事前撮影画像からメインカメラ２２の画角に相当する照合画像を抽出して表示する場合の例について説明したが、本発明は、サブカメラ１４の画角がメインカメラ２２よりも大きい場合の動作をこれに限定するものではない。例えば、サブカメラ１４の事前撮影画像を表示する場合に、矩形枠を描画することにより、当該事前撮影画像上にメインカメラ２２の画角を表示するような構成であっても良い。

実施の形態４．
実施の形態１では、メインカメラ２２の事前撮影画像を予め取得されたサブカメラ１４の本撮影画像と比較して被写体のずれ量を求める場合の例について説明した。これに対し、本実施の形態では、ずれ量に基づいて補正可否を判別し、その判別結果に基づいて、ずれ量が小さくなるようにメインカメラ２２内で光軸調整を行う場合について説明する。

図１１は、本発明の実施の形態４による携帯端末の一構成例を示したブロック図であり、携帯電話機１内の機能構成の一例が示されている。この携帯電話機１は、図５の携帯電話機１と比較すれば、光学手振れ補正部４０を備えている点で異なる。

光学手振れ補正部４０は、メインカメラ２２内で光軸調整を行うことによって手振れ補正を行うためのユニットであり、加速度センサ４１及びレンズ駆動部４２により構成される。

加速度センサ４１は、端末筐体１０に生じる加速度の大きさ及び向きを検出する検出器である。例えば、ｘ，ｙ及びｚ軸方向の加速度をそれぞれ検出する３つのセンサ部に圧電素子を用いた３軸加速度センサが加速度センサ４１として用いられる。

レンズ駆動部４２は、選択カメラの本撮影画像を取得する際に、加速度センサ４１により検出された加速度の大きさ及び向きに基づいて、メインカメラ２２内の手振れ補正用の光学レンズを駆動することにより、光軸調整を行う。この光軸調整は、メインカメラ２２の撮像素子上における被写体の像が手振れによりずれるのを打ち消す方向に光軸を移動させることによって行われる。

図１２は、図１１のＣＰＵ３０の構成例を示したブロック図である。このＣＰＵ３０は、図６のＣＰＵ３０と比較すれば、補正不可閾値記憶部１４１及び補正判別部１４２を備えている点で異なる。

補正不可閾値記憶部１４１には、光学手振れ補正部４０によりずれ量の補正が可能であるか否かを判定するための補正不可閾値Ｔｈｒ２が保持される。補正判別部１４２は、ずれ量算出部１１２により求められたずれ量を補正不可閾値Ｔｈｒ２と比較し、ずれ量の補正可否を判別し、その判別結果に基づいて手振れ補正制御信号を生成し、光学手振れ補正部４０へ出力する。

つまり、被写体のずれ量が一定レベルを越えていれば、光学手振れ補正部４０を用いてずれ量を補正することが不可能であると判別される。一方、被写体のずれ量が一定レベル以下である場合には、光学手振れ補正部４０を用いてずれ量を補正することが可能であると判別される。

光学手振れ補正部４０では、補正可否の判別結果に基づいて、被写体のずれ量が小さくなるようにメインカメラ２２内で光軸調整を行う。具体的には、レンズ駆動部４２が、ＣＰＵ３０からの手振れ補正制御信号に基づいて、手振れ補正用の光学レンズを駆動する。

この様に構成することにより、被写体のずれ量が補正不可閾値Ｔｈｒ２以下であるか否かに応じて、ずれ量が小さくなるようにメインカメラ２２内で光軸調整を行わせることができる。

なお、実施の形態４では、加速度センサ４１の出力を利用して手振れ補正を行う場合の例について説明したが、加速度センサ４１の出力をメインカメラ２２の事前撮影画像と予め取得されたサブカメラ１４の本撮影画像との比較処理に用いても良い。例えば、サブカメラ１４の本撮影画像を取得した後、メインカメラ２２の本撮影画像を取得するまでの間に、ｚ軸を中心として端末筐体１０を回転させたのか、或いは、ｘ軸を中心として端末筐体１０を回転させたのかを加速度センサ４１の出力に基づいて判別する。メインカメラ２２の事前撮影画像と予め取得されたサブカメラ１４の本撮影画像との比較処理は、その様な回転方向の判別結果に基づいて行われる。

また、実施の形態１では、本撮影画像のストレージへの保存を許可するユーザ操作に基づいて、選択カメラをメインカメラ２２に変更する場合の例について説明したが、本発明は、メインカメラ２２を用いた自分撮り時に選択カメラをメインカメラ２２に変更する切り替えのトリガをこれに限定するものではない。例えば、加速度センサの出力を利用することにより、端末筐体１０を反転させる操作を検出して、選択カメラをメインカメラ２２に変更するような構成であっても良い。

１携帯電話機
１０端末筐体
１１端末筐体の前面
１２タッチパネル
１３ａ〜１３ｃ操作キー
１４サブカメラ
２１端末筐体の背面
２２メインカメラ
２３フラッシュライト
２４スピーカ
３０ＣＰＵ
３１セルラー通信部
３２マイクロホン
３３ストレージメモリ
４０光学手振れ補正部
４１加速度センサ
４２レンズ駆動部
１０１カメラ選択部
１０２事前撮影制御部
１０３プレビュー制御部
１０４本撮影制御部
１０５比較部
１０６ユーザ報知部
１０７取込判定閾値記憶部
１０８取込判別部
１１１特徴点抽出部
１１２ずれ量算出部
１２１，１３１照合画像抽出部
１４１補正不可閾値記憶部
１４２補正判別部
３サブカメラの事前撮影画像
４メインカメラの事前撮影画像
５被写体

Claims

薄型筐体の前面に設けられたサブカメラと、
上記薄型筐体の背面に設けられたメインカメラと、
ユーザ操作に基づいて、上記サブカメラ及び上記メインカメラのいずれか一方を選択カメラとして選択するカメラ選択手段と、
ユーザによる取込指示の前に、上記選択カメラにより撮影された事前撮影画像を繰り返し取得する事前撮影制御手段と、
上記取込指示に基づいて、上記選択カメラにより撮影された保存用の本撮影画像を取得する本撮影制御手段と、
上記本撮影画像を保持する画像記憶手段と、
上記薄型筐体の上記前面に設けられ、上記サブカメラの上記事前撮影画像を表示する事前撮影画像表示手段と、
上記メインカメラの上記事前撮影画像を、上記画像記憶手段に保持されている上記サブカメラの上記本撮影画像と比較する比較手段と、
上記比較結果に基づいて、ユーザ報知を行うユーザ報知手段とを備えたことを特徴とする携帯端末。
上記比較手段は、上記メインカメラの上記事前撮影画像及び上記サブカメラの上記本撮影画像からそれぞれ特徴点を抽出する特徴点抽出手段と、抽出された上記特徴点に基づいて、両画像間における同一被写体のずれ量を求めるずれ量算出手段とを有し、
上記ユーザ報知手段は、上記ずれ量に基づいて、上記ユーザ報知を行うことを特徴とする請求項１に記載の携帯端末。
上記ユーザ報知手段は、上記ずれ量が小さくなるように上記メインカメラの位置又は向きを変えることをユーザに促す報知を行うことを特徴とする請求項２に記載の携帯端末。
上記メインカメラの上記事前撮影画像から上記サブカメラの画角に相当する照合画像を抽出する照合画像抽出手段を備え、
上記比較手段は、上記照合画像を上記サブカメラの上記本撮影画像と比較して、上記ずれ量を求めることを特徴とする請求項２又は３に記載の携帯端末。
上記サブカメラの上記事前撮影画像から上記メインカメラの画角に相当する照合画像を抽出する照合画像抽出手段を備え、
上記事前撮影画像表示手段は、上記照合画像を表示することを特徴とする請求項１〜３のいずれかに記載の携帯端末。
上記事前撮影画像表示手段は、上記サブカメラの上記事前撮影画像を表示する場合に、当該事前撮影画像上に上記メインカメラの画角を表示することを特徴とする請求項１〜３のいずれかに記載の携帯端末。
上記ずれ量を取込判定閾値と比較し、上記メインカメラの本撮影画像の取込可否を判別する取込判別手段を備え、
上記本撮影制御手段は、上記取込可否の判別結果に基づいて、上記メインカメラにより撮影された保存用の上記本撮影画像を取得することを特徴とする請求項２〜４のいずれかに記載の携帯端末。
上記ずれ量を補正不可閾値と比較し、上記ずれ量の補正可否を判別する補正判別手段と、
上記補正可否の判別結果に基づいて、上記ずれ量が小さくなるように上記メインカメラ内で光軸調整を行うずれ量補正手段とを備えたことを特徴とする請求項２〜４又は７のいずれかに記載の携帯端末。