JP2004147025A - 画像処理装置およびそれを有する携帯端末装置 - Google Patents

Abstract

【課題】画像データを所定の向きに補正してファイル化することができ、画像データを補正する処理の負担が少ない画像処理装置およびそれを有する携帯端末装置を提供する。
【解決手段】画像処理装置２０は、ファイルシステム部２８によって画像撮像部２３によって生成された画像データをファイル化するときに、傾き検出手段２５によって検出された画像撮像部２３の撮像方向に平行な軸線まわりの傾斜状態に基づいて、画像データを所定の方向に回転して補正する。したがって、ファイル化された画像データを表示手段２２によって表示させた場合、画像が所定の向きに補正されているので、画像を見やすくすることができる。また画像撮像部２３で生成された画像データをファイル化するときだけ、画像処理部２７が、傾き検出手段２５が検出した傾斜状態に基づいて画像データを補正するので、画像処理部２７の処理の負担を低減させることができる。
【選択図】　　　図１

Description

【０００１】
【発明の属する技術分野】
本発明は、撮像機能付き携帯端末装置に好適に実施することができ、撮影時の装置の傾きに基づいて、撮像した画像データを補正する画像処理装置およびそれを有する携帯端末装置に関する。
【０００２】
【従来の技術】
たとえば携帯電話装置は、高性能化が進み、音声通話、データ通信に留まらず、ゲーム機能、スケジューラ機能、撮像機能、音楽再生機能などの通信には関係の無い機能が付加されるケースが増えている。特に、撮像機能については、電子メールなどで文字に加えて画像を用いることによって、より豊かな表現を行なうことができる点が利用者に支持されており、このため撮像機能を実現する画像処理装置を有する携帯電話装置は急速に普及してきている。
【０００３】
撮像機能を実現する画像処理装置を有する電子機器、たとえば上述した携帯電話装置および電子スチルカメラなどでは、撮像する画像を確認するために、撮像手段によって撮像した画像を表示するビューファインダーとして液晶表示パネルなどの表示手段が設けられる。この表示手段は、それぞれの電子機器の形状に合わせた形状とされる。
【０００４】
図１５は、従来の携帯端末装置である携帯電話装置１の正面図であり、図１６は、携帯電話装置１の背面図である。携帯電話装置１は、撮像レンズおよび荷結合素子（略称ＣＣＤ）など含み、背面側に臨んで撮像レンズが設けられる撮像手段２、正面側に臨んで表示面が設けられ、液晶表示パネルなどによって実現される表示手段３およびアンテナ４などを備える。
【０００５】
たとえば、携帯電話装置１の場合、図１５に示すように表示手段３は縦長であることが多いので、撮像手段２の受光面もそれに合わせて縦長とする場合が多い。このような撮像手段２において、たとえば横長の被写体を撮像する場合、縦長の受光面に被写体を全て入れ込もうとすると、画像全体に対して被写体が相対的に小さくなってしまう問題がある。
【０００６】
また携帯電話装置１では、操作者が自己を撮影する場合も多く、この場合には被写体までの距離が短くなってしまうので、撮像手段２の受光面が縦長であると、被写体が受光面内に入りきらなくなってしまう問題もある。
【０００７】
図１７は、携帯電話装置１の正面から見て、撮像方向に平行な軸線まわりに右方向に９０°傾けた状態の携帯電話装置１を示す図であり、図１８は、携帯電話装置１の正面から見て、撮像方向に平行な軸線まわりに左方向に９０°傾けた状態の携帯電話装置１を示す図である。上述した問題は、図１７および図１８に示すように、携帯電話装置１を撮像方向に垂直な面内で左右いずれかの方向に９０°傾けて撮影することによって解決することができるが、撮像手段によって生成された画像データをファイル化した場合、このファイルの画像は縦長の解像度となる。
【０００８】
したがって、表示手段３を所定の方向から見て、この表示手段３にファイル化した画像データを表示させたときに、図１５，図１７および図１８に示した状態で撮像手段によって生成された画像データでは、画像の見え方が異なってしまう。
【０００９】
図１９は、図１５に示す状態で撮像手段２によって生成された画像データを、表示手段３に表示させ、所定の方向から見た画像４を例示的に示す図であり、図２０は図１７に示す状態で撮像手段２によって生成された画像データを、表示手段３に表示させ、所定の方向から見た画像５を例示的に示す図であり、図２１は図１８に示す状態で撮像手段２によって生成された画像データを、表示手段３に表示させ、所定の方向から見た画像６を例示的に示す図である。なお、図１９〜図２１に示す画像４〜６は、同一の被写体人物を撮像したときの画像である。
【００１０】
図１９〜図２１に示すように、画像データを表示手段３によって表示させる場合、撮像したときの撮像手段２の状態に基づいて表示されるので、表示手段３の長手方向を上下方向とすると、図２０および図２１に示される画像４，５では、画像の上下方向に対して、表示手段３の上下方向が異なっている。したがって、表示される画像が見難くなり、たとえば図２０および図２１に示される画像を見やすくするためには、画像を撮像方向に対して傾けた方向とは逆方向に９０°回転させる処理などが必要となる。
【００１１】
つまり、上述した携帯電話装置１によって、撮像方向の軸線まわりに傾斜した状態で撮像手段２によって撮影した場合、表示手段３に表示される画像を見やすくするためには、撮像した画像データを表示させる毎に回転して表示させるか、もしくは携帯電話装置１自体を傾けて閲覧しなければならず、画像を利用する利用者が、画像を見やすくするような操作を行なう必要があるといった問題点がある。
【００１２】
このような問題に鑑み、第１の従来の技術では、画像データ内に撮像時の装置の傾き状態を示す傾き情報を保存しておくことによって、撮像した画像を表示する装置において、その情報を元に画像データを補正して表示している。（たとえば、特許文献１参照）。
【００１３】
また第２の従来技術では、装置の傾きを検出する検出手段と、撮像した画像データを送出する撮像手段と、検出手段からの傾き検出情報に対応して画像データを傾きのない状態に補正する補正手段と、画像データを常に補正手段によって補正する、または画像データを補正しないかを選択する選択手段とを備え、選択手段に基づいて、画像データの傾きを補正している。（たとえば、特許文献２参照）。
【００１４】
【特許文献１】
特開平１１−３４１３２４号公報
【特許文献２】
特開２００１−１６０９５８号公報
【００１５】
【発明が解決しようとする課題】
第１の従来の技術では、傾き情報を解釈することができない装置では、その傾き情報を利用することができず、画像の傾きを補正することができないという問題がある。
【００１６】
第２の従来の技術では、傾き検出手段の検出に基づいて画像データを補正手段によって補正する場合には、常に画像データを補正するので、補正手段の処理の負担が増大してしまうといった問題がある。
【００１７】
本発明の目的は、画像データを所定の向きに補正してファイル化することができ、かつ画像データを補正する処理の負担を減少させることができる画像処理装置およびそれを有する携帯端末装置を提供することである。
【００１８】
【課題を解決するための手段】
本発明は、被写体を撮像して画像データを生成する撮像手段と、
撮像手段によって生成された画像データをファイル化するファイル化手段と、
撮像手段の撮像方向に平行な軸線まわりの傾斜状態を検出する傾き検出手段と、
ファイル化手段が画像データをファイル化するときに、傾き検出手段によって検出された傾斜状態に基づいて、撮像手段で生成された画像データを所定の向きに補正する傾き補正手段とを含むことを特徴とする画像処理装置である。
【００１９】
本発明に従えば、撮像手段が被写体を撮像することによって生成する画像データをファイル化手段がファイル化するときに、傾き検出手段によって撮像手段の撮像方向に平行な軸線まわり傾斜状態に基づいて、傾き補正手段が画像データを所定の向きに補正することによって、画像データは所定の向きに補正された状態でファイル化される。撮像手段が撮像方向に平行な軸線まわりに傾斜した状態で、被写体を撮像したとしてもファイル化される画像データを所定の向きに補正するので、撮像するときに撮像手段の軸線まわりの傾斜を気にすることなく撮像することができ、撮影するときの操作者の負担を軽減することができる。
【００２０】
ファイル化された画像データを、たとえば表示装置などに表示させると、傾きが補正された画像が表示されるので、表示された画像を回転させる操作などを行なう必要が無い。したがって、ファイル化された画像データを表示手段などによって表示させて閲覧するときの操作者の負担を軽減することができる。
【００２１】
ファイル化手段によってファイル化されるときだけ、傾き補正手段は画像データを補正するので、第２の従来の技術の画像処理装置と比較して、画像の傾きを補正する補正手段の処理量を低減させることができ、画像データを補正する補正手段の処理の負担を軽減させることができる。
【００２２】
また本発明は、前記補正手段が画像データを補正する否かを選択する選択手段を含むことを特徴とする。
【００２３】
本発明に従えば、選択手段によって補正手段が画像データを補正する否かを選択することができるので、補正手段に画像データを補正しないことを選択した場合には、撮像手段によって生成された画像データをそのままファイル化させることができる。したがって、撮影時の画像データの補正に対する選択上の自由度が向上する。
【００２４】
また本発明は、前記傾き補正手段は、前記傾き検出手段によって検出された傾斜状態が予め定める範囲内である場合に、画像データを所定の向きに補正することを特徴とする。
【００２５】
本発明に従えば、傾き検出手段によって検出された傾斜状態が予め定める範囲内である場合、つまり撮像手段が、撮像方向に平行な軸線まわりに傾斜して、予め定める傾斜状態となった場合に、補正手段は、撮像した画像データを所定の方向に補正する。したがって、撮像した画像を補正する必要がある範囲を予め定めておくことによって、傾斜状態が予め定める範囲内のときだけ、傾き補正手段によって画像データを補正することができ、補正手段の処理の負担が軽減される。
【００２６】
また本発明は、前記予め定める範囲を設定する設定手段を含むことを特徴とする。
【００２７】
本発明に従えば、設定手段によって予め定める範囲を設定することができる、つまり撮像手段が撮像方向に平行な軸線まわりに傾斜したときに、その傾斜状態で撮像手段によって生成された画像データを補正するか否かを撮像者が設定することができるので、撮影時の画像データの補正に対する選択上の自由度が向上する。
【００２８】
また本発明は、前記画像処理装置を有する携帯端末装置であって、
表示部を有し、
前記傾き検出手段は、表示部に表示される画像の上下方向と、表示部の上下方向とが一致するように画像データを補正することを特徴とする携帯端末装置である。
【００２９】
本発明に従えば、携帯端末装置が有する表示部の上下方向と、この表示部に表示される画像の上下方向とが一致するので、ファイル化された画像データを表示部に表示させたとき、表示部に表示される画像が見やすくなる。携帯端末装置では、撮像手段によって被写体を撮像するときに手ぶれなどが発生しやすいので、傾き補正手段が撮像した画像の上下方向が撮像した表示部の上下方向と一致させるように画像データを補正することによって、手ぶれなどを気にすることなく撮像することができ、携帯端末装置での撮像を容易にすることができる。
【００３０】
【発明の実施の形態】
図１は、本発明の実施の一形態の画像処理装置２０の構成を示すブロック図であり、図２は画像処理装置２０を有する携帯端末装置２１の構成を示すブロック図である。なお、図１では表示手段２２を同時に示している。
【００３１】
画像処理装置２０は、撮像手段である画像撮像部２３、記憶手段であるメモリ部２４、傾き検出手段２５、傾き検出設定手段２６、画像処理部２７、およびファイル化手段であるファイルシステム部２８を含む。
【００３２】
画像撮像部２３は、撮像レンズと、電荷結合素子（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ；略称ＣＣＤ）イメージセンサおよび相補型モス（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ
Ｓｅｍｉｃｏｎｄｕｃｔｏｒ；略称ＣＭＯＳ）イメージセンサなどの撮像素子と、赤色（Ｒ），緑色（Ｇ），青色（Ｂ）の３色のカラーフィルタと、マイクロレンズアレイと、増幅部と、アナログ／デジタル（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ；略称Ａ／Ｄ）変換部とを含む。
【００３３】
画像撮像部２３では、被写体で反射され撮像レンズを介して入射した光を、カラーフィルタを通してＲ，Ｇ，Ｂの３色光にして、Ｒ，Ｇ，Ｂの３色光をそれぞれ撮像素子によって電気信号に変換したのち、Ｒ，Ｇ，Ｂの３色光のそれぞれに対応した電気信号を増幅部によって増幅し、増幅部で増幅されたＲ，Ｇ，Ｂに対応したアナログの電気信号をＡ／Ｄ変換部によってデジタルの電気信号に変換して、画像データを生成する。
【００３４】
メモリ部２４は、作業メモリ領域３１および表示メモリ領域３２を有する。メモリ部２４は、たとえばランダムアクセスメモリ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ；略称ＲＡＭ）などの揮発性記録媒体によって実現される。
【００３５】
作業メモリ領域３１は、画像撮像部２３によって生成された画像データを一時的に記憶し、また後述する画像処理部２７およびファイルシステム部２８などによって処理される画像データを一時的に記憶する。
【００３６】
表示メモリ領域３２は、表示手段２２に表示させる画像データを記憶する。
傾き検出手段２５は、画像撮像部２３の撮像方向に平行な軸線まわりの傾斜状態、具体的には、画像撮像部２３の撮像レンズの光軸に平行な軸線まわりの傾斜状態を検出する。
【００３７】
図３および図４は、傾き検出手段２５である傾斜センサの一例を示す図である。図３は、傾斜センサの側面図であり、図４は傾斜センサの上面図である。傾斜センサは、透過型フォトインタラプタ４０と、ディスク部４１とを有する。透過型フォトインタラプタ４０は、遮光性樹脂から成る断面が略コ字形状のホルダ４２と、ホルダ４２の端部４３に設けられる一対の軸受４４とを有している。ディスク部４１は、ディスク４５と、ディスク４５に固定され、ディスク４５の中心を貫通するとともに透過型フォトインタラプタ４０の軸受４４によって回転自在に支持された回転軸４６とを有する。ホルダ４２の一方の端部４３Ａには、発光素子である赤外線発光ダイオードが設けられ、他方の端部４３Ｂには、赤外線発光ダイオードに対向して、受光素子であるフォトトランジスタが設けられる。
【００３８】
ディスク４５には、回転軸線Ｌ１のまわりを略一周し、周方向に徐々に半径方向の幅が変化するスリット４７が形成される。ディスク４５が回転軸線Ｌ１まわりに回転すると、スリット４７によって、赤外線発光ダイオードからフォトトランジスタへ照射される光の量が変化する。
【００３９】
ディスク４５には、重り４８が設けられる。重り４８は、スリット４７の回転軸線Ｌ１まわりの中央部の近傍であって、スリット４７を塞がないようにディスク４５の外縁部に設けられる。ディスク４５の重り４８が重力によって最も低い位置となるように、ディスク４５が回転し、ディスク４５は重力によって静止位置に保たれる。重り４８は、ディスク４５が回転しても、ホルダ４２に接触しないように設けられる。
【００４０】
ディスク部４１の回転軸４６は、画像撮像部２３の撮像方向、ここでは撮像レンズの光軸に平行に設けられる。本実施の形態において、前記平行とは略平行を含む。透過型フォトインタラプタ４０は、携帯端末装置２１に固定される。
【００４１】
図５は、ディスク４５が回転軸線Ｌ１まわりに変位したときのフォトトランジスタの出力電流を示すグラフである。図５では、ディスク４５の半径方向でスリット４７の幅が最も小さくなる位置Ａから、ディスク４５の半径方向でスリット４７の幅が最も大きくなる位置Ｂまで、ディスク４５を回転させた場合のフォトトランジスタの出力電流を示す。フォトトランジスタの出力電流は、位置Ａから位置Ｂまで、一次関数によって表される。
【００４２】
図５に示すように、傾きセンサでは、ディスク４５のフォトインタラプタに対する相対的な回転角度に応じて、フォトトランジスタの出力電流が変化するので、その出力電流からセンサ本体の傾き角度を得ることができる。スリット４７の周方向の中央部、つまり一端部である位置Ａから他端部である位置Ｂの中央位置Ｃを基準位置とし、この基準位置でのフォトトランジスタの出力電流を傾きが無い状態として傾斜センサを通信端末装置２１に設けると、フォトトランジスタの出力電流が増加または減少することによって、画像撮像部２３の撮像方向に平行な軸線まわりの傾斜方向および傾斜角度を検出することができる。上述した構成の傾きセンサを用いることによって、撮像方向、つまり撮像レンズの光軸が、鉛直方向に平行となる場合を除いて、画像撮像部２３の傾斜状態を検出することができる。
【００４３】
傾き補正設定手段２６は、傾き検出手段２５によって検出した画像撮像部２３の傾斜状態に基づいて、画像撮像部２３によって生成された画像データを後述する画像処理部２７が補正するか否かを選択する選択手段であるとともに、画像データを画像処理部２７に補正させる場合には、画像データを補正する範囲を設定する設定手段である。
【００４４】
傾き補正設定手段２６は、補正選択スイッチと、補正範囲設定キーとを含む。傾き補正設定手段２６の補正選択スイッチを操作することによって、傾き検出手段２５の検出を停止することができ、これによって画像処理部２７は画像データの傾きを補正しない。画像処理装置２０では、携帯端末装置２１が傾斜した状態であっても、その傾斜した状態で画像撮像部２３によって生成された画像データを補正するか否かを操作者が設定することができ、操作者にとって撮影時の画像データの補正に対する選択上の自由度が向上する。
【００４５】
傾き補正設定手段２６における補正範囲の設定は、補正範囲設定キーを操作することによって行われる。補正範囲の設定については、後述する図９、図１２および図１３の説明で述べる。
【００４６】
画像処理部２７は、画像撮像部２３によって生成され、メモリ部２４の作業メモリ領域に格納されているＲ，Ｇ，Ｂで表される画像データを、輝度（Ｙ）と色差（Ｕ，Ｖ）とで表される画像データに変換し、またＹ，Ｕ，Ｖで表される画像データのホワイトバランス調整などを行なう。画像処理部２７は、メモリ部２４の作業メモリ領域３１から画像データを読出して、この画像データの処理を行った後、表示メモリ領域３２に記憶させる。
【００４７】
また画像処理部２７は、傾き補正手段であり、上述した傾き検出手段２５によって検出された傾斜状態に基づいて、画像データを所定の向きに補正する。
【００４８】
図６は、画像処理部２７が行なう画像データの補正を説明する図である。図６で、横軸は直交ＸＹ座標におけるＸ軸方向の位置を示し、縦軸は直交ＸＹ座標におけるＹ軸方向の位置を示す。ここでは、座標（ｘ１，ｙ１）を中心として、画像６１を角度θだけ回転させる補正を行なう場合について述べる。画像処理部２７は、画像６１を回転させるときに、アフィン変換を用いる。アフィン変換を、式（１）および式（２）に示す。画像６１の傾斜角度をθとすると、式（１）および式（２）によって、座標（ｘ１，ｙ１）を中心として角度θだけ回転した画像６２を得ることができる。ここでは、補正前の画像データの各画素の座標を（ｘ，ｙ）とし、補正後の画像データの各画素の座標を（ｘ´，ｙ´）とする。
ｘ´　＝　ｘｃｏｓθ＋ｙｓｉｎθ＋ｘ１　　　　　　　　　　…（１）
ｙ´　＝　−ｘｓｉｎθ＋ｙｃｏｓθ＋ｙ１　　　　　　　　　…（２）
【００４９】
また画像処理部２７は、画像データの符号化処理および圧縮処理された画像データの複号化処理を行なう。画像処理部２３は、たとえばＪＰＥＧ（Ｊｏｉｎｔ
Ｐｈｏｔｏｇｒａｐｈｉｃ　ｃｏｄｉｎｇ　Ｅｘｐｅｒｔ　Ｇｒｏｕｐ）によって画像データを符号化し、またＪＰＥＧによって符号化された画像データを復号化する。
【００５０】
ファイルシステム部２８は、画像データを所定の形式でファイル化する。ファイルシステム部２８は、画像処理部２７によって処理された画像データが、たとえばＪＰＥＧによって符号化されている場合には、このＪＰＥＧファイルを作成する。
【００５１】
携帯端末装置２１は、本実施の形態では携帯電話装置である。携帯端末装置２１は前述した画像処理装置２０の他に、表示手段２２、無線通信部５１、アンテナ５２、制御部５３、音声処理部５４、音声入力部５５、音声出力部５６および操作入力部５７を含む。
【００５２】
表示手段２２は、たとえば液晶表示パネルなどによって実現される。表示手段２２の表示面は、矩形状である。
【００５３】
無線通信部５１は、送受信周波数の設定、基地局から送信され、アンテナ５２で受信した信号の復調、アンテナ５２から基地局に送信する信号の変調などを行なう。
【００５４】
制御部５３は、中央演算処理装置（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）などによって実現され、内部に記憶される制御プログラムにしたがって、無線通信部５１、音声処理部５４、画像処理装置２０および操作入力部５７の各部を制御する。制御部５３は、無線通信部５１が復調したファイル化された文字データおよび画像データなどの受信データを所定の通信プロトコルに基づいて画像処理装置２０に送り、無線通信部５１が復調した音声データを音声処理部５４に送る。また制御部５３は、画像処理装置２０によって生成されたファイル化された文字データおよび画像データを無線通信部５１に送り、音声処理部５４からの音声データを無線通信部５１に送る。
【００５５】
音声処理部５４は、音声データを復号化して音声出力部５６に与え、また音声入力部５５から与えられる音声データを符号化して制御部５３に与える。
【００５６】
音声入力部５５は、たとえばマイクロフォンによって実現され、音声データを入力し、この音声データを音声処理部５４に与える。
【００５７】
音声出力部５６は、たとえばスピーカによって実現され、音声処理部５４から与えられる復号化された音声データに基づいて発音する。
【００５８】
操作入力部５７は、画像撮像部２３によって生成された画像データをファイルシステム部２８によってファイル化させるための命令を入力するシャッタボタン、番号および文字などを入力する情報入力キー、画像撮像部２３による撮像を開始する撮像モード選択キーなどを備える。操作者は、操作入力部５７の各キーを操作することによって、所定の情報を入力することができる。
【００５９】
図７は、携帯端末装置２１の外観を示す正面図であり、図８は携帯端末装置２１の外観を示す背面図である。携帯端末装置２１は、略扁平立方体形状のケーシング６４に、上述した画像処理装置２０、表示手段２２、無線通信部５１、アンテナ５２、制御部５３、音声処理部５４、音声入力部５５、音声出力部５６および操作入力部５７が設けられる。
【００６０】
ケーシング６４の厚み方向、すなわち図７の紙面に垂直な方向一方面側に臨んで表示手段２２の表示面が設けられ、ケーシング６４の厚み方向一方面側に臨んで入力操作部５７の各キーが設けられる。また、表示手段２２および入力操作部５７とは反対方向のケーシング６４の厚み方向他方面側に臨んで画像撮像部２３の撮像レンズが設けられる。ケーシング６４の長手方向と、表示手段２２の表示面の長手方向とは一致するように設けられる。
【００６１】
図７に示すように、携帯端末装置２１では、表示手段２２の表示面の長手方向を上下方向、言い換えると携帯端末装置２１の長手方向を上下方向としたとき、画像撮像部２３の撮像方向に平行な軸線まわりの傾きが無い状態であるとし、この状態を正立状態とする。
【００６２】
傾き検出手段２５の回転軸線Ｌ１は、撮像方向、つまり撮像レンズの光軸と平行に設けられ、正立状態のときにディスク４５の傾きが無い状態とする。
【００６３】
画像撮像部２３の解像度は、表示手段２２と同じ解像度とし、携帯端末装置２１が正立状態のときに上下方向が長手方向である矩形状とする。
【００６４】
次に、傾き補正設定手段２６で設定される補正範囲について説明する。
図９は、傾き補正設定手段２６によって設定される補正範囲を説明する図である。図９では、撮像方向に臨んで、正立状態から撮像方向に平行な軸線まわりに右に５５°傾斜させた携帯電話装置２１を、表示手段２２の表示面および入力操作部５７の各キーが臨む側から見て示している。なお、携帯電話装置２１の左右とは、携帯電話装置２１を正立状態としたときに、撮像者が携帯電話装置２１の表示手段２２の表示面および入力操作部５７の各キーが臨む側から見た携帯電話装置２１の左右とする。
【００６５】
携帯電話装置２１を正立状態としたときに、画像撮像部２３の撮像レンズの光軸に平行な軸、ここでは携帯電話装置２１の厚み方向に平行であって、正面側から見て携帯電話装置２１の略中心を通る軸から鉛直上方に向かう鉛直上方向線６９に対して、撮像方向に垂直な面内で左右４５°の角度に角度閾値を表す角度閾値線７０を設ける。つまり、鉛直上方向線６９に対して、撮像方向に臨んで左右４５°未満の範囲を、１８０°傾き補正範囲７１とし、鉛直上方向線６９に対して、撮像方向に臨んで左に４５°以上、左に１３５°未満までの範囲を左９０°傾き補正範囲７２とし、鉛直上方向線６９に対して、撮像方向に臨んで右に４５°以上、右に１３５°未満までの範囲を右９０°傾き補正範囲７３とし、鉛直上方向線６９に対して、撮像方向に臨んで右に１３５°以上、右に１８０°以下までの範囲と、鉛直上方向線６９に対して、撮像方向に臨んで左に１３５°以上、左に１８０°以下までの範囲を傾き無し範囲７４とする。
【００６６】
傾き補正設定手段２６によって上述したような４つの範囲７１〜７４を設定する。画像処理部２７は、傾斜センサのフォトトランジスタの出力電流に基づいて、重力が作用する向きを示す重力下方向線７５が上述した４つの範囲のうちのどの範囲にあるかを検出することによって、傾斜状態を判断する。
【００６７】
具体的には、上述した範囲に対応するフォトトランジスタの出力電流の閾値を設け、実際のフォトトランジスタの出力電流を検出することによって、重力下向線７５が上述した補正範囲７１〜７４のどの範囲にあるかを判断する。
【００６８】
重力下方向線７５が、１８０°傾き補正範囲７１内であれば、画像処理部２７は画像データを右または左向きに１８０°回転し、左９０°補正範囲７２内であれば、画像処理部２７は画像データを左に９０°回転し、右９０°補正範囲７３内であれば、画像処理部２７は画像データを右に９０°回転し、傾き無し範囲７４であれば、画像処理部２７は画像データの補正を行なわない。
【００６９】
たとえば、図９に示す通信端末装置２１では、撮像方向に臨んで撮像方向に平行な軸線まわりに右に５５°傾斜しているので、重力下方向線７５が右９０°傾き補正範囲内７３となり、画像処理部２７では、右に９０°画像データを回転させる処理を行なう。つまり、画像データを表示手段２２に表示させたときに表示される画像が、表示手段２２の表示面が臨む側から見て、右に９０°回転するように、画像処理部２７によって画像データが補正される。
【００７０】
図１０は、携帯端末装置２１を正立状態、または正立状態から撮像方向に臨んで左右いずれかに１８０°傾斜させて撮像した画像データを、携帯端末装置２１を正立状態として表示手段２２に表示させた画像８１を例示的に示す図であり、図１１は、携帯端末装置２１を正立状態から左右いずれかに９０°傾斜させて撮像した画像データを、携帯端末装置２１を正立状態として表示手段２２に表示させた画像８２を例示的に示す図である。なお、図１０および図１１では、携帯端末装置２１によって同じ被写体人物を撮像した場合を示している。図１０および図１１に示すように、画像処理装置２０は、表示手段２２に表示される画像の上下方向が表示手段２２の上下方向と一致するように画像データを補正した後ファイル化する。
【００７１】
これによって、ファイル化された画像データを、携帯端末装置２１を正立状態として表示手段２２に表示させた場合、正立状態で撮像した場合であっても、正立状態から撮像方向に平行な軸線まわりに９０°傾けた状態で撮像した場合であっても、表示手段２２には被写体人物像８３が同じ向きに表示される。このように、画像撮像部２３が撮像方向に平行な軸線まわりに傾斜した状態で、被写体を撮像したとしてもファイル化される画像データは所定の向きに補正されるので、撮像するときに画像撮像部２３の軸線まわりの傾斜を気にすることなく撮像することができ、撮影するときの操作者の負担を軽減することができる。
【００７２】
また、ファイル化された画像データを表示手段２２などに表示させると、傾きが補正された画像が表示されるので、表示された画像を見やすくするために、表示させるときに表示された画像を回転させる操作などを行なう必要が無い。したがって、ファイル化された画像データを表示手段２２などによって表示させて閲覧するときの操作者の負担を軽減することができる。
【００７３】
上述した傾き補正設定手段２６は、上述した補正範囲を任意に設定することができる。
【００７４】
図１２および図１３は、傾き補正設定手段２６によって設定される補正範囲を説明する図である。図１２および図１３では、撮像方向に臨んで、正立状態から撮像方向に平行な軸線まわりに右に５５°傾斜させた携帯電話装置２１を、表示手段２２の表示面および入力操作部５７の各キーが臨む側から見て示している。
【００７５】
たとえば、図１２に示すように、画像撮像部２３の撮像レンズの光軸に平行な軸、ここでは携帯電話装置２１の厚み方向に平行であって、正面側から見て携帯電話装置２１の略中心を通る軸から鉛直上方に向かう鉛直上方向線６９に対して、撮像方向に垂直な面内で左右６０°の角度に角度閾値を表す角度閾値線７０を設ける。鉛直上方向線６９に対して、撮像方向に臨んで左右６０°未満の範囲を、１８０°傾き補正範囲７１とし、鉛直上方向線６９に対して、撮像方向に臨んで左に６０°以上、左に１２０°未満までの範囲を左９０°傾き補正範囲７２とし、鉛直上方向線６９に対して、撮像方向に臨んで右に６０°以上、右に１２０°未満までの範囲を右９０°傾き補正範囲７３とし、鉛直上方向線６９に対して、撮像方向に臨んで右に１２０°以上、右に１８０°以下までの範囲と、鉛直上方向線６９に対して、撮像方向に臨んで左に１２０°以上、左に１８０°以下までの範囲を傾き無し範囲７４とする。
【００７６】
このように補正範囲を設定すると、たとえば図１２に示す携帯端末装置２１では、撮像方向に臨んで右に５５°傾斜しているが、画像処理部２７では、傾斜していないと判断して画像データを回転する処理を行なわない。
【００７７】
またたとえば、図１３に示すように、画像撮像部２３の撮像レンズの光軸に平行な軸、ここでは携帯電話装置２１の厚み方向に平行であって、正面側から見て携帯電話装置２１の略中心を通る軸から鉛直上方に向かう鉛直上方向線６９に対して、撮像方向に垂直な面内で左右３０°および９０°の角度に角度閾値を示す角度閾値線７０を設ける。鉛直上方向線６９に対して、撮像方向に臨んで左右３０°未満の範囲を、１８０°傾き補正範囲７１とし、鉛直上方向線６９に対して、撮像方向に臨んで左に３０°以上、左に９０°未満までの範囲を左１２０°傾き補正範囲７６とし、鉛直上方向線６９に対して、撮像方向に臨んで右に３０°以上、右に９０°未満までの範囲を右１２０°傾き補正範囲７７とし、鉛直上方向線６９に対して、撮像方向に臨んで左に９０°以上、左に１５０°未満までの範囲を左６０°傾き補正範囲７８とし、鉛直上方向線６９に対して、撮像方向に臨んで右に９０°以上、右に１５０°未満までの範囲を右６０°傾き補正範囲７９とし、鉛直上方向線６９に対して、撮像方向に臨んで右に１５０°以上、右に１８０°以下までの範囲と、鉛直上方向線６９に対して、撮像方向に臨んで左に１５０°以上、左に１８０°未満までの範囲を傾き無し範囲７４とする。
【００７８】
重力下方向線７５が、左１２０°傾き補正範囲７６内であれば、画像データを左向きに１２０°回転し、右１２０°補正範囲７７内であれば、画像データを右向きに１２０°回転し、左６０°補正範囲７８内であれば、画像データを左向き６０°回転し、右６０°補正範囲７９内であれば、画像データを右向きに６０°回転する。
【００７９】
このように補正範囲を設定すると、図１３に示す携帯端末装置２１では、撮像方向に臨んで右に５５°傾斜しているので、重力下方向線７５が右６０°傾き範囲７９内となり、画像処理部２７では、画像データを右方向に６０°回転させる処理を行なう。このように角度閾値を複数設定して、補正範囲を細かく設定することによって、精度の高い補正が可能となる。
【００８０】
本発明の実施のさらに他の形態では、傾き検出手段２５によって検出された傾斜角度だけ、画像データを所定の方向に回転させてもよい。これによって、精度の高い補正を行なうことができ、表示手段２２に表示される画像の上下方向と、表示手段２２の上下方向とを常に一致させることができるので、表示手段２２に表示される画像をより見やすくすることができる。
【００８１】
図１４は、携帯端末装置２１における画像データの補正処理動作を示すフローチャートである。操作者がシャッタキーを操作する、つまり画像撮像部２３によって生成された画像データをファイル化する命令が入力されると、ステップＳ１からステップＳ２に移り、シャッタキーが操作されたときに画像撮像部２３によって生成された画像データが作業メモリ領域３１に記憶して、ステップＳ３に移る。
【００８２】
ステップＳ３では、ステップＳ２で作業メモリ領域３１に記憶された画像データを読み出して、ＹＵＶ変換処理およびホワイトバランス調整を行なった後、この画像データを表示メモリ領域３２に記憶して、ステップＳ４に移る。
【００８３】
ステップＳ４では、制御部５３が、表示メモリ領域３２に記憶される画像データを表示手段２２に表示させて、ステップＳ５に移る。ステップＳ４で制御部５３が画像データを表示手段２２に表示させることによって、操作者は撮像した画像を確認することができる。
【００８４】
ステップＳ５では、傾き補正設定手段２６は、撮像方向に平行な軸線まわりの傾きを検出するように選択されているか否かを判断する。ステップＳ５で、傾き検出手段２５による傾きの検出を行なうように選択されている場合、ステップＳ６に移り、傾き検出手段２５による傾きの検出を停止するように選択されている場合、ステップＳ７に移る。
【００８５】
ステップＳ６では、ステップＳ４で表示メモリ領域３２に記憶された画像データを作業メモリ領域３１に格納し、この画像データを読み出して、画像処理部２７が、傾き検出手段２５が検出した傾斜状態に基づいて、画像データを補正して、ステップＳ７に移る。
【００８６】
ステップＳ７では、画像処理部２７が画像データを符号化処理して、この画像データを作業メモリ領域３１に記憶させ、ステップＳ８に移る。
【００８７】
ステップＳ８では、ファイルシステム部２８が、作業メモリ領域３１から符号化された画像データを読み出して、この画像データをファイル化して、ステップＳ９に移り、動作処理を終了する。
【００８８】
画像処理装置２０では、ファイルシステム部２８によって画像データをファイル化するときだけ、画像処理部２７が画像データを補正するので、第２の従来の技術の画像処理装置と比較して、画像の傾きを補正する画像処理部２７の処理量を低減させることができ、画像処理部２７の処理の負担を軽減させることができる。
【００８９】
上述した動作処理では、操作者がシャッタキーを操作することによって、画像データがファイル化されるが、本発明の実施の他の形態では、セルフタイマなどを設けて、操作者がタイマをセットすると、このセットした時間に応じた一定時間経過後に上述した図１４のフローチャートのステップＳ１からステップＳ２に移る構成としてもよい。
【００９０】
上述した通信端末装置２１は、携帯電話装置であるが、本発明の実施のさらに他の形態では、ＰＨＳ（Ｐｅｒｓｏｎａｌ　Ｈａｎｄｙｐｈｏｎｅ　Ｓｙｓｔｅｍ）であってもよい。また、本発明の携帯端末装置２１は、折り畳み式の携帯電話装置であってもよい。
【００９１】
また本発明の画像処理装置は、通信端末装置だけではなく、電子スチルカメラ、ノート型パーソナルコンピュータ、ＰＤＡ（Ｐｅｒｓｏｎａｌ　Ｄｉｇｉｔａｌ　Ａｓｓｉｓｔａｎｔ）などの電子機器に適用してもよい。また本実施の形態では、傾斜状態は傾斜角度であるが、傾斜状態は傾斜量などであってもよい。
【００９２】
【発明の効果】
以上のように本発明によれば、撮像手段が被写体を撮像することによって生成する画像データをファイル化手段がファイル化するときに、傾き検出手段によって撮像手段の撮像方向に平行な軸線まわり傾斜状態に基づいて、傾き補正手段が画像データを所定の向きに補正することによって、画像データは所定の向きに補正された状態でファイル化される。撮像手段が撮像方向に平行な軸線まわりに傾斜した状態で、被写体を撮像したとしてもファイル化される画像データは所定の向きに補正されるので、撮像するときに撮像手段の軸線まわりの傾斜を気にすることなく撮像することができ、撮影するときの操作者の負担を軽減することができる。
【００９３】
ファイル化された画像データを、たとえば表示装置などに表示させると、傾きが補正された画像が表示されるので、表示された画像を回転させる操作などを行なう必要が無い。したがって、ファイル化された画像データを表示手段などによって表示させて閲覧するときの操作者の負担を軽減することができる。
【００９４】
ファイル化手段によってファイル化されるときだけ、傾き補正手段は画像データを補正するので、第２の従来の技術の画像処理装置と比較して、画像の傾きを補正する補正手段の処理量を低減させることができ、補正手段の処理の負担を軽減させることができる。
【００９５】
また本発明によれば、選択手段によって補正手段が画像データを補正するか否かを選択することができるので、補正手段に画像データを補正しないことを選択した場合には、撮像手段によって生成された画像データをファイル化手段によって、そのままファイル化することができる。したがって、撮影時の画像データの補正に対する選択上の自由度が向上する。
【００９６】
また本発明によれば、傾き検出手段によって検出された傾斜状態が予め定める範囲内である場合、つまり撮像手段が、撮像方向に平行な軸線まわりに傾斜して、予め定める傾斜状態となった場合に、補正手段は、撮像した画像データを所定の方向に補正する。したがって、撮像した画像を補正する必要がある範囲を予め定めておくことによって、傾斜状態が予め定める範囲内のときだけ、傾き補正手段によって画像データを補正することができ、補正手段の処理の負担が軽減される。
【００９７】
また本発明によれば、設定手段によって予め定める範囲の傾斜状態を設定することができる、つまり撮像手段が撮像方向に平行な軸線まわりに傾斜したときに、その傾斜状態で撮像手段によって生成された画像データを補正するか否かを撮像者が設定することができるので、撮影時の画像データの補正に対する選択上の自由度が向上する。
【００９８】
また本発明によれば、携帯端末装置が有する表示部の上下方向と、この表示部に表示される画像の上下方向とが一致するので、表示部に表示される画像が見やすくなる。携帯端末装置では、撮像手段によって被写体を撮像するときに手ぶれなどが発生しやすいので、傾き補正手段が撮像した画像の上下方向が撮像した表示部の上下方向と一致させるように画像データを補正することによって、手ぶれなどを気にすることなく撮像することができ、携帯端末装置での撮像を容易にすることができる。
【図面の簡単な説明】
【図１】本発明の実施の一形態の画像処理装置２０の構成を示すブロック図である。
【図２】画像処理装置２０を有する携帯端末装置２１の構成を示すブロック図である。
【図３】傾き検出手段２５である傾斜センサの側面図である。
【図４】傾き検出手段２５である傾斜センサの平面図である。
【図５】ディスク４５が回転軸線Ｌ１まわりに変位したときのフォトトランジスタの出力電流を示すグラフである。
【図６】画像処理部２７が行なう画像データの補正を説明する図である。
【図７】携帯端末装置２１の外観を示す正面図である。
【図８】携帯電話装置２１の外観を示す背面図である。
【図９】傾き補正設定手段２６によって設定される補正範囲を説明する図である。
【図１０】携帯端末装置２１を正立状態、または正立状態から撮像方向に臨んで左右いずれかに１８０°傾斜させて撮像した画像データを、携帯端末装置２１を正立状態として表示手段２２に表示させた画像８１を例示的に示す図である。
【図１１】携帯端末装置２１を正立状態から左右いずれかに９０°傾斜させて撮像した画像データを、携帯端末装置２１を正立状態として表示手段２２に表示させた画像８２を例示的に示す図である。
【図１２】傾き補正設定手段２６によって設定される補正範囲を説明する図である。
【図１３】傾き補正設定手段２６によって設定される補正範囲を説明する図である。
【図１４】携帯端末装置２１における画像データの補正処理動作を示すフローチャートである。
【図１５】従来の携帯端末装置である携帯電話装置１の正面図である。
【図１６】携帯電話装置１の背面図である。
【図１７】携帯電話装置１の正面から見て、撮像方向に平行な軸線まわりに右方向に９０°傾けた状態の携帯電話装置１を示す図である。
【図１８】携帯電話装置１の正面から見て、撮像方向に平行な軸線まわりに左方向に９０°傾けた状態の携帯電話装置１を示す図である。
【図１９】撮像手段２によって生成された画像データを、表示手段３に表示させ、所定の方向から見た画像４を例示的に示す図である。
【図２０】撮像手段２によって生成された画像データを、表示手段３に表示させ、所定の方向から見た画像５を例示的に示す図である。
【図２１】撮像手段２によって生成された画像データを、表示手段３に表示させ、所定の方向から見た画像６を例示的に示す図である。
【符号の説明】
２０　画像処理装置
２１　通信端末装置
２３　画像撮像部
２５　傾き検出手段
２６　傾き補正設定手段
２７　画像処理部

Claims (5)

1. 被写体を撮像して画像データを生成する撮像手段と、
   撮像手段によって生成された画像データをファイル化するファイル化手段と、
   撮像手段の撮像方向に平行な軸線まわりの傾斜状態を検出する傾き検出手段と、
   ファイル化手段が画像データをファイル化するときに、傾き検出手段によって検出された傾斜状態に基づいて、撮像手段で生成された画像データを所定の向きに補正する傾き補正手段とを含むことを特徴とする画像処理装置。
2. 前記補正手段が画像データを補正する否かを選択する選択手段を含むことを特徴とする請求項１記載の画像処理装置。
3. 前記傾き補正手段は、前記傾き検出手段によって検出された傾斜状態が予め定める範囲内である場合に、画像データを所定の向きに補正することを特徴とする請求項１または２記載の画像処理装置。
4. 前記予め定める範囲を設定する設定手段を含むことを特徴とする請求項３記載の画像処理装置。
5. 請求項１〜４のいずれか１つに記載の画像処理装置を有する携帯端末装置であって、
   表示部を有し、
   前記傾き検出手段は、表示部に表示される画像の上下方向と、表示部の上下方向とが一致するように画像データを補正することを特徴とする携帯端末装置。

Images