JP2009542059A - 画像姿勢を調整するデバイス及び方法 - Google Patents

Abstract

カメラデバイス（１）は、支持構造（１０）と、前記支持構造により担持される主カメラ（１６）と、前記支持構造により担持される補助カメラ（１５）とを備える。主カメラ（１６）が被写体の画像を撮像するために動作されると、補助カメラ（１５）はカメラデバイス（１）のユーザの画像を撮像する。姿勢検出器（１７）は、補助カメラ（１５）に接続され、補助カメラにより撮像された画像においてユーザの目及び口等の画像特徴を識別し且つ基準姿勢に対する画像の回転姿勢を判定する。データ格納デバイス（２０、２１）は、主カメラにより撮像された画像の画像データを、前記判定された回転姿勢に依存する姿勢で格納する。これにより、画像が撮像された際にカメラデバイスが保持されていた姿勢に関係なく、全ての画像が普通の姿勢で格納される。

Description

本発明は、デジタル写真技術に関し、特に、デジタルカメラデバイス及びカメラデバイスにおける画像処理方法に関する。更に詳細には、本発明は、画像が撮像された時にカメラデバイスがどのような姿勢であるかに関係なく、カメラデバイスにより撮像された画像が普通の姿勢で格納されるように、撮像画像の画像回転姿勢を調整する解決策に関する。本発明は、カメラの姿勢を設定するために補助カメラを利用し、テレビ会議用として構成されたカメラフォンにより実現するのに適している。

高画質の画像センサカメラが手頃になってきたことにより、デジタルカメラは過去１０年間に爆発的に普及した。光学部品及び電子部品の双方の小型化により、非常にコンパクトなカメラモジュールが実現され、これにより携帯電話にデジタルカメラを導入するのが一般的となっている。当初は静止画像カメラが採用されていたが、最新の携帯電話では、ビデオ録画カメラを備えるものが一般的となっている。内蔵デジタルカメラを有する携帯電話は、カメラフォンと呼ばれることが多い。

多くの場合、高画質画像、すなわち静止画像又は動画像を撮像する目的で、携帯電話は、数メガ画素の画像センサを含む主内蔵カメラを搭載する。主カメラを動作させる場合、通常、ディスプレイは主カメラにより現在撮像されている画像を提示するビューファインダとして使用される。従って、一般に、主カメラはディスプレイと逆方向に向けられる。ボタン等が押下されることで、スナップショットが撮影されたりビデオの録画が開始されたりする。撮像された画像は、電話機のメモリに格納され、ディスプレイ上に提示されるか又はＭＭＳを送出されることにより他のユーザと共有される。

ＷＣＤＭＡ等のいわゆる第３世代（３Ｇ）の携帯電話システムの導入以来、モバイルテレビ会議サービスも開発されてきている。通常のモバイルテレビ会議の場合、ユーザは内蔵カメラにより自身の顔のビデオ信号を取り込み、そのビデオ信号を相手側に送出する。その一方で、相手側から受信したビデオ信号を電話機のディスプレイ上に提示する。通常、ユーザ自身の顔が取り込まれた信号の小さな画像は、カメラが適切に向けられていることを保証するためにディスプレイ上のより小さなフレームに同時に提示される。このため、一般に、別個のテレビ会議カメラ又は補助カメラが含まれている。補助カメラは、ディスプレイの通常の表示方向と略同一方向、従って、主カメラに対して略逆方向に向けられている。テレビ会議システムは、必要とされる通信帯域幅を最小限にするためにＶＧＡ又はＱＣＩＦ等の非常に低い解像度を使用するように規定されている場合が多い。従って、テレビ会議カメラは非常に単純である。

携帯電話の主カメラにより撮像されるデジタル画像は、電話のディスプレイ又は接続された外部コンピュータ画面上に提示される。多くの場合、ユーザはカメラの姿勢を変更するなど任意の方法で自由に画像を構成する。水平又は「横向き」の姿勢がディスプレイ上に適切に表示される。しかし、垂直又は「縦向き」の姿勢を使用する場合でも、画像は使用された姿勢のままファイルに保管される。これは、９０度回転して表示されることを意味する。多くの携帯電話において、ユーザは適切な方向に画像を回転させるためにソフトウェアアプリケーションを使用している。しかし、これは手動操作であり、多くの画像を撮像した場合には非常に時間がかかる。これが行われないまま、画像のスライドショーを見ると、画像の姿勢が変化するたびに写真を回転させることが必要となる。コンピュータ画面又はＴＶで画像を見ている場合、このような操作を行うことは不可能である。

デジタルカメラの画像姿勢の問題は、携帯電話の技術ではなくデジタルカメラ自体の技術であり、デジタルカメラ自体においてある程度の自動画像姿勢調整についての解決策が種々提案されている。

Ｐａｒｕｌｓｋｉ他の米国特許第５，９００，９０９号公報には、被写体の静止画像に対応する画像信号を生成するための電子画像センサ及び被写体に対するカメラの姿勢を感知するための姿勢判定セクションを備える電子スチールカメラが開示されている。姿勢判定セクションは、被写体に対するカメラの垂直姿勢又は水平姿勢を認識する姿勢信号を提供する。画像プロセッサは、静止画像が所定の姿勢で画像プロセッサから出力されるように、姿勢信号に対応して画像信号を処理し且つその姿勢を補正する。このように、電子スチールカメラは、カメラにより出力される画像の姿勢に影響を及ぼすことなく、時計回り及び反時計回りの垂直「縦向き」の姿勢、並びに水平「横向き」の姿勢を含む被写体に対する種々の姿勢において位置決めされる。カメラの姿勢を判定するために、姿勢センサは、水銀スイッチ又はフォトインタラプタ型のスイッチの形態でカメラに配される。

Ｌｉｖｉｎｇｓｔｏｎによる米国特許出願公開第２００４／００１７５０６Ａ１号においても、同様の方法が開示されている。この方法によれば、カメラはカメラの姿勢を判定するように構成されたカメラ姿勢感知システムを含み、感知システムは傾いた姿勢でカメラ本体に対して固定して配置される姿勢センサを含むため、センサの縦方向の軸はカメラ本体の水平軸又は垂直軸のいずれに対しても平行とならない。一般に、各姿勢センサには水銀スイッチ等の重力スイッチが含まれる。

米国特許第５，９００，９０９号明細書 米国特許出願公開第２００４／００１７５０６Ａ１号明細書

しかし、スイッチ等の姿勢検出の物理的な補助手段が含まれることにより、コストは増加し、当該カメラデバイス内には多少の空間が必要となる。

本発明の一般的な目的は、デジタルカメラデバイスにより撮像されるデジタル画像の姿勢調整に対して改善された手段を提供することである。

本発明の第１の面によると、この目的はカメラデバイスを利用することにより達成される。カメラデバイスは、
支持構造と、
前記支持構造により担持される主カメラと、
前記支持構造により担持される補助カメラと、
前記補助カメラに接続され、前記補助カメラにより撮像された画像の画像特徴を識別し且つ基準姿勢に対する該画像の回転姿勢を判定する姿勢検出器と、
前記主カメラにより撮像された画像の画像データを、前記判定された回転姿勢に依存する姿勢で格納するデータ格納デバイスとを備える。

一実施形態において、前記主カメラは主視野を有し、前記補助カメラは前記主視野とオーバラップしない補助視野を有する。

一実施形態において、前記主カメラは主視野を有し、前記補助カメラは補助視野を有し、前記主視野及び前記補助視野は略逆方向に向けられている。

一実施形態において、前記カメラデバイスは、前記支持構造により担持され、前記主カメラのビューファインダとしての役割を果たし且つ前記補助カメラの視野内にある標準的な表示方向を有するディスプレイデバイスを備える。

一実施形態において、前記姿勢検出器は、前記補助カメラにより撮像される画像から３つ以上の特徴を識別する。

一実施形態において、前記姿勢検出器は、人間のユーザの画像特徴を識別する。

一実施形態において、前記画像特徴は顔の特徴を含む。

一実施形態において、前記画像特徴は目を含む。

一実施形態において、前記画像特徴は口を含む。

一実施形態において、前記画像特徴は顎を含む。

一実施形態において、前記画像特徴は眉を含む。

一実施形態において、前記カメラデバイスは、前記主カメラにより撮像された画像の画像データを格納するためにデータ格納デバイスを起動するとともに、画像特徴を識別し且つ前記補助カメラにより撮像された画像の回転姿勢を判定するために前記姿勢検出器を起動する画像記録トリガを備える。

一実施形態において、前記姿勢検出器は、垂直姿勢及び水平姿勢に対する撮像画像の姿勢を検出し、垂直姿勢及び水平姿勢のうち前記補助カメラの撮像画像に最も一致する姿勢に依存して、前記支持構造が垂直に配向されているか又は水平に配向されているかを判定する。

一実施形態において、前記データ格納デバイスは、前記主カメラにより撮像された際の姿勢で、あるいは前記姿勢検出器により判定された９０度単位の１つ以上の段階分回転された姿勢で画像データを格納するように構成される。

一実施形態において、前記カメラデバイスは携帯電話に組み込まれる。

第２の面によると、上述した目的は、カメラデバイスにおいて画像姿勢を調整する方法を利用することにより達成される。当該方法は、
支持構造により担持される主カメラを使用して画像を撮像する工程と、
前記支持構造により担持される補助カメラを使用して画像を撮像する工程と、
前記補助カメラにより撮像された画像において画像特徴を識別する工程と、
基準姿勢に対する、前記補助カメラにより撮像された画像の回転姿勢を判定する工程と、
前記主カメラにより撮像された画像の画像データを、前記判定された回転姿勢に依存する姿勢でメモリに格納する工程とを備える。

一実施形態において、当該方法は、前記主カメラの主視野が前記補助カメラの補助視野とオーバラップしないように、前記主カメラ及び前記補助カメラを前記支持構造上に構成する工程を備える。

一実施形態において、当該方法は、前記主カメラ及び前記補助カメラを略逆方向に向ける工程を備える。

一実施形態において、当該方法は、
前記主カメラを被写体に対して向ける工程と、
前記補助カメラを前記カメラデバイスのユーザに対して向ける工程とを備える。

一実施形態において、当該方法は、
前記主カメラのビューファインダとしての役割を果たし且つ前記支持構造により担持されるディスプレイデバイス上に撮像画像として被写体の画像を提示する工程と、
前記ディスプレイの表示方向のカメラデバイスのユーザに対して、前記補助カメラを向ける工程とを備える。

一実施形態において、当該方法は、前記補助カメラにより撮像された画像から３つ以上の特徴を識別する工程を備える。

一実施形態において、当該方法は、人間のユーザの画像特徴を識別する工程を備える。

一実施形態において、前記画像特徴は顔の特徴を含む。

一実施形態において、前記画像特徴は目を含む。

一実施形態において、前記画像特徴は口を含む。

一実施形態において、前記画像特徴は顎を含む。

一実施形態において、前記画像特徴は眉を含む。

一実施形態において、当該方法は、
画像記録トリガを起動し、該起動に応答して、前記補助カメラにより撮像された画像の相対的な回転姿勢を判定する工程と、
前記主カメラにより撮像された画像の画像データを、前記判定された相対的な姿勢に依存する姿勢で格納する工程とを備える。

一実施形態において、当該方法は、
前記補助カメラにより撮像された画像の垂直姿勢及び水平姿勢に対する姿勢を検出する工程と、
垂直姿勢及び水平姿勢のうち、前記補助カメラの撮像画像に最も一致する姿勢に依存して、前記支持構造が垂直に配向されているか又は水平に配向されているかを判定する工程とを備える。

一実施形態において、当該方法は、前記主カメラにより撮像された際の姿勢で、あるいは前記判定された回転姿勢に対応する９０度単位の１つ以上の段階分回転された姿勢で画像データを格納する工程とを備える。

図１は、前面にディスプレイ及び補助テレビ会議カメラを含むカメラフォンの形態にかかるカメラデバイスを正面から見た場合の図である。 図２は、図１のカメラデバイスを示す側面図である。 図３は、背面に主カメラを含む図１及び図２のカメラデバイスを背面から見た場合の図である。 図４は、ユーザが図１に示される姿勢から約９０度回転させてカメラデバイスを保持することにより、縦向きの姿勢で被写体の画像を撮像するために図１〜図３のカメラデバイスを動作させる例を概略的に示した図である。 図５は、図４の例において主カメラにより画像を撮像した時の姿勢を概略的に示す図である。 図６は、図５の画像と同時に又は略同時に補助カメラにより撮像されたカメラデバイスのユーザの画像を概略的に示した図である。 図７は、目及び口等のユーザの画像について選択された特徴がカメラデバイスの画像識別機能により識別される方法を概略的に示した図である。 図８は、識別された特徴を顔の標準的な垂直軸及び水平軸と関連付ける方法を示す図である。 図９は、カメラデバイスの姿勢と比較して、画像の相対的な回転姿勢を判定する方法を概略的に示す図である。 図１０は、判定された回転姿勢に依存する演算子関数を主カメラにより撮像された画像に適用する方法を概略的に示す図である。 図１１は、主カメラにより撮像された画像を回転することにより調整し、且つメモリに格納する方法を概略的に示す図である。 図１２は、本発明の一実施形態に係るカメラデバイスの特徴的な機能を概略的に示したブロック図である。

本明細書は、デジタルカメラを含むカメラデバイスの分野に関する。本発明の好適な実施形態は、３Ｇ携帯電話等のテレビ電話用に構成された通信デバイスに関する。本発明は、特に携帯電話に適しているが、無線通信機能を含まないデジタルカメラデバイスにも同様に適用可能である。しかし、明確に且つ簡単にするために、本明細書で概略を説明する実施形態は概ね携帯電話に関して行うものとする。更に、用語「備える」とは、含まれる特徴、要素又は工程を示すために本明細書及び添付の請求の範囲において使用される場合、明確に示される特徴、要素又は工程以外の特徴、要素又は工程の存在を除外するものとして解釈されるものではないことは言うまでもない。

次に、添付の図面を参照して好適な実施形態について説明する。

本発明の一実施形態に従って構成されるカメラデバイス１を３つの異なる角度から見た様子を図１〜図３に示す。また、そのブロック図を図１２に示す。カメラデバイス１は、携帯無線通信デバイス又は携帯電話であり、デバイスの他の要素を支持するように構成され且つ筺体及びシャーシを含む支持構造１０を具備する。ユーザインタフェースは、キーパッド又はキーボード１１とディスプレイ１２とを含む。一般に、デバイス１は、マイク１３及びスピーカ１４を含むオーディオインタフェース、並びに無線トランシーバ回路網及びアンテナ２３を更に含む。しかし、これらの要素は、本発明にとって重要ではなく、本発明が一般的なデジタルカメラにおいて採用される場合には省かれる。通常、バッテリ（不図示）が更に含まれる。マイクロプロセッサシステム２０は、画像信号処理のための関連ソフトウェア及びデータメモリを含む信号プロセッサと、無線信号符号化及び復号化のための同一の又は補助的なプロセッサとを含む。通信デバイスである電子デバイスの特定の機能及び設計は、それ自体は本発明にとって殆ど重要でないため、更なる詳細な説明は行わない。尚、カメラデバイス１に含まれる特徴及び要素のリストは完全なものではない。逆に、図示及び説明されるカメラデバイス１は１つの可能な実施形態を表したものにすぎず、他の機能を提供する更なる特徴及び要素が含まれていてもよい。

しかし、先に概略を説明した要素とは別に、カメラデバイス１は主デジタルカメラ１６を更に含み、そのアパーチャを図３に示す。補助カメラ１５が更に含まれ、補助カメラ１５は、ディスプレイ１２に隣接して位置付けられ、その視野（ＦＯＶ）１５０が、ユーザによって観察されるディスプレイ１２をその範囲に含むように向けられる。主カメラ１６は、そのＦＯＶ１６０が補助カメラ１５のＦＯＶ１５０とオーバラップしないように向けられる。好ましくは、２つのカメラ１５及び１６は略逆方向に向けられ、オプションとして互いに対して約９０度に向けられるようにしてもよい。実際には、２つのカメラ１５及び１６が固定の視線を有することは重要ではなく、例えば主カメラ１６は、支持構造１０のソケットにおいてある程度回転可能に構成されていてもよい。

図１において、垂直軸ｚ及び水平軸ｘはカメラデバイス１に対して規定される。更に詳細には、ｙ軸はカメラデバイス１の縦方向を表す。カメラデバイス１が図１に示すように保持される場合、すなわちｙ軸が垂直に保持される場合にスナップショット又はビデオセグメントが主カメラ１６を使用して記録されると、一般に、横向きの姿勢の画像が記録されることとなる。通常、画像は横向きの姿勢で画像データメモリ２１に格納される。尚、これは、カメラ検出器がカメラデバイスにおいてどのように配向されるかに依存する。従って、反対に、すなわちｘ軸が垂直に保持される場合、縦向きの姿勢の画像が記録される。この場合、画像は縦向きの姿勢で格納される。

図４は、ユーザ４１がシーン又は被写体４２の画像、スナップショット又はビデオを撮像するためにカメラデバイス１を動作させた場合の他の例を示す。この場合、ユーザ４１は縦向きの姿勢を使用することを選択し、従ってカメラデバイス１を約９０度反時計回りに回転させたため、この時点でカメラデバイス１の水平軸ｘは垂直方向を指し示す。特定の対策をとらない場合、撮像された画像はその姿勢でメモリ２１に格納される。しかし、本発明の目的は、ディスプレイ１２又は別のディスプレイ上に画像を後で提示することを容易にするために、全ての画像を普通の回転姿勢で格納することにある。本発明の一実施形態によると、補助カメラ１５は、画像を撮像する際にカメラデバイス１の姿勢を判定するために使用される。これは、テレビ電話カメラ（ＶＴＣ）１５が含まれるテレビ電話をサポートする携帯電話１において特に有用である。ＶＴＣ１５は、通常、ユーザ４１の顔に向けられ、連続して画像を撮像したり、主カメラ１６によるスナップショットの撮像に関連して画像を撮像したりするように構成される。カメラデバイス１の現在の姿勢は、補助カメラ１５により撮像された画像を解析することにより判定される。判定された姿勢は、その後、主カメラ１６により撮像された画像をカメラデバイス１の垂直軸に対して画像の垂直軸を位置合わせするために所定の普通の画像姿勢に回転させる際に、その撮像画像を操作するのに使用される。

カメラデバイス１の現在の姿勢は、補助カメラにより撮像された画像中の少なくとも２つの特徴を識別することにより判定される。好ましくはユーザ４１の顔の３つの特徴が識別される。それらの特徴は、ユーザの目及び口を含むことが好ましい。あるいは、顎、鼻、耳又は頭髪のはえぎわ等、他の特徴の方がより目的に適する場合にはそれらの他の特徴が識別されてもよい。カメラデバイス１が回転した方向を判定するためには、３つの特徴が画像において識別されることが好ましい。２つの特徴だけの場合、時計回りの回転と反時計回りの回転とを区別することが困難になるからである。顔の特徴の識別及び認識のためのソフトウェアによる多くの処理は、文書及び実際の製品で提示されており、いくつかの特許はこの分野内で譲渡されている。一例として、Ａ．Ｗ． Ｓｅｎｉｏｒは、ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ Ａｕｄｉｏ−ａｎｄ Ｖｉｄｅｏ−ｂａｓｅｄ Ｂｉｏｍｅｔｒｉｃ Ｐｅｒｓｏｎ Ａｕｔｈｅｎｔｉｃａｔｉｏｎ’９９の１５４〜１５９ページ、Ｗａｓｈｉｎｇｔｏｎ Ｄ．Ｃ． ＵＳＡ、１９９９年３月２２〜２４日において「Ｆａｃｅ ａｎｄ Ｆｅａｔｕｒｅ Ｆｉｎｄｉｎｇ ｆｏｒ ａ Ｆａｃｅ Ｒｅｃｏｇｎｉｔｉｏｎ Ｓｙｓｔｅｍ」を提示している。別の例として、Ｉｓｈｉｋａｗａによる米国特許第５，９３３，５２７号公報には、顔画像処理方法及び装置が開示されており、それを利用することにより、顔の特徴の領域が抽出され、当該領域に関連する座標データが抽出される。

次に、図４に示す例に基づいて、本発明に係る画像の回転姿勢調整に対する処理の一実施形態を図面を参照しながら説明する。

図５は、被写体４２の撮像画像がカメラデバイス１の軸ｘ及びｙを基準として主カメラ１６の像平面においてどのように配向されるかを示している。

図５の画像が主カメラ１６を利用して撮像された場合であって、ユーザ４１の補助画像が補助カメラ１５を利用して撮像した画像を図６に示す。図５の画像が静止画像、すなわちスナップショットである場合には、図６の画像は、図５の画像と同時に又は１秒以内等の少なくとも略同時に撮像されることが好ましい。一般に押しボタン等である画像記録トリガ２２は、カメラ１５及び１６の双方に動作可能に接続され、トリガの起動により、主カメラ１６及び補助カメラ１５の双方がそれぞれのＦＯＶ１６０及び１５０内の画像を記録する。主カメラ１６により記録される画像がビデオセグメントであり、ユーザがビデオセグメントの撮影中にカメラデバイス１を回転することを決定した場合、そのような実行中の回転を補償するために特定の調整が行なわれないことが好ましい。そのため、図６の画像は、主カメラ１６により図５の画像の記録を開始した際に補助カメラ１５により撮像されたスナップショットであることが好ましい。いずれの場合においても、図５の画像を撮像する際、又は図５の画像の撮像を開始する際にカメラデバイス１を回転すると、同様のことが図６の画像においても当てはまることとなる。尚、図５及び図６に示すようなｘ軸は、画像がカメラデバイス１のディスプレイ１２上にどのように提示されるかに関連しており、略逆方向に向けられるのが好ましい各カメラの検出器面とは無関係である。

図６の画像は、補助カメラ１５から姿勢検出器１７に渡される。姿勢検出器１７は、プロセッサデバイスにより実行されるソフトウェアを利用して実現されることが好ましいが、処理自体を簡単にし且つ容易に理解できるようにするために図１２では機能要素として示している。姿勢検出器１７は、補助カメラ１５により撮像された画像における画像特徴を識別するために受信した画像を解析するように動作可能な画像特徴検出器１８を具備する。これを図７に示す。図７では、画像の２つの目の部分及び口の部分が検出され、ユーザの目及び口として識別されている。

図８において、目の位置を表す画像領域１８１及び口の位置を表す画像領域１８２が、ユーザの画像から抽出される。これは、図８に示すような画像が生成されることが必要であり、この時点で、それらは画像の関心領域であることを意味している。姿勢検出器１７は、顔の画像特徴を検出するように構成されることが好ましく、従って、目の部分１８１を通過する線が基線を規定し、その基線に対する口の部分１８２の位置が画像の下位部分であると判定するように構成されている。このように、撮像画像に対する座標系が規定されていてもよい。ここで、水平画像軸ｘ’は基線に平行であり、垂直画像軸ｙ’は基線に直交する。ｙ’軸の正の方向は、基線から見て口の領域部分１８２の位置から離れる方向に延在している。

一般に、ディスプレイがビューファインダとして使用されるデジタルカメラは、写真が撮られる際、ユーザの顔に対してある特定の距離で保持される。しかし、１つの別の実施形態において、カメラデバイス１は主カメラ１６のレンズを通して導光されていてもされていなくてもよい光学ビューファインダ（不図示）を更に含む。光学ビューファインダは、ディスプレイ１２上に実際に提示されているものを理解するのが困難なほど太陽光が強い状況において特に有利である。そのような一実施形態において、補助カメラ１５は光学ビューファインダに隣接して位置付けられるため、光学ビューファインダが使用される場合には、ユーザの目の部分の画像が撮像されることとなる。そのような一実施形態において、カメラデバイスは、目及びその目の上の眉を識別するように更に構成される。ｙ’軸は、目及び眉の略中央をその方向に通過する軸として規定される。

いずれの場合においても、像平面における補助カメラ１５により撮像された画像の姿勢は、図８に従って判定される。計算器ユニット１９において、画像の回転姿勢は、事前に格納された基準姿勢に対して判定される。識別する特徴が顔の特徴として図示される実施形態の場合、基準位置は、図９ではカメラデバイス１自体の垂直軸及び水平軸に対応する垂直軸ｙ及び水平軸ｘにより表される顔の垂直姿勢であることが好ましい。計算器ユニット１９は、回転角度θを判定するために軸ｘ’、ｙ’の座標系と軸ｘ、ｙの座標系との間の回転差を計算するように構成される。

好適な一実施形態において、計算器ユニット１９は、カメラデバイス１の完全に垂直な又は水平な姿勢からの偏差をなくすように構成される。実際には、それらの２つの直交する姿勢に対する任意の傾きはユーザの感性によるものである。更に、ユーザが自身の頭部を完全に垂直位置に保持することは保証されない。そのため、主カメラ１６により撮像された画像を横向きの姿勢と縦向きの姿勢との間で変換するのに使用可能な角度θを生成し且つ上下を区別するために、計算器ユニット１５は、回転角度θを９０度単位でのみ出力するように構成することが好ましい。姿勢検出器は、垂直姿勢及び水平姿勢に対する撮像画像の姿勢を検出し、垂直姿勢及び水平姿勢のうち補助カメラの撮像画像に最も一致する姿勢に基づいて、カメラデバイス１の支持構造が垂直に配向されるか又は水平に配向されるかを判定するように構成される。一例として、計算器ユニット１５は、ｙ’とｙとの間の実際の角度θが４５度未満であると判定した場合、θの出力値は０（ゼロ）である。同様に、以下のようになる。

４５度＜θ＜１３５度の場合、θの出力値は９０度に設定される。

１３５度＜θ＜２２５度の場合、θの出力値は１８０度に設定される。

２２５度＜θ＜３１５度の場合、θの出力値は２７０度、すなわち−９０度に設定される。

姿勢検出器１７は、主カメラ１６により撮像された画像を受信するために接続されたマイクロプロセッサシステム２０に角度θの出力値を出力する。図１０に示すように、プロセッサシステム２０は、主カメラ１６により撮像された画像を受信した角度θだけ回転させる演算を論理的に含む演算子関数ｆ（θ）を使用して、主カメラ１６の画像を処理する。結果を図１１に示す。撮像画像としての画像が姿勢検出器１７により検出されるように約９０度回転されたことが、図１１から明らかである。回転された画像は、カメラデバイス１の画像データメモリ２１に格納される。言うまでもなく、メモリ２１はカメラデバイス１に永続的に接続される必要はなく、例えば挿入可能なＩＣメモリカード上に構成されていてもよい。

提示される解決策は既存の解決策とは異なり、第２のカメラを姿勢検知デバイスとして使用することを前提としている。従って、本発明に係るカメラデバイス１は、カメラデバイス１が他の目的のために２つのカメラ１５、１６を既に備えている場合に特に適している。現在までに周知の本発明の最適な実施形態は、高画質の画像を撮像するための主カメラ１６及びテレビ電話のための補助カメラ１５を有するカメラフォン１、すなわち携帯電話において本発明を採用することである。そのようなカメラフォン１に適用された場合、既存の構成要素を使用して、付加的な価値を消費者に提供するという利点が本発明により提供されることとなる。

本発明の種々の実施形態の概略を説明し、添付の図面を参照して特定の例を詳細に説明した。尚、本発明はそれらの特定の例に限定されず、実際には請求の範囲により規定される範囲内で変更されてもよい。

Claims (30)

1. 支持構造と、
   前記支持構造により担持される主カメラと、
   前記支持構造により担持される補助カメラと、
   前記補助カメラに接続され、前記補助カメラにより撮像された画像の画像特徴を識別し且つ基準姿勢に対する前記画像の回転姿勢を判定する姿勢検出器と、
   前記主カメラにより撮像された画像の画像データを、前記判定された回転姿勢に依存する姿勢で格納するデータ格納デバイスと
   を備えることを特徴するカメラデバイス。
2. 前記主カメラは主視野を有し、前記補助カメラは前記主視野とオーバラップしない補助視野を有することを特徴とする請求項１に記載のカメラデバイス。
3. 前記主カメラは主視野を有し、前記補助カメラは補助視野を有し、前記主視野及び前記補助視野は略逆方向に向けられていることを特徴とする請求項１に記載のカメラデバイス。
4. 前記支持構造により担持され、前記主カメラのビューファインダとしての役割を果たし、前記補助カメラの視野内にある標準的な表示方向を有するディスプレイデバイスを備えることを特徴とする請求項１に記載のカメラデバイス。
5. 前記姿勢検出器は、前記補助カメラにより撮像される画像から３つ以上の特徴を識別することを特徴とする請求項１に記載のカメラデバイス。
6. 前記姿勢検出器は、人間のユーザの画像特徴を識別することを特徴とする請求項１に記載のカメラデバイス。
7. 前記画像特徴は顔の特徴を含むことを特徴とする請求項６に記載のカメラデバイス。
8. 前記画像特徴は目を含むことを特徴とする請求項６に記載のカメラデバイス。
9. 前記画像特徴は口を含むことを特徴とする請求項６に記載のカメラデバイス。
10. 前記画像特徴は顎を含むことを特徴とする請求項６に記載のカメラデバイス。
11. 前記画像特徴は眉を含むことを特徴とする請求項６に記載のカメラデバイス。
12. 前記主カメラにより撮像された画像の画像データを格納するために前記データ格納デバイスを起動するとともに、画像特徴を識別し且つ前記補助カメラにより撮像された画像の回転姿勢を判定するために前記姿勢検出器を起動する画像記録トリガを備えることを特徴とする請求項１に記載のカメラデバイス。
13. 前記姿勢検出器は、垂直姿勢及び水平姿勢に対する撮像画像の姿勢を検出し、前記垂直姿勢及び前記水平姿勢のうち前記補助カメラの前記撮像画像に最も一致する姿勢に依存して、前記支持構造が垂直に配向されているか又は水平に配向されているかを判定することを特徴とする請求項１に記載のカメラデバイス。
14. 前記データ格納デバイスは、前記主カメラにより撮像された際の姿勢で、あるいは前記姿勢検出器により判定された９０度単位の１つ以上の段階分回転された姿勢で画像データを格納することを特徴とする請求項１に記載のカメラデバイス。
15. 携帯電話に組み込まれることを特徴とする請求項１に記載のカメラデバイス。
16. カメラデバイスにおいて画像姿勢を調整する方法であって、
    支持構造により担持される主カメラを使用して画像を撮像する工程と、
    前記支持構造により担持される補助カメラを使用して画像を撮像する工程と、
    前記補助カメラにより撮像された前記画像において画像特徴を識別する工程と、
    基準姿勢に対する、前記補助カメラにより撮像された前記画像の回転姿勢を判定する工程と、
    前記主カメラにより撮像された前記画像の画像データを、前記判定された回転姿勢に依存する姿勢でメモリに格納する工程と
    を備えることを特徴とする方法。
17. 前記主カメラの主視野が前記補助カメラの補助視野とオーバラップしないように、前記主カメラ及び前記補助カメラを前記支持構造上に構成する工程を備えることを特徴とする請求項１６に記載の方法。
18. 前記主カメラ及び前記補助カメラを略逆方向に向ける工程を備えることを特徴とする請求項１６に記載の方法。
19. 前記主カメラを被写体に対して向ける工程と、
    前記補助カメラを前記カメラデバイスのユーザに対して向ける工程と
    を備えることを特徴とする請求項１６に記載の方法。
20. 前記主カメラのビューファインダとしての役割を果たし且つ前記支持構造により担持されるディスプレイデバイス上に撮像画像としての被写体の画像を提示する工程と、
    前記ディスプレイの表示方向の前記カメラデバイスのユーザに対して、前記補助カメラを向ける工程と
    を備えることを特徴とする請求項１６に記載の方法。
21. 前記補助カメラにより撮像された画像から３つ以上の特徴を識別する工程を備えることを特徴とする請求項１６に記載の方法。
22. 人間のユーザの画像特徴を識別する工程を備えることを特徴とする請求項１６に記載の方法。
23. 前記画像特徴は顔の特徴を含むことを特徴とする請求項２１に記載の方法。
24. 前記画像特徴は目を含むことを特徴とする請求項２１に記載の方法。
25. 前記画像特徴は口を含むことを特徴とする請求項２１に記載の方法。
26. 前記画像特徴は顎を含むことを特徴とする請求項２１に記載の方法。
27. 前記画像特徴は眉を含むことを特徴とする請求項２１に記載の方法。
28. 画像記録トリガを起動し、該起動に応答して、前記補助カメラにより撮像された前記画像の相対的な回転姿勢を判定する工程と、
    前記主カメラにより撮像された画像の画像データを、前記判定された相対的な姿勢に依存する姿勢で格納する工程と
    を備えることを特徴とする請求項１６に記載の方法。
29. 垂直姿勢及び水平姿勢に対する、前記補助カメラにより撮像された画像の姿勢を検出する工程と、
    前記垂直姿勢及び前記水平姿勢のうち、前記補助カメラの前記撮像画像に最も一致する姿勢に依存して、前記支持構造が垂直に配向されているか又は水平に配向されているかを判定する工程と
    を備えることを特徴とする請求項１６に記載の方法。
30. 前記主カメラにより撮像された際の姿勢で、あるいは前記判定された回転姿勢に対応する９０度単位の１つ以上の段階分回転された姿勢で画像データを格納する工程を備えることを特徴とする請求項１６に記載の方法。

Images