JP3753617B2 - デジタル撮影装置、画像処理装置および記録媒体 - Google Patents
デジタル撮影装置、画像処理装置および記録媒体 Download PDFInfo
- Publication number
- JP3753617B2 JP3753617B2 JP2001040242A JP2001040242A JP3753617B2 JP 3753617 B2 JP3753617 B2 JP 3753617B2 JP 2001040242 A JP2001040242 A JP 2001040242A JP 2001040242 A JP2001040242 A JP 2001040242A JP 3753617 B2 JP3753617 B2 JP 3753617B2
- Authority
- JP
- Japan
- Prior art keywords
- correction
- image
- main subject
- distortion
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 36
- 238000012937 correction Methods 0.000 claims description 302
- 238000003384 imaging method Methods 0.000 claims description 47
- 230000002093 peripheral effect Effects 0.000 claims description 27
- 238000010586 diagram Methods 0.000 description 37
- 238000000034 method Methods 0.000 description 12
- 238000012546 transfer Methods 0.000 description 11
- 238000001514 detection method Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000013459 approach Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000001413 cellular effect Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 101100460704 Aspergillus sp. (strain MF297-2) notI gene Proteins 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- GGCZERPQGJTIQP-UHFFFAOYSA-N sodium;9,10-dioxoanthracene-2-sulfonic acid Chemical compound [Na+].C1=CC=C2C(=O)C3=CC(S(=O)(=O)O)=CC=C3C(=O)C2=C1 GGCZERPQGJTIQP-UHFFFAOYSA-N 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
- G06T3/047—Fisheye or wide-angle transformations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
- H04N2007/145—Handheld terminals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Telephone Function (AREA)
- Telephone Set Structure (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、撮影された画像の歪みを補正する技術に関する。
【０００２】
【従来の技術】
従来より、レンズにより生じる画像の歪みである歪曲収差や魚眼レンズによる画像の歪みを画像処理によって補正することがなされている。例えば、レンズにより生じる幾何学的な歪みに合わせて、固体撮像素子の画素信号の読み出し順序を変更しつつ補間を行うことにより歪みを補正する技術が知られている。
【０００３】
【発明が解決しようとする課題】
一方で、カメラで人物の顔等を比較的近くから撮影すると、遠近感が誇張されたような画像となる。平面の被写体を同じように撮影した場合には直線がほぼ直線に映ることから、このような歪みは歪曲収差とは異質なものである。奥行きのある立体的な被写体にカメラが近づいた場合、立体の周縁の奥まった部位が手前の部位に近接して見え、あたかも遠近感が誇張されたかのような歪みが生じていると考えられる（以下において、このような歪みを「遠近感が誇張される歪み」と略する）。遠近感が誇張される歪みは歪曲収差とは異質であることから、このような歪みを補正するための新たな手法が必要となる。
【０００４】
特に、携帯電話にデジタルカメラが搭載されたものが既に市販されており、今後、通話を行いながら使用者自身の顔を撮影するテレビ電話として携帯電話が利用されることが考えられる。カメラ付き携帯電話の場合、使用者の顔が適切な大きさにて撮影されるようにレンズは広角側の焦点距離に設定される。このような光学系にてカメラと使用者の顔とが近接した場合、遠近感が誇張される歪みが一層顕著に生じる。
【０００５】
本発明は、上記課題に鑑みなされたものであり、立体的な被写体の遠近感が誇張される歪みを補正することを目的としている。
【０００６】
【課題を解決するための手段】
請求項１の発明は、デジタル撮影装置であって、被写体の画像を取得する撮像手段と、前記撮像手段と立体的な主被写体との近接撮影時に生じる画像の歪みを、前記画像の周縁部を中央部に対して相対的に拡大することによって補正する補正手段と、前記画像中の前記主被写体の像のサイズを検出する検出手段と、前記サイズから前記補正手段による補正の要否を判定する判定手段と、を備える。
【０００７】
請求項２の発明は、デジタル撮影装置であって、被写体の画像を取得する撮像手段と、前記撮像手段と立体的な主被写体との近接撮影時に生じる画像の歪みを、前記画像の周縁部を中央部に対して相対的に拡大することによって補正する補正手段と、前記画像中の前記主被写体の像のサイズを検出する検出手段と、前記補正手段による補正の程度に相当する複数の補正レベルの中から前記サイズに基づいて補正レベルを選択する手段と、を備える。
【０００８】
請求項３の発明は、デジタル撮影装置であって、被写体の画像を取得する撮像手段と、前記撮像手段と立体的な主被写体との近接撮影時に生じる画像の歪みを、前記画像の周縁部を中央部に対して相対的に拡大することによって補正する補正手段と、前記撮像手段から前記主被写体までの距離を測定する測距手段と、前記距離から前記補正手段による補正の要否を判定する判定手段と、を備える。
【０００９】
請求項４の発明は、デジタル撮影装置であって、被写体の画像を取得する撮像手段と、前記撮像手段と立体的な主被写体との近接撮影時に生じる画像の歪みを、前記画像の周縁部を中央部に対して相対的に拡大することによって補正する補正手段と、前記撮像手段から前記主被写体までの距離を測定する測距手段と、前記補正手段による補正の程度に相当する複数の補正レベルの中から前記距離に基づいて補正レベルを選択する手段と、を備える。
【００１０】
請求項５の発明は、請求項１ないし４のいずれかの発明に係るデジタル撮影装置であって、前記補正手段が、前記画像を複数の領域に分割し、前記複数の領域のそれぞれに応じた拡大率にて前記複数の領域を拡大する。
【００１１】
請求項６の発明は、請求項１ないし５のいずれかの発明に係るデジタル撮影装置であって、前記補正手段による補正が行われたことを示す表示を表示する手段、をさらに備える。
【００１２】
請求項７の発明は、請求項１ないし６のいずれかの発明に係るデジタル撮影装置であって、前記補正手段による補正内容を示す補正データを生成する手段、をさらに備える。
【００１３】
請求項８の発明は、請求項７の発明に係るデジタル撮影装置であって、前記補正データを前記画像または補正済画像のデータとともに保存する保存手段、をさらに備える。
【００１４】
請求項９の発明は、請求項８の発明に係るデジタル撮影装置であって、前記保存手段に保存された前記画像のデータを前記補正データとに基づいて前記補正手段が補正を行う。
【００１５】
請求項１０の発明は、コンピュータに画像の処理を実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体であって、前記プログラムのコンピュータによる実行は、前記コンピュータに、画像のデータを準備する工程と、前記画像中の前記主被写体の像のサイズを検出する工程と、撮像装置と立体的な主被写体との近接撮影時に生じる画像の歪みを補正する際の補正の程度に相当する補正レベルを、複数の補正レベルの中から前記サイズに基づいて選択する工程と、前記選択された補正レベルで、前記画像の周縁部を中央部に対して相対的に拡大することによって前記歪みを補正する工程と、を実行させる。
【００１６】
請求項１１の発明は、画像処理装置であって、画像のデータを記憶する記憶手段と、撮像装置と立体的な主被写体との近接撮影時に生じる画像の歪みを、前記画像の周縁部を中央部に対して相対的に拡大することによって補正する補正手段と、前記画像中の前記主被写体の像のサイズを検出する検出手段と、前記補正手段による補正の程度に相当する複数の補正レベルの中から前記サイズに基づいて補正レベルを選択する手段と、を備える。
【００１７】
請求項１２の発明は、請求項１１の発明に係る画像処理装置であって、外部から前記画像のデータおよび補正内容を示す補正データを受信する受信手段、をさらに備え、前記補正手段が、前記補正データに基づいて補正を行う。
【００２５】
【発明の実施の形態】
＜１． 第１の実施の形態＞
図１は、本発明の第１の実施の形態に係る携帯電話１の外観図である。携帯電話１は、通話やデータ通信を行う通信装置としての機能のみならず、画像を取得する撮影装置としての機能も有する。
【００２６】
携帯電話１は、画像を撮影する撮像部２を有し、本体部前面には使用者へのメニューや撮影した画像を表示する液晶のディスプレイ１１を有する。ディスプレイ１１の上方には通話時に音声を出力するスピーカ１３、側方には撮像部２のレンズユニット２１、並びに、下方には通話や撮影時等に使用者からの指示を受け付ける操作ボタン部１２、および、通話時に音声を集音するマイク１４が設けられる。さらに、本体部の上面には情報の送受信のためのアンテナ１５が設けられる。
【００２７】
図２は、撮像部２の構成および本体部に設けられた各種構成を示すブロック図である。図２に示す構成のうち、レンズ２１１およびＣＣＤ２１２を有するレンズユニット２１、Ａ／Ｄ変換部２２、並びに、信号補正部２３が撮像部２に含まれる。本体部内には、各種演算処理を行うＣＰＵ３１、動作プログラムを記憶するＲＯＭ３２および各種データを記憶するＲＡＭ３３が設けられ、撮像部２の各種構成、ＲＯＭ３２およびＲＡＭ３３がＣＰＵ３１に接続される。また、ＣＰＵ３１には、ディスプレイ１１、操作ボタン部１２、携帯電話１に装着された外部メモリ１１３、並びに、アンテナ１５を介して信号の受信および送信を行う受信部１１４および送信部１１５も接続される。
【００２８】
携帯電話１では、撮像部２、ＣＰＵ３１、ＲＯＭ３２およびＲＡＭ３３により画像が取得される。すなわち、レンズ２１１により被写体の像がＣＣＤ２１２上に結像され、操作ボタン部１２のうち使用者から撮影の指示を受け付けるボタンが押されると、ＣＣＤ２１２からの画像信号がＡ／Ｄ変換部２２によりデジタル信号に変換される。Ａ／Ｄ変換部２２にて変換されたデジタル画像信号は、さらに信号補正部２３によりホワイトバランスやγ補正等の処理が施され、ＲＡＭ３３に画像のデータとして記憶される。なお、これらの処理の制御はＣＰＵ３１がＲＯＭ３２内に記憶されているプログラム３２１に従って動作することにより行われる。
【００２９】
また、操作ボタン部１２からの入力操作に基づいてＣＰＵ３１を介してＲＡＭ３３と外部メモリ１１３との間で各種データの受け渡しが可能とされており、ディスプレイ１１には、ＣＰＵ３１の制御により、各種情報の表示やＲＡＭ３３や外部メモリ１１３に記憶されいてる画像の表示が行われる。
【００３０】
ここで、撮影の際に図３（ａ）に示すように主被写体９と携帯電話１とが十分に離れている場合には図３（ｂ）の画像のように自然な画像が得られる。しかし、図４（ａ）に示すように主被写体９と携帯電話１とが近い場合には、図４（ｂ）の画像のように遠近感が誇張された不自然な画像となる。
【００３１】
これは、撮像部２に向かって主被写体の中央部が周縁部よりも突出する場合、換言すれば、主被写体が撮像部２に向かって略凸となる形状である場合、主被写体と撮像部２とが近接すると主被写体の周縁部の面が撮像部２から周縁部に向かう方向に対して平行に近づくためであると考えられる。より具体的には、図５に示すように、主被写体９の周縁部の点９１からレンズ２１１に入射する光とレンズ２１１の光軸２１１ａとのなす角θ１と、点９１より手前に位置する点９２からレンズ２１１に入射する光と光軸２１１ａとのなす角θ２との差が、レンズ２１１が主被写体９に近づくほど減少するために画像に歪みが生じると考えられる。
【００３２】
また、図５に示す角θ１が大きくなるほど歪みが大きくなることから、主被写体が撮像部２に近く、かつ、主被写体の像が画像に占める割合が大きい場合には、画像の遠近感が誇張される歪みが顕著に生じることとなる。
【００３３】
そこで、携帯電話１では、このような歪みを内部のＣＰＵ３１による画像処理により補正するようになっている。
【００３４】
図６は、ＣＰＵ３１がＲＯＭ３２内のプログラム３２１に従って動作することにより実現される機能構成を他の構成とともに示す図である。図６に示す構成のうち、歪補正部２０１、データ転送部２０２および表示制御部２０３が、ＣＰＵ３１により実現される機能を示す。
【００３５】
歪補正部２０１は、信号補正部２３から出力されてＲＡＭ３３に記憶された画像データ２２１に対して後述する歪みの補正を行って補正済画像データ２２２を生成する。データ転送部２０２は、使用者の指示を操作ボタン部１２から受け付け、表示する画像のデータ（補正済画像データ２２２を含む。）をＲＡＭ３３または外部メモリ１１３から取得して表示制御部２０３に渡す。表示制御部２０３は、データ転送部２０２から転送される補正済画像データ２２２に対して必要な処理を行ってからディスプレイ１１に画像を表示させる。
【００３６】
なお、図示を省略しているが、携帯電話１では操作ボタン部１２を介して歪補正部２０１にて補正を行うか否かを選択することが可能とされている。
【００３７】
図７は、携帯電話１が画像を取得する際の動作の流れを示す図である。以下、図６および図７を用いて携帯電話１の動作について説明する。
【００３８】
まず、操作ボタン部１２の操作により撮像部２にて画像が取得され、ＲＡＭ３３に画像データ２２１として記憶される（ステップＳ１１）。ここで、歪補正部２０１による補正を行うように設定がなされているか否かが確認され、補正を行う場合には歪補正部２０１が画像データ２２１に対して補正処理を行う（ステップＳ１２，Ｓ１３）。
【００３９】
図５を用いて説明したように、主被写体が撮像部２に近接するために生じる画像の歪みは、主被写体の像の周縁部が中央部に対してあたかも縮小されたかのような歪みとなる。そこで、歪補正部２０１では、画像の周縁部を中央部に対して拡大する補正を行う。図８は、歪み補正における画像の中心からの距離と拡大率との関係を示す図である。図８に示すように、画像の中心から離れている部位ほど大きな拡大率にて拡大処理が行われる。さらに、拡大率の増加量も画像の中心から離れるほど大きくなる。このような処理により、画像データ２２１が図４（ｂ）に例示した画像のデータである場合、補正済画像データ２２２は、図４（ａ）に示す画像のデータへと近づけられる。
【００４０】
その後、表示制御部２０３がＲＡＭ３３に作成された補正済画像データ２２２をデータ転送部２０２を介して取得し、ディスプレイ１１に補正後の画像が表示される（ステップＳ１４）。
【００４１】
図９は補正済みの画像が表示されたディスプレイ１１を例示する図である。図９に示すように、補正済みの画像が表示される際には表示制御部２０３により、歪補正部２０１による補正が行われたことを示す表示８が補正済みの画像に合成されて表示される。これにより、使用者は歪みの補正が行われたか否かを容易に認識することが可能となり、補正を忘れてしまうことが防止される。
【００４２】
歪補正部２０１による補正を行わないように設定がなされている場合には、補正を行うことなくデータ転送部２０２が画像データ２２１を表示制御部２０３へと転送し、画像の表示が行われる（ステップＳ１２，Ｓ１４）。
【００４３】
また、必要に応じて、画像データ２２１や補正済画像データ２２２がデータ転送部２０２から図２に示す送信部１１５へと転送され、アンテナ１５を介して他の端末に向けて送信されたり、外部メモリ１１３に保存される。
【００４４】
以上のように、携帯電話１では主被写体、特に、携帯電話１を保持する使用者の顔を撮影する際に、遠近感が誇張される歪みを補正することができ、自然な画像に近い画像を取得することができる。また、補正を行うか否かの設定を切り替えることができ、歪補正部２０１を非能動化することにより風景等の遠景も適切に撮影することができる。
【００４５】
なお、本実施の形態では、補正を行う場合に取得された画像に対して一律に図８に示す特性の補正が行われる。通常の撮影においては、主被写体の形状や主被写体までの距離の違いから画像の歪みは一定ではない。しかし、携帯電話１のように本体の前面に撮像部２を有する場合、図１０に示すように使用者が自分の顔を撮影して通話相手に送信する際にのみ主被写体に近づいて撮影が行われるものと想定される。さらに、自分の顔であるために補正の必要性が高くなるといえる。近接して撮影される主被写体が人間の顔に限定される場合、主被写体の立体的形状（凹凸等）の状態、携帯電話１を手に持って撮影する際の撮像部２と主被写体との距離および画像内の主被写体の像の大きさがほぼ一定となる。
【００４６】
そこで、携帯電話１では、主被写体が使用者の顔である場合にのみ補正が必要であるという前提に基づき、簡易な補正機能のみが設けられている。なお、撮影対象が使用者の顔に限定される場合には撮影の際に常に補正が行われるようになっていてもよい。
【００４７】
＜２． 第２の実施の形態＞
第１の実施の形態では、画像の中心から連続的に拡大率を変化させて画像の周縁部を拡大する補正が行われるが、補正処理は簡素化されてもよい。
【００４８】
図１１は、撮像部２により取得された画像８１を中心からの距離に応じて複数の領域８１１〜８１４に分割した様子を示す図である。歪補正部２０１ではこれらの領域８１１〜８１４に対して異なる拡大率にて拡大補正が行われる。ただし、補正後の領域の間に隙間や重なりが生じる場合には、適宜、補間処理や部分的な削除が行われる。
【００４９】
図１２は、拡大処理が行われる際の各領域に対する拡大率を示す図である。領域番号１〜４はそれぞれ領域８１１〜８１４に対応する。図１２に示すように、画像の周縁部の領域に対する拡大率ほど高く設定される。これにより、画像の周縁部が中央部に対して拡大される。歪補正部２０１にてこのような補正を行う場合、歪補正部２０１における処理は簡素化され、補正を迅速に行うことができる。
【００５０】
なお、主被写体が使用者の顔に限定される場合、使用者の顔の像は縦長の楕円に近くなる。そこで、図１１に示す領域８１１〜８１４の境界は楕円に設定されてもよい。さらには、画像を上下左右に並ぶ複数の矩形の領域に分割し、各分割領域の位置に応じた拡大率が設定されてもよい。このように、画像は任意の複数の領域に分割されてよく、各分割領域に応じた拡大率にて分割領域を拡大することにより、さらに適切な歪み補正が実現される。
【００５１】
一方、主被写体の形状に応じて分割領域の形状が任意に変更されてもよい。例えば、画像処理により主被写体の輪郭を抽出し、主被写体の輪郭に合わせて領域８１１〜８１４の境界の形状が決定されてもよい。このような処理により適切な歪みの補正が実現される。
【００５２】
＜３． 第３の実施の形態＞
第１および第２の実施の形態では、補正の特性を固定することにより簡易な歪み補正を行っているが、補正の程度を変更しつつ補正が行われてもよい。次に、第３の実施の形態として画像中の主被写体の像の大きさに応じて補正の程度が変更される携帯電話１について説明する。なお、携帯電話１の構成は図１および図２に示す構成と同様である。
【００５３】
図１３は、画像中の主被写体の像の大きさ（以下、「サイズ」という。）を検出するために画像８２中に設定された領域８２１，８２２を示す図である。ただし、領域８２２は領域８１２を含むものとする。遠近感が誇張される歪みは、一般的には、画像内に占める主被写体の画像の割合が大きいほど顕著に生ずるとみなすことができる。また、主被写体は常に画像の中央に存在するとみなすことができるため、画像８２に画像の中心からの距離に応じた領域８２１，８２２を設定し、主被写体の像のサイズをこれらの領域８２１，８２２と比較して補正の程度を変更することにより、適切な歪み補正を実現することができる。
【００５４】
具体的には、主被写体の像が領域８２１に収まる場合には、主被写体の像の周縁部の歪みが無視できるとみなして歪み補正を行わず、主被写体の像が領域８２１には収まらないが領域８２２に収まる場合には、やや歪みが目立つと想定されることから、補正の程度が低い補正（図１４に示す特性を有する補正）を行い、主被写体の像が領域８２２に収まらない場合には、歪みがかなり目立つとみなして補正の程度が高い補正（図１５に示す特性を有する補正）が行われる。すなわち、主被写体の像のサイズが大きいほど補正の程度が強く設定される。以下の説明では、補正の程度を「補正レベル」と呼び、補正を行わない補正レベルを「０」、図１４に示す特性の補正レベルを「１」、図１５に示す特性の補正レベルを「２」と呼ぶ。
【００５５】
図１６は、第３の実施の形態におけるＣＰＵ３１がＲＯＭ３２内のプログラム３２１に従って動作することにより実現される機能構成を他の構成とともに示す図である。図１６に示す構成は、図６に示す構成に主被写体の像のサイズを検出するサイズ検出部２０４および補正レベルを選択する補正レベル選択部２０５を追加したものとなっている。他の構成は第１の実施の形態とほぼ同様の処理や動作を行う。
【００５６】
図１７および図１８は、第３の実施の形態に係る携帯電話１の動作の流れを示す図である。以下、図１６ないし図１８を参照して携帯電話１が画像を取得する際の動作を説明する。
【００５７】
まず、操作ボタン部１２を介して撮影が指示されると、信号補正部２３からの画像信号がＲＡＭ３３に画像データ２２１として記憶され、画像が取得される（ステップＳ２１１）。次に、サイズ検出部２０４が画像中の主被写体の像のサイズを検出する（ステップＳ２１２）。サイズ検出部２０４では、画像中の鮮明なエッジの存在領域や画像中の色の分布に基づいて主被写体の像の領域が特定され、さらに、図１３に示す領域８２１，８２２と主被写体の像の領域とを比較することにより、主被写体の像のサイズが検出される。
【００５８】
検出された主被写体の像のサイズは補正レベル選択部２０５に入力され、主被写体の像が領域８２１に含まれる場合には補正レベルが０に設定される（ステップＳ２１３，Ｓ２１４）。主被写体の像が領域８２１を超えるが領域８２２には含まれる場合には補正レベルが１に設定される（ステップＳ２１５，Ｓ２１６）。主被写体の像が領域８２２を超える場合には補正レベルが２に設定される（ステップＳ２１５，Ｓ２１７）。
【００５９】
続いて、歪補正部２０１が、補正レベル選択部２０５で選択された補正レベルに基づいて画像データ２２１の歪みを補正し、補正済画像データ２２２を生成する（ステップＳ２１８）。すなわち、補正レベルが０の場合には歪み補正を行わず、補正レベルが１の場合には図１４に示す特性の弱い歪み補正を行い、補正レベルが２の場合には図１５に示す特性の強い歪み補正を行う。
【００６０】
このように、携帯電話１では実質的に領域８２１を用いて検出される主被写体の像のサイズから補正の要否を判定し、領域８２２を用いることにより主被写体の像のサイズに基づいて１または２の補正レベルを選択するようになっている。
【００６１】
補正済画像データ２２２がＲＡＭ３３に記憶されると、データ転送部２０２が表示制御部２０３へと補正済画像データ２２２を転送し、ディスプレイ１１に補正後の画像が表示される（ステップＳ２１９）。このとき、補正レベルの表示が合成されて表示される。なお、補正レベルが０の場合には、画像データ２２１が表示制御部２０３へと転送され、取得された画像がそのまま表示される。
【００６２】
ここで、使用者は表示された画像を見て補正が適切であるか、あるいは、好みの補正が行われたかを確認する。補正が好ましくない場合には、操作ボタン部１２を介して補正レベルが選択される（ステップＳ２２１，Ｓ２２２）。そして、再度、使用者により選択された補正レベルにて補正が行われ、補正後の画像がディスプレイ１１に表示される（ステップＳ２１８，Ｓ２１９）。なお、補正レベルとして０が選択された場合には、補正が施されていない画像が表示される。
【００６３】
このように、携帯電話１では使用者の操作により補正レベルを選択することも可能とされている。
【００６４】
一方、補正済みの画像が適切であると使用者により判断され、操作ボタン部１２の操作により補正レベルが確定された場合には、補正レベル選択部２０５により、選択された補正レベルが補正データ２２３としてＲＡＭ３３に記憶される（ステップＳ２２３）。すなわち、図１６において補正レベル選択部２０５は、補正レベルの選択および補正データの生成の双方を行う部位として図示している。
【００６５】
ＲＡＭ３３に記憶されている画像データ２２１、補正済画像データ２２２および補正データ２２３は、操作ボタン部１２からの指示を受け付けたデータ転送部２０２によって適宜取り出され、外部メモリ１１３に保存されたり、送信部１１５およびアンテナ１５（図２参照）を介して他の端末に送信される。
【００６６】
以上のように、携帯電話１では補正の内容を示す補正データ２２３が別途保存される。したがって、このような携帯電話１の間で通信を行うことにより、補正データ２２３を利用した様々な画像の楽しみ方が実現される。
【００６７】
例えば、一方の携帯電話１から画像データ２２１および補正データ２２３を送信した場合、受信した携帯電話１では補正データ２２３が示す補正レベルにて歪補正部２０１が画像データ２２１の歪み補正を行い、補正後の画像がディスプレイ１１に表示される。これにより、送信者の好みの歪み補正が行われた画像が自動的に受信者に向けて表示される。受信側の携帯電話１では、補正前の画像データ２２１を有することから、補正レベルを変更した補正済み画像、あるいは、補正がなされていない画像を表示することも可能となる。
【００６８】
一方の携帯電話１から補正済画像データ２２２および補正データ２２３が送信される場合は、受信側の携帯電話１にて歪み補正は行われず、補正済みの画像がディスプレイ１１に表示される。ここで、補正データ２２３からどのような補正が行われたかを把握することができるため、歪補正部２０１にて歪み補正の逆演算を行うことにより補正前の画像のデータを生成することができる。さらには、補正レベルを変更した画像のデータも生成することが可能となる。
【００６９】
このように、補正データ２２３を利用することにより、受信側にて補正の程度を任意に変更することが実現される。
【００７０】
また、画像データ２２１と補正済画像データ２２２とは補正データ２２３を用いて一方から他方へと変換可能なデータであることから、補正データ２２３が存在する場合、画像データ２２１および補正済画像データ２２２のいずれかは保存する必要がないデータとなる。したがって、例えば、外部メモリ１１３に画像を保存する際には、画像データ２２１および補正データ２２３のみが外部メモリに保存されてもよい。この場合、外部メモリ１１３から画像を読み出して表示する際には、歪補正部２０１が読み出された画像データ２２１を補正データ２２３が示す補正レベルにて補正し、補正済画像データ２２２を生成してからディスプレイ１１に補正済みの画像が表示される。これにより、外部メモリ１１３に補正済画像データ２２２を保存することが不要となり、さらに、読み出された画像を様々な補正レベルにて補正することが可能となる。
【００７１】
もちろん、外部メモリ１１３には補正済画像データ２２２および補正データ２２３のみが保存されてもよく、この場合、外部メモリ１１３から読み出された補正済画像データ２２２および補正データ２２３を用いて歪補正部２０１が歪み補正の逆演算を行うことにより補正前の画像のデータを生成することも可能となる。
【００７２】
以上のように、第３の実施の形態に係る携帯電話１では、主被写体の像のサイズに応じて補正の要否を自動的に判定し、さらには、補正の程度が自動的に変更されることから、使用者が特別な操作をすることなく適切な補正が施された画像を得ることができる。
【００７３】
また、補正が使用者の好みに合わない場合であっても、補正の程度を変更することができ、さらに、補正データ２２３を送信することにより受信者側にて補正の程度を変更することも可能となる。
【００７４】
なお、主被写体像のサイズを主被写体像の面積から検出し、補正レベルが決定されてもよい。
【００７５】
＜４． 第４の実施の形態＞
第３の実施の形態では、主被写体のサイズに応じて補正レベルが選択されるが、補正レベルの選択は主被写体と携帯電話１との距離に基づいて行うことも可能である。図５を用いて説明したように、主被写体９と撮像部２とが近いほど、主被写体像の歪みが顕著となるからである。
【００７６】
以下、第４の実施の形態に係る携帯電話１として、主被写体との距離に基づいて補正レベルを選択する携帯電話１について説明する。なお、第４の実施の形態に係る携帯電話１は図１および図２に示す構成に測距センサを追加した構成となっており、以下の説明では第３の実施の形態と同様の構成については同符号を付して説明する。
【００７７】
図１９は、第４の実施の形態に係る携帯電話１においてＣＰＵ３１がＲＯＭ３２内のプログラム３２１に従って動作することにより実現される機能構成を他の構成をともに示すブロック図であり、図１６に示すサイズ検出部２０４を測距部１１７に置き換えたものとなっている。
【００７８】
測距部１１７は測距センサを有し、例えば、位相差検出方式にて主被写体から撮像部２までの距離を測定する。測定された距離は補正レベル選択部２０５に入力され、補正レベルの選択が行われる。
【００７９】
図２０は、第４の実施の形態に係る携帯電話１の動作の流れの一部を示す図であり、他の部分は図１８と同様である。図２０において図１７と同様の動作については同符号を付している。以下、図１９、図２０および図１８を参照して携帯電話１が画像を取得する際の動作について説明する。
【００８０】
まず、操作ボタン部１２を介して撮影が指示されて画像が取得されると（ステップＳ２１１）、この動作とほぼ同時に測距部１１７にて主被写体までの距離が取得される（ステップＳ３１２）。
【００８１】
測定された主被写体までの距離は補正レベル選択部２０５に入力され、補正レベルの選択が行われる。補正レベルの選択は図２１に示すように予め定められた距離のしきい値Ｄ１，Ｄ２と携帯電話１から主被写体９までの距離とを比較することにより行われる。すなわち、主被写体までの距離がしきい値Ｄ１以上である場合には、主被写体と撮像部２とが十分に離れているため歪み補正が不要と判定され、補正レベルが０に設定される（ステップＳ３１３，Ｓ２１４）。主被写体との距離がしきい値Ｄ１未満であるが、しきい値Ｄ１よりも小さいしきい値Ｄ２以上である場合には程度の低い歪み補正が必要であると判定され、補正レベルが１に設定される（ステップＳ３１５，Ｓ２１６）。主被写体までの距離がしきい値Ｄ２未満である場合には程度の高い歪み補正が必要であると判定され、補正レベルが２に設定される（ステップＳ３１５，Ｓ２１７）。
【００８２】
続いて、第３の実施の形態と同様に、補正が必要な場合には歪補正部２０１が、補正レベル選択部２０５で選択された補正レベルに基づいて画像データ２２１の歪みを補正し、補正済画像データ２２２を生成する（ステップＳ２１８）。このように、携帯電話１では実質的に測距部１１７を用いて検出される主被写体までの距離としきい値Ｄ１とを比較することにより補正の要否を判定し、しきい値Ｄ２と比較することにより１または２の補正レベルを選択するようになっている。
【００８３】
補正済画像データ２２２がＲＡＭ３３に記憶されると、以後、第３の実施の形態と同様に、画像の表示が行われ（ステップＳ２１９）、必要に応じて使用者による補正レベルの変更が行われる（図１８）。
【００８４】
また、補正レベルも補正データ２２３としてＲＡＭ３３に記憶され、補正データ２２３を送信することにより受信者側にて補正の程度を変更することが可能とされる。
【００８５】
以上のように、第４の実施の形態に係る携帯電話１では、主被写体までの距離に基づいて補正の要否を自動的に判定したり、補正の程度が自動的に変更されることから、使用者が特別な操作をすることなく適切な補正が施された画像を得ることができる。
【００８６】
＜５． 第５の実施の形態＞
以上の実施の形態では、携帯電話内部において画像データの処理を行うようになっているが、画像データの処理は別途設けられた画像処理装置にて行われてもよい。
【００８７】
図２２は、画像処理装置４の構成を示すブロック図である。画像処理装置４は、各種演算処理を行うＣＰＵ４０１、基本プログラムを記憶するＲＯＭ４０２および各種情報を記憶するＲＡＭ４０３をバスラインに接続した一般的なコンピュータシステムの構成となっている。バスラインにはさらに、データ等を保存する固定ディスク４０４、情報や画像の表示を行うディスプレイ４０５、操作者からの入力を受け付けるキーボード４０６ａおよびマウス４０６ｂ、光ディスク、磁気ディスク、光磁気ディスク等の記録媒体９３から情報の読み取りを行う読取装置４０７、並びに、通信網を介して他の通信装置と通信を行う通信部４０８が、適宜、インターフェイス（Ｉ／Ｆ）を介する等して接続される。
【００８８】
画像処理装置４には、事前に読取装置４０７を介して記録媒体９３からプログラムが読み出され、固定ディスク４０４に記憶される。そして、プログラム４４１がＲＡＭ４０３にコピーされるとともにＣＰＵ４０１がＲＡＭ４０３内のプログラムに従って演算処理を実行することにより画像処理装置４が画像の歪み補正を行う。
【００８９】
すなわち、主としてＣＰＵ４０１が図６に示す歪補正部２０１、データ転送部２０２および表示制御部２０３としての動作を行い、キーボード４０６ａおよびマウス４０６ｂが操作ボタン部１２と同様の役割を果たし、ディスプレイ４０５が携帯電話１のディスプレイ１１と同様の役割を果たす。
【００９０】
画像処理装置４には、携帯電話や小型のデジタルカメラにて撮影された画像のデータが固定ディスク４０４に予め格納され、取り扱い可能に準備される。例えば、携帯電話やデジタルカメラの外部メモリから画像データが固定ディスク４０４へと読み出されたり、通信部４０８を介して携帯電話から、あるいは、電子メールの添付ファイルとして画像データが受信され、固定ディスク４０４に記憶される。
【００９１】
画像データが準備されると、ＣＰＵ４０１が第１の実施の形態と同様の歪み補正を実行することにより、画像の周縁部が拡大され、補正後の画像がディスプレイ４０５に表示される（図７のステップＳ１３，Ｓ１４に相当）。
【００９２】
もちろん、画像処理装置４では第３および第４の実施の形態と同様に、使用者により複数の補正レベルから選択が行われてもよく、これにより、より適切な補正が実現される。
【００９３】
さらに、第３および第４の実施の形態に係る携帯電話１から画像処理装置４へと画像データ２２１および補正データ２２３、または、補正済画像データ２２２および補正データ２２３が転送されてもよい。これにより、送信者の意図した補正済み画像をディスプレイ４０５に表示することができるとともに、補正の程度を変更した画像や補正前の画像もディスプレイ４０５に表示することが可能となる。
【００９４】
＜６． 第６の実施の形態＞
第１ないし第４の実施の形態では、固体撮像素子からの出力をデジタル化して処理することによって遠近感が誇張される歪みを補正しているが、補正は光学的に行われてもよい。図２３は、補正用レンズ２１３を用いて補正を行う場合のレンズユニット２１の構成を示す斜視図である。
【００９５】
補正用レンズ２１３は、レンズ２１１とＣＣＤ２１２との間に配置され、電磁式のプランジャ２１４によりレンズ２１１の光軸２１１ａに対して進退可能とされる。補正用レンズ２１３は、画像の周辺部を中央部に対して図８に示す特性にて拡大するように設計されている。
【００９６】
補正された画像を取得する際には、補正用レンズ２１３が光軸２１１ａ上に移動し、補正が行われない場合には補正用レンズ２１３が光軸２１１ａから外れた位置へと退避する。これにより、人の顔等の近接する主被写体も風景等の遠景も適切に撮影することが実現される。また、画像処理をする必要がなくなることから、画像データに対する処理時間も短縮される。
【００９７】
なお、補正用レンズ２１３を用いて遠近感が誇張される歪みを補正する技術は、銀塩フィルムを用いて画像を取得するカメラにも応用することが可能である。また、補正用レンズ２１３の移動は使用者がレバーを操作する等して行われてもよい。
【００９８】
＜７． 変形例＞
以上、本発明の実施の形態について説明してきたが、本発明は上記実施の形態に限定されるものではなく様々な変形が可能である。
【００９９】
例えば、上記実施の形態では画像の周縁部を中央部に対して拡大するようにしているが、これは、主被写体が撮像部２に向かって略凸となる形状を有することを前提としている。主被写体の形状によっては主被写体と撮像部２とが近いために主被写体の立体的形状により生じる画像の歪みの特性は異なったものとなる。したがって、主被写体の立体的形状が既知であるならば、主被写体の形状に合わせた歪み補正が行われてもよい。
【０１００】
具体的には、上下に伸びる円柱状の主被写体を撮影する際には、左右方向に対してのみ図８に示す特性を有する歪みの補正が行われてもよく、主被写体の表面の一部が撮像部２に対向する平面であることが事前に判明している場合には、この平面の部分に対して歪み補正を行わないようにしてもよい。
【０１０１】
また、上記実施の形態では、画像の周縁部を中央部に対して拡大するようにしているが、中央部が周縁部に対して縮小されてもよい。すなわち、画像の周縁部が中央部に対して相対的に拡大されてもよい。第６の実施の形態における補正用レンズ２１３を用いる場合も同様である。
【０１０２】
上記第３および第４の実施の形態では、補正レベルが３段階である場合について説明したが３段階に限定されるものではなく、２段階（補正有りまたは補正なしの切替を含む）、あるいは、４段階以上であってもよい。多数の補正レベルを利用することにより、主被写体の像の様々なサイズや主被写体との様々な距離に基づいたより適切な歪み補正を行うことができる。
【０１０３】
上記第３および第４の実施の形態では、選択された補正レベルを補正データ２２３としてＲＡＭ３３や外部メモリ１１３に保存するが、補正データ２２３は補正の内容を示すデータであればどのようなものであってもよい。例えば、図１４や図１５に示す画像の中心からの距離と拡大率との関係が補正データ２２３として保存されてもよく、図１１および図１２に示す領域８１１〜８１４の範囲や各領域の拡大率が補正データ２２３として保存されてもよい。これにより、第３および第４の実施の形態に係る携帯電話１や第５の実施の形態に係る画像処理装置が画像データ２２１および補正データ２２３を受信した際に、予め準備された補正特性に拘束されることなく画像の歪み補正を行うことが可能となる。
【０１０４】
上記第３および第４の実施の形態では、補正データ２２３が生成された後、ＲＡＭ３３に保存されると説明したが、補正データ２２３は保存されることなく相手側の端末に向けて送信されてもよい。すなわち、画像データ２２１および補正データ２２３が携帯電話１に保存されることなく外部へと出力されてもよい。
【０１０５】
なお、上記第３および第４の実施の形態では、補正の程度は使用者の好みに応じて適宜変更されてよいため、例えば、さらに強い補正を行って逆の歪み（主被写体の周縁部が手前に存在するように見える歪み）を生じさせた画像が作成されてもよい。
【０１０６】
上記実施の形態では、歪補正部２０１はＣＰＵがプログラムに従って動作することにより実現されるものとして説明したが、その一部または全部が専用の電気的回路として設けられてもよい。
【０１０７】
第１ないし第４の実施の形態に係る携帯電話１内のプログラム３２１は記録媒体である外部メモリ１１３から書き換え可能なＲＯＭ３２に書き込まれてもよく、受信部１１４を介してＲＯＭ３２に書き込まれてもよい。このように、歪み補正機能は携帯電話１の購入後に追加されてもよい。
【０１０８】
【発明の効果】
請求項１ないし１２の発明では、主被写体と撮像手段とが近いために生じる画像の歪みを補正することができる。
【０１１０】
請求項５の発明では、補正処理を簡素化することができる。
【０１１２】
請求項１および３の発明では、補正が必要か否かを自動的に判定することができる。
【０１１３】
請求項２および４の発明では、適切な補正レベルを自動的に選択することができ、より適切な補正を行うことができる。
【０１１４】
請求項６の発明では、補正が行われたことを使用者が容易に認識することができる。
【０１１５】
請求項７ないし９の発明では、補正データを生成することができ、補正データを利用した画像の歪の補正が可能となる。
【０１１７】
請求項１２の発明では、外部から受信した補正データに従った補正を行うことができる。
【図面の簡単な説明】
【図１】本発明に係る携帯電話の外観図である。
【図２】携帯電話の構成および撮像部の構成を示すブロック図である。
【図３】（ａ）は遠近感が誇張される歪みが生じない撮影状態を示し、（ｂ）は歪みを有しない画像を示す図である。
【図４】（ａ）は遠近感が誇張される歪みが生じる撮影状態を示し、（ｂ）は歪みを有する画像を示す図である。
【図５】主被写体上の点とレンズとの関係を示す図である。
【図６】第１の実施の形態における画像の歪を補正するための構成を示すブロック図である。
【図７】画像を取得する際の携帯電話の動作の流れを示す図である。
【図８】画像の中心からの距離に応じた拡大率の変化を示す図である。
【図９】補正済みの画像がディスプレイに表示された様子を示す図である。
【図１０】携帯電話が使用者の顔の撮影に使用される様子を示す図である。
【図１１】画像の中心からの距離に応じて分割された領域を示す図である。
【図１２】領域ごとの拡大率の変化を示す図である。
【図１３】主被写体のサイズを判定するための領域を示す図である。
【図１４】画像の中心からの距離に応じた拡大率の変化を示す図である。
【図１５】画像の中心からの距離に応じた拡大率の変化を示す図である。
【図１６】第２の実施の形態における画像の歪を補正するための構成を示すブロック図である。
【図１７】画像を取得する際の携帯電話の動作の流れを示す図である。
【図１８】画像を取得する際の携帯電話の動作の流れを示す図である。
【図１９】第３の実施の形態における画像の歪を補正するための構成を示すブロック図である。
【図２０】画像を取得する際の携帯電話の動作の流れを示す図である。
【図２１】携帯電話と主被写体とを示す図である。
【図２２】画像処理装置の構成を示す図である。
【図２３】補正用レンズを有する撮像部の構成を示す図である。
【符号の説明】
１ 携帯電話
２ 撮像部
４ 画像処理装置
１１ ディスプレイ
１２ 操作ボタン部
３１ ＣＰＵ
３２ ＲＯＭ
３３ ＲＡＭ
１１３ 外部メモリ
１１４ 受信部
１１７ 測距部
２０１ 歪補正部
２０３ 表示制御部
２０４ サイズ検出部
２０５ 補正レベル選択部
２１３ 補正用レンズ
２１４ プランジャ
３２１ プログラム
Ｓ１３ ステップ
【発明の属する技術分野】
本発明は、撮影された画像の歪みを補正する技術に関する。
【０００２】
【従来の技術】
従来より、レンズにより生じる画像の歪みである歪曲収差や魚眼レンズによる画像の歪みを画像処理によって補正することがなされている。例えば、レンズにより生じる幾何学的な歪みに合わせて、固体撮像素子の画素信号の読み出し順序を変更しつつ補間を行うことにより歪みを補正する技術が知られている。
【０００３】
【発明が解決しようとする課題】
一方で、カメラで人物の顔等を比較的近くから撮影すると、遠近感が誇張されたような画像となる。平面の被写体を同じように撮影した場合には直線がほぼ直線に映ることから、このような歪みは歪曲収差とは異質なものである。奥行きのある立体的な被写体にカメラが近づいた場合、立体の周縁の奥まった部位が手前の部位に近接して見え、あたかも遠近感が誇張されたかのような歪みが生じていると考えられる（以下において、このような歪みを「遠近感が誇張される歪み」と略する）。遠近感が誇張される歪みは歪曲収差とは異質であることから、このような歪みを補正するための新たな手法が必要となる。
【０００４】
特に、携帯電話にデジタルカメラが搭載されたものが既に市販されており、今後、通話を行いながら使用者自身の顔を撮影するテレビ電話として携帯電話が利用されることが考えられる。カメラ付き携帯電話の場合、使用者の顔が適切な大きさにて撮影されるようにレンズは広角側の焦点距離に設定される。このような光学系にてカメラと使用者の顔とが近接した場合、遠近感が誇張される歪みが一層顕著に生じる。
【０００５】
本発明は、上記課題に鑑みなされたものであり、立体的な被写体の遠近感が誇張される歪みを補正することを目的としている。
【０００６】
【課題を解決するための手段】
請求項１の発明は、デジタル撮影装置であって、被写体の画像を取得する撮像手段と、前記撮像手段と立体的な主被写体との近接撮影時に生じる画像の歪みを、前記画像の周縁部を中央部に対して相対的に拡大することによって補正する補正手段と、前記画像中の前記主被写体の像のサイズを検出する検出手段と、前記サイズから前記補正手段による補正の要否を判定する判定手段と、を備える。
【０００７】
請求項２の発明は、デジタル撮影装置であって、被写体の画像を取得する撮像手段と、前記撮像手段と立体的な主被写体との近接撮影時に生じる画像の歪みを、前記画像の周縁部を中央部に対して相対的に拡大することによって補正する補正手段と、前記画像中の前記主被写体の像のサイズを検出する検出手段と、前記補正手段による補正の程度に相当する複数の補正レベルの中から前記サイズに基づいて補正レベルを選択する手段と、を備える。
【０００８】
請求項３の発明は、デジタル撮影装置であって、被写体の画像を取得する撮像手段と、前記撮像手段と立体的な主被写体との近接撮影時に生じる画像の歪みを、前記画像の周縁部を中央部に対して相対的に拡大することによって補正する補正手段と、前記撮像手段から前記主被写体までの距離を測定する測距手段と、前記距離から前記補正手段による補正の要否を判定する判定手段と、を備える。
【０００９】
請求項４の発明は、デジタル撮影装置であって、被写体の画像を取得する撮像手段と、前記撮像手段と立体的な主被写体との近接撮影時に生じる画像の歪みを、前記画像の周縁部を中央部に対して相対的に拡大することによって補正する補正手段と、前記撮像手段から前記主被写体までの距離を測定する測距手段と、前記補正手段による補正の程度に相当する複数の補正レベルの中から前記距離に基づいて補正レベルを選択する手段と、を備える。
【００１０】
請求項５の発明は、請求項１ないし４のいずれかの発明に係るデジタル撮影装置であって、前記補正手段が、前記画像を複数の領域に分割し、前記複数の領域のそれぞれに応じた拡大率にて前記複数の領域を拡大する。
【００１１】
請求項６の発明は、請求項１ないし５のいずれかの発明に係るデジタル撮影装置であって、前記補正手段による補正が行われたことを示す表示を表示する手段、をさらに備える。
【００１２】
請求項７の発明は、請求項１ないし６のいずれかの発明に係るデジタル撮影装置であって、前記補正手段による補正内容を示す補正データを生成する手段、をさらに備える。
【００１３】
請求項８の発明は、請求項７の発明に係るデジタル撮影装置であって、前記補正データを前記画像または補正済画像のデータとともに保存する保存手段、をさらに備える。
【００１４】
請求項９の発明は、請求項８の発明に係るデジタル撮影装置であって、前記保存手段に保存された前記画像のデータを前記補正データとに基づいて前記補正手段が補正を行う。
【００１５】
請求項１０の発明は、コンピュータに画像の処理を実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体であって、前記プログラムのコンピュータによる実行は、前記コンピュータに、画像のデータを準備する工程と、前記画像中の前記主被写体の像のサイズを検出する工程と、撮像装置と立体的な主被写体との近接撮影時に生じる画像の歪みを補正する際の補正の程度に相当する補正レベルを、複数の補正レベルの中から前記サイズに基づいて選択する工程と、前記選択された補正レベルで、前記画像の周縁部を中央部に対して相対的に拡大することによって前記歪みを補正する工程と、を実行させる。
【００１６】
請求項１１の発明は、画像処理装置であって、画像のデータを記憶する記憶手段と、撮像装置と立体的な主被写体との近接撮影時に生じる画像の歪みを、前記画像の周縁部を中央部に対して相対的に拡大することによって補正する補正手段と、前記画像中の前記主被写体の像のサイズを検出する検出手段と、前記補正手段による補正の程度に相当する複数の補正レベルの中から前記サイズに基づいて補正レベルを選択する手段と、を備える。
【００１７】
請求項１２の発明は、請求項１１の発明に係る画像処理装置であって、外部から前記画像のデータおよび補正内容を示す補正データを受信する受信手段、をさらに備え、前記補正手段が、前記補正データに基づいて補正を行う。
【００２５】
【発明の実施の形態】
＜１． 第１の実施の形態＞
図１は、本発明の第１の実施の形態に係る携帯電話１の外観図である。携帯電話１は、通話やデータ通信を行う通信装置としての機能のみならず、画像を取得する撮影装置としての機能も有する。
【００２６】
携帯電話１は、画像を撮影する撮像部２を有し、本体部前面には使用者へのメニューや撮影した画像を表示する液晶のディスプレイ１１を有する。ディスプレイ１１の上方には通話時に音声を出力するスピーカ１３、側方には撮像部２のレンズユニット２１、並びに、下方には通話や撮影時等に使用者からの指示を受け付ける操作ボタン部１２、および、通話時に音声を集音するマイク１４が設けられる。さらに、本体部の上面には情報の送受信のためのアンテナ１５が設けられる。
【００２７】
図２は、撮像部２の構成および本体部に設けられた各種構成を示すブロック図である。図２に示す構成のうち、レンズ２１１およびＣＣＤ２１２を有するレンズユニット２１、Ａ／Ｄ変換部２２、並びに、信号補正部２３が撮像部２に含まれる。本体部内には、各種演算処理を行うＣＰＵ３１、動作プログラムを記憶するＲＯＭ３２および各種データを記憶するＲＡＭ３３が設けられ、撮像部２の各種構成、ＲＯＭ３２およびＲＡＭ３３がＣＰＵ３１に接続される。また、ＣＰＵ３１には、ディスプレイ１１、操作ボタン部１２、携帯電話１に装着された外部メモリ１１３、並びに、アンテナ１５を介して信号の受信および送信を行う受信部１１４および送信部１１５も接続される。
【００２８】
携帯電話１では、撮像部２、ＣＰＵ３１、ＲＯＭ３２およびＲＡＭ３３により画像が取得される。すなわち、レンズ２１１により被写体の像がＣＣＤ２１２上に結像され、操作ボタン部１２のうち使用者から撮影の指示を受け付けるボタンが押されると、ＣＣＤ２１２からの画像信号がＡ／Ｄ変換部２２によりデジタル信号に変換される。Ａ／Ｄ変換部２２にて変換されたデジタル画像信号は、さらに信号補正部２３によりホワイトバランスやγ補正等の処理が施され、ＲＡＭ３３に画像のデータとして記憶される。なお、これらの処理の制御はＣＰＵ３１がＲＯＭ３２内に記憶されているプログラム３２１に従って動作することにより行われる。
【００２９】
また、操作ボタン部１２からの入力操作に基づいてＣＰＵ３１を介してＲＡＭ３３と外部メモリ１１３との間で各種データの受け渡しが可能とされており、ディスプレイ１１には、ＣＰＵ３１の制御により、各種情報の表示やＲＡＭ３３や外部メモリ１１３に記憶されいてる画像の表示が行われる。
【００３０】
ここで、撮影の際に図３（ａ）に示すように主被写体９と携帯電話１とが十分に離れている場合には図３（ｂ）の画像のように自然な画像が得られる。しかし、図４（ａ）に示すように主被写体９と携帯電話１とが近い場合には、図４（ｂ）の画像のように遠近感が誇張された不自然な画像となる。
【００３１】
これは、撮像部２に向かって主被写体の中央部が周縁部よりも突出する場合、換言すれば、主被写体が撮像部２に向かって略凸となる形状である場合、主被写体と撮像部２とが近接すると主被写体の周縁部の面が撮像部２から周縁部に向かう方向に対して平行に近づくためであると考えられる。より具体的には、図５に示すように、主被写体９の周縁部の点９１からレンズ２１１に入射する光とレンズ２１１の光軸２１１ａとのなす角θ１と、点９１より手前に位置する点９２からレンズ２１１に入射する光と光軸２１１ａとのなす角θ２との差が、レンズ２１１が主被写体９に近づくほど減少するために画像に歪みが生じると考えられる。
【００３２】
また、図５に示す角θ１が大きくなるほど歪みが大きくなることから、主被写体が撮像部２に近く、かつ、主被写体の像が画像に占める割合が大きい場合には、画像の遠近感が誇張される歪みが顕著に生じることとなる。
【００３３】
そこで、携帯電話１では、このような歪みを内部のＣＰＵ３１による画像処理により補正するようになっている。
【００３４】
図６は、ＣＰＵ３１がＲＯＭ３２内のプログラム３２１に従って動作することにより実現される機能構成を他の構成とともに示す図である。図６に示す構成のうち、歪補正部２０１、データ転送部２０２および表示制御部２０３が、ＣＰＵ３１により実現される機能を示す。
【００３５】
歪補正部２０１は、信号補正部２３から出力されてＲＡＭ３３に記憶された画像データ２２１に対して後述する歪みの補正を行って補正済画像データ２２２を生成する。データ転送部２０２は、使用者の指示を操作ボタン部１２から受け付け、表示する画像のデータ（補正済画像データ２２２を含む。）をＲＡＭ３３または外部メモリ１１３から取得して表示制御部２０３に渡す。表示制御部２０３は、データ転送部２０２から転送される補正済画像データ２２２に対して必要な処理を行ってからディスプレイ１１に画像を表示させる。
【００３６】
なお、図示を省略しているが、携帯電話１では操作ボタン部１２を介して歪補正部２０１にて補正を行うか否かを選択することが可能とされている。
【００３７】
図７は、携帯電話１が画像を取得する際の動作の流れを示す図である。以下、図６および図７を用いて携帯電話１の動作について説明する。
【００３８】
まず、操作ボタン部１２の操作により撮像部２にて画像が取得され、ＲＡＭ３３に画像データ２２１として記憶される（ステップＳ１１）。ここで、歪補正部２０１による補正を行うように設定がなされているか否かが確認され、補正を行う場合には歪補正部２０１が画像データ２２１に対して補正処理を行う（ステップＳ１２，Ｓ１３）。
【００３９】
図５を用いて説明したように、主被写体が撮像部２に近接するために生じる画像の歪みは、主被写体の像の周縁部が中央部に対してあたかも縮小されたかのような歪みとなる。そこで、歪補正部２０１では、画像の周縁部を中央部に対して拡大する補正を行う。図８は、歪み補正における画像の中心からの距離と拡大率との関係を示す図である。図８に示すように、画像の中心から離れている部位ほど大きな拡大率にて拡大処理が行われる。さらに、拡大率の増加量も画像の中心から離れるほど大きくなる。このような処理により、画像データ２２１が図４（ｂ）に例示した画像のデータである場合、補正済画像データ２２２は、図４（ａ）に示す画像のデータへと近づけられる。
【００４０】
その後、表示制御部２０３がＲＡＭ３３に作成された補正済画像データ２２２をデータ転送部２０２を介して取得し、ディスプレイ１１に補正後の画像が表示される（ステップＳ１４）。
【００４１】
図９は補正済みの画像が表示されたディスプレイ１１を例示する図である。図９に示すように、補正済みの画像が表示される際には表示制御部２０３により、歪補正部２０１による補正が行われたことを示す表示８が補正済みの画像に合成されて表示される。これにより、使用者は歪みの補正が行われたか否かを容易に認識することが可能となり、補正を忘れてしまうことが防止される。
【００４２】
歪補正部２０１による補正を行わないように設定がなされている場合には、補正を行うことなくデータ転送部２０２が画像データ２２１を表示制御部２０３へと転送し、画像の表示が行われる（ステップＳ１２，Ｓ１４）。
【００４３】
また、必要に応じて、画像データ２２１や補正済画像データ２２２がデータ転送部２０２から図２に示す送信部１１５へと転送され、アンテナ１５を介して他の端末に向けて送信されたり、外部メモリ１１３に保存される。
【００４４】
以上のように、携帯電話１では主被写体、特に、携帯電話１を保持する使用者の顔を撮影する際に、遠近感が誇張される歪みを補正することができ、自然な画像に近い画像を取得することができる。また、補正を行うか否かの設定を切り替えることができ、歪補正部２０１を非能動化することにより風景等の遠景も適切に撮影することができる。
【００４５】
なお、本実施の形態では、補正を行う場合に取得された画像に対して一律に図８に示す特性の補正が行われる。通常の撮影においては、主被写体の形状や主被写体までの距離の違いから画像の歪みは一定ではない。しかし、携帯電話１のように本体の前面に撮像部２を有する場合、図１０に示すように使用者が自分の顔を撮影して通話相手に送信する際にのみ主被写体に近づいて撮影が行われるものと想定される。さらに、自分の顔であるために補正の必要性が高くなるといえる。近接して撮影される主被写体が人間の顔に限定される場合、主被写体の立体的形状（凹凸等）の状態、携帯電話１を手に持って撮影する際の撮像部２と主被写体との距離および画像内の主被写体の像の大きさがほぼ一定となる。
【００４６】
そこで、携帯電話１では、主被写体が使用者の顔である場合にのみ補正が必要であるという前提に基づき、簡易な補正機能のみが設けられている。なお、撮影対象が使用者の顔に限定される場合には撮影の際に常に補正が行われるようになっていてもよい。
【００４７】
＜２． 第２の実施の形態＞
第１の実施の形態では、画像の中心から連続的に拡大率を変化させて画像の周縁部を拡大する補正が行われるが、補正処理は簡素化されてもよい。
【００４８】
図１１は、撮像部２により取得された画像８１を中心からの距離に応じて複数の領域８１１〜８１４に分割した様子を示す図である。歪補正部２０１ではこれらの領域８１１〜８１４に対して異なる拡大率にて拡大補正が行われる。ただし、補正後の領域の間に隙間や重なりが生じる場合には、適宜、補間処理や部分的な削除が行われる。
【００４９】
図１２は、拡大処理が行われる際の各領域に対する拡大率を示す図である。領域番号１〜４はそれぞれ領域８１１〜８１４に対応する。図１２に示すように、画像の周縁部の領域に対する拡大率ほど高く設定される。これにより、画像の周縁部が中央部に対して拡大される。歪補正部２０１にてこのような補正を行う場合、歪補正部２０１における処理は簡素化され、補正を迅速に行うことができる。
【００５０】
なお、主被写体が使用者の顔に限定される場合、使用者の顔の像は縦長の楕円に近くなる。そこで、図１１に示す領域８１１〜８１４の境界は楕円に設定されてもよい。さらには、画像を上下左右に並ぶ複数の矩形の領域に分割し、各分割領域の位置に応じた拡大率が設定されてもよい。このように、画像は任意の複数の領域に分割されてよく、各分割領域に応じた拡大率にて分割領域を拡大することにより、さらに適切な歪み補正が実現される。
【００５１】
一方、主被写体の形状に応じて分割領域の形状が任意に変更されてもよい。例えば、画像処理により主被写体の輪郭を抽出し、主被写体の輪郭に合わせて領域８１１〜８１４の境界の形状が決定されてもよい。このような処理により適切な歪みの補正が実現される。
【００５２】
＜３． 第３の実施の形態＞
第１および第２の実施の形態では、補正の特性を固定することにより簡易な歪み補正を行っているが、補正の程度を変更しつつ補正が行われてもよい。次に、第３の実施の形態として画像中の主被写体の像の大きさに応じて補正の程度が変更される携帯電話１について説明する。なお、携帯電話１の構成は図１および図２に示す構成と同様である。
【００５３】
図１３は、画像中の主被写体の像の大きさ（以下、「サイズ」という。）を検出するために画像８２中に設定された領域８２１，８２２を示す図である。ただし、領域８２２は領域８１２を含むものとする。遠近感が誇張される歪みは、一般的には、画像内に占める主被写体の画像の割合が大きいほど顕著に生ずるとみなすことができる。また、主被写体は常に画像の中央に存在するとみなすことができるため、画像８２に画像の中心からの距離に応じた領域８２１，８２２を設定し、主被写体の像のサイズをこれらの領域８２１，８２２と比較して補正の程度を変更することにより、適切な歪み補正を実現することができる。
【００５４】
具体的には、主被写体の像が領域８２１に収まる場合には、主被写体の像の周縁部の歪みが無視できるとみなして歪み補正を行わず、主被写体の像が領域８２１には収まらないが領域８２２に収まる場合には、やや歪みが目立つと想定されることから、補正の程度が低い補正（図１４に示す特性を有する補正）を行い、主被写体の像が領域８２２に収まらない場合には、歪みがかなり目立つとみなして補正の程度が高い補正（図１５に示す特性を有する補正）が行われる。すなわち、主被写体の像のサイズが大きいほど補正の程度が強く設定される。以下の説明では、補正の程度を「補正レベル」と呼び、補正を行わない補正レベルを「０」、図１４に示す特性の補正レベルを「１」、図１５に示す特性の補正レベルを「２」と呼ぶ。
【００５５】
図１６は、第３の実施の形態におけるＣＰＵ３１がＲＯＭ３２内のプログラム３２１に従って動作することにより実現される機能構成を他の構成とともに示す図である。図１６に示す構成は、図６に示す構成に主被写体の像のサイズを検出するサイズ検出部２０４および補正レベルを選択する補正レベル選択部２０５を追加したものとなっている。他の構成は第１の実施の形態とほぼ同様の処理や動作を行う。
【００５６】
図１７および図１８は、第３の実施の形態に係る携帯電話１の動作の流れを示す図である。以下、図１６ないし図１８を参照して携帯電話１が画像を取得する際の動作を説明する。
【００５７】
まず、操作ボタン部１２を介して撮影が指示されると、信号補正部２３からの画像信号がＲＡＭ３３に画像データ２２１として記憶され、画像が取得される（ステップＳ２１１）。次に、サイズ検出部２０４が画像中の主被写体の像のサイズを検出する（ステップＳ２１２）。サイズ検出部２０４では、画像中の鮮明なエッジの存在領域や画像中の色の分布に基づいて主被写体の像の領域が特定され、さらに、図１３に示す領域８２１，８２２と主被写体の像の領域とを比較することにより、主被写体の像のサイズが検出される。
【００５８】
検出された主被写体の像のサイズは補正レベル選択部２０５に入力され、主被写体の像が領域８２１に含まれる場合には補正レベルが０に設定される（ステップＳ２１３，Ｓ２１４）。主被写体の像が領域８２１を超えるが領域８２２には含まれる場合には補正レベルが１に設定される（ステップＳ２１５，Ｓ２１６）。主被写体の像が領域８２２を超える場合には補正レベルが２に設定される（ステップＳ２１５，Ｓ２１７）。
【００５９】
続いて、歪補正部２０１が、補正レベル選択部２０５で選択された補正レベルに基づいて画像データ２２１の歪みを補正し、補正済画像データ２２２を生成する（ステップＳ２１８）。すなわち、補正レベルが０の場合には歪み補正を行わず、補正レベルが１の場合には図１４に示す特性の弱い歪み補正を行い、補正レベルが２の場合には図１５に示す特性の強い歪み補正を行う。
【００６０】
このように、携帯電話１では実質的に領域８２１を用いて検出される主被写体の像のサイズから補正の要否を判定し、領域８２２を用いることにより主被写体の像のサイズに基づいて１または２の補正レベルを選択するようになっている。
【００６１】
補正済画像データ２２２がＲＡＭ３３に記憶されると、データ転送部２０２が表示制御部２０３へと補正済画像データ２２２を転送し、ディスプレイ１１に補正後の画像が表示される（ステップＳ２１９）。このとき、補正レベルの表示が合成されて表示される。なお、補正レベルが０の場合には、画像データ２２１が表示制御部２０３へと転送され、取得された画像がそのまま表示される。
【００６２】
ここで、使用者は表示された画像を見て補正が適切であるか、あるいは、好みの補正が行われたかを確認する。補正が好ましくない場合には、操作ボタン部１２を介して補正レベルが選択される（ステップＳ２２１，Ｓ２２２）。そして、再度、使用者により選択された補正レベルにて補正が行われ、補正後の画像がディスプレイ１１に表示される（ステップＳ２１８，Ｓ２１９）。なお、補正レベルとして０が選択された場合には、補正が施されていない画像が表示される。
【００６３】
このように、携帯電話１では使用者の操作により補正レベルを選択することも可能とされている。
【００６４】
一方、補正済みの画像が適切であると使用者により判断され、操作ボタン部１２の操作により補正レベルが確定された場合には、補正レベル選択部２０５により、選択された補正レベルが補正データ２２３としてＲＡＭ３３に記憶される（ステップＳ２２３）。すなわち、図１６において補正レベル選択部２０５は、補正レベルの選択および補正データの生成の双方を行う部位として図示している。
【００６５】
ＲＡＭ３３に記憶されている画像データ２２１、補正済画像データ２２２および補正データ２２３は、操作ボタン部１２からの指示を受け付けたデータ転送部２０２によって適宜取り出され、外部メモリ１１３に保存されたり、送信部１１５およびアンテナ１５（図２参照）を介して他の端末に送信される。
【００６６】
以上のように、携帯電話１では補正の内容を示す補正データ２２３が別途保存される。したがって、このような携帯電話１の間で通信を行うことにより、補正データ２２３を利用した様々な画像の楽しみ方が実現される。
【００６７】
例えば、一方の携帯電話１から画像データ２２１および補正データ２２３を送信した場合、受信した携帯電話１では補正データ２２３が示す補正レベルにて歪補正部２０１が画像データ２２１の歪み補正を行い、補正後の画像がディスプレイ１１に表示される。これにより、送信者の好みの歪み補正が行われた画像が自動的に受信者に向けて表示される。受信側の携帯電話１では、補正前の画像データ２２１を有することから、補正レベルを変更した補正済み画像、あるいは、補正がなされていない画像を表示することも可能となる。
【００６８】
一方の携帯電話１から補正済画像データ２２２および補正データ２２３が送信される場合は、受信側の携帯電話１にて歪み補正は行われず、補正済みの画像がディスプレイ１１に表示される。ここで、補正データ２２３からどのような補正が行われたかを把握することができるため、歪補正部２０１にて歪み補正の逆演算を行うことにより補正前の画像のデータを生成することができる。さらには、補正レベルを変更した画像のデータも生成することが可能となる。
【００６９】
このように、補正データ２２３を利用することにより、受信側にて補正の程度を任意に変更することが実現される。
【００７０】
また、画像データ２２１と補正済画像データ２２２とは補正データ２２３を用いて一方から他方へと変換可能なデータであることから、補正データ２２３が存在する場合、画像データ２２１および補正済画像データ２２２のいずれかは保存する必要がないデータとなる。したがって、例えば、外部メモリ１１３に画像を保存する際には、画像データ２２１および補正データ２２３のみが外部メモリに保存されてもよい。この場合、外部メモリ１１３から画像を読み出して表示する際には、歪補正部２０１が読み出された画像データ２２１を補正データ２２３が示す補正レベルにて補正し、補正済画像データ２２２を生成してからディスプレイ１１に補正済みの画像が表示される。これにより、外部メモリ１１３に補正済画像データ２２２を保存することが不要となり、さらに、読み出された画像を様々な補正レベルにて補正することが可能となる。
【００７１】
もちろん、外部メモリ１１３には補正済画像データ２２２および補正データ２２３のみが保存されてもよく、この場合、外部メモリ１１３から読み出された補正済画像データ２２２および補正データ２２３を用いて歪補正部２０１が歪み補正の逆演算を行うことにより補正前の画像のデータを生成することも可能となる。
【００７２】
以上のように、第３の実施の形態に係る携帯電話１では、主被写体の像のサイズに応じて補正の要否を自動的に判定し、さらには、補正の程度が自動的に変更されることから、使用者が特別な操作をすることなく適切な補正が施された画像を得ることができる。
【００７３】
また、補正が使用者の好みに合わない場合であっても、補正の程度を変更することができ、さらに、補正データ２２３を送信することにより受信者側にて補正の程度を変更することも可能となる。
【００７４】
なお、主被写体像のサイズを主被写体像の面積から検出し、補正レベルが決定されてもよい。
【００７５】
＜４． 第４の実施の形態＞
第３の実施の形態では、主被写体のサイズに応じて補正レベルが選択されるが、補正レベルの選択は主被写体と携帯電話１との距離に基づいて行うことも可能である。図５を用いて説明したように、主被写体９と撮像部２とが近いほど、主被写体像の歪みが顕著となるからである。
【００７６】
以下、第４の実施の形態に係る携帯電話１として、主被写体との距離に基づいて補正レベルを選択する携帯電話１について説明する。なお、第４の実施の形態に係る携帯電話１は図１および図２に示す構成に測距センサを追加した構成となっており、以下の説明では第３の実施の形態と同様の構成については同符号を付して説明する。
【００７７】
図１９は、第４の実施の形態に係る携帯電話１においてＣＰＵ３１がＲＯＭ３２内のプログラム３２１に従って動作することにより実現される機能構成を他の構成をともに示すブロック図であり、図１６に示すサイズ検出部２０４を測距部１１７に置き換えたものとなっている。
【００７８】
測距部１１７は測距センサを有し、例えば、位相差検出方式にて主被写体から撮像部２までの距離を測定する。測定された距離は補正レベル選択部２０５に入力され、補正レベルの選択が行われる。
【００７９】
図２０は、第４の実施の形態に係る携帯電話１の動作の流れの一部を示す図であり、他の部分は図１８と同様である。図２０において図１７と同様の動作については同符号を付している。以下、図１９、図２０および図１８を参照して携帯電話１が画像を取得する際の動作について説明する。
【００８０】
まず、操作ボタン部１２を介して撮影が指示されて画像が取得されると（ステップＳ２１１）、この動作とほぼ同時に測距部１１７にて主被写体までの距離が取得される（ステップＳ３１２）。
【００８１】
測定された主被写体までの距離は補正レベル選択部２０５に入力され、補正レベルの選択が行われる。補正レベルの選択は図２１に示すように予め定められた距離のしきい値Ｄ１，Ｄ２と携帯電話１から主被写体９までの距離とを比較することにより行われる。すなわち、主被写体までの距離がしきい値Ｄ１以上である場合には、主被写体と撮像部２とが十分に離れているため歪み補正が不要と判定され、補正レベルが０に設定される（ステップＳ３１３，Ｓ２１４）。主被写体との距離がしきい値Ｄ１未満であるが、しきい値Ｄ１よりも小さいしきい値Ｄ２以上である場合には程度の低い歪み補正が必要であると判定され、補正レベルが１に設定される（ステップＳ３１５，Ｓ２１６）。主被写体までの距離がしきい値Ｄ２未満である場合には程度の高い歪み補正が必要であると判定され、補正レベルが２に設定される（ステップＳ３１５，Ｓ２１７）。
【００８２】
続いて、第３の実施の形態と同様に、補正が必要な場合には歪補正部２０１が、補正レベル選択部２０５で選択された補正レベルに基づいて画像データ２２１の歪みを補正し、補正済画像データ２２２を生成する（ステップＳ２１８）。このように、携帯電話１では実質的に測距部１１７を用いて検出される主被写体までの距離としきい値Ｄ１とを比較することにより補正の要否を判定し、しきい値Ｄ２と比較することにより１または２の補正レベルを選択するようになっている。
【００８３】
補正済画像データ２２２がＲＡＭ３３に記憶されると、以後、第３の実施の形態と同様に、画像の表示が行われ（ステップＳ２１９）、必要に応じて使用者による補正レベルの変更が行われる（図１８）。
【００８４】
また、補正レベルも補正データ２２３としてＲＡＭ３３に記憶され、補正データ２２３を送信することにより受信者側にて補正の程度を変更することが可能とされる。
【００８５】
以上のように、第４の実施の形態に係る携帯電話１では、主被写体までの距離に基づいて補正の要否を自動的に判定したり、補正の程度が自動的に変更されることから、使用者が特別な操作をすることなく適切な補正が施された画像を得ることができる。
【００８６】
＜５． 第５の実施の形態＞
以上の実施の形態では、携帯電話内部において画像データの処理を行うようになっているが、画像データの処理は別途設けられた画像処理装置にて行われてもよい。
【００８７】
図２２は、画像処理装置４の構成を示すブロック図である。画像処理装置４は、各種演算処理を行うＣＰＵ４０１、基本プログラムを記憶するＲＯＭ４０２および各種情報を記憶するＲＡＭ４０３をバスラインに接続した一般的なコンピュータシステムの構成となっている。バスラインにはさらに、データ等を保存する固定ディスク４０４、情報や画像の表示を行うディスプレイ４０５、操作者からの入力を受け付けるキーボード４０６ａおよびマウス４０６ｂ、光ディスク、磁気ディスク、光磁気ディスク等の記録媒体９３から情報の読み取りを行う読取装置４０７、並びに、通信網を介して他の通信装置と通信を行う通信部４０８が、適宜、インターフェイス（Ｉ／Ｆ）を介する等して接続される。
【００８８】
画像処理装置４には、事前に読取装置４０７を介して記録媒体９３からプログラムが読み出され、固定ディスク４０４に記憶される。そして、プログラム４４１がＲＡＭ４０３にコピーされるとともにＣＰＵ４０１がＲＡＭ４０３内のプログラムに従って演算処理を実行することにより画像処理装置４が画像の歪み補正を行う。
【００８９】
すなわち、主としてＣＰＵ４０１が図６に示す歪補正部２０１、データ転送部２０２および表示制御部２０３としての動作を行い、キーボード４０６ａおよびマウス４０６ｂが操作ボタン部１２と同様の役割を果たし、ディスプレイ４０５が携帯電話１のディスプレイ１１と同様の役割を果たす。
【００９０】
画像処理装置４には、携帯電話や小型のデジタルカメラにて撮影された画像のデータが固定ディスク４０４に予め格納され、取り扱い可能に準備される。例えば、携帯電話やデジタルカメラの外部メモリから画像データが固定ディスク４０４へと読み出されたり、通信部４０８を介して携帯電話から、あるいは、電子メールの添付ファイルとして画像データが受信され、固定ディスク４０４に記憶される。
【００９１】
画像データが準備されると、ＣＰＵ４０１が第１の実施の形態と同様の歪み補正を実行することにより、画像の周縁部が拡大され、補正後の画像がディスプレイ４０５に表示される（図７のステップＳ１３，Ｓ１４に相当）。
【００９２】
もちろん、画像処理装置４では第３および第４の実施の形態と同様に、使用者により複数の補正レベルから選択が行われてもよく、これにより、より適切な補正が実現される。
【００９３】
さらに、第３および第４の実施の形態に係る携帯電話１から画像処理装置４へと画像データ２２１および補正データ２２３、または、補正済画像データ２２２および補正データ２２３が転送されてもよい。これにより、送信者の意図した補正済み画像をディスプレイ４０５に表示することができるとともに、補正の程度を変更した画像や補正前の画像もディスプレイ４０５に表示することが可能となる。
【００９４】
＜６． 第６の実施の形態＞
第１ないし第４の実施の形態では、固体撮像素子からの出力をデジタル化して処理することによって遠近感が誇張される歪みを補正しているが、補正は光学的に行われてもよい。図２３は、補正用レンズ２１３を用いて補正を行う場合のレンズユニット２１の構成を示す斜視図である。
【００９５】
補正用レンズ２１３は、レンズ２１１とＣＣＤ２１２との間に配置され、電磁式のプランジャ２１４によりレンズ２１１の光軸２１１ａに対して進退可能とされる。補正用レンズ２１３は、画像の周辺部を中央部に対して図８に示す特性にて拡大するように設計されている。
【００９６】
補正された画像を取得する際には、補正用レンズ２１３が光軸２１１ａ上に移動し、補正が行われない場合には補正用レンズ２１３が光軸２１１ａから外れた位置へと退避する。これにより、人の顔等の近接する主被写体も風景等の遠景も適切に撮影することが実現される。また、画像処理をする必要がなくなることから、画像データに対する処理時間も短縮される。
【００９７】
なお、補正用レンズ２１３を用いて遠近感が誇張される歪みを補正する技術は、銀塩フィルムを用いて画像を取得するカメラにも応用することが可能である。また、補正用レンズ２１３の移動は使用者がレバーを操作する等して行われてもよい。
【００９８】
＜７． 変形例＞
以上、本発明の実施の形態について説明してきたが、本発明は上記実施の形態に限定されるものではなく様々な変形が可能である。
【００９９】
例えば、上記実施の形態では画像の周縁部を中央部に対して拡大するようにしているが、これは、主被写体が撮像部２に向かって略凸となる形状を有することを前提としている。主被写体の形状によっては主被写体と撮像部２とが近いために主被写体の立体的形状により生じる画像の歪みの特性は異なったものとなる。したがって、主被写体の立体的形状が既知であるならば、主被写体の形状に合わせた歪み補正が行われてもよい。
【０１００】
具体的には、上下に伸びる円柱状の主被写体を撮影する際には、左右方向に対してのみ図８に示す特性を有する歪みの補正が行われてもよく、主被写体の表面の一部が撮像部２に対向する平面であることが事前に判明している場合には、この平面の部分に対して歪み補正を行わないようにしてもよい。
【０１０１】
また、上記実施の形態では、画像の周縁部を中央部に対して拡大するようにしているが、中央部が周縁部に対して縮小されてもよい。すなわち、画像の周縁部が中央部に対して相対的に拡大されてもよい。第６の実施の形態における補正用レンズ２１３を用いる場合も同様である。
【０１０２】
上記第３および第４の実施の形態では、補正レベルが３段階である場合について説明したが３段階に限定されるものではなく、２段階（補正有りまたは補正なしの切替を含む）、あるいは、４段階以上であってもよい。多数の補正レベルを利用することにより、主被写体の像の様々なサイズや主被写体との様々な距離に基づいたより適切な歪み補正を行うことができる。
【０１０３】
上記第３および第４の実施の形態では、選択された補正レベルを補正データ２２３としてＲＡＭ３３や外部メモリ１１３に保存するが、補正データ２２３は補正の内容を示すデータであればどのようなものであってもよい。例えば、図１４や図１５に示す画像の中心からの距離と拡大率との関係が補正データ２２３として保存されてもよく、図１１および図１２に示す領域８１１〜８１４の範囲や各領域の拡大率が補正データ２２３として保存されてもよい。これにより、第３および第４の実施の形態に係る携帯電話１や第５の実施の形態に係る画像処理装置が画像データ２２１および補正データ２２３を受信した際に、予め準備された補正特性に拘束されることなく画像の歪み補正を行うことが可能となる。
【０１０４】
上記第３および第４の実施の形態では、補正データ２２３が生成された後、ＲＡＭ３３に保存されると説明したが、補正データ２２３は保存されることなく相手側の端末に向けて送信されてもよい。すなわち、画像データ２２１および補正データ２２３が携帯電話１に保存されることなく外部へと出力されてもよい。
【０１０５】
なお、上記第３および第４の実施の形態では、補正の程度は使用者の好みに応じて適宜変更されてよいため、例えば、さらに強い補正を行って逆の歪み（主被写体の周縁部が手前に存在するように見える歪み）を生じさせた画像が作成されてもよい。
【０１０６】
上記実施の形態では、歪補正部２０１はＣＰＵがプログラムに従って動作することにより実現されるものとして説明したが、その一部または全部が専用の電気的回路として設けられてもよい。
【０１０７】
第１ないし第４の実施の形態に係る携帯電話１内のプログラム３２１は記録媒体である外部メモリ１１３から書き換え可能なＲＯＭ３２に書き込まれてもよく、受信部１１４を介してＲＯＭ３２に書き込まれてもよい。このように、歪み補正機能は携帯電話１の購入後に追加されてもよい。
【０１０８】
【発明の効果】
請求項１ないし１２の発明では、主被写体と撮像手段とが近いために生じる画像の歪みを補正することができる。
【０１１０】
請求項５の発明では、補正処理を簡素化することができる。
【０１１２】
請求項１および３の発明では、補正が必要か否かを自動的に判定することができる。
【０１１３】
請求項２および４の発明では、適切な補正レベルを自動的に選択することができ、より適切な補正を行うことができる。
【０１１４】
請求項６の発明では、補正が行われたことを使用者が容易に認識することができる。
【０１１５】
請求項７ないし９の発明では、補正データを生成することができ、補正データを利用した画像の歪の補正が可能となる。
【０１１７】
請求項１２の発明では、外部から受信した補正データに従った補正を行うことができる。
【図面の簡単な説明】
【図１】本発明に係る携帯電話の外観図である。
【図２】携帯電話の構成および撮像部の構成を示すブロック図である。
【図３】（ａ）は遠近感が誇張される歪みが生じない撮影状態を示し、（ｂ）は歪みを有しない画像を示す図である。
【図４】（ａ）は遠近感が誇張される歪みが生じる撮影状態を示し、（ｂ）は歪みを有する画像を示す図である。
【図５】主被写体上の点とレンズとの関係を示す図である。
【図６】第１の実施の形態における画像の歪を補正するための構成を示すブロック図である。
【図７】画像を取得する際の携帯電話の動作の流れを示す図である。
【図８】画像の中心からの距離に応じた拡大率の変化を示す図である。
【図９】補正済みの画像がディスプレイに表示された様子を示す図である。
【図１０】携帯電話が使用者の顔の撮影に使用される様子を示す図である。
【図１１】画像の中心からの距離に応じて分割された領域を示す図である。
【図１２】領域ごとの拡大率の変化を示す図である。
【図１３】主被写体のサイズを判定するための領域を示す図である。
【図１４】画像の中心からの距離に応じた拡大率の変化を示す図である。
【図１５】画像の中心からの距離に応じた拡大率の変化を示す図である。
【図１６】第２の実施の形態における画像の歪を補正するための構成を示すブロック図である。
【図１７】画像を取得する際の携帯電話の動作の流れを示す図である。
【図１８】画像を取得する際の携帯電話の動作の流れを示す図である。
【図１９】第３の実施の形態における画像の歪を補正するための構成を示すブロック図である。
【図２０】画像を取得する際の携帯電話の動作の流れを示す図である。
【図２１】携帯電話と主被写体とを示す図である。
【図２２】画像処理装置の構成を示す図である。
【図２３】補正用レンズを有する撮像部の構成を示す図である。
【符号の説明】
１ 携帯電話
２ 撮像部
４ 画像処理装置
１１ ディスプレイ
１２ 操作ボタン部
３１ ＣＰＵ
３２ ＲＯＭ
３３ ＲＡＭ
１１３ 外部メモリ
１１４ 受信部
１１７ 測距部
２０１ 歪補正部
２０３ 表示制御部
２０４ サイズ検出部
２０５ 補正レベル選択部
２１３ 補正用レンズ
２１４ プランジャ
３２１ プログラム
Ｓ１３ ステップ
Claims (12)
- デジタル撮影装置であって、
被写体の画像を取得する撮像手段と、
前記撮像手段と立体的な主被写体との近接撮影時に生じる画像の歪みを、前記画像の周縁部を中央部に対して相対的に拡大することによって補正する補正手段と、
前記画像中の前記主被写体の像のサイズを検出する検出手段と、
前記サイズから前記補正手段による補正の要否を判定する判定手段と、
を備えることを特徴とするデジタル撮影装置。 - デジタル撮影装置であって、
被写体の画像を取得する撮像手段と、
前記撮像手段と立体的な主被写体との近接撮影時に生じる画像の歪みを、前記画像の周縁部を中央部に対して相対的に拡大することによって補正する補正手段と、
前記画像中の前記主被写体の像のサイズを検出する検出手段と、
前記補正手段による補正の程度に相当する複数の補正レベルの中から前記サイズに基づいて補正レベルを選択する手段と、
を備えることを特徴とするデジタル撮影装置。 - デジタル撮影装置であって、
被写体の画像を取得する撮像手段と、
前記撮像手段と立体的な主被写体との近接撮影時に生じる画像の歪みを、前記画像の周縁部を中央部に対して相対的に拡大することによって補正する補正手段と、
前記撮像手段から前記主被写体までの距離を測定する測距手段と、
前記距離から前記補正手段による補正の要否を判定する判定手段と、
を備えることを特徴とするデジタル撮影装置。 - デジタル撮影装置であって、
被写体の画像を取得する撮像手段と、
前記撮像手段と立体的な主被写体との近接撮影時に生じる画像の歪みを、前記 画像の周縁部を中央部に対して相対的に拡大することによって補正する補正手段と、
前記撮像手段から前記主被写体までの距離を測定する測距手段と、
前記補正手段による補正の程度に相当する複数の補正レベルの中から前記距離に基づいて補正レベルを選択する手段と、
を備えることを特徴とするデジタル撮影装置。 - 請求項１ないし４のいずれかに記載のデジタル撮影装置であって、
前記補正手段が、前記画像を複数の領域に分割し、前記複数の領域のそれぞれに応じた拡大率にて前記複数の領域を拡大することを特徴とするデジタル撮影装置。 - 請求項１ないし５のいずれかに記載のデジタル撮影装置であって、
前記補正手段による補正が行われたことを示す表示を表示する手段、
をさらに備えることを特徴とするデジタル撮影装置。 - 請求項１ないし６のいずれかに記載のデジタル撮影装置であって、
前記補正手段による補正内容を示す補正データを生成する手段、
をさらに備えることを特徴とするデジタル撮影装置。 - 請求項７に記載のデジタル撮影装置であって、
前記補正データを前記画像または補正済画像のデータとともに保存する保存手段、
をさらに備えることを特徴とするデジタル撮影装置。 - 請求項８に記載のデジタル撮影装置であって、
前記保存手段に保存された前記画像のデータを前記補正データとに基づいて前記補正手段が補正を行うことを特徴とするデジタル撮影装置。 - コンピュータに画像の処理を実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体であって、前記プログラムのコンピュータによる実行は、前記コンピュータに、
画像のデータを準備する工程と、
前記画像中の前記主被写体の像のサイズを検出する工程と、
撮像装置と立体的な主被写体との近接撮影時に生じる画像の歪みを補正する際の補正の程度に相当する補正レベルを、複数の補正レベルの中から前記サイズに基づいて選択する工程と、
前記選択された補正レベルで、前記画像の周縁部を中央部に対して相対的に拡大することによって前記歪みを補正する工程と、
を実行させることを特徴とする記録媒体。 - 画像処理装置であって、
画像のデータを記憶する記憶手段と、
撮像装置と立体的な主被写体との近接撮影時に生じる画像の歪みを、前記画像の周縁部を中央部に対して相対的に拡大することによって補正する補正手段と、
前記画像中の前記主被写体の像のサイズを検出する検出手段と、
前記補正手段による補正の程度に相当する複数の補正レベルの中から前記サイズに基づいて補正レベルを選択する手段と、
を備えることを特徴とする画像処理装置。 - 請求項１１に記載の画像処理装置であって、
外部から前記画像のデータおよび補正内容を示す補正データを受信する受信手段、
をさらに備え、
前記補正手段が、前記補正データに基づいて補正を行うことを特徴とする画像処理装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001040242A JP3753617B2 (ja) | 2001-02-16 | 2001-02-16 | デジタル撮影装置、画像処理装置および記録媒体 |
| US10/075,225 US20020113884A1 (en) | 2001-02-16 | 2002-02-15 | Digital photographing apparatus, photographing apparatus, image processing apparatus and recording medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001040242A JP3753617B2 (ja) | 2001-02-16 | 2001-02-16 | デジタル撮影装置、画像処理装置および記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002247446A JP2002247446A (ja) | 2002-08-30 |
| JP3753617B2 true JP3753617B2 (ja) | 2006-03-08 |
Family
ID=18902887
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001040242A Expired - Fee Related JP3753617B2 (ja) | 2001-02-16 | 2001-02-16 | デジタル撮影装置、画像処理装置および記録媒体 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20020113884A1 (ja) |
| JP (1) | JP3753617B2 (ja) |
Families Citing this family (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FI114961B (fi) * | 2001-12-31 | 2005-01-31 | Nokia Corp | Menetelmä ja laite kuvan muodostamiseksi elektronisessa laitteessa |
| US7202888B2 (en) * | 2002-11-19 | 2007-04-10 | Hewlett-Packard Development Company, L.P. | Electronic imaging device resolution enhancement |
| US20040233316A1 (en) * | 2003-05-21 | 2004-11-25 | Battles Amy E. | Camera menu system |
| JP4363153B2 (ja) * | 2003-10-14 | 2009-11-11 | カシオ計算機株式会社 | 撮影装置、その画像処理方法及びプログラム |
| KR100581144B1 (ko) * | 2003-12-20 | 2006-05-16 | 주식회사 팬택앤큐리텔 | 이동통신 단말기 및 카메라 제어 방법 |
| KR101080455B1 (ko) * | 2003-12-26 | 2011-11-04 | 엘지전자 주식회사 | 휴대단말기의 영상 보정 방법 및 장치 |
| JP4706896B2 (ja) * | 2004-09-07 | 2011-06-22 | アイシン精機株式会社 | 広角画像の補正方法及び車両の周辺監視システム |
| US7664338B2 (en) * | 2004-09-28 | 2010-02-16 | Qualcomm Incorporated | Perspective transformation of two-dimensional images |
| JP4940585B2 (ja) * | 2005-07-04 | 2012-05-30 | 富士ゼロックス株式会社 | 画像処理装置およびその方法 |
| US20070024714A1 (en) * | 2005-07-29 | 2007-02-01 | Sam Kim | Whiteboard camera apparatus and methods |
| KR100818989B1 (ko) | 2005-09-22 | 2008-04-04 | 삼성전자주식회사 | 이미지 보정 기능을 구비한 화상 촬영 장치 및 그 동작방법 |
| JP2007124088A (ja) * | 2005-10-26 | 2007-05-17 | Olympus Corp | 画像撮影装置 |
| US7918614B2 (en) * | 2006-01-20 | 2011-04-05 | Sony Ericsson Mobile Communications Ab | Camera for electronic device |
| US7822338B2 (en) * | 2006-01-20 | 2010-10-26 | Sony Ericsson Mobile Communications Ab | Camera for electronic device |
| JP4444927B2 (ja) * | 2006-03-30 | 2010-03-31 | 富士フイルム株式会社 | 測距装置及び方法 |
| US8174555B2 (en) * | 2007-05-30 | 2012-05-08 | Eastman Kodak Company | Portable video communication system |
| JP2009053914A (ja) * | 2007-08-27 | 2009-03-12 | Seiko Epson Corp | 画像処理装置および画像処理方法 |
| JP5338248B2 (ja) * | 2008-10-20 | 2013-11-13 | 株式会社ニコン | 画像処理装置、電子カメラおよび画像処理プログラム |
| JP5478268B2 (ja) * | 2010-01-13 | 2014-04-23 | 任天堂株式会社 | 画像処理プログラム、画像処理装置、画像処理方法および画像処理システム |
| JP5844962B2 (ja) * | 2010-03-10 | 2016-01-20 | 任天堂株式会社 | 画像処理プログラム、画像処理装置、画像処理方法および画像処理システム |
| JP5793975B2 (ja) * | 2010-08-03 | 2015-10-14 | 株式会社リコー | 画像処理装置、画像処理方法、プログラム、記録媒体 |
| US20140254939A1 (en) * | 2011-11-24 | 2014-09-11 | Ntt Docomo, Inc. | Apparatus and method for outputting information on facial expression |
| US9210405B2 (en) * | 2012-03-22 | 2015-12-08 | Qualcomm Technologies, Inc. | System and method for real time 2D to 3D conversion of video in a digital camera |
| JP2013219544A (ja) * | 2012-04-09 | 2013-10-24 | Ricoh Co Ltd | 画像処理装置、画像処理方法、及び画像処理プログラム |
| JP5971216B2 (ja) * | 2013-09-20 | 2016-08-17 | カシオ計算機株式会社 | 画像処理装置、画像処理方法及びプログラム |
| WO2015198478A1 (ja) * | 2014-06-27 | 2015-12-30 | 株式会社 市川ソフトラボラトリー | 画像歪み補正装置、情報処理装置および画像歪み補正方法 |
| US9514524B2 (en) * | 2015-02-27 | 2016-12-06 | Sony Corporation | Optical distortion compensation |
| JP2017069776A (ja) * | 2015-09-30 | 2017-04-06 | カシオ計算機株式会社 | 撮像装置、判定方法及びプログラム |
| JP7047730B2 (ja) * | 2018-12-03 | 2022-04-05 | 株式会社デンソー | 表示制御装置及び表示制御プログラム |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5905530A (en) * | 1992-08-24 | 1999-05-18 | Canon Kabushiki Kaisha | Image pickup apparatus |
| US6449004B1 (en) * | 1996-04-23 | 2002-09-10 | Minolta Co., Ltd. | Electronic camera with oblique view correction |
| US5986703A (en) * | 1996-12-30 | 1999-11-16 | Intel Corporation | Method and apparatus to compensate for camera offset |
-
2001
- 2001-02-16 JP JP2001040242A patent/JP3753617B2/ja not_active Expired - Fee Related
-
2002
- 2002-02-15 US US10/075,225 patent/US20020113884A1/en not_active Abandoned
Also Published As
| Publication number | Publication date |
|---|---|
| US20020113884A1 (en) | 2002-08-22 |
| JP2002247446A (ja) | 2002-08-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3753617B2 (ja) | デジタル撮影装置、画像処理装置および記録媒体 | |
| CN111669493B (zh) | 一种拍摄方法、装置与设备 | |
| KR102156597B1 (ko) | 광학 촬영 방법 및 장치 | |
| US20230353869A1 (en) | Imaging apparatus and setting screen thereof | |
| US7860382B2 (en) | Selecting autofocus area in an image | |
| US8023009B2 (en) | Imaging apparatus for correcting optical distortion and wide-angle distortion | |
| CN108600576B (zh) | 图像处理装置、方法和***以及计算机可读记录介质 | |
| JP5787907B2 (ja) | 自分撮り画像を撮影するための撮像装置 | |
| CA2864355C (en) | Using narrow field of view monochrome camera for producing a zoomed image | |
| JP5397751B2 (ja) | カメラおよび画像補正方法 | |
| US20130242057A1 (en) | Methods and devices for producing an enhanced image | |
| KR20050033949A (ko) | 휴대용 단말기의 오토줌임 제어방법 | |
| WO2022262344A1 (zh) | 一种拍摄方法及电子设备 | |
| CA2806077A1 (en) | Methods and devices for producing an enhanced image | |
| KR20190068618A (ko) | 단말기를 위한 촬영 방법 및 단말기 | |
| TWI399972B (zh) | 影像產生裝置及程式 | |
| CN109923850B (zh) | 一种图像捕捉装置及方法 | |
| WO2022237287A1 (zh) | 一种图像的显示方法及电子设备 | |
| US9979899B2 (en) | Image effect processing support apparatus, image effect processing support method, and medium for recording image effect processing support program | |
| WO2021218551A1 (zh) | 拍照方法、装置、终端设备及存储介质 | |
| JP4499908B2 (ja) | 電子カメラシステム、電子カメラ、サーバコンピュータおよび撮影条件修正方法 | |
| CN113191976A (zh) | 图像拍摄方法、装置、终端及存储介质 | |
| CN114096984A (zh) | 从通过拼接部分图像而创建的全向图像中去除图像捕获装置 | |
| CN113099113A (zh) | 电子终端、拍照方法及装置、存储介质 | |
| CN113709353A (zh) | 图像采集方法和设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20040303 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051213 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081222 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091222 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091222 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101222 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101222 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111222 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111222 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121222 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121222 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131222 Year of fee payment: 8 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |