JPH09289610A - デジタルカメラ - Google Patents

デジタルカメラ

Info

Publication number
JPH09289610A
JPH09289610A JP8101268A JP10126896A JPH09289610A JP H09289610 A JPH09289610 A JP H09289610A JP 8101268 A JP8101268 A JP 8101268A JP 10126896 A JP10126896 A JP 10126896A JP H09289610 A JPH09289610 A JP H09289610A
Authority
JP
Japan
Prior art keywords
image
correction
image pickup
subject
photographing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP8101268A
Other languages
English (en)
Other versions
JP3800661B2 (ja
Inventor
Noriyuki Nobuyuki
宣之 沖須
Toshihiko Karasaki
敏彦 唐崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Minolta Co Ltd
Original Assignee
Minolta Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Minolta Co Ltd filed Critical Minolta Co Ltd
Priority to JP10126896A priority Critical patent/JP3800661B2/ja
Priority to US08/844,906 priority patent/US6449004B1/en
Publication of JPH09289610A publication Critical patent/JPH09289610A/ja
Application granted granted Critical
Publication of JP3800661B2 publication Critical patent/JP3800661B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Exposure Control For Cameras (AREA)
  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Image Processing (AREA)

Abstract

(57)【要約】 【課題】 斜め画像を擬似正面画像に補正して撮影する
際の操作性の向上及び撮影ミスの低減を図る。 【解決手段】 斜め撮影補正モードにおいて、シャッタ
ボタン14によりS1スイッチのみがONになると、モ
ード設定スイッチ10により設定された被写体面と撮像
面との傾斜角と測距部33で検出された被写体距離とに
基づき撮像面における被写体距離及び撮像倍率の分布が
演算される。CCD18で撮像された斜め画像は斜め撮
影補正演算部26で被写体距離分布及び撮像倍率分布に
基づき擬似正面画像に補正され、この補正後の画像は液
晶ファインダ9にモニタ表示される。また、シャッタボ
タン14によりS2スイッチがONになると、上記補正
後の画像はカードメモリ27に記録される。本撮影前に
補正後の画像をモニタ可能にし、斜め撮影補正モードに
おける撮影の操作性の向上及びミスの低減を図った。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、被写体に対して斜
め方向から見た画像を正面方向から見た画像に補正して
撮影することのできるデジタルカメラに係り、特に補正
後の画像のモニタ表示に関するものである。
【0002】
【従来の技術】例えば会議場においては、通常、ホワイ
トボードに対して斜め方向となる位置に参加者の座席が
配置されるので、座席を移動することなくホワイトボー
ドに描かれた図や文字等を撮影すると、撮影画像が斜め
画像となり、その図形や文字等の判読が困難となる。か
かる斜め画像の不具合を回避するには、ホワイトボード
に対して正面位置まで撮影位置を移動させる必要がある
が、会議中に撮影位置を移動することは困難であるか
ら、カメラに斜め画像を擬似的な正面画像に補正して撮
影する機能が設けられていると極めて便利である。
【0003】上記のような斜め撮影シーンにおいては、
通常、鉛直方向では撮像面と被写体面とが平行で、水平
面内で撮像面と被写体面とが傾いているので、傾斜角を
θ、被写体像をS、撮影倍率をmとすると、カメラの撮
像面に投影される斜め画像はm・Scos(θ)であるか
ら、傾斜角θ、撮影倍率mが既知であれば、これら傾斜
角θ及び撮影倍率mに基づいて斜め画像を正面画像に補
正することが可能となる。
【0004】そこで、出願人は、本願と同日に出願した
明細書において、上記撮像手段の撮像面と被写体面との
なす傾斜角を設定する角度設定手段と、被写体までの距
離を測定する測距手段とを備え、設定された傾斜角と測
定された被写体距離とに基づいて斜め画像を正面画像に
補正して撮影し得るデジタルカメラを提案している。
【0005】
【発明が解決しようとする課題】ところで、上記斜め画
像の補正機能を有するデジタルカメラでは、傾斜角が正
確に入力されなければ、斜め画像の補正が不適切とな
り、却って不自然な撮影画像が得られることなるが、撮
影者が撮像面と被写体面との傾斜角を設定する場合、撮
影者は被写体面とカメラの撮像面とのなすおよその角度
を感覚的に計って設定することになるから、傾斜角を正
確に設定することは困難である。
【0006】従って、好ましくは撮影前に補正後の画像
をモニタし、補正結果を確認できることが望ましいが、
従来、かかるモニタ機能は提案されていない。
【0007】本発明は、上記課題に鑑みてなされたもの
であり、撮影前に補正後の画像をモニタ可能にし、簡単
かつ容易に斜め画像を擬似正面画像に補正して撮影する
ことのできるデジタルカメラを提供するものである。
【0008】
【課題を解決するための手段】本発明は、複数の光電変
換素子からなる画素を2次元配列してなる撮像手段と、
上記撮像手段の撮像面と被写体面とのなす傾斜角を入力
するする角度入力手段と、被写体までの距離を測定する
測距手段と、入力された傾斜角と測定された被写体距離
とに基づき上記撮像手段で撮像された上記被写体の斜め
画像を擬似正面画像に補正する補正手段とを備えたデジ
タルカメラであって、上記撮像手段で撮像された画像を
表示する表示手段と、モニタ表示を指示する指示手段
と、上記指示手段によりモニタ表示が指示されると、上
記補正手段で補正された画像を上記表示手段に表示させ
る表示制御手段とを備えたものである(請求項1)。
【0009】上記構成によれば、撮像手段の撮像面に対
して角度θで被写体面を傾斜させた状態で撮影された斜
め画像は、角度設定手段で設定された傾斜角θと測距手
段で検出された被写体距離Dとに基づいて被写体を正面
から見た擬似正面画像に補正される。
【0010】この場合、指示手段でモニタ表示が指示さ
れていると、上記補正後の擬似正面画像が表示され、斜
め撮影画像の補正結果の確認が可能になる。
【0011】また、本発明は、上記デジタルカメラにお
いて、上記表示制御手段は、上記指示手段によるモニタ
指示が指示されていないとき、上記撮像手段で撮像され
た画像を上記表示手段に表示するものである(請求項
2)。
【0012】上記構成によれば、指示手段でモニタ表示
が指示されていないときは、撮像手段で撮像された画像
が補正されることなく表示手段に表示され、モニタ表示
が指示されているときは、撮像手段で撮像された画像を
補正した後、その補正後の画像が表示手段に表示され
る。
【0013】
【発明の実施の形態】図1は、本発明に係るデジタルカ
メラの外観を示す斜視図である。同図に示すカメラ1
は、撮像素子としてCCDエリアセンサを備え、このC
CDエリアセンサで撮像された画像データが、図略のP
CMCIA準拠のハードディスクカードに記録されるよ
うになっている。また、カメラ1は、CCDエリアセン
サの撮像面と被写体面とが平行でない被写体の画像(以
下、斜め画像という。)を撮像面と被写体面とが平行な
被写体の画像(以下、正面画像という。)に補正(以
下、この補正を斜め撮影補正という。)する機能を備え
ている。
【0014】すなわち、例えば図3に示すように、ホワ
イトボード16に対して左斜め前方位置(イ)からこの
ホワイトボード16に描かれた文字や図等を通常の撮影
モードで撮影した場合、撮影画像は、撮影画面内の被写
体距離の分布が異なることに起因して、図4(a)に示
すように、右端側の寸法が左端側の寸法より小さくなる
斜め画像Kとなるが、後述する斜め撮影補正モードで撮
影した場合は、上記斜め画像Kを、図4(b)に示すよ
うに、ほぼホワイトボード16の正面位置(ロ)から撮
影したような正面画像K′に補正するものである。
【0015】ここで、斜め撮影補正の原理について簡単
に説明する。なお、説明の便宜上、一次元の画像につい
て説明する。
【0016】図5は、カメラ1の光学系の概略構成図で
ある。カメラ1の光学系は、撮影レンズ2の結像位置に
横長長方形のCCDエリアセンサ18(以下、CCD1
8と略称する。)が配置され、この撮像レンズ2とCC
D18との間に絞り17が配設されている。ホワイトボ
ード16に描かれた図等の光像は撮影レンズ2及び絞り
17を透過した後、CCD18の撮像面に結像される。
【0017】図6は、斜め撮影における撮像系を真上か
ら見た図で、ホワイトボード16の表示面(以下、被写
体面という。)とCCD18の撮像面とが角度θ(以
下、傾斜角θという。)だけ傾いている場合の撮像系を
示している。
【0018】図6において、Lは撮影レンズ2の光軸で
ある。また、N0,N1,N2はそれぞれホワイトボー
ド16上の点P,F,Gを通るCCD18の撮像面に平
行な線分であり、N3はCCD18の撮像面上の点Aを
通る被写体面(線分FG)に平行な線分である。点Oは
撮影レンズ2のレンズ面と光軸Lとの交点、点Qは線分
N1と光軸Lとの交点、点Rは線分N2と光軸Lとの交
点であり、D,Eはそれぞれ線分N0と線分BFの延長
線及び線分GCとの交点である。また、点B′C′はそ
れぞれ線分N3と線分FB及び線分GCの延長線との交
点である。
【0019】ホワイトボード16上のFG間の光像はC
CD18の撮像面のBC間に結像するが、撮像面と被写
体面とは傾斜角θで傾いているので、CCD18の撮像
面に結像された光像BCは等価的にDE間の画像をCC
D18の撮像面に投影したものとなっている。CCD1
8の撮像面におけるA,B,Cの各点での撮影倍率をそ
れぞれmA,mB,mC、被写体距離をそれぞれDA(=O
P),DB(=OQ),DC(=OR)とすると、mB
A・OP/OQ=mA・DA/DB、mC=mA・OP/O
R=mA・DA/DCであるから、mB>mA>mCとなり、
撮像面に結像される光像は、図4(a)に示すような斜
め画像Kとなり、光像BCの内、完全に焦点が合ってい
るのはA点(光軸Lと撮像面との交点)のみとなってい
る。
【0020】斜め撮影補正は投影像DEの撮像画像(画
像BCに相当)を投影像FGの撮像画像(画像B′C′
に相当)に補正するもので、この補正はCCD18の撮
像面におけるAC間の各点での撮影倍率mi(i=3,
4,…n)及びBA間の各点での撮影倍率mi′(i=
3,4,…n)を求め、この撮影倍率mi,mi′に基づ
き光像BCの撮像画像の各点の拡大又は縮小を行なうこ
とにより行われる。
【0021】CCD18の撮像面におけるBA間の任意
の点における被写体距離をDi、その点の撮影画角(そ
の点及び点Oを通る線分と光軸Lとのなす角度)をαi
とすると、DA/Di=cos(αi−θ)/cos(αi)・cos
(θ)、mA=k×f/DA(k;比例係数,f;焦点距
離)であるから、AC間の任意の点における撮像倍率m
iは、傾斜角θ、撮影レンズ2の焦点距離f及び撮影画
角αiから下記式で算出される。
【0022】
【数1】
【0023】なお、上記DA/Di=cos(αi−θ)/cos
(αi)・cos(θ)は、図6において、B点に対する被写体
距離DBを例に説明すると、下記数2のように算出され
る。
【0024】
【数2】
【0025】また、CCD18の撮像面におけるAC間
の任意の点における被写体距離をDi′、その点の撮影
画角をβiとすると、DA/Di′=cos(βi+θ)/cos
(βi)・cos(θ)であるから、BA間の任意の点における
撮像倍率mi′は、傾斜角θ、撮影レンズ2の焦点距離
f及び撮影画角βiから下記式で算出される。
【0026】
【数3】
【0027】なお、上記DA/Di′=cos(βi+θ)/co
s(βi)・cos(θ)の式は、図6において、C点に対する
被写体距離DCを例に説明すると、下記数4のように算
出される。
【0028】
【数4】
【0029】ところで、上述の斜め撮影補正の原理で
は、光像BCに対して、BAの部分については縮小補
正、ACの部分については拡大補正をしなければならな
いので、実際の2次元画像について補正を行なう場合は
その処理が複雑になる。斜め撮影補正の対象となる被写
体は、上記のようにホワイトボード16に描かれた図形
や文字等のように比較的被写界深度の狭い範囲に含まれ
る場合が多いので、絞り17を絞って可及的に補正対象
の被写体全体にピントが合うように撮影すれば、最も近
接した一方端の位置(図6では、B点)に対して他方側
の画像を拡大しても良好な斜め撮影補正を行なうことが
できる。
【0030】すなわち、図6において、斜め画像BCを
画像B′C′に補正する代わりに画像BC″に補正して
も擬似正面画像としてあまり違和感は生じないと考えら
れる。なお、C″点は、B点を通る線分N3に平行な線
分N4と線分GCの延長線との交点である。また、A′
点は、線分N4と光軸Lとの交点である。
【0031】従って、本実施の形態では、図7に示すよ
うに、同図(a)に示す斜め画像K(ホワイトボード1
6を左側から斜め撮影する画像)に対して、最近接位置
である左側端を基準に、同図(b)に示すように、右端
側の画像の拡大処理を行なうことで斜め撮影補正を行な
うようにしている。
【0032】この場合、図7(b)に示す擬似正面画像
K′のうち、領域X1で不足する画素データ(同図
(b)の斜線で示す部分の画素データ)は、各ライン毎
に、図8(a)に示すように、例えば両端部の画素デー
タg1,g1′、g2,g2′で追加すべき画素データ
g3,g3′(図中、斜線で示す画像データ)を補間
し、領域X2の画素データは、図8(b)に示すよう
に、既知のラインの画素データg4全体で次のラインの
画素データg5を補間して斜め撮影補正が行われる。な
お、斜め撮影補正についての詳細は後述する。
【0033】図1に戻り、カメラ1は、前面の略中央に
撮影レンズ2が配設され、その上部にアクティブ測距方
式により被写体距離を測定するための投光窓4と受光窓
5とが配設され、両窓の間に被写体の輝度を測定するた
めの測光窓3が配設されている。投光窓4は被写体に対
して赤外光を照射する窓であり、受光窓5はこの赤外光
の被写体からの反射光を受光する窓である。なお、本実
施の形態では測距方式としてアクティブ測距方式を採用
しているが、パッシブ測距方式でもよい。
【0034】カメラ1の側面にはハードディスクカード
が装着脱されるカード挿入口6が設けられ、このカード
挿入口6の上部に装着されたハードディスクカードをイ
ジェクトするためのカード取出ボタン7が設けられてい
る。撮影結果をプリントアウトする場合、カード取出ボ
タン7を押してハードディスクカードをカメラ1から取
り外し、このハードディスクカードが装着可能なプリン
タに装着してプリントアウトすることができる。
【0035】なお、カメラ1にSCSIケーブルのイン
ターフェースを設け、カメラ1とプリンタとをSCSI
ケーブルで接続して直接、カメラ1からプリンタに画像
データを転送して撮影画像をプリントアウトさせるよう
にしてもよい。
【0036】また、本実施の形態では画像データの記録
媒体としてPCMCIA準拠のハードディスクカードを
採用しているが、撮影結果を画像データとして記憶でき
るものであれば、メモリカードやミニディスク(MD)
等の他の記録媒体でもよい。
【0037】カメラ1の背面には、図2に示すように、
その左端部の上部にメインスイッチ8が設けられ、左端
部の下部にモード設定スイッチ10が設けられている。
【0038】モード設定スイッチ10は、通常の撮影モ
ードと斜め画像に斜め撮影補正を施す斜め撮影補正モー
ドとを切換設定するとともに、傾斜角θ(図6参照)を
設定する機能を有している。
【0039】このモード設定スイッチ10は、上部に角
度目盛13が設けられた横長のガイド溝11とこのガイ
ド溝11に沿って移動可能な操作ボタン12とからな
り、操作ボタン12を角度目盛13の所定の角度位置に
設定することにより傾斜角θを設定できるようになって
いる。
【0040】なお、角度目盛13は、中央の角度0°を
挟んで左右にそれぞれ15°,30°,45°の角度が
設けられ、左右にそれぞれ3種類の傾斜角θが設定でき
るようになっている。ここで、左側の角度は被写体に向
かって左側から撮影する場合(以下、この斜め撮影を左
斜め撮影という。)の傾斜角であり、右側の角度は被写
体に向かって右側から撮影する場合(以下、この斜め撮
影を右斜め撮影という。)の傾斜角である。操作ボタン
12を正面位置に設定した場合は、傾斜角が0°である
から、撮影画像に対して斜め撮影補正は行われず、通常
の撮影モードの設定となる。
【0041】本実施の形態では、撮影者が目分量で計っ
た傾斜角θを離散的に設定し得るようにしているが、操
作ボタン12のスライド量に応じて連続的に傾斜角θを
設定するようにしてもよい。
【0042】また、カメラ1の背面右端部にLCD(Li
quid Crystal Display)からなる液晶ファインダ9が配
設されている。この液晶ファインダ9は、撮影画像を視
認するための表示部である。
【0043】カメラ1の上面右端部にはシャッタボタン
14と被写体幅設定スイッチ15が設けられている。シ
ャッタボタン14には半押しでONになるS1スイッチ
と全押しでONになるS2スイッチとが連動しており、
S1スイッチがONになると、焦点距離調節、露出制御
値設定等の撮影準備が行われる。また、モード設定スイ
ッチ10により斜め撮影補正モードが設定されている
と、液晶ファインダ9に斜め撮影補正後の画像(擬似正
面画像)がモニタ表示される。これにより撮影者は、斜
め撮影補正モードにおいて、シャッタボタン14を半押
し状態に保持することにより、撮影前に斜め撮影される
画像がどのように擬似正面画像に補正されるかを確認す
ることができる。
【0044】一方、S2スイッチがONになると、本撮
影が行われ、液晶ファインダ9に表示された撮影直前の
画像がカードメモリに記録される。斜め撮影補正モード
においては、液晶ファインダ9に表示された撮影直前の
補正後の擬似正面画像がハードディスクカードに記録さ
れる。
【0045】被写体幅設定スイッチ15は、斜め撮影補
正をすべき被写体のCCD18における横サイズd(図
6において、BC間の距離に相当するサイズ)を入力す
るものである。被写体幅設定スイッチ15は、中央に静
止位置を有し、左右方向に移動可能なスライドスイッチ
である。
【0046】なお、上記横サイズdの情報は、撮像画面
内の斜め撮影補正の対象となる被写体全体(図3の例で
はホワイトボード16)についてピントの合う被写界深
度を設定するために入力されるものである。斜め撮影補
正の必要な撮影シーンでは、撮影画面全体にピントが合
うように絞り17を絞ることも可能であるが、このよう
にすると、被写体の輝度が低い場合、シャッタースピー
ドが遅くなり、撮影の自由度が制限されることになるの
で、本実施の形態では、絞り17の絞り値を、撮影画面
内の斜め撮影補正の対象となる被写体をカバーし得る被
写界深度以上の値に大きくせず、上記不具合を可及的低
減するようにしている。
【0047】液晶ファインダ9には、図9に示すよう
に、撮影画面枠19が表示されるとともに、モード設定
スイッチ10により斜め撮影補正モードが設定される
と、図10及び図11に示すように、撮影画面枠19の
枠内の両端部にそれぞれ垂直の表示線21,22と上下
の枠外に2対の三角印のマーカ23,23′とマーカ2
4,24′とが表示されるようになっている。
【0048】マーカ23,23′は、右斜め撮影時にお
ける被写体幅設定スイッチ15の操作量を視認するため
の表示であり、マーカ24,24′は、左斜め撮影時に
おける被写体幅設定スイッチ15の操作量を視認するた
めの表示である。
【0049】表示線21は、左斜め撮影時におけるマー
カ24,24′により入力される斜め撮像補正の対象と
なる画像20(以下、補正対象画像20という。)の横
幅d′の基準位置を示す基準線であり、表示線22は、
右斜め撮影時におけるマーカ23により入力される補正
対象画像20の横幅d′の基準位置を示す基準線であ
る。また、表示線21,22は、補正対象画像20の垂
直方向と撮影画面の縦方向とを合わせるための基準線と
なっている。
【0050】CCD18の撮像面における補正対象画像
20の横サイズdの入力は、撮影画面枠19とCCD1
8との位置関係は予め分かっているので、撮影画面枠1
9内のマーカ23,23′とマーカ24,24′間で設
定される横幅d′を横サイズdに換算することにより行
われる。
【0051】本実施の形態では、例えばCCD18の撮
像面と被写体面とが垂直面内にあり、水平面内でのみ撮
像面と被写体面とが傾斜角θで傾斜している場合に、そ
の斜め画像を水平面内で回転させて斜め撮影補正を行な
うようにしているので、この斜め撮影補正を適正に行な
うには、撮影者は、CCD18の撮像面と被写体面とが
垂直面内で互いにねじれないようにカメラを設定する必
要がある。すなわち、CCD18の撮像面の縦ラインと
被写体面の縦ラインとが平行になるように、カメラ1の
撮影画面を設定する必要がある。
【0052】このため、斜め撮影補正モードにおいて、
液晶ファインダ9に表示線21,22を表示させ、この
表示線21(又は22)に被写体面の垂直方向を合わせ
ることにより、撮影者の画面設定における撮影画面の縦
方向における撮影画面と被写体面とのずれを低減するよ
うにしている。
【0053】従って、特に斜め撮影補正の対象となる被
写体がホワイトボード16のような矩形である場合に
は、液晶ファインダ9の表示線21,22、マーカ2
3,23′,24,24′の表示により撮像画面に対す
る補正対象画像の位置設定及びその横サイズの入力を容
易に行なうことができるものである。
【0054】なお、撮像画面に対する補正対象画像の位
置設定及びその横サイズの入力は、以下のように行われ
る。すなわち、モード設定スイッチ10により左斜め撮
影における傾斜角θが設定された場合、液晶ファインダ
9に、図10に示す被写体幅設定スイッチ15の操作量
視認表示が行われる。マーカ23,23′は表示線21
上に固定され、マーカ24,24′の表示位置は被写体
幅設定スイッチ15の左右の操作量に応じて左右に移動
する。固定されたマーカ23,23′は、移動可能なマ
ーカ24,24′より縦長の三角形で表示され、両マー
カ23,23′,24,24′が識別可能になってい
る。
【0055】撮影者が補正対象画像20の左辺を表示線
21に揃え、被写体幅設定スイッチ15を操作してマー
カ24,24′の表示位置を補正対象画像20の右辺に
一致させると、撮像画面に対する補正対象画像20の撮
影位置が設定されるとともに、マーカ23及びマーカ2
4(あるいはマーカ23′及びマーカ24′)から撮像
面における補正対象画像20の横サイズdが入力され
る。
【0056】また、モード設定スイッチ10により右斜
め撮影における傾斜角が設定された場合は、液晶ファイ
ンダ9に、図11に示す被写体幅設定スイッチ15の操
作量視認表示が行われ、マーカ24,24′は表示線2
2上に固定され、マーカ23,23′の表示位置は被写
体幅設定スイッチ15の左右の操作量に応じて左右に移
動するようになっている。撮影者は、左斜め撮影とは逆
に補正対象画像20の右辺を表示線22に揃え、被写体
幅設定スイッチ15を操作してマーカ23,23′の表
示位置を補正対象画像20の左辺に一致させることで、
撮像画面に対する補正対象画像20の撮影位置が設定す
るとともに、CCD18の撮像面における補正対象画像
20の横サイズdを入力することができる。
【0057】図12は、本発明に係るカメラ1のブロッ
ク構成図である。同図において、上述した部材と同一部
材には同一の番号を付している。また、CCD駆動部2
5は、CPU34から入力される露出制御値のシャッタ
ースピードTvに基づいてCCD18の撮像動作を制御
するものである。CCD18は、CCD駆動部25から
入力される制御信号に基づき撮像動作(電荷蓄積動作)
を行ない、各画素データを時系列データに変換して斜め
撮影補正演算部26に出力する。すなわち、CCD18
の各画素データは、図13に示すように、縦ライン毎に
矢印方向に順次、読み出されて斜め撮影補正演算部26
に入力される。
【0058】斜め撮影補正演算部26は、斜め撮影補正
モードにおいて補正対象画像の補正処理を行なうもので
ある。斜め撮影補正演算部26は、ラインバッファ26
1,263、ラッチ回路262、画像メモリ264、読
出クロック制御部265及び読出アドレス制御部266
から構成されている。
【0059】ラインバッファ261は、CCD18から
出力される各画素データをライン単位(図13におい
て、縦ライン単位)で一次保存するものである。読出ク
ロック制御部265は、CPU34からの制御信号に基
づき制御部ラインバッファ261の各画素データを読み
出すための読出クロックを生成し、ラインバッファ26
1に入力するものである。
【0060】ラインバッファ261の各画素データは、
上記読出クロックに同期してラッチ回路262に読み出
される。このとき、必要に応じてライン方向の拡大処理
(図8(a)に示すライン方向の拡大処理)が行われ、
ライン単位で斜め撮影補正が行なわれる。すなわち、Y
軸方向に画素データを増加する場合、読出クロック制御
部265は、増加すべき位置に対応するタイミングで読
出クロックを1クロック乃至数クロック停止させてクロ
ック停止直前の画素データと同一のデータを所要の画素
数分だけラッチ回路262に読み出す。
【0061】ラッチ回路262は、斜め撮影補正が行わ
れた1ライン分の画素データをラッチし、この画素デー
タをラインバッファ263に順次、出力するものであ
る。また、ラインバッファ263は、ラッチ回路262
から出力される斜め撮影補正後の各画素データをライン
単位で一次保存するものである。
【0062】画像メモリ264は、Y軸方向に斜め撮影
補正がなされた画像記憶するメモリである。画像メモリ
264は、RAM(Random Access Memory)からなり、
ラインバッファ263から順次、出力される斜め撮影補
正後の各ラインを構成する各画素データを所定の記憶位
置に記憶する。なお、CCD18から出力される全画素
データがラインバッファ261、ラッチ回路262及び
ラインバッファ261を介して画像メモリ264に記憶
されると、この画像メモリ264には斜め画像をY軸方
向にだけ拡大処理した画像が格納されている。
【0063】読出アドレス制御部266は、画像メモリ
264からカードメモリ27に読み出される各画素デー
タのアドレスを生成し、各画素データの読出時に画像メ
モリ264に入力するものである。読出アドレス制御部
266は、CPU34からの制御信号に基づき画像メモ
リ264の読出アドレスを生成する。
【0064】そして、上記読出アドレスを制御すること
により補正対象画像のX軸方向の拡大補正、すなわち、
不足ラインの画素データの補間処理(図8(b)に示す
ライン単位の画素データの追加)が行われ、これにより
カードメモリ27には補正対象画像KをX軸、Y軸の両
方向に補正してなる擬似正面画像が記憶される。不足ラ
インの画素データの補間処理は、既知のラインの画素デ
ータのアドレスを所要のライン数分だけ繰り返し画像メ
モリ264に出力し、そのラインの画素データを追加す
るラインに繰り返し読み出すことにより行われる。
【0065】なお、本実施の形態では、既知の画素デー
タと同一のデータを増加する画素位置のデータに補間す
るようにしているので、補正後の画像の濃度変化が不自
然になるおそれがあるが、例えば特開平5−16100
0号公報や特開平5−161001号公報に示される濃
度補間の手法を適用すれば、補正後の画像の濃度変化を
より自然にすることができる。
【0066】カードメモリ27は、カード挿入口6に挿
入装着されるハードディスクカードに相当するものであ
る。また、カード駆動部28は、画像データを記録する
べくカードメモリ27の駆動を制御するものである。
【0067】液晶ファインダ駆動部29は、液晶ファイ
ンダ9の駆動を制御するものである。液晶ファインダ駆
動部29は、CCD18から出力される画素データ(補
正前の画像のデータ)又は斜め撮影補正演算部26から
出力される画素データ(補正後の画像のデータ)に基づ
いて表示画面を構成する各画素の駆動を制御して撮像画
像又は補正後の画像を表示する。また、CPU34から
の制御信号に基づき表示画像(補正前の画像又は補正後
の画像)の切換及び表示タイミングの制御を行う。
【0068】メモリ35は、CPU34で演算された斜
め撮影補正を行なうために必要なデータ(CCD18の
各画素位置における被写体距離Di及び撮影倍率mi)を
記憶するものである。
【0069】絞り駆動部30は、CPU34から入力さ
れる露出制御値の絞り値Avに基づき絞り17の開口量
を制御するものである。また、レンズ駆動部31は、C
PU34から入力されるAF制御値に基づき撮影レンズ
2の合焦動作を制御するものである。
【0070】測光部32は、測光窓3の後方位置に設け
られたSPC等の受光素子からなり、被写体の輝度を測
光するものである。測距部33は、被写体距離を検出す
るもので、投光窓4の後方位置に設けられ、赤外光を発
光する投光部331と受光窓5の後方位置に設けられ、
被写体で反射した赤外光を受光する受光部332からな
る。
【0071】CPU34は、測距部33で検出された測
距点(CCD18の撮像面の中央位置)における被写体
距離DA、その測距点における撮影倍率mA、被写体幅設
定スイッチ15により入力された斜め撮影補正の対象と
なる被写体の両端位置(図10、マーカ23,24又は
マーカ23′,24′の位置)の情報及びモード設定ス
イッチにより入力された傾斜角θから必要な被写界深度
W(図6における距離RQに相当)を演算する。
【0072】被写界深度Wは、図6を用いて説明する
と、撮像面における被写体の両端位置B点,C点が分か
れば、撮影レンズ2とCCD18の撮像面間の距離OA
は既知であるから、この距離OAと距離AB,ACとか
ら被写体の両端位置F点,G点に対する撮影画角β,α
がそれぞれ演算され、この撮影画角β,αと傾斜角θ、
被写体距離DAとからDB=DA・cos(α−θ)/cos(α)
・cos(θ),DC=DA・cos(β+θ)/cos(β)・cos(θ)
(上記,式参照)の両式を用いて算出される。
【0073】CPU34は、測光部32で検出された被
写体の輝度情報と上記被写界深度Wとに基づき被写界深
度Wを優先して露出制御値(絞り値Av、シャッタース
ピードTv)を演算し、その演算結果をそれぞれ絞り駆
動部30とCCD駆動部25とに出力する。
【0074】また、CPU34は、測距部33で検出さ
れた被写体距離DAに基づき撮影レンズ2を合焦位置に
設定するためのレンズ駆動量を演算し、その演算結果を
AF制御値としてレンズ駆動部31に出力する。
【0075】CPU34は、カメラ1の撮影動作を集中
制御する制御部で、マイクロコンピュータからなる。C
PU34は、通常の写真撮影を制御するとともに、CC
D18の各画素位置における被写体距離Di及び撮影倍
率miを演算し、これら演算結果に基づいて読出クロッ
ク制御部265で生成される読出クロック及び読出アド
レス制御部266で生成される読出アドレスを制御して
斜め撮影補正モードにおける写真撮影を制御する。
【0076】次に、斜め撮影補正モードにおける撮影制
御について、図14のフローチャートを用いて説明す
る。
【0077】メインスイッチ8をオンにし、カメラ1が
起動すると、撮影可能状態になり、まず、測距部33に
より被写体距離が測定される(#1)。続いて、測定さ
れた被写体距離DA (図6における距離OPに相当)か
ら撮影レンズの合焦位置への駆動量が演算され、この演
算結果に基づいて撮影レンズ2を駆動することにより焦
点調節が行われる(#2)。続いて、測光部32により
被写体の輝度が測定され(#3)、この測定結果に基づ
いて適正露出となるようにCCD18のゲイン調整(ダ
イナミックレンジの調整)が行われる(#4)。続い
て、CCD18の電荷蓄積(積分)と蓄積電荷の読出し
(画素データの出力)とが行われ、液晶ファインダ駆動
部29でCCD18から出力された画素データに基づき
液晶ファインダ9を駆動することにより撮像画像が表示
される(#5)。すなわち、図15に示すように、CC
D18を介して実際に見えている被写体の画像20が液
晶ファインダ9に再現される。
【0078】続いて、S1スイッチがONになったか否
か(シャツタボタン14が半押しされたか否か)が判別
され(#6)、S1スイッチがOFFの状態であれば
(#6でNO)、#1に戻り、液晶ファインダ9による
ファインダ動作が継続される。
【0079】S1スイッチがONになると(#6でYE
S)、モード設定スイッチ10の操作ボタン12の設定
位置から傾斜角θが取り込まれ(#7)、続いて、撮影
画面枠20内のマーカ23,24(又はマーカ23′,
24′)の位置情報から斜め撮影補正の対象となる被写
体の横サイズdが取り込まれる(#8)。
【0080】続いて、CCD18の各画素位置に対する
撮影画角αi,βiが演算され、この撮影画角αi,βi、
被写体距離DA及び傾斜角θから各画素位置における被
写体距離Di(すなわち、撮像画面内の被写体距離分
布)が演算されるとともに、焦点距離fと被写体距離D
Aとから測距点における撮影倍率mAが演算され、この撮
影倍率mA、被写体距離DA、撮影画角αi,βi及び傾斜
角θから上記又はの演算式により各画素位置におけ
る撮影倍率mi(すなわち、撮像画面内の撮影倍率分
布)が演算される(#9)。そして、これらの被写体距
離分布及び撮影倍率分布のデータはメモリ35に記憶さ
れる。
【0081】続いて、被写体距離DA、撮影倍率mA、補
正対象画像の横サイズd及び傾斜角θから補正対象の被
写体全体が被写体深度となる絞り17の絞り値が演算さ
れ(#10)、この絞り値と直前に測定された被写体輝
度とから適正露出が得られるようにCCD18のゲイン
調整が行われる(#11)。
【0082】続いて、絞り17が絞り値に設定された後
(#12)、CCD18で撮像された画像について斜め
撮影補正演算が開始される(#13)。すなわち、CC
D18から順次、読み出された各画素データは、斜め撮
影補正演算部26内で縦ライン毎に縦方向の拡大補正が
行われた後、斜め撮影補正演算部26からの出力時に横
方向の拡大補正が行われ、斜め撮影補正をされつつ、液
晶ファィンダ駆動部29とカードメモリ27に出力され
る(#13)。
【0083】この斜め撮影補正処理においては、メモリ
35からCPU34に各画素位置に対応する被写体距離
Diと撮影倍率miのデータが読み出され、CPU34で
縦方向の拡大処理における追加すべき画素位置が演算さ
れ、その演算結果が読出クロック制御部265に出力さ
れるとともに、横方向の拡大処理における追加すべき画
素位置が演算され、その演算結果が読出アドレス制御部
266に出力される。
【0084】そして、読出クロック制御部265により
ラインバッファ261からラッチ回路262に読み出さ
れる画素データの読出クロックを制御することで、縦方
向の拡大補正が行われ、読出アドレス制御部266によ
り画像メモリ264からカードメモリ27及び液晶ファ
インダ駆動部29に出力される画素データの読出アドレ
スを制御することで、横方向の拡大補正が行われる。
【0085】なお、CPU34から液晶ファィンダ駆動
部29には表示切換信号が出力されており、斜め撮影補
正演算部26から出力された画素データに基づき液晶フ
ァインダ9が駆動されて、図16に示すように、補正後
の画像20が液晶ファインダ9にモニタ表示されるが
(#14)、CPU34からカード駆動部28には記録
信号が出力されておらず、補正後の画像のデータはカー
ドメモリ27には記録されない。
【0086】続いて、S2スイッチがONになったか否
か(シャツタボタン14が全押しされたか否か)が判別
され(#15)、S2スイッチがOFFの状態であれば
(#15でNO)、更にS1スイッチがON状態に保持
されているか否かが判別され(#16)、S1スイッチ
がON状態であれば(#15でYES)、#15に戻
り、S2スイッチがONになるまで、補正後の画像のモ
ニタ表示が継続される。一方、S1スイッチがOFFに
なっていれば(#16でNO)、#1に戻る。
【0087】補正後の画像のモニタ表示中にS2スイッ
チがONになると(#15でYES)、CPU34から
カード駆動部28に記録制御信号が出力され、補正後の
画像のデータのカードメモリ27への記録が開始される
(#17)。すなわち、CPU34からカード駆動部2
8には記録制御信号が出力され、斜め撮影補正演算部2
6から出力される画素データが順次、データはカードメ
モリ27に書き込まれる。
【0088】そして、全画素データのカードメモリ27
への書込みが終了すると(#18でYES)、CCD駆
動部25に画素データの読出終了の制御信号が出力され
るとともに、カード駆動部28に画素データの書込終了
の制御信号が出力されて(#19,#20)、1枚の撮
影動作が終了し、次の撮影動作を行うべく#1に戻る。
【0089】
【発明の効果】以上説明したように、本発明によれば、
斜め画像を擬似正面画像に補正して撮影することのでき
るデジタルカメラであって、補正後の擬似正面画像をモ
ニタ表示し得るようにしたので、本撮影の前に補正後の
画像が確認でき、斜め画像の撮影ミスを低減することが
できる。
【0090】また、通常は表示手段に撮影画像を表示
し、モニタ表示が指示されたとき、表示手段に補正後の
擬似正面画像をモニタ表示するようにしたので、ファイ
ンダ用の表示手段をモニタ用の表示手段に兼用すること
により表示手段の構造が簡単になる。
【図面の簡単な説明】
【図1】本発明に係るデジタルカメラの外観を示す斜視
図である。
【図2】本発明に係るデジタルカメラの背面図である。
【図3】被写体に対する斜め撮影を示す図である。
【図4】斜め撮影補正を説明するための図で、(a)は
斜め撮像画像を示す図、(b)は斜め撮影補正後の画像
を示す図である。
【図5】本発明に係るデジタルカメラの光学系の概略構
成図である。
【図6】斜め撮影における撮像系を真上から見た図であ
る。
【図7】斜め撮影補正の方法を説明するための図で、
(a)は斜め画像を示す図、(b)は斜め撮影補正後の
画像を示す図である。
【図8】斜め撮影補正におけ画素データの補間処理を説
明するための図、(a)は縦方向の補間処理を示す図、
(b)は横方向の補間処理を示す図である。
【図9】通常の撮影モードにおけるファインダ内の液晶
表示部の表示内容を示す図である。
【図10】斜め撮影補正モードにおける左斜め撮影時の
ファインダ内の液晶表示部の表示内容を示す図である。
【図11】斜め撮影補正モードにおける右斜め撮影時の
ファインダ内の液晶表示部の表示内容を示す図である。
【図12】本発明に係るデジタルカメラのブロック構成
図である。
【図13】CCDの画素データの読出方向を示す図であ
る。
【図14】斜め撮影補正モードにおける撮影制御を示す
フローチャートである。
【図15】ファインダ表示における液晶ファインダの表
示例を示す図である。
【図16】補正画像のモニタ表示における液晶ファイン
ダの表示例を示す図である。
【符号の説明】
1 カメラ 2 撮影レンズ 3 測光窓 4 測距用投光窓 5 測距用受光窓 6 カード挿入口 7 カード取出ボタン 8 メインスイッチ 9 液晶ファインダ(表示手段) 10 モード設定スイッチ(角度入力手段) 11 ガイド溝 12 操作ボタン 13 角度目盛 14 シャッタボタン(指示手段) 15 被写体幅設定スイッチ 16 ホワイトボード 17 絞り 18 CCDエリアセンサ(撮像手段) 19 撮影画面枠 20 補正対象画像 21,22 表示線 23,24 マーカ 25 CCD駆動部 26 斜め撮影補正演算部(補正手段) 261,263 ラインバッファ 262 ラッチ回路 264 画像メモリ 265 読出クロック制御部 266 読出アドレス制御部 27 カードメモリ 28 カード駆動部 29 液晶ファインダ駆動部 30 絞り駆動部 31 レンズ駆動部 32 測光部 33 測距部(測距手段) 331 投光部 332 受光部 34 CPU(表示制御手段) 35 メモリ
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 FI 技術表示箇所 G06T 3/00 G06F 15/62 380 H04N 5/225 15/66 360

Claims (2)

    【特許請求の範囲】
  1. 【請求項1】 複数の光電変換素子からなる画素を2次
    元配列してなる撮像手段と、上記撮像手段の撮像面と被
    写体面とのなす傾斜角を入力するする角度入力手段と、
    被写体までの距離を測定する測距手段と、入力された傾
    斜角と測定された被写体距離とに基づき上記撮像手段で
    撮像された上記被写体の斜め画像を擬似正面画像に補正
    する補正手段とを備えたデジタルカメラであって、上記
    撮像手段で撮像された画像を表示する表示手段と、モニ
    タ表示を指示する指示手段と、上記指示手段によりモニ
    タ表示が指示されると、上記補正手段で補正された画像
    を上記表示手段に表示させる表示制御手段とを備えたこ
    とを特徴とするデジタルカメラ。
  2. 【請求項2】 請求項1記載のデジタルカメラにおい
    て、上記表示制御手段は、上記指示手段によるモニタ指
    示が指示されていないとき、上記撮像手段で撮像された
    画像を上記表示手段に表示するものであることを特徴と
    するデジタルカメラ。
JP10126896A 1996-04-23 1996-04-23 デジタルカメラ Expired - Lifetime JP3800661B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP10126896A JP3800661B2 (ja) 1996-04-23 1996-04-23 デジタルカメラ
US08/844,906 US6449004B1 (en) 1996-04-23 1997-04-22 Electronic camera with oblique view correction

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP10126896A JP3800661B2 (ja) 1996-04-23 1996-04-23 デジタルカメラ

Publications (2)

Publication Number Publication Date
JPH09289610A true JPH09289610A (ja) 1997-11-04
JP3800661B2 JP3800661B2 (ja) 2006-07-26

Family

ID=14296148

Family Applications (1)

Application Number Title Priority Date Filing Date
JP10126896A Expired - Lifetime JP3800661B2 (ja) 1996-04-23 1996-04-23 デジタルカメラ

Country Status (1)

Country Link
JP (1) JP3800661B2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003069556A1 (fr) * 2002-02-15 2003-08-21 Fujitsu Limited Procede et dispositif de conversion d'image, dispositif de reconnaissance d'image, dispositif de commande robotisee et dispositif de projection d'image
WO2005029408A1 (ja) * 2003-09-18 2005-03-31 Brother Kogyo Kabushiki Kaisha 画像処理装置、及び、撮像装置
JP2005122327A (ja) * 2003-10-14 2005-05-12 Casio Comput Co Ltd 撮影装置、その画像処理方法及びプログラム
JP2012212346A (ja) * 2011-03-31 2012-11-01 Sony Corp 画像処理装置、画像処理方法及びプログラム
US8564693B2 (en) 2007-06-06 2013-10-22 Sony Corporation Image processing device, image processing method, and image processing program
JP2018042273A (ja) * 2012-01-17 2018-03-15 シャープ株式会社 画像処理装置および画像処理方法
US10484610B2 (en) 2012-01-17 2019-11-19 Sharp Kabushiki Kaisha Image-capturing apparatus, captured image processing system, program, and recording medium

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7561754B2 (en) 2002-02-15 2009-07-14 Fujitsu Limited Image transformation apparatus for image transformation of projected image by preventing distortion
US7567728B2 (en) 2002-02-15 2009-07-28 Fujitsu Limited Method and apparatus using image transformation of picked up image into image enabling position
WO2003069556A1 (fr) * 2002-02-15 2003-08-21 Fujitsu Limited Procede et dispositif de conversion d'image, dispositif de reconnaissance d'image, dispositif de commande robotisee et dispositif de projection d'image
WO2005029408A1 (ja) * 2003-09-18 2005-03-31 Brother Kogyo Kabushiki Kaisha 画像処理装置、及び、撮像装置
US7627196B2 (en) 2003-09-18 2009-12-01 Brother Kogyo Kabushiki Kaisha Image processing device and image capturing device
JP2005122327A (ja) * 2003-10-14 2005-05-12 Casio Comput Co Ltd 撮影装置、その画像処理方法及びプログラム
USRE46976E1 (en) 2007-06-06 2018-07-31 Sony Corporation Image processing device, image processing method, and image processing program
US8564693B2 (en) 2007-06-06 2013-10-22 Sony Corporation Image processing device, image processing method, and image processing program
JP2012212346A (ja) * 2011-03-31 2012-11-01 Sony Corp 画像処理装置、画像処理方法及びプログラム
US9715743B2 (en) 2011-03-31 2017-07-25 Sony Corporation Image processing apparatus, image processing method, and program
US9443348B2 (en) 2011-03-31 2016-09-13 Sony Corporation Image processing apparatus, image processing method, and program
US10360696B2 (en) 2011-03-31 2019-07-23 Sony Corporation Image processing apparatus, image processing method, and program
US11195307B2 (en) 2011-03-31 2021-12-07 Sony Corporation Image processing apparatus, image processing method, and program
JP2018042273A (ja) * 2012-01-17 2018-03-15 シャープ株式会社 画像処理装置および画像処理方法
US10484610B2 (en) 2012-01-17 2019-11-19 Sharp Kabushiki Kaisha Image-capturing apparatus, captured image processing system, program, and recording medium

Also Published As

Publication number Publication date
JP3800661B2 (ja) 2006-07-26

Similar Documents

Publication Publication Date Title
US6449004B1 (en) Electronic camera with oblique view correction
US6535250B1 (en) Image pickup apparatus
US8466989B2 (en) Camera having image correction function, apparatus and image correction method
JP4354076B2 (ja) 画枠センタリング調整方法および撮像装置
US20050012833A1 (en) Image capturing apparatus
US20100134641A1 (en) Image capturing device for high-resolution images and extended field-of-view images
US20070147812A1 (en) Digital panoramic camera
US7286160B2 (en) Method for image data print control, electronic camera and camera system
JP2005311789A (ja) デジタルカメラ
JP2005252657A (ja) 電子スチルカメラ
JP2007201539A (ja) デジタルカメラ
JP4509081B2 (ja) デジタルカメラ及びデジタルカメラのプログラム
JP2006162991A (ja) 立体画像撮影装置
US7805068B2 (en) Imaging apparatus
JP3493886B2 (ja) デジタルカメラ
JP2009089220A (ja) 撮像装置
US20080266405A1 (en) Imaging apparatus
JP3800661B2 (ja) デジタルカメラ
JP4315341B2 (ja) 流し撮り方法および撮影装置
JP2007214620A (ja) 画像処理装置、画像処理方法、およびプログラム
JP4586290B2 (ja) 電子カメラ
JPH09289600A (ja) デジタルカメラ
JP3293464B2 (ja) カメラ
JP2007264250A (ja) 撮影装置及びプログラム
JP4586289B2 (ja) 電子カメラおよびカメラシステム

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20040203

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20040303

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040331

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040304

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20040609

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20050107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060424

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090512

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090512

Year of fee payment: 3

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090512

Year of fee payment: 3

R370 Written measure of declining of transfer procedure

Free format text: JAPANESE INTERMEDIATE CODE: R370

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100512

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110512

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110512

Year of fee payment: 5

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110512

Year of fee payment: 5

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120512

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120512

Year of fee payment: 6

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130512

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130512

Year of fee payment: 7

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

EXPY Cancellation because of completion of term