JP4337614B2 - 電子カメラおよびプログラム - Google Patents

電子カメラおよびプログラム Download PDF

Info

Publication number
JP4337614B2
JP4337614B2 JP2004129218A JP2004129218A JP4337614B2 JP 4337614 B2 JP4337614 B2 JP 4337614B2 JP 2004129218 A JP2004129218 A JP 2004129218A JP 2004129218 A JP2004129218 A JP 2004129218A JP 4337614 B2 JP4337614 B2 JP 4337614B2
Authority
JP
Japan
Prior art keywords
document
area
image
shooting
document area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004129218A
Other languages
English (en)
Other versions
JP2005311926A (ja
Inventor
純一 吉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2004129218A priority Critical patent/JP4337614B2/ja
Priority to US11/109,040 priority patent/US8139118B2/en
Priority to EP05290880A priority patent/EP1592234A3/en
Priority to KR1020050033883A priority patent/KR100664565B1/ko
Priority to CNB2005100662559A priority patent/CN100382572C/zh
Publication of JP2005311926A publication Critical patent/JP2005311926A/ja
Application granted granted Critical
Publication of JP4337614B2 publication Critical patent/JP4337614B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/10Fittings or systems for preventing or indicating unauthorised use or theft of vehicles actuating a signalling device
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/10Fittings or systems for preventing or indicating unauthorised use or theft of vehicles actuating a signalling device
    • B60R2025/1013Alarm systems characterised by the type of warning signal, e.g. visual, audible
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00Still video cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Studio Devices (AREA)
  • Lens Barrels (AREA)
  • Image Input (AREA)
  • Image Processing (AREA)
  • Facsimile Scanning Arrangements (AREA)

Description

この発明は、書画情報を撮影して記録保存する電子カメラおよびプログラムに関する。
従来、文字、図形、画像などの書画情報を撮影して記録保存する電子カメラとしては、例えば、被写体を載せる台にアームを介して取り付けられているカメラ本体を有し、被写体とカメラ本体を動かすことなく、被写体の撮影位置を移動するようにした書画カメラが知られている(特許文献1参照)。また、名刺、葉書き、カタログ、看板、掲示板などに書かれた文字情報をデジタルカメラで撮影して取得した画像の歪みを補正するために、歪み補正の対象となる四角形の画像を抽出し、これを歪みのない長方形に補正するようにした歪み補正方法・装置が知られている(特許文献2参照)。
特開平10−229515号公報 特開2003−58877号公報
しかしながら、特許文献1の書画カメラにあっては、被写体の撮影位置を移動するスライド部材なども必要となり、装置全体が大掛かりなものとなる。また、特許文献2の歪み補正方法・装置にあっては、カメラ撮影後に撮影画像内から抽出した四角形の画像を歪みのない長方形に補正するものであるが、撮影後の画像補正を前提としているため、例えば、元の四角形の画像が最適な状態で撮影されていない場合、つまり、小さ過ぎる画像の場合や一部が欠けている画像の場合などでは、歪み補正を施したとしても、好ましい文字情報を得ることができない。例えば、名刺をカメラ撮影した場合に、名刺の撮影状態が悪いと、名刺内の文字が不鮮明になったり、名刺の枠全体を四角形として輪郭抽出することができなくなるため、名刺の撮影時には、レンズを向ける方向を微調整しながらズーム操作を行うなど、慎重な撮影を余儀なくされ、撮影者に大きな負担をかけるという問題があった。
この発明の課題は、撮影対象である書画情報を撮影する際に、その撮影状態を慎重にマニュアル調整しなくても、書画情報を常に最適な状態で撮影できるようにすることである。
請求項1記載の発明は、書画情報を撮影した撮影画像を記録保存する電子カメラであって、実際の撮影を行う前に撮影対象である書画情報を仮撮影した撮影画像を取得した際に、この撮影画像を解析することによって書画情報が含まれている書画領域を特定する特定手段と、この特定手段によって特定された書画領域が当該仮撮影した画像領域内の中心部分に位置するように、光学系を駆動制御して撮影方向を変更する制御手段と、を具備し、前記変更後の撮影方向で実撮影された画像を記録保存するようにしたことを特徴とする。
更に、コンピュータに対して、上述した請求項1記載の発明に示した主要機能を実現させるためのプログラムを提供する(請求項8記載の発明)。
なお、請求項1記載の発明は次のようなものであってもよい。
前記特定手段は、書画情報が含まれている書画領域を特定する場合に、予め決められている書画領域の特徴情報を参照し、この特徴情報に該当する部分を書画領域として特定する(請求項2記載の発明)。
前記制御手段は、前記特定された書画領域の中心部分が、当該仮撮影の画像領域の中心部分から所定の範囲外に位置していた場合に、当該書画領域が当該仮撮影の画像領域内の中心部分に位置するように、光学系を駆動制御して撮影方向を変更する(請求項3記載の発明)。
前記制御手段は、更に前記特定された書画領域が当該仮撮影の画像領域内に収まり、かつ、その領域サイズと同等となるように、光学系を駆動制御して撮影倍率を変更する(請求項4記載の発明)。
書画情報を撮影する書画撮影モードと任意の被写体を撮影する通常撮影モードとを任意に切り換えるモード切換手段を設け、前記書画撮影モードに切り換えられている状態において、書画情報を仮撮影した撮影画像内の書画領域を特定すると共に、この書画領域が当該仮撮影した画像領域内の中心部分に位置するように、光学系を駆動制御して撮影方向を変更する(請求項5記載の発明)。
前記制御手段によって変更された撮影方向で実撮影が行われた際に、この撮影画像を解析することによって特定された書画領域の全体が方形となるように、その形状を補正する補正処理手段を設け、この補正処理手段によって形状補正された書画領域内の画像を記録保存する(請求項6記載の発明)。
前記補正処理手段は、前記特定された書画領域の全体が方形となるように、その形状を補正するフォルム最適化処理を実行した後、このフォルム最適化処理によって補正された方形の書画領域内から所定の画像情報を抽出するフィルタリング処理を実行する(請求項7記載の発明)。
請求項1記載の発明によれば、実際の撮影を行う前に撮影対象である書画情報を仮撮影した撮影画像を取得した際、この撮影画像を解析することによって書画情報が含まれている書画領域を特定すると共に、この書画領域が当該仮撮影した画像領域内の中心部分に位置するように、光学系を駆動制御して撮影方向を変更するようにしたから、撮影対象である書画情報を撮影する際に、撮影方向を調整しなくても、書画情報を常に適正な位置で撮影することができ、撮影者の負担を大幅に軽減できる他、最適な撮影方向で実撮影された画像に各種の補正を施す場合にその補正を正確に行うことが可能となる。
請求項2記載の発明によれば、上述した請求項1記載の発明と同様の効果を有する他、書画情報が含まれている書画領域を特定する場合に、予め決められている書画領域の特徴情報を参照し、この特徴情報に該当する部分を書画領域として特定するようにしたから、例えば、名刺、葉書きなどの定型用紙、ホワイトボード、掲示板などの定型物を撮影したとしても、名刺、葉書き、ホワイトボードの撮影部分を書画領域として容易に特定することができる。
請求項3記載の発明によれば、上述した請求項1記載の発明と同様の効果を有する他、特定された書画領域の中心部分が、当該仮撮影の画像領域の中心部分から所定の範囲外に位置していた場合に、当該書画領域が当該仮撮影の画像領域内の中心部分に位置するように、光学系を駆動制御して撮影方向を変更するようにしたから、書画領域を常に適正な位置で撮影することが可能となる。
請求項4記載の発明によれば、上述した請求項1記載の発明と同様の効果を有する他、特定された書画領域が仮撮影の画像領域内に収まり、かつ、その領域サイズと同等となるように、光学系を駆動制御して撮影倍率を変更するようにしたから、常に最大倍率での撮影が可能となる。
請求項5記載の発明によれば、上述した請求項1記載の発明と同様の効果を有する他、通常撮影モードと書画撮影モードとを切り換え可能としたから、必要に応じて通常撮影/書画撮影を適宜切り換えることが可能となり、書画カメラとしての専用カメラに限らず、一般の通常カメラとしても使用可能となる。
請求項6記載の発明によれば、上述した請求項1記載の発明と同様の効果を有する他、変更された撮影方向で実撮影が行われた際に、この撮影画像を解析することによって特定された書画領域の全体を方形に補正した後、補正された書画領域内の画像を記録保存するようにしたから、歪みのない画像を記録保存することができる。
請求項7記載の発明によれば、上述した請求項1記載の発明と同様の効果を有する他、書画領域の全体が方形となるようにその形状を補正するフォルム最適化処理を実行した後、このフォルム最適化処理によって補正された方形の書画領域内から所定の画像情報を抽出するフィルタリング処理を実行するようにしたから、ノイズを除去したり、文字などの所望する画像情報のみを記録保存することができる。
以下、図1〜図9を参照して本発明の実施例を説明する。
図1は、この実施例における電子カメラの全体構成の概要を示したブロック図である。
この電子カメラは、持ち運び自由な携帯型のデジタルスチルカメラであり、例えば、会社等における商談会、報告会、審議会などのビジネスミーティング用のカメラとして使用可能なもので、各種の資料、名刺、葉書き、カタログ、ホワイトボードなどを撮影対象として、それらに記載されている文字、図形、画像などの書画情報を撮影する書画カメラであるが、書画情報を撮影する以外にも、人物、風景などの一般的な被写体を撮影する通常のカメラとしても使用可能となっている。
このデジタルスチルカメラは、書画情報を撮影対象とする際に、その時の撮影状態を慎重にマニュアル調整しなくても、書画情報を常に最適な状態で撮影できるようにしたことを特徴とするものである。つまり、被写体である書画情報に対してレンズを向ける方向、ズーム倍率、焦点を厳密にマニュアル調整しなくても、書画情報を最適な状態で撮影できるようにしたものである。
なお、この実施例の特徴部分を詳述する前に、この実施例のハードウェア上の構成について以下、説明しておく。
CPU1は、記憶部2内のオペレーティングシステムや各種アプリケーションソフトに従ってこのデジタルスチルカメラの全体動作を制御する中央演算処理装置である。記憶部2は、ハードディスク等の固定的なメモリであり、プログラム記憶領域とデータ記憶領域とを有している。この記憶部2内のプログラム記憶領域には、後述する図6〜図8に示す動作手順に従って本実施例を実現する為のアプリケーションプログラムが格納されている。このプログラムやデータは、必要に応じてワークメモリ3にロードされたり、このワークメモリ3内のデータが記憶部2にセーブされる。なお、記録メディア4は、DVD等の着脱自在なメモリであり、記憶部2やワークメモリ3との間においてプログラムや画像データ等の受け渡しを行う。
一方、CPU1には、その入出力周辺デバイスである操作部5、表示部6、カメラ撮影部7がバスラインを介して接続されており、入出力プログラムに従ってCPU1は、これらの入出力デバイスの動作制御を行う。
操作部5は、シャッターボタンST、ズームボタンWDの他、後述するノーマルモード/書画モード/書画・加工モードに切り換えるモードボタンMD等、各種のファンクションボタンを有し、その操作信号はCPU1に与えられる。表示部6は、例えば、タッチパネル付きの液晶表示部であり、モニタ画面/ファインダ画面/画像再生画面として使用される。
カメラ撮影部7は、撮影レンズ、ミラー等のレンズ・ミラーブロック、CCDイメージセンサ等の撮像素子、その駆動系等を備えたもので、CPU1は、光学ズーム機能を調整制御したり、レンズの向き(撮影方向)を調整制御したり、オートフォーカス時の駆動制御、シャッター駆動制御、露出、ホワイトバランス等を制御する。すなわち、図2は、カメラ撮影部7の詳細な構成を示した図で、カメラ撮影部7には、撮影レンズ71、撮影制御部72、撮像処理部73を有し、CPU1は、撮影制御部72に対してズーム駆動制御、フォーカス駆動制御、露出駆動制御、シャッター駆動制御、ホワイトバランス制御を行うと共に、撮影レンズ71の向きを駆動制御して撮影方向の調整を行うが、その際、撮影レンズ71の向きを左右/上下方向に駆動して撮影方向を調整するようにしている。なお、CPU1は、撮像処理部73内のCCDイメージセンサから画像メモリ8を介して撮影画像を取り込んで記録メディア4に記録保存するようにしている。
ここで、上述したモードボタンMDは、ノーマルモード/書画モード/書画・加工モードに切り換えるもので、「ノーマルモード」は、人物、風景などの一般的な被写体を通常撮影する動作モードである。また、「書画モード」は、撮影対象である書画情報を撮影する際に、その撮影状態(光学ズーム、撮影方向)をマニュアル調整しなくても、書画情報を常に最適な状態で撮影可能とするために、光学系の駆動制御を行う動作モードである。「書画・加工モード」は、上述した書画モードと、この書画モードによって得られた画像に各種の補正を施すことによって画像加工を行う加工モードとを併せ持ったモードである。つまり、書画モードにおいて書画情報の撮影条件を自動調整することによって最適な状態で実撮影された画像に対し、予め決められている各種の補正処理を施した後、この画像を記録保存するようにした動作モードである。
すなわち、「書画モード」は、実際の撮影を行う前に撮影対象である書画情報を仮撮影したモニタ画像を取得した際に、CPU1は、このモニタ画像を解析することによって書画情報が含まれている書画領域を特定すると共に、この書画領域が当該モニタ画像の枠領域に対して最適な撮影状態となるように、光学ズームを自動調整したり、レンズの向き(撮影方向)を自動調整して書画情報の撮影条件を変更した後に、この撮影条件下で実撮影された画像を記録保存するようにした自動撮影モードである。ここで、CPU1は、書画領域がモニタ画像枠に対して最適な撮影状態となるように、撮影方向を自動調整する場合、書画領域がモニタ画像枠内の中心部分に位置するように、レンズの向き(撮影方向)を自動調整したり、また、書画領域がモニタ画像枠内に収まり、かつ、その枠サイズと略同等となるように、光学ズームを自動調整するようにしている。
図3および図4は、モニタ画像枠に対して書画領域が最適な状態となるように、撮影レンズの向き(撮影方向)をどのように自動調整するかを説明するための図である。
ここで、モニタ画像の中心点をXY座標系の原点とした場合に、CPU1は、書画情報が含まれている書画領域の中心点を求めると共に、この書画領域の中心点と原点とを比較することによって、書画領域の偏り方向およびその偏り割合を求め、この偏り割合が許容範囲内、つまり、書画領域がモニタ画像枠の中心部分にあるか否かをチェックすることによってモニタ画像に対して書画領域が最適な状態にあるか否かを判別し、書画領域がモニタ画像の枠領域内の中心部分に位置するように、撮影方向を自動調整するようにしている。
図中、「偏り割合」は、書画領域の中心点が原点に対して偏っている割合を横・縦方向に対応付けて示したもので、図3(A)の例では、横+40%、縦0%、図3(B)の例では、横0%、縦0%、図3(C)の例では、横−60%、縦−40%の場合を示している。この場合、許容範囲を±20%以内とすると、図3(A)および(C)の場合には、許容範囲外となり、その偏り方向および偏り割合に応じて撮影方向の自動調整が行われる。なお、図4は、書画領域がX軸の+/−方向に偏っている場合、その偏り方向および偏り割合に応じてレンズの向き(撮影方向)が左/右方向に自動調整されることを示している。
図5は、モニタ画像の枠領域に対して書画領域が最適な状態、つまり、モニタ画像枠に対して最大サイズとなるように、光学ズームをどのように自動調整するかを説明するための図である。
ここで、書画領域がモニタ画像の枠領域内の略中心部分に位置するように、撮影レンズの向きを自動調整した後において、CPU1は、モニタ画像枠に対して書画領域が最適な状態となるように、光学ズームを自動調整する。すなわち、書画領域を1段階毎にズームインしながら、モニタ画像枠から書画領域がはみ出したか否かをチェックし、書画領域の一部がモニタ画像枠からはみ出した時点で1段階のズームアウトを行うことによって書画領域がモニタ画像枠に対して最大サイズとなるように自動調整するようにしている。
上述の「書画・加工モード」において実撮影された画像に対して各種の補正処理を施して記録保存する場合、CPU1は、実撮影された画像から書画領域を抽出すると共に、この書画領域の全体が方形(例えば、長方形)となるように、その形状全体を補正するフォルム最適化処理(角度補正処理および台形補正処理) を実行した後、このフォルム最適化処理によって補正された方形の書画領域内から所定の画像情報を抽出するフィルタリング処理を実行し、更には、抽出した画像情報を鮮明に読み取れるようにその色合いを補正する色調補正処理を実行して記録保存するようにしている。
次に、この実施例におけるデジタルスチルカメラの動作概念を図6〜図8に示すフローチャートを参照して説明する。ここで、これらのフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作が逐次実行される。また、伝送媒体を介して伝送されてきた上述のプログラムコードに従った動作を逐次実行することもできる。すなわち、記録媒体の他に、伝送媒体を介して外部供給されたプログラム/データを利用してこの実施例特有の動作を実行することもできる。
図6〜図8は、撮影スイッチがオン操作された際に実行開始されるデジタルスチルカメラの全体動作を示したフローチャートである。
先ず、CPU1は、撮影スイッチがオン操作されると、ノーマルモードに初期設定した後(ステップS1)、カメラ撮影部7からモニタ画像を取得して画像メモリ8にセットすると共に(ステップS2)、モニタ画面に表示出力させる(ステップS3)。ここで、ボタン操作の有無をチェックし(ステップS4)、何らかのボタンが操作されるまでステップS2に戻って待機状態となるが、ボタン操作を検出した際には、操作ボタンの種類を判別し、モードボタンMDが操作されたか(ステップS5)、ズームボタンWDが操作されたか(ステップS6)、シャッターボタンかその他のボタンが操作されたかを調べる(ステップS7)。
いま、初期設定時のノーマルモードにおいて、ズームボタンWDが操作された際には(ステップS6でYES)、そのズームイン/ズームアウト操作に応じて光学ズームの駆動を制御する(ステップS9)。また、シャッターボタンが操作された際には(ステップS7でYES)、ノーマルモードにセットされていることを条件に(ステップS10)、シャッター操作時の撮影画像を画像メモリ8から取得して直交変換方式(離散コサイン変換方式)に従ってデータ圧縮を行った後(ステップS11)、この圧縮画像を記録メディア4に記録保存させる通常の動作を行う(ステップS12)。なお、ノーマルモードにおいて、その他のボタンが操作された際には(ステップS7でNO)、操作ボタンに応じた他の処理を実行した後(ステップS13)、モニタ画像の取得処理に戻る(ステップS2)。
また、モードボタンMDが操作された場合には(ステップS5でYES)、モードボタンMDが操作される毎に、ノーマルモード/書画モード/書画・加工モードにサイクリックに切り換えるモード変更処理が行われる(ステップS8)。すなわち、ノーマルモードにセットされている場合には書画モードへの切り換えが行われ、書画モードにセットされている場合には書画・加工モードへの切り換えが行われ、書画・加工モードにセットされている場合にはノーマルモードへの切り換えが行われる。いま、ノーマルモードから書画モードに切り換えられた状態において、シャッターボタンが操作された際には、ステップS7、S10でそのことが判別されて図7のステップS15〜S26の実行に移り、書画情報を最適な状態で撮影可能とするために光学系の自動調整が行われる。
すなわち、画像メモリ8の領域内(モニタ画像枠内)において、このモニタ画像全体を解析することによって特定形状の画像部分(被写体部分)を書画領域として認識する (ステップS15)。この場合、予め設定されている書画領域の特徴情報、つまり、名刺、葉書き、カタログ、ホワイトボードなどの形状特性(例えば、四角形)を参照し、この特徴情報に一致する形状の画像部分が存在しているかをチェックし、有れば、その画像部分を書画領域として認識して書画領域の特定を行う。このようにして書画領域を特定すると、図3に示したように、書画領域の中心点を求めると共に、この書画領域の中心点とモニタ画像枠の原点とを比較することによって書画領域の偏り方向およびその偏り割合を求め(ステップS16)、この偏り割合が許容範囲内、つまり、書画領域がモニタ画像枠の中心部分にあるか否かをチェックすることによってモニタ画像に対して書画領域が最適な状態にあるか否かを判別する(ステップS17)。
ここで、書画領域の偏り割合が許容範囲内であれば(ステップS17でNO)、撮影レンズ71の向きを変更することなく、次のステップS20に移るが、偏り割合が許容範囲外であれば、撮影レンズ71の向きを自動調整する処理が行われる(ステップS18)。すなわち、書画領域の偏り方向およびその偏り割合に応じて撮影レンズ71の向きを駆動制御することによって撮影条件(撮影方向)を変更する。これによって書画領域がモニタ画像枠の中心部分に位置するようにその撮影方向の自動調整が行われる。そして、CPU1は、撮影方向を自動調整した直後のモニタ画像をカメラ撮影部7から取得して画像メモリ8にセットする(ステップS19)。
次に、モニタ画像枠に対して書画領域が最適な状態(最大サイズ)となるように光学ズームを自動調整する処理が行われる。すなわち、光学ズームの現在のセット状態をチェックし、ズームイン倍率がその最大値(例えば、光学4倍)未満であることを条件に(ステップS20)、光学ズームを1段階(例えば、0.5倍)だけズームイン駆動すると共に、フォーカス制御を行う(ステップS21)。これによって書画領域が拡大撮影されると、CPU1は、ズームイン直後のモニタ画像をカメラ撮影部7から取得して画像メモリ8にセットすると共に(ステップS22)、この画像メモリ8内の撮影画像を解析し、書画領域がモニタ画像枠から溢れたか(はみ出したか)否かをチェックし(ステップS23)、書画領域がモニタ画像枠内であれば(ステップS24でNO)、上述のステップS20に戻る。
以下、ズームイン倍率がその最大値に達するか(ステップS20)、書画領域がモニタ画像枠から溢れるまで(ステップS24)、光学ズームを1段階毎にズームイン駆動しながら画像メモリ8の書き込み画像を順次更新してゆく。ここで、書画領域がモニタ画像枠から溢れる前にズームイン倍率がその最大値に達した場合には、図8のステップS31に移るが、ズームイン倍率がその最大値に達する前に書画領域がモニタ画像枠から溢れた場合には、1段階のズームアウト駆動を行うと共に(ステップS25)、ズームアウト直後の撮影画像をカメラ撮影部7から取得して画像メモリ8にセットした後(ステップS26)、図8のステップS31に移る。
図8のステップS31は、現在の動作モードを判別するもので、「書画モード」にセットされている場合には(ステップS31でNO)、その時点のモニタ画像を画像メモリ8から取得して直交変換方式に従ってデータ圧縮を行い(ステップS40)、この圧縮画像を記録メディア4に記録保存させた後(ステップS39)、図6のステップS2に戻ってモニタ画像の取得を行う。また、「書画・加工モード」にセットされている場合には、画像メモリ8から取得したモニタ画像をワークメモリ3(加工メモリ)にセットした後(ステップS32)、この加工メモリ内において、そのモニタ画像全体を解析しながら書画領域を特定して書画領域の抽出を行う(ステップS33)。
そして、CPU1は、抽出した書画領域に対して角度補正を施す(ステップS34)。例えば、長方形の名刺を撮影した際にその真上から撮影せず、斜め方向から撮影したものとすると、名刺の全体形状は、カメラ位置からの遠近差によって台形の状態で撮影されるが、このように書画領域が傾いて撮影された場合には、その傾きに応じて書画領域を回転させる角度補正を行う。図9(A)は、抽出した書画領域を示し、図9(B)は、角度補正後の画像を示している。次に、角度補正後の書画領域(台形)を元の方形(長方形)に補正する台形補正を施す(ステップS35)。この場合、台形の短辺(上辺に相当する部分)をその長辺(下辺に相当する部分)に合わせ込むために、書画領域を伸張して書画領域を元の方形(長方形)に補正する。図9(C)は、台形補正後の画像を示している。
このようにして書画領域のフォルム最適化処理が実行されると、補正後の方形の書画領域内からノイズ除去と共に、所定の画像情報(例えば、文字などの画像情報)を抽出するフィルタリング処理を実行し(ステップS36)、更には、抽出した画像情報を鮮明に読み取れるようにその色合いを補正する色調補正処理を実行する(ステップS37)。このようにして得られた画像情報を直交変換方式に従ってデータ圧縮を行い(ステップS38)、この圧縮画像を記録メディア4に記録保存させた後(ステップS39)、図6のステップS2に戻ってモニタ画像の取得を行う。
以上のように、この実施例のデジタルスチルカメラにおいてCPU1は、実際の撮影を行う前に撮影対象である書画情報をモニタ撮影したモニタ画像を取得した際、このモニタ画像を解析することによって書画情報が含まれている書画領域を特定すると共に、この書画領域が当該モニタ画像枠に対して所定の状態となるようにカメラ撮影部7の撮影制御部72を駆動制御して書画情報の撮影条件を変更するようにしたから、撮影対象である書画情報を撮影する際に、その撮影状態を慎重にマニュアル調整しなくても、書画情報を常に最適な状態で撮影することができ、撮影者の負担を大幅に軽減できる他、最適な状態で実撮影された画像に各種の補正を施す場合にその補正を正確に行うことが可能となる。
ここで、ノーマルモードと書画モードとを切り換え可能としたから、必要に応じて通常撮影/書画撮影を任意に切り換えることが可能となり、書画カメラとしての専用カメラに限らず、一般の通常カメラとしても使用可能となる。この書画モードにおいて、CPU1は、書画情報が含まれている書画領域を特定する場合に、予め決められている書画領域の特徴情報を参照し、この特徴情報に該当する部分を書画領域として認識してその特定を行うようにしたから、例えば、名刺、葉書きなどの定型用紙、ホワイトボード、掲示板などの定型物を撮影したとしても、名刺、葉書き、ホワイトボードの撮影部分を書画領域として容易に特定することができる。
また、CPU1は、特定した書画領域がモニタ画像枠内の中心部分に位置するように、レンズの向きを駆動制御して撮影方向を変更するようにしたから、書画領域を常に適正な位置で撮影することが可能となる。更に、特定した書画領域がモニタ画像枠内に収まり、かつ、その枠サイズと同等となるように、光学ズームを駆動制御して撮影倍率を変更するようにしたから、常に最大倍率での撮影が可能となる。
また、変更された撮影条件下で実撮影が行われた際に、CPU1は、この撮影画像を解析することによって特定された書画領域の全体が方形となるように、その形状を補正するフォルム最適化処理を実行した後、補正された書画領域内の画像を記録保存するようにしたから、歪みのない画像を記録保存することができる。更に、フォルム最適化処理を実行した後、このフォルム最適化処理によって補正された方形の書画領域内から所定の画像情報を抽出するフィルタリング処理を実行するようにしたから、ノイズを除去したり、文字などの所望する画像情報のみを記録保存することができる。
なお、上述した実施例においては、モニタ画像内の書画領域を特定する際に、予め設定されている名刺、葉書き、カタログ、ホワイトボードなどの形状特性(例えば、四角形)を参照し、この形状特性に一致する画像部分を書画領域として特定するようにしたが、形状特性に限らず、例えば、色特性、構成特性などを書画領域の特徴情報として設定するようにしてもよい。また、書画領域を特定する際に、形状特性と共に、その形状領域内に文字情報が含まれているか否かを判別するようにしたが、書画情報は、文字情報に限らず、記号、図形、写真等の画像等であってもよい。
上述した実施例においては、レンズの向きを駆動制御して撮影方向を自動変更したり、光学ズームを駆動制御して撮影倍率を自動変更するようにしたが、光学系の駆動制御としては、その他に、絞りを駆動制御して露出を自動変更するようにしてもよい。
上述した実施例においては、自動調整後の撮影条件下で実撮影された画像を記録保存する際に、書画領域内から抽出した画像のみを記録保存するようにしたが、自動調整後の撮影条件下で実撮影された撮影画像の全体を記録保存したり、この撮影画像から抽出した書画領域のみを記録保存するようにしてもよい。
また、上述した実施例においては、フォルム最適化処理を実行した後、このフォルム最適化処理によって補正された方形の書画領域内から所定の画像情報を抽出するフィルタリング処理を実行すると共に、抽出した画像情報を鮮明に読み取れるようにその色合いを補正する色調補正処理を実行したが、フィルタリング処理、色調補正処理は、カメラ側で行わず、パーソナルコンピュータなどの他の電子機器で行うようにしてもよい。
更に、上述した実施例においては、商談会、報告会、審議会などでの各種の資料、名刺、葉書き、カタログ、ホワイトボードなどを撮影対象とするビジネスミーティング用の携帯型書画カメラに適用した場合を示したが、プロジェクターのオプションとして、その書画台にアームを介して取り付けた書画カメラであってもよい。この場合、プロジェクターから書画カメラを取り外し可能として、ホワイトボードなどを撮影可能としてもよく、更には、ビジネスミーティング用に限らず、一般用など任意の用途にも適用可能であることは勿論である。
一方、コンピュータに対して、上述した各手段を実行させるためのプログラムコードをそれぞれ記録した記録媒体(例えば、CD−ROM、フレキシブルディスク、RAMカード等)を提供するようにしてもよい。すなわち、コンピュータが読み取り可能なプログラムコードを有する記録媒体であって、実際の撮影を行う前に撮影対象である書画情報を仮撮影した撮影画像を取得した際、この撮影画像を解析することによって書画情報が含まれている書画領域を特定する機能と、特定された書画領域が当該仮撮影した画像領域に対して所定の状態となるように、光学系を駆動制御して書画情報の撮影条件を変更する機能と、変更後の撮影条件下で実撮影された画像を記録保存する機能とを実現させるためのプログラムを記録したコンピュータが読み取り可能な記録媒体を提供するようにしてもよい。
電子カメラの全体構成の概要を示したブロック図。 カメラ撮影部7の詳細な構成を示した図。 (A)〜(C)は、モニタ画像の枠領域に対して書画領域が最適な状態となるように、撮影レンズの向き(撮影方向)をどのように自動調整するかを説明するための図。 書画領域がX軸の+/−方向に偏っている場合、その偏り方向および偏り割合に応じてレンズの向き(撮影方向)が左/右方向に自動調整されることを示した図。 モニタ画像の枠領域に対して書画領域が最適サイズとなるように、光学ズームをどのように自動調整するかを説明するための図。 撮影スイッチがオン操作された際に実行開始されるデジタルスチルカメラの全体動作を示したフローチャート。 図6に続く、デジタルスチルカメラの全体動作を示したフローチャート。 図7に続く、デジタルスチルカメラの全体動作を示したフローチャート。 (A)は、抽出した書画領域を示した図、(B)は、角度補正後の画像を示した図、 (C)は、台形補正後の画像を示した図。
符号の説明
1 CPU
2 記憶部
4 記録メディア
5 操作部
6 表示部
7 カメラ撮影部
8 画像メモリ
72 撮影制御部
73 撮像処理部
ST シャッターボタン
MD モードボタン

Claims (8)

  1. 書画情報を撮影した撮影画像を記録保存する電子カメラであって、
    実際の撮影を行う前に撮影対象である書画情報を仮撮影した撮影画像を取得した際、この撮影画像を解析することによって書画情報が含まれている書画領域を特定する特定手段と、
    この特定手段によって特定された書画領域が当該仮撮影した画像領域内の中心部分に位置するように、光学系を駆動制御して撮影方向を変更する制御手段と、
    を具備し、前記変更後の撮影方向で実撮影された画像を記録保存するようにしたことを特徴とする電子カメラ。
  2. 前記特定手段は、書画情報が含まれている書画領域を特定する場合に、予め決められている書画領域の特徴情報を参照し、この特徴情報に該当する部分を書画領域として特定する、
    ようにしたことを特徴とする請求項1記載の電子カメラ。
  3. 前記制御手段は、前記特定された書画領域の中心部分が、当該仮撮影の画像領域の中心部分から所定の範囲外に位置していた場合に、当該書画領域が当該仮撮影の画像領域内の中心部分に位置するように、光学系を駆動制御して撮影方向を変更することを特徴とする請求項1又は2記載の電子カメラ。
  4. 前記制御手段は、更に前記特定された書画領域が当該仮撮影の画像領域内に収まり、かつ、その領域サイズと同等となるように、光学系を駆動制御して撮影倍率を変更する、
    ようにしたことを特徴とする請求項1〜3の何れかに記載の電子カメラ。
  5. 書画情報を撮影する書画撮影モードと任意の被写体を撮影する通常撮影モードとを任意に切り換えるモード切換手段を設け、
    前記書画撮影モードに切り換えられている状態において、書画情報を仮撮影した撮影画像内の書画領域を特定すると共に、この書画領域が当該仮撮影した画像領域内の中心部分に位置するように、光学系を駆動制御して撮影方向を変更する、
    ようにしたことを特徴とする請求項1〜4の何れかに記載の電子カメラ。
  6. 前記制御手段によって変更された撮影方向で実撮影された際に、この撮影画像を解析することによって特定された書画領域の全体が方形となるように、その形状を補正する補正処理手段を設け、
    この補正処理手段によって形状補正された書画領域内の画像を記録保存する、
    ようにしたことを特徴とする請求項1〜5の何れかに記載の電子カメラ。
  7. 前記補正処理手段は、前記特定された書画領域の全体が方形となるように、その形状を補正するフォルム最適化処理を実行した後、このフォルム最適化処理によって補正された方形の書画領域内から所定の画像情報を抽出するフィルタリング処理を実行する、
    ようにしたことを特徴とする請求項6記載の電子カメラ。
  8. コンピュータに対して、
    実際の撮影を行う前に撮影対象である書画情報を仮撮影した撮影画像を取得した際、この撮影画像を解析することによって書画情報が含まれている書画領域を特定する機能と、
    特定された書画領域が当該仮撮影した画像領域内の中心部分に位置するように、光学系を駆動制御して撮影方向を変更する機能と、
    変更後の撮影方向で実撮影された画像を記録保存する機能と、
    を実現させるためのプログラム。
JP2004129218A 2004-04-26 2004-04-26 電子カメラおよびプログラム Expired - Fee Related JP4337614B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2004129218A JP4337614B2 (ja) 2004-04-26 2004-04-26 電子カメラおよびプログラム
US11/109,040 US8139118B2 (en) 2004-04-26 2005-04-18 Optimal-state image pickup camera
EP05290880A EP1592234A3 (en) 2004-04-26 2005-04-20 Optimal-state image pickup device
KR1020050033883A KR100664565B1 (ko) 2004-04-26 2005-04-25 디지털카메라
CNB2005100662559A CN100382572C (zh) 2004-04-26 2005-04-25 数码相机

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004129218A JP4337614B2 (ja) 2004-04-26 2004-04-26 電子カメラおよびプログラム

Publications (2)

Publication Number Publication Date
JP2005311926A JP2005311926A (ja) 2005-11-04
JP4337614B2 true JP4337614B2 (ja) 2009-09-30

Family

ID=34942177

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004129218A Expired - Fee Related JP4337614B2 (ja) 2004-04-26 2004-04-26 電子カメラおよびプログラム

Country Status (5)

Country Link
US (1) US8139118B2 (ja)
EP (1) EP1592234A3 (ja)
JP (1) JP4337614B2 (ja)
KR (1) KR100664565B1 (ja)
CN (1) CN100382572C (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2620761C (en) * 2004-08-30 2016-05-10 Trace Optic Technologies Pty Ltd. A method and apparatus of camera control
US7812994B2 (en) * 2005-06-10 2010-10-12 Marvell International Technology Ltd. Handheld printer
JP2011028345A (ja) * 2009-07-22 2011-02-10 Olympus Imaging Corp 条件変更装置、カメラ、携帯機器、およびプログラム
US9516271B2 (en) 2012-10-31 2016-12-06 Microsoft Technology Licensing, Llc Auto-adjusting content size rendered on a display
JP6034486B2 (ja) * 2013-04-10 2016-11-30 株式会社東芝 電子機器
JP6307942B2 (ja) 2014-03-05 2018-04-11 セイコーエプソン株式会社 撮像装置及び撮像装置の制御方法
JP6759018B2 (ja) * 2016-09-06 2020-09-23 キヤノン株式会社 撮像装置及び露出制御方法
CN109254663B (zh) * 2018-09-07 2021-04-09 许昌特博特科技有限公司 一种儿童图书辅助阅读机器人的使用方法
CN111970437B (zh) * 2020-08-03 2022-08-09 广东小天才科技有限公司 文本拍摄方法、可穿戴设备和存储介质

Family Cites Families (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62195970A (ja) 1986-02-21 1987-08-29 Mitsubishi Electric Corp 電子黒板装置
JP3125340B2 (ja) * 1991-07-29 2001-01-15 富士写真フイルム株式会社 フイルム画像入力装置
US5631697A (en) * 1991-11-27 1997-05-20 Hitachi, Ltd. Video camera capable of automatic target tracking
US5266805A (en) * 1992-05-05 1993-11-30 International Business Machines Corporation System and method for image recovery
JPH06113187A (ja) * 1992-09-25 1994-04-22 Sony Corp オートフォーカスカメラ装置
JPH06233065A (ja) * 1993-02-06 1994-08-19 Nikon Corp 書画入力装置
JP3372299B2 (ja) 1993-05-20 2003-01-27 富士写真フイルム株式会社 カメラシステムおよび測光方法ならびに撮像制御装置
US6236431B1 (en) * 1993-05-27 2001-05-22 Canon Kabushiki Kaisha Video camera apparatus with distance measurement area adjusted based on electronic magnification
JPH0793510A (ja) * 1993-09-21 1995-04-07 Nippon Telegr & Teleph Corp <Ntt> 物体照準撮像装置
JPH09506217A (ja) * 1993-10-20 1997-06-17 ヴィデオコンファレンスィング システムズ インコーポレイテッド 適応型テレビ会議システム
JPH07234447A (ja) * 1993-12-28 1995-09-05 Canon Inc 撮影ユニットおよびカメラ
JPH08125915A (ja) * 1994-10-24 1996-05-17 Casio Comput Co Ltd 撮像素子の解像度自動調整方法
JP2981408B2 (ja) * 1995-02-16 1999-11-22 日本電気システム建設株式会社 カメラ画像内の目的とする被写体の高速導入制御方法および装置
US6445416B1 (en) * 1995-06-30 2002-09-03 Canon Kabushiki Kaisha Image pickup apparatus having electronic zoom function based on optical zooming focal length variation with time
US6111605A (en) * 1995-11-06 2000-08-29 Ricoh Company Limited Digital still video camera, image data output system for digital still video camera, frame for data relay for digital still video camera, data transfer system for digital still video camera, and image regenerating apparatus
JP3608288B2 (ja) * 1996-04-19 2005-01-05 株式会社富士通ゼネラル 監視カメラシステム
GB9614837D0 (en) * 1996-07-12 1996-09-04 Rank Xerox Ltd Interactive desktop system with multiple image capture and display modes
JPH10229515A (ja) 1997-02-13 1998-08-25 Toshiba Corp 書画カメラ
JPH10313424A (ja) * 1997-05-12 1998-11-24 Minolta Co Ltd 撮像装置
JP2899263B2 (ja) * 1997-10-20 1999-06-02 キヤノン株式会社 コンピュータの制御方法
JP3186696B2 (ja) * 1998-05-28 2001-07-11 日本電気株式会社 光学式記号読取装置
JP2002527953A (ja) * 1998-10-02 2002-08-27 マクロニクス インターナショナル カンパニー リミテッド キーストーン歪みを防止する方法および装置
US6965693B1 (en) * 1999-08-19 2005-11-15 Sony Corporation Image processor, image processing method, and recorded medium
US6753907B1 (en) * 1999-12-23 2004-06-22 Justsystem Corporation Method and apparatus for automatic keystone correction
US7151562B1 (en) * 2000-08-03 2006-12-19 Koninklijke Philips Electronics N.V. Method and apparatus for external calibration of a camera via a graphical user interface
JP3429280B2 (ja) * 2000-09-05 2003-07-22 理化学研究所 画像のレンズ歪みの補正方法
US6584433B1 (en) * 2000-10-04 2003-06-24 Hewlett-Packard Development Company Lp Harmonic average based clustering method and system
US6963365B2 (en) * 2001-02-28 2005-11-08 Hewlett-Packard Development Company, L.P. System and method for removal of digital image vertical distortion
JP4366023B2 (ja) * 2001-03-16 2009-11-18 インターナショナル・ビジネス・マシーンズ・コーポレーション ビデオ・イメージの部分イメージ領域抽出方法、部分イメージ領域抽出システム、部分イメージ領域抽出のためのプログラム、抽出されたビデオ・イメージの配信方法およびコンテンツ作成方法
JP2002354331A (ja) * 2001-05-25 2002-12-06 Canon Inc 画像撮影装置および電子機器
US6574433B1 (en) * 2001-06-08 2003-06-03 Frank Stuempfl Underwater camera housing
GB2378340A (en) * 2001-07-31 2003-02-05 Hewlett Packard Co Generation of an image bounded by a frame or of overlapping images
GB2378341B (en) * 2001-07-31 2005-08-24 Hewlett Packard Co Improvements in and relating to dislaying digital images
JP2003058877A (ja) 2001-08-20 2003-02-28 Pfu Ltd 歪み補正方法、歪み補正装置および歪み補正プログラム
JP3666429B2 (ja) * 2001-09-03 2005-06-29 コニカミノルタフォトイメージング株式会社 オートフォーカス装置及び方法、並びにカメラ
US7356763B2 (en) * 2001-09-13 2008-04-08 Hewlett-Packard Development Company, L.P. Real-time slide presentation multimedia data object and system and method of recording and browsing a multimedia data object
US7042488B2 (en) * 2001-09-27 2006-05-09 Fujinon Corporation Electronic endoscope for highlighting blood vessel
US7301569B2 (en) * 2001-09-28 2007-11-27 Fujifilm Corporation Image identifying apparatus and method, order processing apparatus, and photographing system and method
JP3849517B2 (ja) * 2001-12-14 2006-11-22 ソニー株式会社 写真ブース、画像処理方法、記録媒体、並びにプログラム
US7260259B2 (en) * 2002-01-08 2007-08-21 Siemens Medical Solutions Usa, Inc. Image segmentation using statistical clustering with saddle point detection
JP2003283909A (ja) 2002-03-20 2003-10-03 Ricoh Co Ltd 名刺取り込み機能付きカラー画像撮影装置
JP2004053686A (ja) 2002-07-16 2004-02-19 Olympus Corp カメラ及び合焦装置の制御方法
TWI231886B (en) * 2003-01-08 2005-05-01 Silicon Optix Inc Image projection system and method
JP2004287699A (ja) * 2003-03-20 2004-10-14 Tama Tlo Kk 画像合成装置及びその合成方法
JP2004320123A (ja) * 2003-04-11 2004-11-11 Nec Viewtechnology Ltd 資料提示装置
JP2004326547A (ja) * 2003-04-25 2004-11-18 Nippon Conlux Co Ltd 紙葉類識別装置および方法
JP3620537B2 (ja) * 2003-05-02 2005-02-16 セイコーエプソン株式会社 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
US20050041111A1 (en) * 2003-07-31 2005-02-24 Miki Matsuoka Frame adjustment device and image-taking device and printing device
US7454040B2 (en) * 2003-08-29 2008-11-18 Hewlett-Packard Development Company, L.P. Systems and methods of detecting and correcting redeye in an image suitable for embedded applications
JP2005130390A (ja) * 2003-10-27 2005-05-19 Anritsu Corp 表示画面制御装置及びそれを用いた遠方監視装置
US20050134719A1 (en) * 2003-12-23 2005-06-23 Eastman Kodak Company Display device with automatic area of importance display
US7386150B2 (en) * 2004-11-12 2008-06-10 Safeview, Inc. Active subject imaging with body identification

Also Published As

Publication number Publication date
KR20060045819A (ko) 2006-05-17
EP1592234A3 (en) 2008-02-13
EP1592234A2 (en) 2005-11-02
US20050237392A1 (en) 2005-10-27
CN1691753A (zh) 2005-11-02
KR100664565B1 (ko) 2007-01-04
CN100382572C (zh) 2008-04-16
JP2005311926A (ja) 2005-11-04
US8139118B2 (en) 2012-03-20

Similar Documents

Publication Publication Date Title
JP4761146B2 (ja) 撮像装置及びそのプログラム
US6806906B1 (en) Digital still camera with composition assist function, and method of controlling operation of same
KR100664565B1 (ko) 디지털카메라
JP4233624B2 (ja) 電子カメラ装置
JP2006217074A (ja) 撮像装置及びそのプログラム
JP4380644B2 (ja) 電子カメラ装置
JPH09149311A (ja) 撮像装置
JP4848230B2 (ja) 画像処理方法、撮像装置、画像処理装置およびプログラム
JP5013282B2 (ja) 撮像装置、及びプログラム
JP2004239967A (ja) プロジェクタ
JP4717867B2 (ja) 撮影装置及び撮影方法
JP4978724B2 (ja) 撮像装置、及びプログラム
US7714899B2 (en) Image pickup camera and program for picking up-an optimal-state image of a print/picture
JP4254604B2 (ja) 電子カメラおよびプログラム
JP2006203732A (ja) デジタルカメラ、縦横撮影切替え方法、及びプログラム
JP4232682B2 (ja) 電子カメラおよびプログラム
JP2004013461A (ja) 画像処理装置及びデジタル撮像装置
JP2004023632A (ja) デジタルカメラ
JP5077113B2 (ja) 電子カメラ
JP2012053521A (ja) 画像編集処理装置、画像編集処理プログラム、及びプロジェクタ付きデジタルカメラ
JP2009265583A (ja) 撮影装置
JP2004023631A (ja) デジタルカメラ
JP2009141703A (ja) 撮像装置及びその制御方法及びプログラム
JP2006025092A (ja) 撮影装置
JP2001094859A (ja) 撮像装置、方法、及びコンピュータ読み取り可能な記憶媒体

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20060209

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20060314

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061106

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20080519

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081216

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090129

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090609

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090622

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120710

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120710

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130710

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees