JP4631261B2 - Captured image projection apparatus, image processing method thereof, and program - Google Patents
Captured image projection apparatus, image processing method thereof, and program Download PDFInfo
- Publication number
- JP4631261B2 JP4631261B2 JP2003338632A JP2003338632A JP4631261B2 JP 4631261 B2 JP4631261 B2 JP 4631261B2 JP 2003338632 A JP2003338632 A JP 2003338632A JP 2003338632 A JP2003338632 A JP 2003338632A JP 4631261 B2 JP4631261 B2 JP 4631261B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- data
- image area
- item
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Studio Devices (AREA)
- Controls And Circuits For Display Device (AREA)
- Projection Apparatus (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
Description
本発明は、撮影画像投影装置、その画像処理方法及びプログラムに関するものである。 The present invention relates to a captured image projection apparatus, an image processing method thereof, and a program.
近年、撮影画像投影装置として、ユーザが原稿台に載置した原稿をカメラで撮影して、カメラで撮影した原稿の画像データをコンピュータの記憶装置に記憶して画像処理を行い、プロジェクタを用いてスクリーン上に原稿の画像を拡大して投影するものがある(例えば、特許文献1参照)。
しかし、従来の撮影画像投影装置では、カメラで撮影することによって得られた原稿画像を投影する場合、原稿画像は画像として処理され、拡大又は縮小されてスクリーンに投影される。 However, in the conventional photographed image projection apparatus, when a document image obtained by photographing with a camera is projected, the document image is processed as an image, enlarged or reduced, and projected onto a screen.
特に、表形式の原稿を拡大投影すると、表の一部のみが単純に拡大されることになる。表は、一般的に、データ部と項目部とを有している。データ部は、区分された複数のセルにそれぞれセルデータが記載された領域であり、項目部は、データ部のセルデータに対応する項目名が記載された領域である。 In particular, when a tabular document is enlarged and projected, only a part of the table is simply enlarged. The table generally has a data part and an item part. The data part is an area in which cell data is described in each of a plurality of divided cells, and the item part is an area in which item names corresponding to cell data in the data part are described.
従って、データ部のうち、表の項目部から離れた一部のデータ画像を拡大すると、表の項目部が表示されなくなり、数字が羅列されただけの画像がスクリーンに表示される。このため、スクリーンには、分かりにくい画像が表示され、資料の内容を理解することが困難になる。 Accordingly, when a part of the data image in the data portion that is distant from the item portion of the table is enlarged, the item portion of the table is not displayed, and an image in which only numbers are arranged is displayed on the screen. For this reason, an incomprehensible image is displayed on the screen, making it difficult to understand the contents of the material.
本発明は、このような従来の問題点に鑑みてなされたもので、分かりやすい画像をスクリーンに表示させることが可能な撮影画像投影装置、その画像処理方法及びプログラムを提供することを目的とする。 The present invention has been made in view of the above-described conventional problems, and an object thereof is to provide a captured image projection apparatus capable of displaying an easy-to-understand image on a screen, an image processing method thereof, and a program thereof. .
この目的を達成するため、本発明の第1の観点に係る撮影画像投影装置は、
撮影した原稿の画像をスクリーンに投影する撮影画像投影装置において、
前記原稿は、複数のセルにそれぞれセルデータが記載されたデータ部と前記データ部のセルデータに対応する項目名が記載された項目部とを有する罫線で区分された表形式のものであり、
前記表形式の原稿を撮影することによって得られた原稿画像から、ユーザ操作に基づいて前記データ部の画像領域と前記項目部の画像領域とを分割する分割部と、
前記分割部により分割された前記データ部のうちの一部の画像領域をユーザ操作に基づいて選択する選択部と、
前記選択部により選択された前記データ部のうちの一部の画像領域の画像と、その画像領域に対応する前記項目部の画像領域の画像とからなる複数の画像領域の画像を結合する画像処理を行う画像処理部と、
前記画像処理部が画像処理した画像を前記スクリーンに投影する投影部と、を備え、
前記選択部は、選択された画像領域に対するユーザ操作の上下左右のスクロール操作に基づいて、前記データ部のうちの一部の画像領域を再選択し、
前記画像処理部は、当該再選択に対応する前記画像処理を行う、ことを特徴とする。
In order to achieve this object, a captured image projection apparatus according to the first aspect of the present invention provides:
In a photographic image projection device that projects an image of a photographed document on a screen,
The manuscript is in the form of a table divided by ruled lines having a data portion in which cell data is described in a plurality of cells and an item portion in which item names corresponding to the cell data of the data portion are described,
A dividing unit that divides an image area of the data part and an image area of the item part based on a user operation from an original image obtained by photographing the tabular original;
A selection unit that selects a part of the image area of the data part divided by the division unit based on a user operation ;
Image processing for combining images of a plurality of image areas including an image of a part of the image area of the data part selected by the selection part and an image of the image area of the item part corresponding to the image area An image processing unit for performing
A projection unit that projects the image processed by the image processing unit onto the screen;
The selection unit re-selects a part of the image area in the data part based on a scroll operation of up / down / left / right of a user operation on the selected image area ,
The image processing unit performs the image processing corresponding to the reselection .
前記分割部は、前記罫線を判別して抽出し、抽出した罫線の位置情報を取得し、前記罫線の位置情報とユーザ操作に基づいてセル単位での前記項目部と前記データ部の分割を行い、
前記選択部は、前記分割部によって取得した前記罫線の位置情報とユーザ操作に基づいて、前記データ部のうちの一部の画像領域をセル単位で選択するものであってもよい。
The dividing unit discriminates and extracts the ruled line, acquires the extracted ruled line position information, and divides the item part and the data part in cell units based on the ruled line position information and a user operation. ,
The selection unit based on the position information and user operation of the ruled lines obtained by the dividing unit, a part of the image area in the front Symbol data unit may be configured to select a cell-by-cell basis.
前記原稿画像を表示する表示装置を備え、
前記分割部は、前記表示装置に表示されたマウスカーソルの位置を取得し、前記抽出した罫線の位置情報のうち、取得したマウスカーソルの位置に最も近接した罫線を、前記データ部の画像領域と前記項目部の画像領域との境界として分割するものであってもよい。
A display device for displaying the document image;
The dividing unit acquires the position of the mouse cursor displayed on the display device, and among the extracted ruled line position information, the ruled line closest to the acquired mouse cursor position is defined as the image area of the data unit. You may divide | segment as a boundary with the image area | region of the said item part.
前記画像処理部は、複数の画像領域の画像を拡大又は縮小して結合するように構成されたものであってもよい。 The image processing unit may be one that is configured to bind an enlarged or reduced image of the image area of the multiple.
前記分割部は、前記原稿を撮影することによって得られた原稿画像を整形する補正を行ってから、前記データ部の画像領域と前記項目部の画像領域とを分割するように構成されたものであってもよい。 The dividing unit is configured to divide the image area of the data part and the image area of the item part after performing correction for shaping an original image obtained by photographing the original. There may be.
本発明の第2の観点に係る撮影画像投影装置の画像処理方法は、
撮影した原稿の画像をスクリーンに投影する撮影画像投影装置の画像処理方法であって、
前記原稿は、複数のセルにそれぞれセルデータが記載されたデータ部と前記データ部のセルデータに対応する項目名が記載された項目部とを有する罫線で区分された表形式のものであり、
前記表形式の原稿を撮影することによって得られた原稿画像から、ユーザ操作に基づいて前記データ部の画像領域と前記項目部の画像領域とを分割するステップと、
前記分割された前記データ部のうちの一部の画像領域をユーザ操作に基づいて選択するステップと、
前記選択された前記データ部のうちの一部の画像領域の画像と、その画像領域に対応する前記項目部の画像領域の画像とからなる複数の画像領域の画像を結合する画像処理を行い、前記スクリーンに投影する画像を生成するステップと、
前記選択された画像領域に対するユーザ操作の上下左右のスクロール操作に基づいて、前記データ部のうちの一部の画像領域を再選択するステップと、
当該再選択に対応する前記画像処理を行うステップと、を備えたことを特徴とする。
An image processing method of a captured image projection apparatus according to a second aspect of the present invention includes:
An image processing method of a photographic image projection apparatus for projecting a photographed document image on a screen,
The manuscript is in the form of a table divided by ruled lines having a data portion in which cell data is described in a plurality of cells and an item portion in which item names corresponding to the cell data of the data portion are described,
Dividing an image area of the data portion and an image area of the item portion based on a user operation from an original image obtained by photographing the tabular original;
Selecting a partial image area of the divided data portion based on a user operation ;
Performing image processing for combining images of a plurality of image areas including an image of a partial image area of the selected data portion and an image area of the item portion corresponding to the image area; Generating an image to be projected onto the screen;
Re-selecting a part of the image area of the data portion based on a scroll operation of up / down / left / right of a user operation on the selected image area;
Performing the image processing corresponding to the reselection .
本発明の第3の観点に係るプログラムは、
コンピュータに、
罫線で区分された複数のセルにそれぞれセルデータが記載されたデータ部と前記データ部のセルデータに対応する項目名が記載された項目部とを有する表形式の原稿を撮影することによって得られた原稿画像から、ユーザ操作に基づいて前記データ部の画像領域と前記項目部の画像領域とを分割する手順、
分割した前記データ部のうちの一部の画像領域をユーザ操作に基づいて選択する手順、
前記選択された前記データ部のうちの一部の画像領域の画像と、その画像領域に対応する前記項目部の画像領域の画像とからなる複数の画像領域の画像を結合する画像処理を行い、スクリーンに投影する画像を生成する手順、
前記選択された画像領域に対するユーザ操作の上下左右のスクロール操作に基づいて、前記データ部のうちの一部の画像領域を再選択し、その再選択に対応する前記画像処理を行う手順、
を実行させるためのものである。
The program according to the third aspect of the present invention is:
On the computer,
It is obtained by photographing a tabular document having a data part in which cell data is described in each of a plurality of cells divided by ruled lines and an item part in which item names corresponding to the cell data in the data part are described. A procedure for dividing an image area of the data part and an image area of the item part from a manuscript image based on a user operation ;
A procedure for selecting a partial image area of the divided data portion based on a user operation ,
An image of a part of the image area of the said selected data unit performs image processing to combine the images of a plurality of image areas composed of the images of the image area of the item portion corresponding to the image area, Steps to generate an image to be projected on the screen,
A procedure for re-selecting a part of the image area of the data portion based on a user's up / down / left / right scroll operation for the selected image area and performing the image processing corresponding to the re-selection ;
Is to execute.
本発明によれば、分かりやすい画像をスクリーンに表示させることができる。 According to the present invention, an easy-to-understand image can be displayed on the screen.
以下、本発明の実施の形態に係る撮影画像投影装置を図面を参照して説明する。
実施形態に係る撮影画像投影装置の構成を図1に示す。
撮影画像投影装置は、プロジェクタ1と、コンピュータ2と、書画カメラ3と、から構成される。
Hereinafter, a captured image projection apparatus according to an embodiment of the present invention will be described with reference to the drawings.
FIG. 1 shows the configuration of a captured image projection apparatus according to the embodiment.
The captured image projection apparatus includes a projector 1, a
プロジェクタ1とコンピュータ2は、RGBケーブル4を介して接続される。コンピュータ2と書画カメラ3とは、USBケーブル5を介して接続される。
The projector 1 and the
プロジェクタ1は、原稿としての書面資料Aに対応する画像データが供給されて、供給された画像データに基づく画像をスクリーンSに投影するものであり、投影部1aを本体正面に備える。投影部1aは、投影レンズ等の光学系が収容されたものであり、プロジェクタ1は、投影部1aを介してドキュメントや画像の光をスクリーンSに照射する。
The projector 1 is supplied with image data corresponding to the document material A as a document, and projects an image based on the supplied image data on the screen S. The projector 1 includes a
図1に示すコンピュータ2は、例えば、ノート型のパーソナルコンピュータによって構成されたものであり、種々のプログラムを実行する。また、コンピュータ2は、書画カメラ機能がユーザによって選択されると、書画カメラ3のカメラ3aによって撮影された書面資料Aの画像データを取得して画像処理等を行い、画像処理等された画像データをプロジェクタ1に供給する。
A
コンピュータ2は、図2に示すように、カメラI/F(インタフェース)21と、画像処理装置22と、記憶装置23と、表示装置24と、入力装置25と、ROM(Read Only Memory)26と、RAM(Random Access Memory)27と、CPU(Central Processing Unit)28と、を備えて構成される。
As shown in FIG. 2, the
カメラI/F21は、書画カメラ3から画像データ等を受け取るものである。
画像処理装置22は、カメラI/F21が受け取った画像データに対して、画像処理を行うものである。画像処理装置22は、画像処理として、画像データの画像を矩形にし、回転し、切り抜く処理を行い、さらに、画像の拡大/縮小処理も行う。
The camera I /
The
また、画像処理装置22は、書面資料Aが図3に示すような表形式のものである場合、CPU28によって指示されて、書面資料A全体の画像領域を項目部の画像領域とデータ部とに分割する処理を行う。
Further, when the document material A is in a table format as shown in FIG. 3, the
図3に示す表は、データ部と項目部とからなり、行方向と列方向とに罫線が引かれている。罫線によって区分された領域がセルであり、データ部の各セルには、それぞれ(セル)データが記載されている。また、項目部には、データ部の各(セル)データに対応した項目名が記載されている。 The table shown in FIG. 3 includes a data part and an item part, and ruled lines are drawn in the row direction and the column direction. A region divided by the ruled lines is a cell, and (cell) data is described in each cell of the data portion. In the item part, an item name corresponding to each (cell) data in the data part is described.
また、ユーザが入力装置25を操作して、データ部のうちの拡大する画像領域を選択すると、画像処理装置22は、CPU28によって指示されてデータ部の一部を拡大する処理を行う。画像処理装置22は、画像処理した画像のデータをXGAの信号として処理し、この画像データをRGB信号に変換してプロジェクタ1に出力する。
When the user operates the
尚、画像処理装置22は、ハードウェアによって構成されたものであってもよいし、画像処理ソフトウェアによって構成されたものでもよい。
Note that the
記憶装置23は、画像処理装置22が画像処理した画像データを記憶して保存するものであり、ハードディスク等からなる。記憶装置23は、この画像データとともに、この画像データに関する画像情報、例えば、書面資料Aの撮影日、撮影時刻、投影した時間、露出条件、プレビュー(preview;試写)形式の画像データ、その他の撮影条件を画像ファイルとして保存する。また、記憶装置23は、表示装置24が表示するマウスカーソル、ツールバー、アイコン等のデータも記憶する。
The
表示装置24は、画像処理装置22が画像処理する前後の画像をモニタ表示するためのものであり、画像をモニタ表示するためのLCD(Liquid Crystal Display)及びその駆動回路等からなる。表示装置24は、記憶装置23に記憶されているデータに基づいて、マウスカーソル、ツールバー、アイコン等をLCDに表示する。
The
入力装置25は、ユーザがデータを入力したり、ユーザがコンピュータ2を操作したりするためのものである。入力装置25は、そのためのものとして、マウス、複数のキー等を備える(図示せず)。キーには、例えば、矢印キー、左右上下方向のスクロールキー等がある。表示装置24のLCDに表示されたマウスカーソルを移動させるには、入力装置25の複数のキーのうちの矢印キー、あるいは、マウスが用いられる。
The
マウスは、マウスカーソルの移動量を計測するため、パルスジェネレータ(図示せず)と、カウンタ(図示せず)と、を備える。パルスジェネレータは、マウスの移動量に応じた数のパルスを発生するものであり、カウンタは、パルスジェネレータから出力されたパルスの数をカウントして、マウスの移動量に応じたカウント値を生成するものである。また、マウスは、マウスカーソルの位置を確定するためのクリックボタン(図示せず)を備えている。 The mouse includes a pulse generator (not shown) and a counter (not shown) for measuring the amount of movement of the mouse cursor. The pulse generator generates a number of pulses corresponding to the amount of movement of the mouse, and the counter counts the number of pulses output from the pulse generator and generates a count value corresponding to the amount of movement of the mouse. Is. The mouse also includes a click button (not shown) for determining the position of the mouse cursor.
ユーザが入力装置25の複数のキー、マウスを操作すると、入力装置25は、このユーザの操作情報をCPU28に供給する。
When the user operates a plurality of keys and mouse of the
CPU28は、プログラムに従って、コンピュータ2の各部と、書画カメラ3とプロジェクタ1とを制御する。
The
また、ユーザが、書面資料Aを項目部とデータ部とに分割するように、入力装置25の複数のキー、マウスを操作すると、CPU28は、入力装置25から、このユーザの操作情報を取得し、この操作情報に従って、項目部の画像領域とデータ部の画像領域とを判別する。
Further, when the user operates a plurality of keys and mouse of the
項目部の画像領域とデータ部の画像領域とを判別するため、CPU28は、まず、罫線のみのデータを抽出する。CPU28は、例えば、図3に示すような表のデータに対してラドン変換を行うことにより、図4に示すような罫線のみのデータを抽出する。
In order to discriminate between the image area of the item part and the image area of the data part, the
ラドン変換は、n次元のデータと(n−1)次元のデータとを対応させるための積分変換である。図5に示すような罫線を有する表のデータにラドン変換を適用すると、列方向の画像投影の強度分布と、行方向の画像投影の強度分布と、が求められる。この強度分布には、罫線の位置毎にピーク値が現れる。CPU28は、このピーク値を取得することにより、罫線を抽出する。
The Radon transform is an integral transform for associating n-dimensional data with (n-1) -dimensional data. When the Radon transform is applied to the data of the table having ruled lines as shown in FIG. 5, the intensity distribution of the image projection in the column direction and the intensity distribution of the image projection in the row direction are obtained. In the intensity distribution, a peak value appears for each ruled line position. The
次に、CPU28は、マウスカーソルの位置を取得して、抽出した罫線のうち、マウスカーソルの位置に最も近い罫線を、項目部とデータ部との境界線とする。ユーザが矢印キーを用いてマウスカーソルを移動させた場合、CPU28は、マウスカーソルの移動量として、矢印キーの1回の移動量に操作回数を乗算した値を演算する。ユーザがマウスを用いてマウスカーソルを移動させた場合、CPU28は、パルスのカウント値を、マウスのパルスジェネレータから取得し、パルスのカウント値に基づいてマウスカーソルの移動量を演算する。そして、CPU28は、この演算したマウスカーソルの移動量に基づいて、その位置を取得する。
Next, the
このようにして、CPU28は、書面資料A全体の画像領域から、項目部の画像領域とデータ部の画像領域とを判別し、判別した画像領域の位置情報を画像処理装置22に供給する。そして、CPU28は、画像処理装置22に、書面資料A全体の画像領域を項目部の画像領域とデータ部の画像領域とに分割するように指示する。
In this manner, the
また、ユーザが入力装置25の複数のキー、マウスを操作して、データ部のうちの拡大する画像領域を選択すると、CPU28は、入力装置25から、このユーザの操作情報を取得し、この操作情報に従って、拡大する画像領域を判別する。そして、CPU28は、判別した画像領域の位置情報を画像処理装置22に供給し、画像処理装置22にデータ部の一部を拡大するように指示する。
When the user operates a plurality of keys and mouse of the
ROM26は、CPU28が上記処理を実行するためのプログラム等を格納するものである。RAM27は、CPU28がプログラムを実行するのに必要なデータを記憶する作業用メモリである。
The
図1に示す書画カメラ3は、投影対象の書面資料Aを撮影するためのカメラシステムであり、カメラ3aと、支柱3bと、カメラ台3cと、を備える。カメラ3aは、被写体としての書面資料Aを撮影し、撮影した書面資料Aの画像データを出力するためのデジタルカメラである。支柱3bは、カメラ3aを取り付けるためのものである。カメラ3aは、支柱3bの上端部に、上下左右に回動自在に取り付けられる。カメラ台3cは、支柱3bを支えるためのものであるとともに、新聞、雑誌の記事、プレゼン用紙、書面原稿等の書面資料Aを載置するためのものである。
A
次に実施形態に係る撮影画像投影装置の動作を説明する。
書画カメラ機能がユーザによって選択されると、撮影画像投影装置は、図6に示すフローチャートに従って書画カメラ機能のメイン処理を実行する。
Next, the operation of the captured image projection apparatus according to the embodiment will be described.
When the document camera function is selected by the user, the captured image projection apparatus executes main processing of the document camera function according to the flowchart shown in FIG.
即ち、カメラ3aは、カメラ台3cに載置されたドキュメント等の書面資料Aを撮影する(ステップS11)。
That is, the
画像処理装置22は、カメラI/F21を介して、撮影した書面資料Aの画像データを書画カメラ3から受け取る(ステップS12)。
表示装置24は、受け取った画像データの画像をLCDに表示する(ステップS13)。
The
The
画像処理装置22は、受け取った画像データに対して歪み補正を行う(ステップS14)。画像処理装置22は、歪み補正が行われた画像データの回転処理を行う(ステップS15)。
The
画像処理装置22は、回転処理が行われた画像データの切り抜き処理を行う(ステップS16)。画像処理装置22は、画像の拡大又は縮小を行う(ステップS17)。
The
画像処理装置22は、画像処理した画像データをプロジェクタ1に出力する(ステップS19)。カメラ3aによって撮影された書面資料Aの画像は、補正されてスクリーンSに表示される。
The
次に、ユーザが、スクリーンSに表示された表の画像領域を、項目部の画像領域とデータ部の画像領域とに分割するように、入力装置25の複数のキー、あるいはマウスを操作すると、入力装置25は、このユーザの操作情報をCPU28に供給する。CPU28は、この操作情報に基づいて、表の項目部とデータ部との表分割処理を実行する。この処理の内容を図7に示すフローチャートに基づいて説明する。
Next, when the user operates a plurality of keys or the mouse of the
CPU28は、表から罫線を抽出する(ステップS21)。
CPU28は、罫線の各位置情報を取得する(ステップS22)。
CPU28は、ユーザによって指定されたマウスカーソルの位置情報を取得する(ステップS23)。
The
The
The
CPU28は、取得した罫線の位置情報とマウスカーソルの位置情報とに基づいて、マウスカーソルの位置に対応する罫線を判別し、判別した罫線を境界線として、表の項目部とデータ部との各画像領域を判別する(ステップS24)。
The
CPU28は、境界線の位置情報と、判別した項目部とデータ部との画像領域の領域情報とを画像処理装置22に供給し、画像処理装置22に、書面資料A全体の画像領域を項目部の画像領域とデータ部の画像領域とに分割するように指示する(ステップS25)。
The
画像処理装置22は、CPU28から供給された境界線の位置情報に基づいて、項目部の画像領域とデータ部の画像領域とを分割する(ステップS26)。
記憶装置23は、画像処理装置22が分割した各画像領域の画像データを記憶する(ステップS27)。
The
The
次に、ユーザがデータ部のうち、拡大表示させたい画像領域を選択すると、コンピュータ2は、選択された領域の画像の拡大処理を行う。この処理の内容を図8に示すフローチャートに基づいて説明する。
Next, when the user selects an image area to be enlarged and displayed in the data portion, the
ユーザがデータ部のうち、拡大表示させたい領域を選択すると、CPU28は、入力装置25から、このユーザの選択情報を取得する(ステップS31)。
When the user selects an area to be enlarged and displayed in the data portion, the
CPU28は、選択されたデータ部の画像領域を判別する(ステップS32)。
CPU28は、判別したデータ部の画像領域に対応する項目部の画像領域を判別する(ステップS33)。
The
The
CPU28は、この判別したデータ部の画像領域と項目部の画像領域との情報を画像処理装置22に供給する(ステップS34)。
The
画像処理装置22は、CPU28の制御の下、供給された情報に基づいてデータ部の画像領域と項目部の画像領域とを、それぞれ切り取る(ステップS35)。
Under the control of the
画像処理装置22は、切り取った項目部、データ部の各画像領域の画像を、それぞれ所定倍率で拡大する(ステップS36)。
画像処理装置22は、拡大した項目部、データ部の各画像領域の画像を結合する(ステップS37)。
The
The
表示装置24は、画像処理装置22が画像処理を施した画像をLCDに表示する(ステップS38)。
画像処理装置22は、画像処理を施した画像データをプロジェクタ1に出力する(ステップS39)。
The
The
次に、この動作をさらに具体的に説明する。
書面資料Aが図3に示すような表である場合、CPU28は、図4に示すように罫線のみの表を抽出する(ステップS21の処理)。
Next, this operation will be described more specifically.
When the document A is a table as shown in FIG. 3, the
CPU28は、この罫線のみの表の各罫線に対し、図9に示すように座標を設定する。そして、CPU28は、位置情報として、各罫線の座標データを取得する(ステップS22の処理)。
The
図9に示すように、水平方向、垂直方向の座標軸を、それぞれ、X,Y軸として、表の原点の座標を(x0,y0)とする。また、表の原点(x0,y0)と対角線上の角部の座標を(xn,yn)とする。項目部とデータ部との垂直方向の境界を示す罫線の座標は、(x1,y0)−(x1,yn)で表される。また、項目部とデータ部との水平方向の境界を示す罫線の座標は、(x0,y1)−(xn,y1)で表される。 As shown in FIG. 9, the horizontal and vertical coordinate axes are the X and Y axes, respectively, and the coordinates of the origin of the table are (x0, y0). Further, the coordinates of the corner on the diagonal line and the origin (x0, y0) of the table are (xn, yn). The coordinates of the ruled line indicating the vertical boundary between the item part and the data part are represented by (x1, y0)-(x1, yn). Further, the coordinates of the ruled line indicating the horizontal boundary between the item portion and the data portion are represented by (x0, y1) − (xn, y1).
次に、図10に示すように、ユーザが入力装置25のマウスを操作して、項目部とデータ部との交点として罫線の近傍を、1回だけ指定すると、CPU28は、入力装置25から、その操作情報を取得してマウスカーソルの位置を判別する。CPU28は、マウスカーソルの位置に最も近い罫線を境界線Kx,Kyと判別する(ステップS23,S24の処理)。このように、マウスによる1回のポイント指定操作で、項目部とデータ部との境界を示す水平境界線と垂直境界線との位置が同時に指定される。
Next, as shown in FIG. 10, when the user operates the mouse of the
そして、CPU28は、境界線Kx,Kyで区切られた画像領域をそれぞれArea1〜Area4として、一般的な表形式に従って、画像領域Area1〜Area3を項目部の画像領域、画像領域Area4をデータ部の画像領域と判別する。
Then, the
尚、画像領域Area1〜Area4のうち、ユーザが項目部、データ部の各画像領域を指定するように構成されることもできる。 Note that the image area Area1 to Area4 can be configured so that the user designates each image area of the item part and the data part.
CPU28は、この画像領域Area1〜Area4の位置情報を画像処理装置22に供給する(ステップS25の処理)。
画像処理装置22は、この画像領域Area1〜Area4を分割し、分割した画像領域Area1〜Area4を記憶装置に記憶する(ステップS26,S27の処理)。
The
The
次に、ユーザが、図10に示すように、画像領域Area4のうちの一部の画像領域Area41を指定すると、CPU28は、入力装置25からこの操作情報を取得して、画像領域Area41を判別する(図8のステップS31,S32の処理)。
Next, as shown in FIG. 10, when the user designates a part of the image area Area 41 in the
CPU28は、項目部の画像領域Area2のうち、画像領域Area41に対応する画像領域Area21を判別し、さらに、項目部の画像領域Area3のうち、画像領域Area41に対応する画像領域Area31を判別する(ステップS33の処理)。
The
CPU28は、判別した各画像領域Area1,Area21,Area31,Area41の位置情報を画像処理装置22に供給する(ステップS34の処理)。
The
図10に示すように、画像処理装置22は、供給された位置情報に基づいて、画像領域Area4から画像領域Area41を切り取り、切り取った画像領域Area41の画像を拡大する(ステップS35,S36の処理)。
As shown in FIG. 10, the
画像処理装置22は、供給された位置情報に基づいて、画像領域Area2から画像領域Area21を切り取り、切り取った画像領域Area21の画像を拡大する(ステップS35,S36の処理)。
The
画像処理装置22は、供給された位置情報に基づいて、画像領域Area3から画像領域Area31を切り取り、切り取った画像領域Area31の画像を拡大する(ステップS35,S36の処理)。
The
画像処理装置22は、画像領域Area1を切り取って、切り取った画像領域Area31の画像を拡大する(ステップS35,S36の処理)。尚、画像処理装置22は、画像領域のどの部分を拡大表示する場合でも、画像領域Area1が常時表示されるように画像処理を行う。
The
そして、画像処理装置22は、拡大した画像領域Area1,Area21,Area31,Area41の画像を結合して、図11に示すような画像を生成する(ステップS37の処理)。
Then, the
表示装置24は、図11に示す画像をLCDに表示し、画像処理装置22は、生成した画像のデータをプロジェクタ1に出力する(ステップS38,S39の処理)。プロジェクタ1は、この画像データの画像をスクリーンSに投影する。スクリーンSには、書面資料Aのデータ部と項目部との一部を拡大した画像が分かり易く表示される。
The
以上説明したように、本実施形態によれば、画像処理装置22は、表の画像領域を、CPU28が判別した項目部の画像領域とデータ部の画像領域とに分割する。また、画像処理装置22は、ユーザによってデータ部のうちの拡大する一部の画像領域が選択されると、データ部から、この拡大する画像領域を切り出して、対応する項目部と結合し、スクリーンSに投影する画像を生成するようにした。
As described above, according to the present embodiment, the
従って、書画カメラ3で表形式の書面資料Aを拡大投影する場合、画像処理により、必要なデータに対応する項目名を、このデータとともに常に拡大表示させることができる。このため、スクリーンSに表示された画像は、数字が羅列しただけの画像とはならず、分かりやすい画像をスクリーンSに表示させることができる。そして、表としての書面資料Aの一部を容易に認識させることができ、内容の理解が容易となる。
Accordingly, when the document material A in tabular format is enlarged and projected by the
また、項目部とデータ部とを分割するのに、この境界を示す罫線の位置にマウスカーソルを合わせるだけなので、マウスによる1回のポイント指定操作で、水平境界線と垂直境界線との位置を同時に指定することができる。 Also, in order to divide the item part and data part, the mouse cursor is simply moved to the position of the ruled line indicating this boundary, so the position of the horizontal boundary line and the vertical boundary line can be determined by a single point designation operation with the mouse. Can be specified at the same time.
また、画像データを分析画像に含まれる罫線を抽出するので、項目部とデータ部との境界を示す境界線の候補を容易に指定することができる。 Further, since the ruled lines included in the analysis image are extracted from the image data, boundary line candidates indicating the boundaries between the item part and the data part can be easily specified.
尚、本発明を実施するにあたっては、種々の形態が考えられ、上記実施形態に限られるものではない。
例えば、上記実施形態では、項目部とデータ部との間の境界線を指定するのに、入力装置25のマウスを操作して、マウスカーソルを罫線の位置に合わせてクリックするように構成された。しかし、クリックしなくても、図12に示すように、マウス等で水平線と垂直線をと表示させて、罫線の位置に合わせるように構成されることもできる。
In carrying out the present invention, various forms are conceivable and the present invention is not limited to the above embodiment.
For example, in the above embodiment, in order to specify the boundary line between the item part and the data part, the mouse of the
このように構成されると、予め水平線と垂直線を表示するので、水平位置と垂直位置を画像と重ね合わせた状態で、確認しながら精度よく水平線と垂直線とを指定することができる。 With this configuration, since the horizontal line and the vertical line are displayed in advance, it is possible to specify the horizontal line and the vertical line with high accuracy while confirming in a state where the horizontal position and the vertical position are superimposed on the image.
また、上記実施の形態では、データ部の画像領域の画像を拡大する処理について説明した。しかし、図10に示すデータ部の画像領域Area4の画像を拡大してスクロールするように構成されることもできる。 In the above embodiment, the process of enlarging the image in the image area of the data portion has been described. However, the image in the image area Area4 of the data portion shown in FIG. 10 can be enlarged and scrolled.
上下にスクロールする場合、画像処理装置22は、項目部である画像領域Area1と画像領域Area2との位置を固定しておく。また、画像処理装置22は、画像領域Area3と画像領域Area4との画像を、例えば、行毎に切り取って、そのデータを記憶装置23に記憶する。そして、画像処理装置22は、行毎に順次、記憶した画像データを読み出して、読み出したデータの画像を画像領域Area1と画像領域Area2との画像を結合させて、その画像データをプロジェクタ1に出力する。
When scrolling up and down, the
また、左右にスクロールする場合、画像処理装置22は、項目部である画像領域Area1と画像領域Area3との位置を固定しておく。また、画像処理装置22は、画像領域Area2と画像領域Area4との画像を、例えば、列毎に切り取って、そのデータを記憶装置23に記憶する。画像処理装置22は、行毎に順次、記憶した画像データを読み出して、読み出したデータの画像を画像領域Area1と画像領域Area3との画像と結合させて、その画像データをプロジェクタ1に出力する。
When scrolling left and right, the
また、結合する画像の画像領域は、項目部とデータ部との画像領域とは限られず、データ部の複数の箇所の画像領域であってもよい。異なる箇所のデータ画像を結合して表示すれば、データの比較を行うこともできる。また、結合した異なる箇所のデータ画像に、対応する項目部の画像を結合させることもできる。 The image area of the image to be combined is not limited to the image area of the item part and the data part, and may be an image area at a plurality of locations in the data part. If data images at different locations are combined and displayed, data can be compared. In addition, the image of the corresponding item portion can be combined with the data image of the combined different places.
上記実施形態では、書面資料Aが表である場合について説明した。しかし、書面資料Aは表に限られるものではない。例えば、書面資料Aは、複数の文が記載された文書であってもよく、文書の題名、あるいは、目次の一部と、対応する箇所の文章とを結合させて拡大表示させることもできる。 In the above embodiment, the case where the document material A is a table has been described. However, the written material A is not limited to a table. For example, the document material A may be a document in which a plurality of sentences are described, and the title of the document or a part of the table of contents and the sentence at the corresponding part can be combined and displayed in an enlarged manner.
複数の画像領域の画像を拡大せずに、原寸のまま、画像処理により切り張りして表示させることもできる。また、例えば、書面資料Aが、1回の撮影では全体を撮影できない程度の大きなものである場合には、書面資料Aを撮影することによって得られた原稿画像から複数の画像領域を縮小して切り出すこともできる。 Images in a plurality of image areas can be displayed by being cropped by image processing without increasing the original size. Further, for example, when the document material A is large enough that the entire image cannot be captured by one image capture, a plurality of image areas are reduced from the document image obtained by photographing the document material A. It can also be cut out.
マウスカーソルを移動させる手段としては、マウス、矢印キーに限られるものではなく、例えば、光通信による通常のリモコン、ジョイスティック、タッチパネル、タブレット等を用いることもできる。 The means for moving the mouse cursor is not limited to the mouse and the arrow keys. For example, a normal remote controller using optical communication, a joystick, a touch panel, a tablet, or the like can be used.
上記実施の形態では、プログラムが、それぞれメモリに予め記憶されているものとして説明した。しかし、コンピュータ2を、装置の全部又は一部として動作させ、あるいは、上述の処理を実行させるためのプログラムを、フレキシブルディスク、CD−ROM(Compact Disk Read-Only Memory)、DVD(Digital Versatile Disk)、MO(Magneto Optical disk)などのコンピュータ読み取り可能な記録媒体に格納して配布し、これを別のコンピュータにインストールし、上述の手段として動作させ、あるいは、上述の工程を実行させてもよい。
さらに、インターネット上のサーバ装置が有するディスク装置等にプログラムを格納しておき、例えば、搬送波に重畳させて、コンピュータにダウンロード等するものとしてもよい。
In the above-described embodiment, it has been described that each program is stored in advance in the memory. However, a program for causing the
Furthermore, the program may be stored in a disk device or the like included in a server device on the Internet, and may be downloaded onto a computer by being superimposed on a carrier wave, for example.
1・・・プロジェクタ、2・・・コンピュータ、3・・・書画カメラ、3a・・・カメラ、22・・・画像処理装置、23・・・記憶装置、24・・・表示装置、28・・・CPU、S・・・スクリーン DESCRIPTION OF SYMBOLS 1 ... Projector, 2 ... Computer, 3 ... Document camera, 3a ... Camera, 22 ... Image processing apparatus, 23 ... Memory | storage device, 24 ... Display apparatus, 28 ... CPU, S ... screen
Claims (7)
前記原稿は、複数のセルにそれぞれセルデータが記載されたデータ部と前記データ部のセルデータに対応する項目名が記載された項目部とを有する罫線で区分された表形式のものであり、
前記表形式の原稿を撮影することによって得られた原稿画像から、ユーザ操作に基づいて前記データ部の画像領域と前記項目部の画像領域とを分割する分割部と、
前記分割部により分割された前記データ部のうちの一部の画像領域をユーザ操作に基づいて選択する選択部と、
前記選択部により選択された前記データ部のうちの一部の画像領域の画像と、その画像領域に対応する前記項目部の画像領域の画像とからなる複数の画像領域の画像を結合する画像処理を行う画像処理部と、
前記画像処理部が画像処理した画像を前記スクリーンに投影する投影部と、を備え、
前記選択部は、選択された画像領域に対するユーザ操作の上下左右のスクロール操作に基づいて、前記データ部のうちの一部の画像領域を再選択し、
前記画像処理部は、当該再選択に対応する前記画像処理を行う、
ことを特徴とする撮影画像投影装置。 In a photographic image projection device that projects an image of a photographed document on a screen,
The manuscript is in the form of a table divided by ruled lines having a data portion in which cell data is described in a plurality of cells and an item portion in which item names corresponding to the cell data of the data portion are described,
A dividing unit that divides an image area of the data part and an image area of the item part based on a user operation from an original image obtained by photographing the tabular original;
A selection unit that selects a part of the image area of the data part divided by the division unit based on a user operation ;
Image processing for combining images of a plurality of image areas including an image of a part of the image area of the data part selected by the selection part and an image of the image area of the item part corresponding to the image area An image processing unit for performing
A projection unit that projects the image processed by the image processing unit onto the screen;
The selection unit re-selects a part of the image area in the data part based on a scroll operation of up / down / left / right of a user operation on the selected image area ,
The image processing unit performs the image processing corresponding to the reselection.
A photographed image projection apparatus characterized by the above.
前記選択部は、前記分割部によって取得した前記罫線の位置情報とユーザ操作に基づいて、前記データ部のうちの一部の画像領域をセル単位で選択する、
ことを特徴とする請求項1に記載の撮影画像投影装置。 The dividing unit discriminates and extracts the ruled line, acquires the extracted ruled line position information, and divides the item part and the data part in cell units based on the ruled line position information and a user operation. ,
The selection unit based on the position information and user operation of the ruled lines obtained by the division unit, to select a portion of the image area in the front Symbol data unit in units of cells,
The photographed image projection apparatus according to claim 1.
前記分割部は、前記表示装置に表示されたマウスカーソルの位置を取得し、前記抽出した罫線の位置情報のうち、取得したマウスカーソルの位置に最も近接した罫線を、前記データ部の画像領域と前記項目部の画像領域との境界として分割する、
ことを特徴とする請求項1または2に記載の撮影画像投影装置。 A display device for displaying the document image;
The dividing unit acquires the position of the mouse cursor displayed on the display device, and among the extracted ruled line position information, the ruled line closest to the acquired mouse cursor position is defined as the image area of the data unit. Dividing as a boundary with the image area of the item part,
The photographed image projecting apparatus according to claim 1, wherein:
ことを特徴とする請求項1乃至3のいずれか1項に記載の撮影画像投影装置。 The image processing unit is configured to enlarge or reduce and combine images of a plurality of image regions.
The photographed image projection apparatus according to claim 1, wherein
ことを特徴とする請求項1乃至4のいずれか1項に記載の撮影画像投影装置。 The dividing unit is configured to divide the image area of the data part and the image area of the item part after performing correction for shaping an original image obtained by photographing the original. is there,
The photographed image projection apparatus according to claim 1, wherein the photographed image projection apparatus includes:
前記原稿は、複数のセルにそれぞれセルデータが記載されたデータ部と前記データ部のセルデータに対応する項目名が記載された項目部とを有する罫線で区分された表形式のものであり、
前記表形式の原稿を撮影することによって得られた原稿画像から、ユーザ操作に基づいて前記データ部の画像領域と前記項目部の画像領域とを分割するステップと、
前記分割された前記データ部のうちの一部の画像領域をユーザ操作に基づいて選択するステップと、
前記選択された前記データ部のうちの一部の画像領域の画像と、その画像領域に対応する前記項目部の画像領域の画像とからなる複数の画像領域の画像を結合する画像処理を行い、前記スクリーンに投影する画像を生成するステップと、
前記選択された画像領域に対するユーザ操作の上下左右のスクロール操作に基づいて、前記データ部のうちの一部の画像領域を再選択するステップと、
当該再選択に対応する前記画像処理を行うステップと、を備えた、
ことを特徴とする撮影画像投影装置の画像処理方法。 An image processing method of a photographic image projection apparatus for projecting a photographed document image on a screen,
The manuscript is in the form of a table divided by ruled lines having a data portion in which cell data is described in a plurality of cells and an item portion in which item names corresponding to the cell data of the data portion are described,
Dividing an image area of the data portion and an image area of the item portion based on a user operation from an original image obtained by photographing the tabular original;
Selecting a partial image area of the divided data portion based on a user operation ;
Performing image processing for combining images of a plurality of image areas including an image of a partial image area of the selected data portion and an image area of the item portion corresponding to the image area; Generating an image to be projected onto the screen;
Re-selecting a part of the image area of the data portion based on a scroll operation of up / down / left / right of a user operation on the selected image area;
Performing the image processing corresponding to the re-selection ,
An image processing method of a photographed image projecting apparatus characterized by the above.
罫線で区分された複数のセルにそれぞれセルデータが記載されたデータ部と前記データ部のセルデータに対応する項目名が記載された項目部とを有する表形式の原稿を撮影することによって得られた原稿画像から、ユーザ操作に基づいて前記データ部の画像領域と前記項目部の画像領域とを分割する手順、
分割した前記データ部のうちの一部の画像領域をユーザ操作に基づいて選択する手順、
前記選択された前記データ部のうちの一部の画像領域の画像と、その画像領域に対応する前記項目部の画像領域の画像とからなる複数の画像領域の画像を結合する画像処理を行い、スクリーンに投影する画像を生成する手順、
前記選択された画像領域に対するユーザ操作の上下左右のスクロール操作に基づいて、前記データ部のうちの一部の画像領域を再選択し、その再選択に対応する前記画像処理を行う手順、
を実行させるためのプログラム。 On the computer,
It is obtained by photographing a tabular document having a data part in which cell data is described in each of a plurality of cells divided by ruled lines and an item part in which item names corresponding to the cell data in the data part are described. A procedure for dividing an image area of the data part and an image area of the item part from a manuscript image based on a user operation ;
A procedure for selecting a partial image area of the divided data portion based on a user operation ,
An image of a part of the image area of the said selected data unit performs image processing to combine the images of a plurality of image areas composed of the images of the image area of the item portion corresponding to the image area, Steps to generate an image to be projected on the screen,
A procedure for re-selecting a part of the image area in the data portion and performing the image processing corresponding to the re-selection based on a scroll operation of up / down / left / right of the user operation on the selected image area;
A program for running
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003338632A JP4631261B2 (en) | 2003-09-29 | 2003-09-29 | Captured image projection apparatus, image processing method thereof, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003338632A JP4631261B2 (en) | 2003-09-29 | 2003-09-29 | Captured image projection apparatus, image processing method thereof, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005107045A JP2005107045A (en) | 2005-04-21 |
JP4631261B2 true JP4631261B2 (en) | 2011-02-16 |
Family
ID=34534092
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003338632A Expired - Fee Related JP4631261B2 (en) | 2003-09-29 | 2003-09-29 | Captured image projection apparatus, image processing method thereof, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4631261B2 (en) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100396078C (en) * | 2005-07-13 | 2008-06-18 | 圆展科技股份有限公司 | Camera capable of outputting integrated multiple pieces of image in use for brief report |
JP4849412B2 (en) * | 2007-05-15 | 2012-01-11 | 三菱電機株式会社 | Information input display device |
JP2011141411A (en) * | 2010-01-07 | 2011-07-21 | Seiko Epson Corp | Projector and method of controlling the same |
JP2012083500A (en) * | 2010-10-08 | 2012-04-26 | Canon Inc | Display control apparatus and display control method, program, and storage medium |
JP6260177B2 (en) * | 2013-09-30 | 2018-01-17 | ブラザー工業株式会社 | Image processing system, image processing method, and image processing program |
CN106933006B (en) * | 2017-05-03 | 2019-08-23 | 苏州和氏设计营造股份有限公司 | Number opens up old subtitle expanding unit |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05250357A (en) * | 1992-03-05 | 1993-09-28 | Ricoh Co Ltd | Image read correction device and corrected image formation device |
JP2002185763A (en) * | 2000-12-11 | 2002-06-28 | Minolta Co Ltd | Digital copying machine |
JP2002325200A (en) * | 2001-04-26 | 2002-11-08 | Victor Co Of Japan Ltd | Data presentation device |
JP2002354331A (en) * | 2001-05-25 | 2002-12-06 | Canon Inc | Imaging equipment and electronic component |
JP2004363736A (en) * | 2003-06-02 | 2004-12-24 | Casio Comput Co Ltd | Photographed image projection apparatus and method for correcting photographed image |
-
2003
- 2003-09-29 JP JP2003338632A patent/JP4631261B2/en not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05250357A (en) * | 1992-03-05 | 1993-09-28 | Ricoh Co Ltd | Image read correction device and corrected image formation device |
JP2002185763A (en) * | 2000-12-11 | 2002-06-28 | Minolta Co Ltd | Digital copying machine |
JP2002325200A (en) * | 2001-04-26 | 2002-11-08 | Victor Co Of Japan Ltd | Data presentation device |
JP2002354331A (en) * | 2001-05-25 | 2002-12-06 | Canon Inc | Imaging equipment and electronic component |
JP2004363736A (en) * | 2003-06-02 | 2004-12-24 | Casio Comput Co Ltd | Photographed image projection apparatus and method for correcting photographed image |
Also Published As
Publication number | Publication date |
---|---|
JP2005107045A (en) | 2005-04-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6700612B1 (en) | Reviewing and navigating among images on an image capture unit using a thumbnail position memory bar | |
JP5429060B2 (en) | Display control apparatus, display control method, display control program, and recording medium on which this display control program is recorded | |
US8237818B2 (en) | Camera | |
US20080052636A1 (en) | Display scrolling method, display apparatus, and recording medium having display program recorded thereon | |
WO2018198703A1 (en) | Display device | |
JP4443194B2 (en) | Processing object selection method in portable terminal character recognition and portable terminal | |
JP4134874B2 (en) | Camera used for photographed image projection system, computer used for photographed image projection system, projector used for photographed image projection system, image processing method and program | |
JP4631261B2 (en) | Captured image projection apparatus, image processing method thereof, and program | |
US7280693B2 (en) | Document information input apparatus, document information input method, document information input program and recording medium | |
JP5830055B2 (en) | Image processing apparatus and image processing system | |
JP2006311063A (en) | Data presentation apparatus and operation method thereof | |
JP4864282B2 (en) | Image projection device | |
JP3951492B2 (en) | Image processing device | |
JP2009129224A (en) | Image operating device, image operating program, recording medium, and image operating method | |
JP3895343B2 (en) | Image display control device | |
JP2003337952A (en) | Image display controller by mouse | |
US8214755B2 (en) | Information processing apparatus and information processing method | |
JP2003203216A (en) | Image measuring device part program generating device and image forming device part program generating program | |
JP5419783B2 (en) | Image reproducing apparatus and method for controlling image reproducing apparatus | |
JP2012083500A (en) | Display control apparatus and display control method, program, and storage medium | |
TWI411952B (en) | Displaying system for zoom content of document and method thereof | |
JP2000066647A (en) | Image plotting device | |
KR20040075517A (en) | apparatus and method for zoom of display device | |
JP2002269495A (en) | Character recognition device and character recognition program | |
JP2000108445A (en) | Print processor |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060828 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091208 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100126 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100309 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100423 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101019 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101101 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131126 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |