JP5288951B2 - Image processing apparatus, image processing method, and program - Google Patents
Image processing apparatus, image processing method, and program Download PDFInfo
- Publication number
- JP5288951B2 JP5288951B2 JP2008228358A JP2008228358A JP5288951B2 JP 5288951 B2 JP5288951 B2 JP 5288951B2 JP 2008228358 A JP2008228358 A JP 2008228358A JP 2008228358 A JP2008228358 A JP 2008228358A JP 5288951 B2 JP5288951 B2 JP 5288951B2
- Authority
- JP
- Japan
- Prior art keywords
- area
- black
- image
- image processing
- document
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Facsimile Scanning Arrangements (AREA)
- Editing Of Facsimile Originals (AREA)
- Image Input (AREA)
Description
本発明は、ブック原稿の読取画像において領域を判定する画像処理装置、画像処理方法、およびプログラムに関する。
The present invention relates to an image processing apparatus, an image processing method, and a program for determining an area in a read image of a book document .
従来の画像処理装置において、スキャナなどによる読取画像(原画像)から原稿領域を抽出し、原稿領域の中心付近に存在する閉じ部の影を検出して補正するアルゴリズムが提案されている(たとえば、特許文献1参照。)。 In a conventional image processing apparatus, an algorithm for extracting a document area from an image (original image) read by a scanner or the like and detecting and correcting a shadow of a closing portion existing near the center of the document area has been proposed (for example, (See Patent Document 1).
また、ブック原稿のような厚みのある原稿の場合、原稿台カバーを原稿台に密着して閉じることができないので、読取画像内の原稿周囲に黒画素領域が発生する。当該黒画素領域に基づいて原稿領域を検出し、無駄なトナーやインク消費を避けるために、原稿領域外の黒画素領域を白画素に置き換える技術が提案されている(たとえば、特許文献2、特許文献3参照)。
しかし、特許文献1記載の画像処理装置では、検出した原稿領域の中央付近にブック原稿の綴じ部の影が存在することを前提に処理している。したがって、原稿台ガラスよりも大きなブック原稿を読取り、綴じ部の影が、検出した原稿領域の端部に発生していれば、対応できないという問題がある。
However, in the image processing apparatus described in
また、特許文献2、特許文献3記載の画像処理装置では、濃度変化によって原稿領域を検出する。この結果、原稿台よりも大きなブック原稿を読取り、綴じ部の影が原稿領域の端部に発生している場合には、綴じ部の影と原稿周囲に発生している黒枠とを判別することができない。このために、検出される原稿領域は、本来の原稿領域よりも内側になるという問題がある。 Further, in the image processing apparatuses described in Patent Document 2 and Patent Document 3, the document area is detected by a change in density. As a result, a book document larger than the document table is read, and when the shadow of the binding portion is generated at the end of the document area, the shadow of the binding portion and the black frame generated around the document are discriminated. I can't. For this reason, there is a problem that the detected document area is located inside the original document area.
本発明は、ブック原稿の読取画像において、ブック原稿の綴じ部に対応する領域及び/又はブック原稿外の領域に対応する領域を適切に判定することができる画像処理装置、画像処理方法、およびプログラムを提供することを目的とする。
The present invention provides an image processing apparatus, an image processing method, and a program that can appropriately determine an area corresponding to a binding portion of a book original and / or an area corresponding to an area outside the book original in a read image of a book original. The purpose is to provide.
本発明の画像処理装置は、ブック原稿が配置されている原稿台の所定領域を読取装置が読み取ることで得られた読取画像を取得する取得手段と、上記取得手段により取得された読取画像に基づき、当該読取画像において、上記ブック原稿の綴じ部及び/又は上記所定領域における上記ブック原稿外の領域に対応する黒領域を特定する特定手段と、上記読取画像における上記特定手段により特定された黒領域に対応する輝度値の、当該黒領域上の所定の方向における変化に基づき、当該変化が所定の範囲内ではない場合に上記ブック原稿の綴じ部に対応する第1の領域と判定し、当該変化が当該所定の範囲内である場合に上記ブック原稿外に対応する第2の領域と判定することで、当該黒領域のうちの当該第1の領域及び/又は当該第2の領域を判定する判定手段とを有することを特徴とする。An image processing apparatus of the present invention is based on an acquisition unit that acquires a read image obtained by a reading device reading a predetermined area of a document table on which a book document is placed, and a read image acquired by the acquisition unit. In the read image, a specifying means for specifying a black area corresponding to an area outside the book original in the binding portion of the book original and / or the predetermined area, and a black area specified by the specifying means in the read image Is determined to be the first region corresponding to the binding portion of the book document when the change is not within the predetermined range based on the change in the predetermined value on the black region. Is determined to be the second area corresponding to the outside of the book document when the value is within the predetermined range, the first area and / or the second area of the black area It characterized by having a determining means.
本発明によれば、ブック原稿の読取画像において、ブック原稿の綴じ部に対応する領域及び/又はブック原稿外の領域に対応する領域を適切に判定することができる。According to the present invention, it is possible to appropriately determine an area corresponding to the binding portion of the book original and / or an area corresponding to an area outside the book original in the read image of the book original.
発明を実施するための最良の形態は、次の実施例である。 The best mode for carrying out the invention is the following embodiment.
本発明の実施例1は、読取部を備えた画像処理装置100である。
The first embodiment of the present invention is an
<装置構成>
図1は、本発明の実施例1である画像処理装置100を示すブロック図である。
<Device configuration>
FIG. 1 is a block diagram illustrating an
外部インタフェース部101は、たとえばディジタルカメラで撮影した画像データなどを画像処理装置100に入力するためのインタフェースである。通常、各種メモリカードのスロットや、ディジタルカメラやコンピュータと接続するためのUSBコネクタなどによって実装される。ここでは、メモリカード用の物理的な受け口として、PCカード(PCMCIA)スロットを設けている。なお、非接触のインタフェースとしてIrDA(赤外線通信)レシーバなどによって構成するようにしてもよい。
The
操作部102は、ユーザからの操作及び各種設定等を受け付ける機能部である。
The
印刷部103は、たとえば、インクジェット方式のプリンタによって構成されている。ここでは、外部インタフェース部101に接続されているメモリカードからのデータ、または、読取部104が読取った画像データを印刷する。
The
読取部104は、透明原稿台である原稿台ガラスを有し、原稿台ガラスに載置した銀塩写真や雑誌等の原稿をスキャンし、読取画像データ(ディジタルデータ)として読み取る。読み取りは、CCD方式、または、CIS方式のラインセンサの読取ヘッドで、原稿台ガラスの裏側から照明しながらスキャンして読み取るカラースキャナである。ラインセンサのライン方向が主走査方向であり、読み取り時の読取ヘッドの移動方向が副走査方向である。読取部104は、透明原稿台に接して配置されている原稿を、上記透明原稿台を透して読み取り、画像データを得る読取手段の例である。
The
表示部105は、読み込んだ読取画像データ、画像処理装置100の状態情報、及び、操作部102からの入力情報をユーザに提示する機能部である。
The
制御部106は、画像処理装置100の各部の制御を行う機能部である。たとえば、後述の画像処理部108による画像処理に基づいて各部を制御し、各種センサが画像処理装置100の状態を取得する。
The
蓄積部107は、外部インタフェース部101または読取部104を介して入力された読取画像データを蓄積する。そして、後述の各制御手段を実現するためのプログラム及びデータを格納する。その他、制御実行のために必要に応じて、作業領域、各種設定項目の登録領域としても使用する。
The
画像処理部108は、後述する原画像データからの原稿領域検出処理を実行し、画像データから印刷するためのプリントデータ生成処理を実行する。
The
画像処理部108は、画像データの端部の黒領域を検出する黒領域検出手段の例である。また、画像処理部108は、上記黒領域検出手段が検出した黒領域が、上記原稿の周辺による黒枠であるのか、上記原稿と上記透明原稿台とが離間した部分に生じた影であるのかを識別する識別手段の例である。さらに、画像処理部108は、上記画像データから上記黒枠を除去する除去手段の例であり、上記画像データの上記影を補正する補正手段の例である。
The
<画像処理装置100の動作>
図2は、実施例1である画像処理装置100における原稿周囲の黒領域の検出と、本スキャン時の設定とを示すフローチャートである。
<Operation of
FIG. 2 is a flowchart illustrating detection of a black region around the original and setting during main scanning in the
原稿台ガラス上に載置された原稿を、読取部104が読み取る。なお、説明を簡単にするために、読取部104に設定されている拡大率は100%であるとする。また、読取部104は、A4までの大きさの原稿を読み取ることが可能であるとする。
The
図3は、原稿台ガラスを透して原稿台の読み取り範囲全体を読み取った読取画像データの例を示す図である。 FIG. 3 is a diagram showing an example of read image data obtained by reading the entire reading range of the document table through the document table glass.
原稿は、図3に示すように、原稿突き当て位置に突き当てて載置されている。図3において、左端と上端とが原稿突き当て位置であり、左から右の方向が、主走査方向であり、上から下の方向が、副走査方向である。 As shown in FIG. 3, the document is placed against the document abutting position. In FIG. 3, the left end and the upper end are the document abutting positions, the direction from left to right is the main scanning direction, and the direction from top to bottom is the sub-scanning direction.
図3(a)は、見開きブック原稿全体が、画像処理装置100の読取り可能範囲内に存在する場合の例を示す図である。
FIG. 3A is a diagram illustrating an example of the case where the entire spread book original is within the readable range of the
図3(a)に示す例では、見開きブック原稿では、その綴じ部を、原稿台ガラスに接して配置することが難しく、原稿台ガラスから離れた離間部では、照明との距離と角度とが変化し、影ができる。この影は、原稿領域中央に存在し、また、原稿に厚みがあるので、原稿台カバーを原稿台に密着して閉じることができず、原稿領域周囲には、黒枠が発生する。 In the example shown in FIG. 3A, in a spread book document, it is difficult to place the binding portion in contact with the platen glass, and the distance from the illumination and the angle are in the separated portion away from the platen glass. Change and make a shadow. This shadow exists in the center of the document area, and since the document is thick, the document table cover cannot be closed in close contact with the document table, and a black frame is generated around the document region.
図3(b)は、見開きブック原稿の片側ページのみが読取り可能範囲内に存在する場合の例を示す図である。 FIG. 3B is a diagram illustrating an example in which only one side page of the spread book document exists within the readable range.
図3(b)に示す例では、原稿に厚みがあるので、原稿台カバーを原稿台に密着して閉じることができず、下端部に黒枠があり、また、綴じ部の影が右端部に存在する。上記「綴じ部の影」は、原稿と透明原稿台とが離間した部分に生じた影の例である。 In the example shown in FIG. 3B, since the document is thick, the document table cover cannot be closely closed to the document table, there is a black frame at the lower end, and the shadow of the binding portion is at the right end. Exists. The “binding portion shadow” is an example of a shadow generated in a portion where the document and the transparent document table are separated from each other.
なお、以下の各処理ステップは、制御部106が各部を実行することによって実現される。
The following processing steps are realized by the
S201で、画像処理装置100が補正モードに設定されているかどうかを判定する。すなわち、操作部102を介してユーザが蓄積部107に補正モードを設定したか否かを判定する。補正モードが設定されていないと判定すると、S209で、黒領域について何も処理を施さずに、終了する。
In step S201, it is determined whether the
一方、補正モードが設定されていると判定すると、S202で、読取部104がプレスキャンし、画像データを取得する。上記プレスキャンは、検出された黒領域が、原稿領域周辺に発生している黒枠であるのか、または、ブック原稿の綴じ部の影であるのかを識別するために、かつ、解析処理の負荷を低減するために、通常よりも低解像度で画像データを読み取る動作である。たとえば、プレスキャンでは、読取解像度75dpi、γ=1.0(リニアデータ)、RGBカラーで、原稿台ガラスの読み取り領域全面を読み取る。
On the other hand, if it is determined that the correction mode is set, the
S203では、S202で読取った画像データを蓄積部107に蓄積する。
In S203, the image data read in S202 is stored in the
S204では、S203で蓄積された画像データについて、画像処理部108が、黒領域を検出する。黒領域を検出する場合、画像データ右端から左に向けて、予め設定した輝度値閾値以上の位置(すなわち白い輝度値の位置)を探し、その位置が原稿領域右端部であると判断する。これによって、原稿領域右端側に発生している黒領域を検出する。
In S204, the
これと同様にして、画像データ下端部から上に向けて、予め設定した輝度値閾値以上の位置(すなわち白い輝度値の位置)を検出し、この検出された位置が原稿領域下端部であると判断する。これによって、原稿領域下端部に発生している黒領域を検出する。 Similarly, a position equal to or higher than a preset luminance value threshold (that is, the position of the white luminance value) is detected upward from the lower end of the image data, and the detected position is the lower end of the document area. to decide. As a result, the black area generated at the lower end of the document area is detected.
なお、ここでは、単純に、予め設定した輝度値閾値のみによって原稿領域端部を検出し、これによって、原稿領域の右端部、下端部に発生している黒領域を検出する。しかし、色差閾値やエッジ検出を用いることによって、原稿領域端部を検出し、黒領域を検出してもよく、また、他の方法を利用して黒領域を検出するようにしてもよい。 It should be noted that here, the document area edge is simply detected based only on a preset brightness value threshold, and thereby black areas generated at the right edge and the bottom edge of the document area are detected. However, by using the color difference threshold and edge detection, the edge of the document area may be detected to detect the black area, or the black area may be detected using other methods.
図3(a)に示す例の場合、原稿領域の右側と下側との黒領域は、1つの黒枠であるが、黒枠と影とを判定する前では、黒枠領域が1つであるのか、黒枠と影との2つの領域であるかは不明である。したがって、原稿領域の右側と下側とに黒領域が検出された場合、原稿領域の右側の黒領域と、残りの下側の黒領域の2つの黒領域とであるとして扱う。 In the example shown in FIG. 3A, the black area on the right side and the lower side of the document area is one black frame, but before determining the black frame and the shadow, whether there is one black frame area, It is unknown whether the two areas are a black frame and a shadow. Accordingly, when black areas are detected on the right side and the lower side of the original area, the black areas on the right side of the original area and the remaining two black areas on the lower side are handled.
黒領域を検出できなければ、S205からS209へ進み、特別な処理を何も施さずに、終了する。 If the black area cannot be detected, the process proceeds from S205 to S209, and the process ends without performing any special processing.
S206では、S204で検出された黒領域について、原稿領域周辺の黒枠であるのか、または、ブック原稿の綴じ部の影であるのかを、画像処理部108が判定する。なお、黒枠・綴じ部の影判定処理の詳細については、図4を参照して後述する。
In S <b> 206, the
S206で原稿領域周辺の黒枠であると判定すると、S207でこの判定された黒領域について、黒枠除去を行うための設定を行い、綴じ部の影であると判定すると、S208で綴じ部の影補正を行うための設定を行い、本スキャンへ進む。 If it is determined in S206 that the frame is a black frame around the document area, settings for removing the black frame are performed for the determined black area in S207, and if it is determined to be a shadow of the binding portion, the shadow correction of the binding portion is determined in S208. Set to perform this, and proceed to the main scan.
<黒枠・綴じ部の影判別処理の動作1>
図4は、画像処理装置100において、原稿周辺の黒領域が、黒枠であるのか、綴じ部の影であるのかを識別する処理を示すフローチャートである。
<
FIG. 4 is a flowchart illustrating processing in the
検出された黒領域の幅方向の輝度値変化を確認することによって、原稿周辺の黒領域が、原稿領域周辺に発生している黒枠であるのか、ブック原稿の綴じ部の影であるのかを識別する。 Identifying whether the black area around the original is a black frame around the original area or the shadow of the binding part of the book original by checking the change in luminance value in the width direction of the detected black area To do.
図5は、右端と下端との2箇所の黒領域が検出された場合の例を説明する図である。 FIG. 5 is a diagram for explaining an example in which two black areas at the right end and the lower end are detected.
つまり、図5は、検出された2箇所の黒領域について、原稿領域端部の辺に平行に、ライン単位で、平均輝度値をグラフで示す図である。原稿周辺の黒領域が、綴じ部の影であれば、輝度値は、概ね連続的に変化をした形である。逆に、原稿周辺の黒領域が、黒枠であれば、輝度値はほぼ一定値である。この性質を利用して、原稿周辺の黒領域が、黒枠であるのか、綴じ部の影であるのかを識別する。 That is, FIG. 5 is a graph showing an average luminance value in a line unit in parallel with the side of the edge of the document area for the two detected black areas. If the black area around the document is a shadow of the binding portion, the luminance value has a shape that changes substantially continuously. Conversely, if the black area around the document is a black frame, the luminance value is almost constant. Using this property, it is identified whether the black area around the document is a black frame or a shadow of the binding portion.
まず、S401で、右端黒領域については、WS1〜WE1間で、下端黒領域については、WS2〜WE2間で、原稿領域端部の辺に平行に、ライン単位で平均輝度値を求める。 First, in step S401, an average luminance value is calculated in units of lines in parallel between the edges of the document area between W S1 and W E1 for the right end black area and between W S2 and W E2 for the bottom black area. Ask.
S402では、S401で求めた原稿領域端部の辺に平行な方向に、ラインごとに求めた平均輝度値について、隣接ライン間の平均輝度値の差である微分値を求める。 In S402, a differential value, which is the difference between the average luminance values between adjacent lines, is obtained for the average luminance value obtained for each line in a direction parallel to the edge of the document area obtained in S401.
S403では、S402で求めた微分値が、黒領域全体に渡ってゼロに近い値を取り続けていれば、S404で、その黒領域が黒枠であると判定する。S402で求めた微分値が、黒領域全体に渡ってゼロに近い値を取り続けなければ、S405で、その黒領域が綴じ部の影であると判定し、処理を終了する。 In S403, if the differential value obtained in S402 continues to take a value close to zero over the entire black area, it is determined in S404 that the black area is a black frame. If the differential value obtained in S402 does not continue to take a value close to zero over the entire black area, it is determined in S405 that the black area is a shadow of the binding portion, and the process ends.
<黒枠・綴じ部の影判別処理の動作2>
図6は、画像処理装置100において、原稿周辺の黒領域が、黒枠であるのか、綴じ部の影であるのかを識別する別の処理を示すフローチャートである。
<Operation 2 for Shadow Discrimination Processing of Black Frame / Binding Portion>
FIG. 6 is a flowchart showing another process for identifying whether the black area around the document is a black frame or a shadow of the binding portion in the
図6に示す例は、黒領域が、右端、下端のうちの一方で検出された場合の処理を示す例である。検出された黒領域以外の領域(すなわち、原稿領域内の領域)の輝度値変化を調べ、綴じ部の影と思われる輝度値変化が存在する場合(S603参照)、検出した黒領域が、黒枠であると判定する。原稿領域内に、綴じ部の影と思われる輝度値変化が存在しなければ(S603参照)、検出した黒領域が綴じ部の影であると判定する。 The example shown in FIG. 6 is an example showing processing when a black region is detected by one of the right end and the lower end. When the luminance value change in the area other than the detected black area (that is, the area in the document area) is examined and there is a luminance value change that seems to be a shadow of the binding portion (see S603), the detected black area is a black frame. It is determined that If there is no luminance value change that seems to be a shadow of the binding portion in the document area (see S603), it is determined that the detected black region is a shadow of the binding portion.
S601で、原稿領域の幅方向(主走査方向)、高さ方向(副走査方向)のそれぞれについて、ライン単位で、平均輝度値を求める。 In step S601, an average luminance value is obtained for each line in the width direction (main scanning direction) and the height direction (sub-scanning direction) of the document area.
S602では、S601で求めた幅方向、高さ方向のそれぞれについて、ライン単位の隣接ライン間の平均輝度値の微分を求める。 In S602, for each of the width direction and the height direction obtained in S601, a derivative of the average luminance value between adjacent lines in line units is obtained.
S603では、S602で求めた幅方向、高さ方向のそれぞれの微分値が、いずれも原稿領域全体に渡ってゼロに近い値を取り続けていれば、原稿領域内には、綴じ部の影が存在しないと判断できる。そして、S604で、検出した黒領域が綴じ部の影であると判定する。S602で求めた幅方向、高さ方向の微分値の一方が、原稿領域全体に渡ってゼロに近い値を取り続けなければ、原稿領域内に綴じ部の影が存在すると判断できる。そして、S605で、検出した黒領域が、黒枠であると判定し、処理を終了する。 In S603, if the differential values in the width direction and the height direction obtained in S602 continue to take values close to zero over the entire document area, a shadow of the binding portion exists in the document area. It can be judged not to. In step S604, it is determined that the detected black area is a shadow of the binding portion. If one of the differential values in the width direction and the height direction obtained in S602 does not continue to take a value close to zero over the entire document area, it can be determined that the shadow of the binding portion exists in the document area. In step S605, it is determined that the detected black area is a black frame, and the process ends.
<黒枠・綴じ部の影判別処理の動作3>
図7は、画像処理装置100において、原稿周辺の黒領域が、黒枠であるのか、綴じ部の影であるのかを識別するさらに別の処理を示すフローチャートである。
<Operation 3 of Shadow Discrimination Processing for Black Frame / Binding Portion>
FIG. 7 is a flowchart showing still another process in the
図7に示す例は、原稿周辺の黒領域が、右端と下端との両方で検出された場合の処理を示す例である。検出された黒領域以外の領域(すなわち、原稿領域内の領域)の輝度値変化を調べ、綴じ部の影と思われる輝度値変化が存在すれば(S703参照)、検出した黒領域が、黒枠であると判定する。原稿領域内に、綴じ部の影と思われる輝度値変化が存在しなければ(S703参照)、検出した黒領域が綴じ部の影であると判定する。 The example shown in FIG. 7 is an example of processing when a black area around the document is detected at both the right end and the lower end. A change in luminance value of an area other than the detected black area (that is, an area in the document area) is examined, and if there is a luminance value change that seems to be a shadow of the binding portion (see S703), the detected black area is a black frame It is determined that If there is no luminance value change that seems to be a shadow of the binding portion in the document area (see S703), it is determined that the detected black region is a shadow of the binding portion.
S701では、原稿領域の幅方向、高さ方向のそれぞれについて、ライン単位で平均輝度値を求める。 In step S701, an average luminance value is obtained for each line in the width direction and the height direction of the document area.
S702では、S701で求めた幅方向、高さ方向のそれぞれのライン単位の隣接ライン間の平均輝度値を微分する。 In S <b> 702, the average luminance value between adjacent lines in the width direction and the height direction obtained in S <b> 701 is differentiated.
S703では、S702で求めた幅方向、高さ方向のそれぞれの微分値が、いずれも原稿領域全体に渡ってゼロに近い値を取り続けていれば、原稿領域内には綴じ部の影が存在しないと判断する。そして、S704で、検出した黒領域の幅を比較し、大きい方が、綴じ部の影であると判断し、小さい方が黒枠であると判定する。S702で求めた幅方向、高さ方向のそれぞれの微分値のうちで、一方の微分値が原稿領域全体に渡ってゼロに近い値を取り続けなければ、原稿領域内に綴じ部の影が存在すると判断し、S705で、検出した黒領域が、黒枠であると判定し、終了する。 In S703, if the differential values in the width direction and the height direction obtained in S702 continue to take values close to zero over the entire document area, there is no shadow of the binding portion in the document area. Judge. In step S704, the widths of the detected black areas are compared, and the larger one is determined to be a shadow of the binding portion, and the smaller one is determined to be a black frame. If one of the differential values in the width direction and the height direction obtained in S702 does not continue to take a value close to zero over the entire document area, a shadow of the binding portion exists in the document area. In step S705, it is determined that the detected black area is a black frame, and the process ends.
<黒枠・綴じ部の影判別処理の動作4>
図8は、画像処理装置100において、原稿周辺の黒領域が、黒枠であるのか、綴じ部の影であるのかを識別する処理の他の処理を示すフローチャートである。
<Operation 4 of Shadow Discrimination Processing for Black Frame / Binding Portion>
FIG. 8 is a flowchart showing another process for identifying whether the black area around the document is a black frame or a shadow of the binding portion in the
図8に示す例は、検出された一方の黒領域のサイズに基づいて、検出した他方の黒領域が、綴じ部の影であると判断し、または、黒枠であると判定する例である。 The example illustrated in FIG. 8 is an example in which it is determined that the detected other black region is a shadow of the binding portion or a black frame based on the size of the detected one black region.
図9は、画像処理装置100において検出された黒領域の例を示す図である。
FIG. 9 is a diagram illustrating an example of a black area detected by the
たとえば、図9に示すように、黒領域1と黒領域2とが検出されたとする。黒領域1は、画像の右端部に存在し、原稿端の辺と読み取り画像領域の端の辺との間に、幅W1を具備する。黒領域2は、画像の下端部に存在し、原稿端の辺と読み取り画像領域の端の辺との間に、幅W2を有する。
For example, assume that a
S801で、黒領域2の幅W2が閾値T2よりも小さいかどうかを調べる。画像の下端部に存在している黒領域2の幅W2の大きさに基づいて、原稿台ガラスに積載されている原稿サイズをある程度予測することができる。黒領域2の幅W2が閾値T2よりも小さければ、A4サイズに近い原稿が積載されていると推測することができる。すなわち、画像の右端に存在する黒領域1は、綴じ部の影である可能性があるので、S802で調べる。
In S801, it checks whether the width W 2 of the black region 2 is smaller than the threshold T 2. Based on the size of the width W 2 of the black region 2 is present in the lower part of the image, a document size has been loaded on the platen glass can be predicted to some extent. Is smaller than the width W 2 is the threshold T 2 of the black region 2, can document close to the A4 size is presumed to have been loaded. That is, since the
そして、黒領域1の幅W1が、閾値T1よりも大きいかどうかを調べる。黒領域1の幅W1が閾値T1よりも大きければ、S803で、黒領域1が、綴じ部の影であると判定し、黒領域2が、黒枠であると判定し、終了する。黒領域1の幅W1が閾値T1よりも小さければ、いずれの黒領域も黒枠であると判定する。また、黒領域2の幅W2が閾値T2よりも大きければ、A4サイズよりも小さい原稿が積載されていると推測することができる。つまり、画像の右端部に存在する黒領域1は、ほぼ黒枠であると決定することができるので、S804で、いずれの黒領域も、黒枠であると判定し、終了する。
Then, the width W 1 of the
<黒枠・綴じ部の影判別処理の動作5>
図10は、画像処理装置100において、原稿周辺の黒領域が、黒枠であるのか、綴じ部の影であるのかを識別するさらに他の処理を示すフローチャートである。
<Operation 5 of Shadow Discrimination Processing for Black Frame / Binding Portion>
FIG. 10 is a flowchart showing still another process for identifying whether the black area around the document is a black frame or a shadow of the binding portion in the
検出された黒領域の幅方向の輝度値変化を調べることによって、原稿領域周辺に発生している黒枠であるのか、ブック原稿の綴じ部の影であるのかを識別する。たとえば、図5に示すように、検出された2箇所の黒領域の原稿領域端部の辺に平行に、ライン単位で、平均輝度値をグラフにする。この場合、綴じ部の影であれば、輝度値は概ね連続的に変化するグラフ形状(つまり、傾きの大きいグラフ形状)になる。逆に、黒枠であれば、輝度値はほぼ一定値(つまり、傾きの小さいグラフ形状)になる。このグラフ形状を利用して、黒枠であるのか、綴じ部の影であるのかを識別する。 By examining the change in the luminance value of the detected black area in the width direction, it is identified whether the black frame is generated around the document area or the shadow of the binding portion of the book document. For example, as shown in FIG. 5, the average luminance value is graphed in units of lines in parallel with the edges of the two detected black areas in the document area. In this case, if it is a shadow of the binding portion, the luminance value becomes a graph shape that changes substantially continuously (that is, a graph shape with a large inclination). On the contrary, in the case of a black frame, the luminance value is almost constant (that is, a graph shape with a small inclination). Using this graph shape, it is identified whether it is a black frame or a shadow of the binding portion.
S1001で、原稿領域の幅方向(主走査方向)、高さ方向(副走査方向)のそれぞれについて、ライン単位で平均輝度値を求める。 In step S1001, an average luminance value is obtained for each line in the width direction (main scanning direction) and the height direction (sub-scanning direction) of the document area.
S1002では、S1001で求めた平均輝度値データの近似二次曲線を、最小二乗法を用いて求める。たとえば、近似二次曲線をy=a2x2+a1x+a0とすると、E=Σ(y−a2x2−a1x−a0)2が最小となるa2、a1、a0を求めることによって、最小二乗法による近似二次曲線を求めることができる。 In S1002, an approximate quadratic curve of the average luminance value data obtained in S1001 is obtained using the least square method. For example, if the approximate quadratic curve is y = a 2 x 2 + a 1 x + a 0 , a 2 , a 1 , a where E = Σ (y−a 2 x 2 −a 1 x−a 0 ) 2 is minimized. By obtaining 0 , an approximate quadratic curve by the least square method can be obtained.
次に、S1003で、最小二乗法で求めた近似二次曲線の二次元項係数の絶対値|a2|を、実験によって予め求め、設定した閾値Taよりも小さいかどうかを調べる。最小二乗法で求めた近似二次曲線の二次元項係数の絶対値|a2|が、Taよりも小さければ(すなわち、傾きが小さいグラフ形状であれば)、S1004で、その黒領域は、黒枠であると判断する。そうでなければ、傾きが大きいグラフ形状であるので、S1005で、黒領域が綴じ部の影であると判断する。 Next, in S1003, the absolute value of the two-dimensional term coefficient of the approximate quadratic curve obtained by the least square method | a 2 | a, previously obtained by experiment to see if less than the threshold value T a set. If the absolute value | a 2 | of the approximate quadratic curve obtained by the least square method is smaller than T a (that is, if the graph has a small slope), in S1004, the black region is Judged to be a black frame. Otherwise, since the graph shape has a large inclination, it is determined in S1005 that the black area is a shadow of the binding portion.
図11は、画像処理装置100において、検出された黒領域のラインごとに求めた平均輝度値の近似二次曲線の概略を示す図である。
FIG. 11 is a diagram showing an outline of the approximate quadratic curve of the average luminance value obtained for each detected black area line in the
図11(a)は、綴じ部の影のラインごとに求めた平均輝度値について、最小二乗法によって求めた近似二次曲線例を示す図である。 FIG. 11A is a diagram illustrating an example of an approximate quadratic curve obtained by the least square method for the average luminance value obtained for each shadow line of the binding portion.
図11(b)は、黒枠のラインに関する平均輝度値について、最小二乗法によって求めた近似二次曲線例を示す図である。 FIG. 11B is a diagram illustrating an example of an approximate quadratic curve obtained by the least square method for the average luminance value related to the black frame line.
図11(b)中の各ドットは、そのラインにおける平均輝度値を示し、実線は、最小二乗法によって求めた近似二次曲線を示す。 Each dot in FIG. 11B indicates an average luminance value in the line, and a solid line indicates an approximate quadratic curve obtained by the least square method.
<黒枠・綴じ部の影判別処理の動作6>
図12は、画像処理装置100において、原稿周辺の黒領域が、黒枠であるのか、綴じ部の影であるのかを識別する処理の別の処理を示すフローチャートである。
<Operation 6 of Shadow Discrimination Processing for Black Frame / Binding Portion>
FIG. 12 is a flowchart showing another process of identifying whether the black area around the document is a black frame or a shadow of the binding portion in the
検出された黒領域について、エッジ検出フィルタを施し、検出されたエッジ量を確認することによって、原稿領域周辺に発生している黒枠であるのか、ブック原稿の綴じ部の影であるのかを識別する。 By applying an edge detection filter to the detected black area and confirming the detected edge amount, it is identified whether it is a black frame generated around the document area or a shadow of the binding portion of the book document. .
図13は、画像処理装置100において、入力された画像について、検出された端部の黒領域のエッジ画像を示す図である。
FIG. 13 is a diagram illustrating an edge image of a black region detected at an end of an input image in the
黒領域が黒枠である場合、ほぼ均一な黒であるので、エッジが検出されない。一方、黒領域が綴じ部の影である場合、綴じ部付近には、文字や図などの情報が存在することが多いので、エッジが存在する。この特徴を利用して、検出された黒領域が黒枠であるのか、綴じ部の影であるのかを識別する。 When the black area is a black frame, the edge is not detected because it is almost uniform black. On the other hand, when the black area is a shadow of the binding portion, information such as characters and drawings often exists in the vicinity of the binding portion, and therefore there is an edge. Using this feature, it is identified whether the detected black region is a black frame or a shadow of the binding portion.
S1201で、検出された黒領域について、エッジ検出フィルタ処理を行う。S1202で、検出されたエッジ画素数が閾値T3よりも大きいかどうかを調べる。検出されたエッジ画素数が、閾値T3よりも大きければ、黒領域が、綴じ部の影であると判定する(S1203)。検出されたエッジ画素数が、閾値T3よりも小さければ、黒領域が、黒枠であると判定し(S1204)、終了する。 In step S1201, edge detection filter processing is performed on the detected black region. In S1202, it checks whether the number of edge pixels detected is greater than a threshold T 3. If the detected number of edge pixels is larger than the threshold value T3, it is determined that the black region is a shadow of the binding portion (S1203). The detected number of edge pixels is smaller than the threshold value T 3, the black area is determined to be black frame (S1204), and ends.
<黒枠・綴じ部の影判別処理の動作7>
図14は、画像処理装置100において、原稿周辺の黒領域が、黒枠であるのか、綴じ部の影であるのかを識別する処理のさらに別の処理を示すフローチャートである。
<Operation 7 of Shadow Discrimination Processing of Black Frame / Binding Portion>
FIG. 14 is a flowchart showing still another process of identifying whether the black area around the document is a black frame or a shadow of the binding portion in the
検出された黒領域について、エッジ検出フィルタを施し、検出されたエッジ量を確認することによって、原稿領域周辺に発生している黒枠であるのか、ブック原稿の綴じ部の影であるのかを識別できる。 By applying an edge detection filter to the detected black area and confirming the detected edge amount, it is possible to identify whether it is a black frame generated around the document area or a shadow of a book document binding portion. .
図15は、画像処理装置100が検出した黒領域のエッジ画像の一例を示す図である。
FIG. 15 is a diagram illustrating an example of a black region edge image detected by the
図15に示すように、原稿が置かれた場合、ブック原稿端部(小口)を含む領域が、黒領域であると判定されることがある。この場合、この小口の部分に、多数のエッジが存在する可能性があり、この黒領域が、綴じ部の影であると誤判定することがある。この誤判定を避けるのが、図14に示すフローチャートである。 As shown in FIG. 15, when a document is placed, the region including the book document edge (edge) may be determined to be a black region. In this case, there may be a large number of edges in the fore edge, and this black region may be erroneously determined as a shadow of the binding portion. The flowchart shown in FIG. 14 avoids this erroneous determination.
S1401で、検出された黒領域について、エッジ検出フィルタ処理を行う。S1402で、検出されたエッジ画像の各画素において、互いに隣接するエッジ画素に、同一識別番号を付与する処理であるラベリング処理を実行する。S1403で、付与された識別番号のうちで同一識別番号の数が閾値T4よりも多いエッジ画素を除去する。この処理によって、連続したエッジで形成される小口の部分を、判定から除くことができる。そして、残ったエッジ画素数が閾値T3よりも大きいことを確認する。検出されたエッジ画素数が、閾値T3よりも大きければ、黒領域が、綴じ部の影であると判定する(S1404)。そうでなければ、S1405で、黒領域が、黒枠であると判定し、終了する。 In step S1401, edge detection filter processing is performed on the detected black region. In S1402, a labeling process, which is a process of assigning the same identification number to edge pixels adjacent to each other in each pixel of the detected edge image, is executed. In S1403, the removal of more edge pixels than the number the threshold T 4 of the same identification number of the assigned identification number. By this process, the edge portion formed by the continuous edges can be excluded from the determination. Then, the number of remaining edge pixels to make sure larger than the threshold value T 3. The detected number of edge pixels is determined, and is larger than the threshold value T 3, the black region is a shadow of the bound portion (S1404). Otherwise, in S1405, it is determined that the black area is a black frame, and the process ends.
綴じ部に発生するエッジは、綴じ部付近に存在する文字や図であるので、不連続であることが多く、同一識別番号を有するエッジ数は小さい。ところが、小口に発生するエッジは、連続したエッジで形成されることが多いので、同一識別番号を有するエッジ数は大きい。この特徴を利用することによって、黒枠と綴じ部の影との誤判定を避けることができる。 Since the edge generated in the binding portion is a character or a figure existing near the binding portion, it is often discontinuous and the number of edges having the same identification number is small. However, since the edge generated at the edge is often formed by continuous edges, the number of edges having the same identification number is large. By utilizing this feature, it is possible to avoid erroneous determination between the black frame and the shadow of the binding portion.
上記実施例によれば、検出された黒領域が、黒枠であるのか、綴じ部の影であるのかを精度良く識別することができ、綴じ部の影が画像端部にあったとしても、黒枠として除去せずに、綴じ部の影として補正することができる。 According to the above-described embodiment, it is possible to accurately identify whether the detected black region is a black frame or a shadow of the binding portion, and even if the shadow of the binding portion is at the edge of the image, Without being removed as a shadow of the binding portion.
この結果に基づいて、本スキャンを行い、本スキャン画像の黒領域について、黒枠除去を実行し、または、綴じ部の影補正の適切な処理を実施することによって、所望の結果を得ることができる。なお、黒枠除去方法、及び、綴じ部の影補正方法については、公知の技術も多く、ここでは説明しない。 Based on this result, a desired result can be obtained by performing a main scan, executing black frame removal for the black region of the main scan image, or performing appropriate processing for shadow correction of the binding portion. . Note that there are many known techniques for the black frame removal method and the binding portion shadow correction method, and will not be described here.
本発明の実施例2は、検出した黒領域について、黒枠であるのか、綴じ部の影であるのかを、自動的に判定するのではなく、黒枠であるのか、綴じ部の影であるのかを、オペレータが、手動で設定する実施例である。 The second embodiment of the present invention does not automatically determine whether the detected black area is a black frame or a shadow of the binding portion, but determines whether it is a black frame or a shadow of the binding portion. This is an embodiment in which an operator sets manually.
図16は、本発明の実施例2である画像処理装置において、原稿周辺の黒領域の検出及び本スキャン時の処理設定のフローチャートである。 FIG. 16 is a flowchart of blackout detection around a document and processing setting at the time of main scanning in the image processing apparatus according to the second embodiment of the present invention.
S1601〜S1605は、図2に示す実施例1におけるS201〜S205の処理と同じである。 S1601 to S1605 are the same as the processes of S201 to S205 in the first embodiment shown in FIG.
S1606では、画像処理部108が、S1604で検出した黒領域について、原稿領域周辺の黒枠であるのか、または、ブック原稿の綴じ部の影であるのかを、ユーザが操作入力部から手動で設定する。
In step S1606, the
S1606で原稿領域周辺の黒枠である指定されると、S1607で、その黒領域について黒枠除去を行うための設定を行い、綴じ部の影であると指定されると、S1608で、綴じ部の影補正を行うための設定を行い、本スキャンへ進む。 If a black frame around the document area is specified in S1606, settings are made to remove the black frame for the black area in S1607, and if it is specified as a shadow of the binding part, a shadow of the binding part is specified in S1608. Set for correction and proceed to the main scan.
この結果に基づいて、本スキャンを行い、本スキャン画像の黒領域について、黒枠除去、または、綴じ部の影補正の適切な処理を実施することによって、所望の結果を得る。なお、黒枠除去方法、綴じ部の影補正方法については、公知の技術も多く、ここでは説明しない。 Based on this result, a main scan is performed, and a black frame of the main scan image is subjected to appropriate processing for black frame removal or binding shadow correction, thereby obtaining a desired result. Note that there are many known techniques for the black frame removal method and the binding portion shadow correction method, and will not be described here.
上記のようにして、検出された黒領域が黒枠であるのか、綴じ部の影であるのかを確実に指定することができ、綴じ部の影が画像端部にあったとしても、黒枠として除去するのではなく、綴じ部の影として補正することができる。 As described above, it is possible to reliably specify whether the detected black area is a black frame or a shadow of the binding portion, and even if the shadow of the binding portion is at the edge of the image, it is removed as a black frame. Instead, it can be corrected as a shadow of the binding portion.
なお、上記の説明では、透明原稿台としての原稿台ガラスに原稿を載置して読み取るが、見開きブック原稿の上に透明原稿台を載置し、上から読み取る構成も考えられる。また、上下に限らず、左右、斜めの方向で読み取るようにしてもよい。 In the above description, the original is placed on the original platen glass as a transparent original table and read. However, a configuration in which the transparent original table is placed on the spread book original and read from above is also conceivable. Moreover, you may make it read not only up and down but in the left-right and diagonal directions.
また、上記実施例は、画像処理装置内で全ての処理を実行し、目的を達成するが、画像処理装置の外部インタフェース部101に接続されているコンピュータ上で、上記と同等の処理を行うようにしてもよい。
In the above embodiment, all the processes are executed in the image processing apparatus and the object is achieved, but the same process as described above is performed on the computer connected to the
上記実施例において、手段を工程に置き換えれば、上記実施例を、画像処理方法として把握することができる。また、上記実施例において、手段を置き換えた工程をコンピュータに実行させるためのプログラムを想定することができる。 In the above embodiment, if the means is replaced with a process, the above embodiment can be grasped as an image processing method. Moreover, in the said Example, the program for making a computer perform the process which replaced the means can be assumed.
101…外部インタフェース部、
102…操作部、
103…印刷部、
104…読取部、
105…表示部、
106…制御部、
107…蓄積部、
108…画像処理部。
101 ... External interface section,
102 ... operation unit,
103 ... printing section,
104 ... reading unit,
105 ... display section,
106 ... control unit,
107: Accumulation unit,
108: Image processing unit.
Claims (10)
上記取得手段により取得された読取画像に基づき、当該読取画像において、上記ブック原稿の綴じ部及び/又は上記所定領域における上記ブック原稿外の領域に対応する黒領域を特定する特定手段と;
上記読取画像における上記特定手段により特定された黒領域に対応する輝度値の、当該黒領域上の所定の方向における変化に基づき、当該変化が所定の範囲内ではない場合に上記ブック原稿の綴じ部に対応する第1の領域と判定し、当該変化が当該所定の範囲内である場合に上記ブック原稿外に対応する第2の領域と判定することで、当該黒領域のうちの当該第1の領域及び/又は当該第2の領域を判定する判定手段と;
を有することを特徴とする画像処理装置。 Obtaining means for obtaining a read image obtained by reading a predetermined area of the document table on which the book document is placed;
Specifying means for specifying a black area corresponding to an area outside the book original in the binding area of the book original and / or the predetermined area in the read image based on the read image acquired by the acquisition means;
Based on a change in a predetermined direction on the black area of the luminance value corresponding to the black area specified by the specifying unit in the read image, the binding portion of the book document is not within the predetermined range. Is determined to be a second area corresponding to the outside of the book document when the change is within the predetermined range, and the first area of the black area is determined. Determining means for determining the region and / or the second region ;
An image processing apparatus comprising:
上記取得工程において取得された読取画像に基づき、当該読取画像において、上記ブック原稿の綴じ部及び/又は上記所定領域における上記ブック原稿外の領域に対応する黒領域を特定する特定工程と;A specifying step of specifying, in the read image, a black area corresponding to an area outside the book original in the predetermined area in the read image based on the read image acquired in the acquisition step;
上記読取画像における上記特定工程において特定された黒領域に対応する輝度値の、当該黒領域上の所定の方向における変化に基づき、当該変化が所定の範囲内ではない場合に上記ブック原稿の綴じ部に対応する第1の領域と判定し、当該変化が当該所定の範囲内である場合に上記ブック原稿外に対応する第2の領域と判定することで、当該黒領域のうちの当該第1の領域及び/又は当該第2の領域を判定する判定工程と;Based on a change in a predetermined direction on the black area of the luminance value corresponding to the black area specified in the specifying step in the read image, the binding portion of the book document when the change is not within a predetermined range Is determined to be a second area corresponding to the outside of the book document when the change is within the predetermined range, and the first area of the black area is determined. A determination step of determining the region and / or the second region;
を有することを特徴とする画像処理方法。An image processing method comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008228358A JP5288951B2 (en) | 2008-09-05 | 2008-09-05 | Image processing apparatus, image processing method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008228358A JP5288951B2 (en) | 2008-09-05 | 2008-09-05 | Image processing apparatus, image processing method, and program |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2010062989A JP2010062989A (en) | 2010-03-18 |
JP2010062989A5 JP2010062989A5 (en) | 2011-10-20 |
JP5288951B2 true JP5288951B2 (en) | 2013-09-11 |
Family
ID=42189278
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008228358A Active JP5288951B2 (en) | 2008-09-05 | 2008-09-05 | Image processing apparatus, image processing method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5288951B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5904024B2 (en) * | 2012-06-13 | 2016-04-13 | ブラザー工業株式会社 | Image reading device |
JP6115804B2 (en) * | 2012-09-28 | 2017-04-19 | ブラザー工業株式会社 | Image reading device |
JP6311641B2 (en) * | 2015-04-17 | 2018-04-18 | 京セラドキュメントソリューションズ株式会社 | Image reading apparatus and image forming apparatus |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007150849A (en) * | 2005-11-29 | 2007-06-14 | Kyocera Mita Corp | Image reader and image forming apparatus |
-
2008
- 2008-09-05 JP JP2008228358A patent/JP5288951B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2010062989A (en) | 2010-03-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8542401B2 (en) | Image processing apparatus and method for controlling the same | |
US8300277B2 (en) | Image processing apparatus and method for determining document scanning area from an apex position and a reading reference position | |
US8390896B2 (en) | Image reading method, image reading apparatus, and program recording medium | |
JP4574503B2 (en) | Image processing apparatus, image processing method, and program | |
JP6972945B2 (en) | Reader, image processing program and image production method | |
JP5288951B2 (en) | Image processing apparatus, image processing method, and program | |
JP7169532B2 (en) | Image processing device Image processing system and program | |
US7738696B2 (en) | Image processing apparatus and method for extracting a document area | |
US9413914B2 (en) | Image reading control apparatus, image reading apparatus, and image reading control method | |
JP7487523B2 (en) | Image reading device, image reading system, image reading method and program | |
JP5621629B2 (en) | Reader | |
JP6887910B2 (en) | Image processing device | |
JP6887909B2 (en) | Image processing device | |
JP6881910B2 (en) | Image reader and image reading method | |
JP2007081882A (en) | Apparatus and method for reading manuscript | |
JP7440821B2 (en) | Image processing device, method, and computer program | |
US11800036B2 (en) | Determining minimum scanning resolution | |
US10897554B2 (en) | System and method for correctly detecting a printing area | |
JP6859779B2 (en) | Image reader, image reading method and image reading program | |
US10432809B2 (en) | Reading apparatus and image generation method | |
JP2009284190A (en) | Image reading apparatus and image reading system | |
JP6362075B2 (en) | Image reading apparatus, image processing apparatus, and image processing method therefor | |
JP5550309B2 (en) | Image processing apparatus and display control method | |
JP5006250B2 (en) | Image correction apparatus, image correction method, image correction program, and recording medium | |
JP7009750B2 (en) | Image forming device, tint block area determination method and tint block area determination program by the device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110905 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110905 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120709 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120713 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120911 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130208 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130409 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130507 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130604 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5288951 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D03 |