JP7024233B2 - Image processing equipment and image processing program - Google Patents

Image processing equipment and image processing program Download PDF

Info

Publication number
JP7024233B2
JP7024233B2 JP2017136219A JP2017136219A JP7024233B2 JP 7024233 B2 JP7024233 B2 JP 7024233B2 JP 2017136219 A JP2017136219 A JP 2017136219A JP 2017136219 A JP2017136219 A JP 2017136219A JP 7024233 B2 JP7024233 B2 JP 7024233B2
Authority
JP
Japan
Prior art keywords
laminated
mark
pixel
image
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017136219A
Other languages
Japanese (ja)
Other versions
JP2019020818A (en
Inventor
浩司郎 猪股
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Priority to JP2017136219A priority Critical patent/JP7024233B2/en
Publication of JP2019020818A publication Critical patent/JP2019020818A/en
Application granted granted Critical
Publication of JP7024233B2 publication Critical patent/JP7024233B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)

Description

本発明は、画像処理装置および画像処理プログラムに関する。 The present invention relates to an image processing apparatus and an image processing program.

記入済の帳票を自動で読み取って集計したいという要求がある。特許文献1には、マークシートのように塗りつぶして回答する種類の帳票について、回答が記入されたマークシートをスキャナ等で読み取って集計する技術が開示されている。 There is a request to automatically read the completed forms and total them. Patent Document 1 discloses a technique of scanning a mark sheet on which an answer is written with a scanner or the like and totaling the form of a type of form to be filled and answered, such as a mark sheet.

特開平2013―45309号公報Japanese Unexamined Patent Publication No. 2013-45309

本発明は、回答者の回答を伝える帳票について、集計結果の概要を把握する集計手法を取り入れた画像処理装置および画像処理プログラムを提供することを目的とする。 It is an object of the present invention to provide an image processing apparatus and an image processing program incorporating an aggregation method for grasping an outline of aggregation results for a form that conveys the answers of respondents.

請求項1は、
記入前の未記入帳票上に、目印の記入位置により回答者の回答を伝える個別目印が記入された複数枚の記入済帳票を表わす記入済帳票データを記憶する帳票記憶部と、
前記帳票記憶部に記憶された記入済帳票データを使って、前記複数枚の記入済帳票の各々に記入された個別目印が積層された積層目印が前記未記入帳票上に描かれた積層画像を表わす積層画像データを生成する積層画像生成部とを備えたことを特徴とする画像処理装置である。
請求項2は、前記積層画像生成部が、2値画像としての複数枚の記入済帳票を積層することにより前記積層画像を表わす積層画像データを生成することを特徴とする請求項1に記載の画像処理装置である。
Claim 1 is
A form storage unit that stores completed form data representing multiple completed forms with individual marks that convey the respondent's answer according to the entry position of the mark on the unfilled form before entry.
Using the completed form data stored in the form storage unit, a laminated image in which individual marks entered in each of the plurality of completed forms are laminated and a laminated mark is drawn on the unfilled form. It is an image processing apparatus including a laminated image generation unit for generating a laminated image data to be represented.
The second aspect of claim 1 is characterized in that the laminated image generation unit generates laminated image data representing the laminated image by laminating a plurality of completed forms as binary images. It is an image processing device.

請求項は、前記積層画像生成部が、前記積層目印の生成にあたり、前記個別目印の画素ごとの積層数に応じた画素ごとの濃度を有する積層目印を生成することを特徴とする請求項に記載の画像処理装置である。 Claim 3 is characterized in that, in generating the laminated mark, the laminated image generation unit generates a laminated mark having a density for each pixel according to the number of layers for each pixel of the individual mark. The image processing apparatus according to the above.

請求項は、前記積層画像生成部が、前記積層目印の生成にあたり、前記記入済帳票上の前記個別目印が記入されている領域を構成している各画素の2値化された画素値を、前記複数の記入済帳票に亘って互いに対応する画素ごとに積算し、積算値が予め定められた範囲内の値となるように正規化することを特徴とする請求項1または3に記載の画像処理装置である。 According to claim 4 , when the laminated image generation unit generates the laminated mark, the binarized pixel value of each pixel constituting the area where the individual mark is written on the completed form is used. The invention according to claim 1 or 3 , wherein the plurality of completed forms are integrated for each pixel corresponding to each other, and the integrated value is normalized so as to be within a predetermined range. It is an image processing device.

請求項は、前記積層画像生成部が、前記積層目印の生成にあたり、前記個別目印を、内側の領域を構成する各画素に2値化された画素値のうちの目印が存在することを表わす画素値が割り当てられるとともに外側の領域を構成する各画素に2値化された画素値のうちの目印が存在しないことを表わす画素値が割り当てられた標準目印に置換し、該標準目印に置換された後の各画素の2値化された画素値を、前記複数の記入済帳票に亘って互いに対応する画素ごとに積算し、積算値が予め定められた範囲内の値となるように正規化することを特徴とする請求項1または3に記載の画像処理装置である。 Claim 5 indicates that, when the laminated image generation unit generates the laminated mark, the individual mark has a mark among the pixel values binarized in each pixel constituting the inner region. The pixel value is assigned and the pixel value indicating that there is no mark among the binarized pixel values in each pixel constituting the outer region is replaced with the assigned standard mark and replaced with the standard mark. The binarized pixel values of each pixel after that are integrated for each pixel corresponding to each other over the plurality of filled-in forms, and normalized so that the integrated values are within a predetermined range. The image processing apparatus according to claim 1 or 3 , wherein the image processing apparatus is characterized by the above.

請求項は、前記積層画像生成部が、前記積層目印に対応づけて、該積層目印を構成する各画素の正規化前の積算値のうちの最大の積算値を記録した積層画像を表わす積層画像データを生成することを特徴とする請求項に記載の画像処理装置である。 In claim 6 , the laminated image generation unit represents a laminated image in which the maximum integrated value among the integrated values before normalization of each pixel constituting the laminated mark is recorded in association with the laminated mark. The image processing apparatus according to claim 5 , wherein the image data is generated.

請求項は、前記積層画像生成部が、前記積層目印の生成にあたり、前記個別目印を、内側の領域を構成する各画素に2値化された画素値のうちの目印が存在することを表わす画素値が割り当てられるとともに外側の領域を構成する各画素に2値化された画素値のうちの目印が存在しないことを表わす画素値が割り当てられた標準目印に置換し、各画素の2値化された画素値を、前記複数の記入済帳票に亘って互いに対応する画素ごとに積算し、積算値を閾値処理することにより目印の存在を強く表す画素群からなる目印領域を前記積層目印として生成することを特徴とする請求項1または3に記載の画像処理装置である。 According to claim 7 , when the laminated image generation unit generates the laminated mark, the individual mark indicates that each pixel constituting the inner region has a mark among the binarized pixel values. Pixel values are assigned and each pixel constituting the outer area is replaced with a standard mark to which a pixel value indicating that there is no mark among the binarized pixel values is assigned, and each pixel is binarized. The added pixel values are integrated over the plurality of completed forms for each pixel corresponding to each other, and the integrated values are threshold-processed to generate a marker area consisting of a group of pixels that strongly indicates the existence of the marker as the laminated marker. The image processing apparatus according to claim 1 or 3 , wherein the image processing apparatus is characterized in that.

請求項は、前記積層画像生成部が、前記積層目印に対応づけて、該積層目印を構成する各画素の閾値処理前の積算値のうちの最大の積算値を記録した積層画像を表わす積層画像データを生成することを特徴とする請求項に記載の画像処理装置である。 In claim 8 , the laminated image generation unit represents a laminated image in which the maximum integrated value among the integrated values before threshold processing of each pixel constituting the laminated mark is recorded in association with the laminated mark. The image processing apparatus according to claim 7 , wherein the image data is generated.

請求項は、前記積層画像生成部で生成された積層画像データにより表わされる積層画像を表示する積層画像表示部をさらに備えたことを特徴とする請求項1から8のうちのいずれか1項に記載の画像処理装置である。
請求項10は、
前記帳票記憶部が、前記複数枚の記入済み帳票それぞれと前記未記入帳票との間の複数の差分画像を記憶し、
前記積層画像生成部が、前記複数の差分画像と未記入帳票とを積層することにより、前記積層目印が前記未記入帳票上に描かれた積層画像を表わす積層画像データを生成することを特徴とする請求項1に記載の画像処理装置である。
Claim 9 is any one of claims 1 to 8 , further comprising a laminated image display unit that displays a laminated image represented by the laminated image data generated by the laminated image generation unit. The image processing apparatus according to the above.
Claim 10 is
The form storage unit stores a plurality of difference images between each of the plurality of filled-in forms and the unfilled form.
The laminated image generation unit is characterized in that by laminating the plurality of difference images and the blank form, the laminated image data representing the laminated image in which the laminated mark is drawn on the blank form is generated. The image processing apparatus according to claim 1.

請求項11は、
プログラムを実行する情報処理装置内で実行されて、該情報処理装置を、
記入前の未記入帳票上に、目印の記入位置により回答者の回答を伝える個別目印が記入された複数枚の記入済帳票を表わす記入済帳票データを記憶する帳票記憶部と、
前記帳票記憶部に記憶された記入済帳票データを使って、前記複数枚の記入済帳票の各々に記入された個別目印が積層された積層目印が前記未記入帳票上に描かれた積層画像を表わす積層画像データを生成する積層画像生成部とを備えた画像処理装置として動作させることを特徴とする画像処理プログラムである。
Claim 11 is
The information processing device is executed in the information processing device that executes the program.
A form storage unit that stores completed form data representing multiple completed forms with individual marks that convey the respondent's answer according to the entry position of the mark on the unfilled form before entry.
Using the completed form data stored in the form storage unit, a laminated image in which individual marks entered in each of the plurality of completed forms are laminated and a laminated mark is drawn on the unfilled form. It is an image processing program characterized by operating as an image processing apparatus including a laminated image generation unit for generating the laminated image data to be represented.

請求項1および請求項10の画像処理装置、並びに、請求項11の画像処理プログラムによれば、概要の把握に適した集計結果を得ることができる。
また、請求項1および請求項10の画像処理装置、並びに、請求項11の画像処理プログラムによれば、集計結果の概要を積層目印の広がり方により把握することができる。
請求項2の画像処理装置によれば、集計結果の概要を、複数の回答者による記入の分布により把握することができる。
According to the image processing apparatus of claims 1 and 10 , and the image processing program of claim 11 , it is possible to obtain an aggregation result suitable for grasping the outline.
Further, according to the image processing devices of claims 1 and 10, and the image processing program of claim 11, the outline of the aggregation result can be grasped by how the laminated marks are spread.
According to the image processing apparatus of claim 2, the outline of the aggregation result can be grasped by the distribution of entries by a plurality of respondents.

請求項の画像処理装置によれば、集計結果の概要を、積層目印の広がり方とその濃度とにより把握することができる。 According to the image processing apparatus of claim 3 , the outline of the aggregation result can be grasped by the way of spreading the laminated marks and the density thereof.

請求項および請求項の画像処理装置によれば、正規化しない場合と比べ、集計結果が正確な濃度で表わされる。 According to the image processing apparatus of claim 4 and claim 5 , the aggregation result is represented by an accurate density as compared with the case of not normalizing.

請求項の画像処理装置によれば、同じ回答をした回答者の概略人数を把握することができる。 According to the image processing apparatus of claim 6 , it is possible to grasp the approximate number of respondents who gave the same answer.

請求項の画像処理装置によれば、積層画像が二値画像で表示され、積層目印の広がり方により集計結果の概要を把握することができる。 According to the image processing apparatus of claim 7 , the laminated image is displayed as a binary image, and the outline of the aggregation result can be grasped by how the laminated marks are spread.

請求項の画像処理装置によれば、同じ回答をした回答者の概略人数を把握することができる。 According to the image processing apparatus of claim 8 , it is possible to grasp the approximate number of respondents who gave the same answer.

請求項の画像処理装置によれば、集計結果をその場で確認することができる。
According to the image processing apparatus of claim 9 , the aggregation result can be confirmed on the spot.

回答集計システムの模式図である。It is a schematic diagram of the answer totaling system. ノートPC内での画像処理プログラムの実行により実現する画像処理装置の機能ブロック図である。It is a functional block diagram of an image processing apparatus realized by execution of an image processing program in a notebook PC. 本発明の一実施形態としての画像処理プログラムのフローチャートを示した図である。It is a figure which showed the flowchart of the image processing program as one Embodiment of this invention. 未記入帳票と記入済帳票の一例を示した図である。It is a figure which showed an example of a blank form and a completed form. 第1例としての積層処理プログラムのフローチャートを示した図である。It is a figure which showed the flowchart of the stacking process program as a 1st example. 図5に示す積層処理プログラムの実行により生成された積層画像の一部を示した図である。It is a figure which showed a part of the laminated image generated by the execution of the laminated processing program shown in FIG. 本発明の別の実施形態に適用される画像処理プログラムのフローチャートを示した図である。It is a figure which showed the flowchart of the image processing program applied to another embodiment of this invention. 差分画像の一例を示した図である。It is a figure which showed an example of the difference image. 第2例としての積層処理プログラムのフローチャートを示した図である。It is a figure which showed the flowchart of the stacking process program as a 2nd example. 画素値変換の説明図である。It is explanatory drawing of the pixel value conversion. 第3例としての積層処理プログラムのフローチャートを示した図である。It is a figure which showed the flowchart of the stacking process program as a 3rd example. 第4例としての積層処理プログラムのフローチャートを示した図である。It is a figure which showed the flowchart of the stacking process program as a 4th example. 個別目印から標準目印への置き換えの説明図である。It is explanatory drawing of the replacement from the individual mark to the standard mark. 図12に示す積層処理プログラムの実行により生成された積層画像の一部を示した図である。It is a figure which showed a part of the laminated image generated by the execution of the laminated processing program shown in FIG. 第5例としての積層処理プログラムのフローチャートを示した図である。It is a figure which showed the flowchart of the stacking process program as a 5th example. 図15に示す積層処理プログラムの実行により生成された積層画像の一部を示した図である。It is a figure which showed a part of the laminated image generated by the execution of the laminated processing program shown in FIG.

以下、本発明の実施の形態について説明する。 Hereinafter, embodiments of the present invention will be described.

図1は、回答集計システムの模式図である。 FIG. 1 is a schematic diagram of a response aggregation system.

ここに示す回答集計システム10は、スキャナ20とノート型パーソナルコンピュータ(以下、「ノートPC」と略記する)30とを備えている。スキャナ20とノートPC30との間は、通信ケーブル40で接続されている。 The answer counting system 10 shown here includes a scanner 20 and a notebook personal computer (hereinafter, abbreviated as “notebook PC”) 30. The scanner 20 and the notebook PC 30 are connected by a communication cable 40.

スキャナ20は、帳票に記録されている画像を読み取って帳票データを生成する装置である。このスキャナ20のトレイ21上に帳票を置き、スタートボタン(不図示)を押すと、あるいは、ノートPCから指示を与えると、帳票が1枚、スキャナ20内に送り込まれる。スキャナ20内には帳票上の画像を光電的に読み取るセンサ(不図示)が備えられていて、スキャナ20内に送り込まれた帳票から、その帳票上に記録されている画像が光電的に読み取られて帳票データが生成される。記録されている画像が読み取られた後の帳票は、排紙トレイ22上に排出される。このトレイ21には複数枚の帳票を積み重ねて載置することができ、スキャナ20は、トレイ21上の複数枚の帳票を1枚ずつ順次にスキャナ20内に送り込み、その送り込まれた帳票上の画像を読み取り、読取後の帳票を排紙トレイ22上に排出する。 The scanner 20 is a device that reads an image recorded on a form and generates form data. When a form is placed on the tray 21 of the scanner 20 and the start button (not shown) is pressed, or when an instruction is given from the notebook PC, one form is sent into the scanner 20. The scanner 20 is provided with a sensor (not shown) that optically reads the image on the form, and the image recorded on the form is photoelectrically read from the form sent into the scanner 20. Form data is generated. After the recorded image is read, the form is discharged onto the paper ejection tray 22. A plurality of forms can be stacked and placed on the tray 21, and the scanner 20 sequentially sends the plurality of forms on the tray 21 into the scanner 20 one by one, and the scanner 20 sends the plurality of forms into the scanner 20 one by one. The image is read, and the read form is discharged onto the paper ejection tray 22.

また、このスキャナ20は、背面側に設けられた左右に延びるヒンジ(不図示)を回転中心として上蓋23を持ち上げることができる。この上蓋23を持ち上げてその下に帳票を1枚置き、上蓋23を閉じて、その置かれた帳票を読み取ることもできる。 Further, the scanner 20 can lift the upper lid 23 with a hinge (not shown) extending to the left and right provided on the back side as a rotation center. It is also possible to lift the upper lid 23, place one form under it, close the upper lid 23, and read the placed form.

このスキャナ20での読み取りにより得られた帳票データは、通信ケーブル40を経由してノートPC30に入力される。 The form data obtained by reading with the scanner 20 is input to the notebook PC 30 via the communication cable 40.

ノートPC30は、表示画面31やキーボード32を備えている。表示画面31は、0(黒)~255(白)の256階調の画像を表示する機能を有している。また、このノートPC30の内部には、プログラムを実行するためのCPUやメモリ等の設備を備えている。このノートPC30ではプログラムが実行されて、その実行されたプログラムに応じた処理が行われる。本実施形態に対応しては、このノートPCでは、後述する画像処理プログラムが実行される。このノートPC30内で実行される画像処理プログラムは、本発明の画像処理プログラムの一例に相当する。そして、このノートPC30は、この画像処理プログラムの実行により、本発明の一実施形態としての画像処理装置として動作する。 The notebook PC 30 includes a display screen 31 and a keyboard 32. The display screen 31 has a function of displaying an image having 256 gradations from 0 (black) to 255 (white). Further, inside the notebook PC 30, equipment such as a CPU and a memory for executing a program is provided. A program is executed in the notebook PC 30, and processing is performed according to the executed program. Corresponding to this embodiment, the image processing program described later is executed in this notebook PC. The image processing program executed in the notebook PC 30 corresponds to an example of the image processing program of the present invention. Then, the notebook PC 30 operates as an image processing device as an embodiment of the present invention by executing this image processing program.

図2は、ノートPC内での画像処理プログラムの実行により実現する画像処理装置の機能ブロック図である。 FIG. 2 is a functional block diagram of an image processing device realized by executing an image processing program in a notebook PC.

本実施形態の画像処理装置60は、帳票記憶部61と、積層画像生成部62と、積層画像表示部63とを有する。具体的な実施形態の例示は後回しにして、ここでは、各部61~63について概括的に説明する。なお、ここでは、データ上の帳票あるいは画像を取り扱っており、したがって、ここでは、特に区別する必要がある場合を除き、データ上の帳票あるいは画像であっても、データ上の帳票あるいは画像であることを特に明記することなく、単に「帳票」あるいは「画像」と称することがある。
帳票記憶部61は、スキャナ20で読み取って得た帳票を記憶する。ここに記憶される帳票は、記入前の未記入帳票上に回答者による記入がなされた記入済の帳票である。ここでは、集計に必要な複数枚の記入済帳票が記憶される。
ここで、本実施形態では、一例として、未記入帳票として、目印の記入位置により回答者の回答を伝える様式の帳票を採用している。記入済帳票は、この未記入帳票上に回答者が目印を記入した帳票である。ここでは、記入済帳票に記入されている目印を、後述する「積層目印」と区別するために「個別目印」と称する。
The image processing device 60 of the present embodiment includes a form storage unit 61, a laminated image generation unit 62, and a laminated image display unit 63. Examples of specific embodiments will be postponed, and here, each part 61 to 63 will be described in detail. It should be noted that here, the form or image on the data is dealt with, and therefore, unless it is necessary to distinguish it, even if it is the form or image on the data, it is the form or image on the data. It may be simply referred to as a "form" or "image" without specifying that.
The form storage unit 61 stores the form obtained by reading with the scanner 20. The form stored here is a completed form in which the respondent has filled in the blank form before filling in. Here, a plurality of completed forms required for aggregation are stored.
Here, in the present embodiment, as an example, as an unfilled form, a form in which the answer of the respondent is conveyed by the entry position of the mark is adopted. The completed form is a form in which the respondent has marked a mark on this blank form. Here, the mark entered in the completed form is referred to as an "individual mark" in order to distinguish it from the "stacked mark" described later.

なお、後述する実施形態の態様によっては、この帳票記憶部61には、回答者による回答が記入される前の未記入帳票も記憶される。ただし、未記入帳票を必要とする態様の場合であっても、スキャナ20で未記入帳票を読み取ることに代え、複数枚の記入済帳票を統計処理すること等により、未記入帳票を生成してもよい。 Depending on the embodiment described later, the form storage unit 61 also stores an unfilled form before the answer by the respondent is entered. However, even in the case of a mode in which an unfilled form is required, an unfilled form is generated by statistically processing a plurality of completed forms instead of reading the unfilled form with the scanner 20. May be good.

また、積層画像生成部62は、帳票記憶部61に記憶された複数枚の記入済帳票を使って、複数枚の記入済帳票が積層された積層画像を表わす積層画像データを生成する。この積層画像生成部62における積層処理の態様によっては、未記入帳票を必要とする。未記入帳票を必要とする態様の場合、後述する例では、スキャナ20から未記入帳票もスキャナ20から読み込まれる。ただし、上記の通り、未記入帳票を必要とする態様の場合であっても、未記入帳票をスキャナから読み込むことなしに、複数枚の記入済帳票を統計処理すること等により、未記入帳票を生成してもよい。
また、積層画像表示部63は、積層画像生成部62で生成された積層画像データにより表わされる積層画像を表示する。ここに示す例では、図2に示すノートPC30の表示画面31がこの表示を担っている。
次に、積層画像生成部62における積層処理の各例について概要を説明する。各例の詳細な説明は、後に譲る。
(第1例)
積層画像生成部62では、上記の積層目印の生成にあたり、2値画像としての複数枚の記入済帳票が単純に積層される。
(第2例)
積層画像生成部62では、上記の積層目印の生成にあたり、個別目印の画素ごとの積層数に応じた画素ごとの濃度を有する積層目印が生成される。
(第3例)
積層画像生成部62では、上記の積層目印の生成にあたり、記入済帳票上の個別目印が記入されている領域を構成している各画素の2値化された画素値が、複数の記入済帳票に亘って互いに対応する画素ごとに積算され、積算値が予め定められた範囲内の値となるように正規化される。
(第4例)
積層画像生成部62では、上記の積層目印の生成にあたり、個別目印が、内側の領域を構成する各画素に2値化された画素値のうちの目印が存在することを表わす画素値が割り当てられるとともに外側の領域を構成する各画素に2値化された画素値のうちの目印が存在しないことを表わす画素値が割り当てられた標準目印に置換され、標準目印に置換された後の各画素の2値化された画素値が、複数の記入済帳票に亘って互いに対応する画素ごとに積算され、積算値が予め定められた範囲内の値となるように正規化される。
Further, the laminated image generation unit 62 uses the plurality of filled-in forms stored in the form storage unit 61 to generate laminated image data representing a laminated image in which a plurality of filled-in forms are laminated. An unfilled form is required depending on the mode of the laminating process in the laminated image generation unit 62. In the case of a mode that requires an unfilled form, in the example described later, the unfilled form is also read from the scanner 20 from the scanner 20. However, as described above, even in the case of a mode that requires an unfilled form, the unfilled form can be obtained by statistically processing a plurality of completed forms without reading the unfilled form from the scanner. It may be generated.
Further, the laminated image display unit 63 displays a laminated image represented by the laminated image data generated by the laminated image generation unit 62. In the example shown here, the display screen 31 of the notebook PC 30 shown in FIG. 2 is responsible for this display.
Next, an outline of each example of the laminating process in the laminated image generation unit 62 will be described. A detailed explanation of each example will be given later.
(1st example)
In the laminated image generation unit 62, a plurality of completed forms as binary images are simply laminated in order to generate the above-mentioned laminated mark.
(2nd example)
In the laminated image generation unit 62, in generating the above-mentioned laminated mark, a laminated mark having a density for each pixel corresponding to the number of layers for each pixel of the individual mark is generated.
(3rd example)
In the laminated image generation unit 62, in generating the above-mentioned laminated mark, the binarized pixel values of each pixel constituting the area where the individual mark is written on the filled-in form are a plurality of filled-in forms. It is integrated for each pixel corresponding to each other, and the integrated value is normalized so as to be within a predetermined range.
(4th example)
In the laminated image generation unit 62, in generating the above-mentioned laminated mark, the individual mark is assigned a pixel value indicating that each pixel constituting the inner region has a mark among the binarized pixel values. In addition, the pixel value indicating that the mark among the binarized pixel values does not exist in each pixel constituting the outer region is replaced with the assigned standard mark, and each pixel after being replaced with the standard mark. The binarized pixel values are integrated for each pixel corresponding to each other over a plurality of completed forms, and are normalized so that the integrated values are within a predetermined range.

また、この第4例では、積層画像生成部では、上記の積層目印に対応づけて、その積層目印を構成する各画素の正規化前の積算値のうちの最大の積算値を記録した積層画像を表わす積層画像データが生成される。
(第5例)
積層画像生成部62では、上記の積層目印の生成にあたり、個別目印が、内側の領域を構成する各画素に2値化された画素値のうちの目印が存在することを表わす画素値が割り当てられるとともに外側の領域を構成する各画素に2値化された画素値のうちの目印が存在しないことを表わす画素値が割り当てられた標準目印に置換され、各画素の2値化された画素値が、複数の記入済帳票に亘って互いに対応する画素ごとに積算され、積算値が閾値処理されて目印の存在を強く表す画素群からなる目印領域が積層目印として生成される。
Further, in this fourth example, in the laminated image generation unit, the laminated image in which the maximum integrated value among the integrated values before normalization of each pixel constituting the laminated mark is recorded in association with the above-mentioned laminated mark. The laminated image data representing the above is generated.
(5th example)
In the laminated image generation unit 62, in generating the above-mentioned laminated mark, the individual mark is assigned a pixel value indicating that each pixel constituting the inner region has a mark among the binarized pixel values. At the same time, the pixel value indicating that the mark among the binarized pixel values does not exist in each pixel constituting the outer region is replaced with the assigned standard mark, and the binarized pixel value of each pixel is replaced with the standard mark. , A plurality of completed forms are integrated for each pixel corresponding to each other, and the integrated value is threshold-processed to generate a marker area consisting of a pixel group that strongly indicates the existence of the marker as a laminated marker.

また、この第5例では、積層画像生成部では、上記の積層目印に対応づけて、その積層目印を構成する各画素の閾値処理前の積算値のうちの最大の積算値を記録した積層画像を表わす積層画像データが生成される。 Further, in this fifth example, in the laminated image generation unit, the laminated image in which the maximum integrated value among the integrated values before the threshold processing of each pixel constituting the laminated mark is recorded in association with the above-mentioned laminated mark. The laminated image data representing the above is generated.

以下、上記の各例について詳細に説明する。 Hereinafter, each of the above examples will be described in detail.

図3は、本発明の一実施形態としての画像処理プログラムのフローチャートを示した図である。 FIG. 3 is a diagram showing a flowchart of an image processing program as an embodiment of the present invention.

図1に示すスキャナ20では、記入済帳票が白(値0)と黒(値1)の二値で読み取られ、二値画像としての記入済帳票データが生成される。その生成された記入済帳票データは、通信ケーブル40を経由してノートPC30に入力される。すると、この図3に示す画像処理プログラムが起動し、通信ケーブル40を経由してノートPC30に入力されてきた記入済帳票データが取得される(ステップS01)。なお、前述の通り、ここでは、特に必要がある場合を除き、データ上の帳票や画像であっても「データ」を省略し、「帳票」あるいは「画像」と称することがある。 In the scanner 20 shown in FIG. 1, the completed form is read by two values of white (value 0) and black (value 1), and the completed form data as a binary image is generated. The generated completed form data is input to the notebook PC 30 via the communication cable 40. Then, the image processing program shown in FIG. 3 is activated, and the completed form data input to the notebook PC 30 via the communication cable 40 is acquired (step S01). As described above, here, unless it is particularly necessary, even if it is a form or an image on the data, the "data" may be omitted and referred to as a "form" or an "image".

ステップS01において記入済帳票を取得すると、今回取得した1枚の記入済帳票が記憶される(ステップS02)。そして、これらステップS01,S02が、今回の集計に用いる記入済帳票が全て取得されるまで繰り返される(ステップS03)。 When the completed form is acquired in step S01, one completed form acquired this time is stored (step S02). Then, these steps S01 and S02 are repeated until all the completed forms used for this aggregation are acquired (step S03).

図4は、未記入帳票と記入済帳票の一例を示した図である。
ここで、図4(A)は、回答記入前の未記入帳票51を表している。ここには(1)~(3)の3つの設問があり、それら3つの設問に対する回答は、1~5の数字のうちのいずれか1つの数字を○印で囲うことによりその数字を選択する方式のものである。
FIG. 4 is a diagram showing an example of an unfilled form and a filled-in form.
Here, FIG. 4A shows an unfilled form 51 before the answer is filled in. There are three questions (1) to (3) here, and the answer to those three questions is to select the number by enclosing one of the numbers 1 to 5 with a circle. It is a method.

また、図4(B)は、図4(A)に示した帳票上に回答者が回答を記入した記入済帳票52を表している。スキャナ20で順次読み込まれた1枚1枚それぞれが記入済帳票として取り扱われる。 Further, FIG. 4B shows a completed form 52 in which the respondent has entered an answer on the form shown in FIG. 4A. Each sheet sequentially read by the scanner 20 is treated as a completed form.

この図4(B)に示されている一番上の1枚の記入済帳票52では、(1)の設問に関しては、回答者により、数字の「3」に、○印からなる個別目印521が記入されている。また、(2)の設問に関しては、数字の「1」に、○印からなる個別目印522が記入されている。さらに、(3)の設問に関しては、数字の「5」に、○印からなる個別目印523が記入されている。ここで説明している実施形態の場合、スキャナ20(図1参照)では図4(A)に示した未記入帳票は読み取られず、図4(B)に示した記入済帳票が順次読み取られる。 In the top completed form 52 shown in FIG. 4 (B), the respondents asked the respondents to use the number "3" and the individual mark 521 consisting of a circle in the completed form 52. Is filled in. Further, regarding the question (2), an individual mark 522 consisting of a circle is entered in the number "1". Further, regarding the question (3), an individual mark 523 consisting of a circle is entered in the number "5". In the case of the embodiment described here, the scanner 20 (see FIG. 1) does not read the unfilled form shown in FIG. 4 (A), but sequentially reads the filled-in form shown in FIG. 4 (B).

図3に戻って説明を続ける。 The explanation will be continued by returning to FIG.

今回の集計に用いる全ての記入済帳票の取得が終わると(ステップS03)、次に積層処理が実行される(ステップS04)。ここで実行される積層処理は、前述した第1例に対応する積層処理である。積層処理の詳細については後述する。 When the acquisition of all the completed forms used for this aggregation is completed (step S03), the stacking process is then executed (step S04). The laminating process executed here is the laminating process corresponding to the first example described above. The details of the laminating process will be described later.

積層処理が終了すると、その積層処理により生成された積層画像が、図1に示すノートPC30の表示画面31上に表示される。 When the laminating process is completed, the laminated image generated by the laminating process is displayed on the display screen 31 of the notebook PC 30 shown in FIG.

図5は、第1例としての積層処理プログラムのフローチャートを示した図である。 FIG. 5 is a diagram showing a flowchart of a stacking processing program as a first example.

この図5に示す積層処理プログラムは、図3のステップS04で実行される。この積層処理プログラムは、前述した第1例の積層処理を実行する積層処理プログラムである。 The stacking process program shown in FIG. 5 is executed in step S04 of FIG. This laminating processing program is a laminating processing program that executes the laminating processing of the first example described above.

ここでは、ステップS02で記憶した複数枚の記入済帳票が順次位置合わせされて積層される(ステップS11)。ここでは、回答済帳票中の未記入帳票相当の画素についても繰り返し積層されるが、位置合わせが行われているため、何度積層されても黒は黒のままであり、問題はない。積層処理が終了すると、白を表わす値0が、図1に示すノートPC30の表示画面31への表示上の白を表わす値255に変換され、白を表わす値0以外の値は全て表示上の黒を表わす値0に変換される。 Here, a plurality of completed forms stored in step S02 are sequentially aligned and stacked (step S11). Here, the pixels corresponding to the unfilled forms in the answered forms are also repeatedly laminated, but since the alignment is performed, black remains black no matter how many times they are laminated, and there is no problem. When the laminating process is completed, the value 0 representing white is converted into the value 255 representing white displayed on the display screen 31 of the notebook PC 30 shown in FIG. 1, and all the values other than the value 0 representing white are displayed. It is converted to the value 0 representing black.

図3のステップS05では、このようにして変換された白(255)と黒(0)の二値画像が表示される。 In step S05 of FIG. 3, a binary image of white (255) and black (0) converted in this way is displayed.

図6は、図5に示す積層処理プログラムの実行により生成された積層画像の一部を示した図である。この図6には、図4に示した帳票の、設問(1)の部分が示されている。 FIG. 6 is a diagram showing a part of the laminated image generated by executing the stacking processing program shown in FIG. FIG. 6 shows the part of question (1) in the form shown in FIG.

個々の回答者によって同じ設問について同じ番号に個別目印を記入した場合であっても個々の回答者により記入された個別目印にはその記入位置や形状にばらつきがある。このため、複数の回答者による個別目印を積層した積層目印は、記入位置や形状がばらばらな複数の個別目印がそのまま重なった画像となる。したがって、この積層画像を観察することによって、どの数字を選んだ回答者が多いか、あるいは少ないかの概略を把握することができる。 Even if individual respondents enter individual marks on the same number for the same question, the individual marks entered by individual respondents vary in their entry positions and shapes. For this reason, the laminated mark in which the individual marks by a plurality of respondents are laminated is an image in which the plurality of individual marks having different entry positions and shapes are overlapped as they are. Therefore, by observing this laminated image, it is possible to roughly grasp which number is selected by many or few respondents.

図7は、本発明の別の実施形態に適用される画像処理プログラムのフローチャートを示した図である。 FIG. 7 is a diagram showing a flowchart of an image processing program applied to another embodiment of the present invention.

図1に示すスキャナ20により、未記入帳票(図4(A)参照)と記入済帳票(図4(B)参照)が順次に、白(値0)と黒(値1)との二値で読み取られ、二値画像としての帳票データが生成される。その生成された帳票データは通信ケーブル40を経由してノートPC30に入力される。すると、この図7に示す画像処理プログラムが起動し、通信ケーブル40を経由してノートPC30に入力されてきた帳票データが取得される(ステップS21)。なお、前述の通り、ここでも、特に必要がある場合を除き、データ上の帳票や画像であっても「データ」を省略し、「帳票」あるいは「画像」と称することがある。 By the scanner 20 shown in FIG. 1, the blank form (see FIG. 4 (A)) and the filled form (see FIG. 4 (B)) are sequentially divided into two values, white (value 0) and black (value 1). It is read by and the form data as a binary image is generated. The generated form data is input to the notebook PC 30 via the communication cable 40. Then, the image processing program shown in FIG. 7 is activated, and the form data input to the notebook PC 30 via the communication cable 40 is acquired (step S21). As described above, also here, unless it is particularly necessary, even if it is a form or an image on the data, the "data" may be omitted and referred to as a "form" or an "image".

ステップS21にて帳票データを取得すると、今回取得した帳票データが1枚目の帳票を読み取って得た帳票データであるか2枚目以降の帳票データであるかが判定される(ステップS22)。 When the form data is acquired in step S21, it is determined whether the form data acquired this time is the form data obtained by reading the first form or the form data of the second and subsequent sheets (step S22).

本実施形態では、スキャナ20に、1枚目は未記入帳票を読み取らせ、その後、2枚目以降に記入済帳票を順次読み取らせるというルールを置いている。そこで、この画像処理プログラムは、取得した帳票データが1枚目の帳票のデータのときは、その帳票データを未記入帳票として記憶する(ステップS23)。2枚目以降についても帳票データの取得を繰り返し(ステップS25)、2枚目以降に取得した帳票は全て記入済帳票として記憶する(ステップS24)。 In the present embodiment, there is a rule that the scanner 20 is made to read the unfilled form for the first sheet, and then sequentially read the filled form for the second and subsequent sheets. Therefore, when the acquired form data is the data of the first form, this image processing program stores the form data as an unfilled form (step S23). The acquisition of form data is repeated for the second and subsequent sheets (step S25), and all the forms acquired for the second and subsequent sheets are stored as completed forms (step S24).

一連の帳票データの取得を終了すると(ステップS25)、今度は、記憶された未記入帳票が取り出される(ステップS26)。また、記憶された記入済帳票の中の未だ取り出されていない未処理の1枚の記入済帳票が取り出される(ステップS27)。記憶された記入済帳票の中に未処理の記入済帳票があったときは(ステップS28)、今回取り出した記入済帳票とステップS26で取り出した未記入帳票が位置合わせされたうえでそれらの差分画像が算出されて(ステップS29)、記憶される(ステップS30)。
図8は、差分画像の一例を示した図である。
この図8に示した差分画像53は、図4(A)に示した未記入帳票51と図4(B)の一番上に重ねられている記入済帳票52との差分画像である。この差分画像53上には、図4(B)の一番上に重ねられている記入済帳票52に記入されている3つの個別目印521,522,523があらわれている。
図7に戻って説明を続ける。
図7のステップS24において順次記憶された記入済帳票の全てについてステップS29,S30における差分画像の算出および記憶の処理が終了すると(ステップS28)、次に積層処理が実行される(ステップS31)。このステップS31における積層処理は、前述した第2例以降の各例に対応する積層処理である。ここでの積層処理の詳細については後述する。
When the acquisition of a series of form data is completed (step S25), the stored unfilled form is taken out (step S26). Further, one unprocessed completed form among the stored completed forms that has not been taken out is taken out (step S27). If there is an unprocessed completed form in the stored completed form (step S28), the completed form taken out this time and the unfilled form taken out in step S26 are aligned and the difference between them. The image is calculated (step S29) and stored (step S30).
FIG. 8 is a diagram showing an example of a difference image.
The difference image 53 shown in FIG. 8 is a difference image between the unfilled form 51 shown in FIG. 4A and the filled-in form 52 superimposed on the top of FIG. 4B. On the difference image 53, three individual marks 521, 522, 523 written on the completed form 52 superimposed on the top of FIG. 4B appear.
Returning to FIG. 7, the explanation will be continued.
When the calculation and storage processing of the difference image in steps S29 and S30 is completed for all of the filled-in forms sequentially stored in step S24 of FIG. 7 (step S28), the stacking process is then executed (step S31). The laminating process in step S31 is a laminating process corresponding to each of the second and subsequent examples described above. The details of the laminating process here will be described later.

積層処理が終了すると、その積層処理により生成された積層画像が、図1に示すノートPC30の表示画面31上に表示される。
図9は、第2例としての積層処理プログラムのフローチャートを示した図である。
この図9に示す積層処理プログラムは、図7のステップS31で実行される。この積層処理プログラムは、前述した第2例の積層処理を実行する積層処理プログラムである。
ここでは先ず、図7のステップS29で順次算出された各差分画像を構成する各画素の画素値が規定の値に変換される(ステップS31)。前述の通り、図1に示すスキャナ20では、帳票が画素ごとに白(値0)あるいは黒(値1)の画素値を有する二値画像として読み取られる。したがって、ステップS29で算出される各差分画像も、各画素の画素値が白(値0)あるいは黒(値1)からなる二値画像である。ここでは、一例として、白(値0)はそのままとし、黒(値1)を値0.01に変換する。
図10は、画素値変換の説明図である。ここで、図10(A)は、差分画像上にあらわれた1つの個別目印を示している。図10(B)は、図10(A)に示す矩形領域Rの拡大図である。また、図10(C)は、その矩形領域Rの変換後の画素値を示した図である。
矩形領域Rは、多数の画素(ここでは縦横4×4画素)で構成されている。ここで、図10(B)に示すように、個別目印の筆跡内の画素の画素値は、値1(黒)、個別目印の筆跡から外れた画素の画素値は値0(白)である。図9のステップS31では、値1(黒)の各画素の画素値が、一例として、図10(C)に示すように値0.01に変換される。
図9に戻って説明を続ける。
ステップS31において画素値を上記のように変換した上で、未記入帳票上に、各差分画像を位置を合わせながら順次に重ね合わせる(ステップS32)。ここで、未記入帳票は値0(白)と値1(黒)からなる二値画像である。未記入帳票上に全ての差分画像を重ね合わせた後、その重ね合わされた画像の、画素値が1.0を超えた画素について、その画素の画素値を値1にクリップする(ステップS33)。さらに、このクリップ処理の後、各画素の画素値を表示画面31(図1参照)上への表示のための画素値に変換する(ステップS34)。すなわち、ここでは、値1を表示上の黒の値である画素値0に置きかえ、値0を表示上の白の値である画素値255に置きかえる。また、値0と値1との中間の値は、255~0の途中の、対応する画素値に置きかえる。例えば、値0.8は、画素値31、値0.5は画素値127となる。
この表示上の画素値への変換処理(ステップS34)の実行により、第2例としての積層画像が生成される。
この図9の積層処理プログラムの実行によって生成される積層画像は、図6に示した第1例の積層画像に近似しているが画素ごとに重なった数に応じた濃度の画像となる。すなわち、この第2例における、複数の回答者による個別画像を積層した積層目印は、個別目印の記入位置や形状のバラつきとともに、濃度によっても、どの数字を選んだ回答者が多いか、あるいは少ないかの概略を把握することができる。
図11は、第3例としての積層処理プログラムのフローチャートを示した図である。
この図11に示す積層処理プログラムは、前述した第3例の積層処理を実行する積層処理プログラムであって、図11のステップS31において、図9に示した第2例としての積層処理プログラムに代わり実行される積層処理プログラムである。
ここでは先ず、図7のステップS29で算出された差分画像どうしが位置合わせの上順次に重ね合わされる(ステップS41)。ここで重ね合わされる各差分画像は、値0と値1とからなる二値画像である。また、この第3例におけるステップS41では、未記入帳票は重ね合わせの対象としていない。全ての差分画像が重ね合わされた後、次に、その重ね合わされた後の画像全域に亘る各画素の中の最小の画素値が値0、最大の画素値が値1となるように正規化される(ステップS42)。例えば、重ね合わせ後の画像の画素値の最大値が値512であったときは、値0が値0、値512が値1となるように、スケールが変換される。
次に、この差分画像が重ね合わされた画像にさらに未記入帳票が重ね合わされ(ステップS43)、値1を超える画素が値1にクリップされる(ステップS44)。これは、未記入帳票(値0と値1の二値画像)を重ね合わせた結果、値1を超える画素が出現する可能性があるからである。
このようにして、全ての画素の画素値が値0~値1の間の画素値となるように調整した後、図9のステップS34と同様にして、各画素の画素値を表示画面31(図1参照)上への表示のための画素値に変換する(ステップS45)。すなわち、ここでは、値1を表示上の黒の値である画素値0に置きかえ、値0を表示上の白の値である画素値255に置きかえる。また、値0と値1との中間の値は、255~0の途中の、対応する画素値に置きかえる。例えば、値0.8は、画素値31、値0.5は画素値127となる。
この表示上の画素値への変換処理(ステップS45)の実行により、第3例としての積層画像が生成される。
この図11の積層処理プログラムの実行によって生成される積層画像は、図6に示した第1例の積層画像に近似しているが画素ごとに重なった数に応じた濃度の画像となる。しかも、この濃度は、積層画像全域に亘って正規化されている。すなわち、この第3例における、複数の回答者による個別画像を積層した積層目印は、個別目印の記入位置や形状のバラつきとともに、サンプル数(記入済帳票の枚数)の多少に因らず積層目印相互の濃度比率によって、どの数字を選んだ回答者が多いか、あるいは少ないかの概略をより明確に把握することができる。
図12は、第4例としての積層処理プログラムのフローチャートを示した図である。
この図12に示す積層処理プログラムは、前述した第4例の積層処理を実行する積層処理プログラムであって、図11のステップS31において、図9に示した第2例および図11に示した第3例としての積層処理プログラムに代わり実行される積層処理プログラムである。
ここでは先ず、個別目印が標準目印に置き換えられる(ステップS51)。
図13は、個別目印から標準目印への置き換えの説明図である。
ここでは、標準目印の一例として、個別目印Aが内接する矩形の標準目印Bが採用されている。そして、その標準目印Bの内側の領域を構成する各画素には、2値化された画素値のうちの目印が存在することを表わす画素値、すなわち、ここに示す例では、値1が割り当てられる。一方、この標準目印Bの外側を構成する各画素には、2値化された画素値のうちの目印が存在しないことを表わす画素値、すなわち、ここに示す例では、値0が割り当てられる。
このようにして、全ての差分画像の全ての個別目印を標準目印に置き換え、差分画像を位置合わせした上、順次重ね合わせ、画素ごとに値を積算する(ステップS52)。
全ての差分画像の重ね合わせが終了すると、次に、その重ね合わされた後の画像全域に亘る各画素の中の最小の画素値が値0、最大の画素値が値1となるように正規化される(ステップS53)。例えば、重ね合わせ後の画像の画素値の最大値が値512であったときは、値0が値0、値512が値1となるように、スケールが変換される。
次に、今度は重ね合わされた後の画像全域ではなく、重ね合わせ後の各目印の最大値が抽出される(ステップS54)。例えば、重ね合わせ後の目印が2つあったとし、一方の目印の画素値の最大値が38、もう一方の目印の画素値の最大値が512のときは、数値38と数値512がそれぞれ抽出される。そして、このようにして抽出された各目印の最大値が、対応する目印の近くに数値で書き込まれる(ステップS55)。さらに多数の目印が存在するときも同様である。
次に、この差分画像が重ね合わされた画像にさらに未記入帳票が重ね合わされ(ステップS56)、値1を超える画素が値1にクリップされる(ステップS57)。これは、未記入帳票(値0と値1の二値画像)を重ね合わせた結果、値1を超える画素が出現する可能性があるからである。
このようにして、全ての画素の画素値が値0~値1の間の画素値となるように調整した後、各画素の画素値を表示画面31(図1参照)上への表示のための画素値に変換する(ステップS58)。すなわち、ここでは、値1を表示上の黒の値である画素値0に置きかえ、値0を表示上の白の値である画素値255に置きかえる。また、値0と値1との中間の値は、255~0の途中の、対応する画素値に置きかえる。例えば、値0.8は、画素値31、値0.5は画素値127となる。
この表示上の画素値への変換処理(ステップS58)の実行により、第4例としての積層画像が生成される。
図14は、図12に示す積層処理プログラムの実行により生成された積層画像の一部を示した図である。この図14には、図4に示した帳票の、設問(1)の部分が示されている。
この第4例の積層処理によれば、重ね合わされた目印の広がりや濃度でどの数値を選択した回答者が多いか、あるいは少ないかの概略を把握することができる。また、この第4例の積層処理によれば、目印の近くに書き込まれた38,512等の数値により、対応する1,2,3・・の各数値を選択した回答者の概略の人数を知ることもできる。
図15は、第5例としての積層処理プログラムのフローチャートを示した図である。
この図15に示す積層処理プログラムは、前述した第5例の積層処理を実行する積層処理プログラムであって、図11のステップS31において、図9に示した第2例、図11に示した第3例、および図12に示した第4例としての積層処理プログラムに代わり実行される積層処理プログラムである。
図12に示した第4例と同様、ここでも先ずは個別目印が標準目印(図13参照)に置き換えられる(ステップS61)。
そして、全ての差分画像の全ての個別目印を標準目印に置き換え、差分画像を位置合わせした上、順次重ね合わせ、画素ごとに値を積算する(ステップS62)。
次に、重ね合わせ後の各目印の最大値が抽出される(ステップS63)。例えば、重ね合わせ後の目印が2つあったとし、一方の目印の画素値の最大値が38、もう一方の目印の画素値の最大値が512のときは、数値38と数値512がそれぞれ抽出される。そして、このようにして抽出された各目印の最大値が、対応する目印の近くに数値で書き込まれる(ステップS64)。さらに多数の目印が存在するときも同様である。
次に、積層された目印ごとに閾値処理が行われる(ステップS65)。ここでは一例として、目印ごとの最大値の70%以上の値を持つ画素が抽出される。例えば、最大値が38の目印の場合は、27以上の値を持つ画素が抽出され、最大値が512の目印の場合は、359以上の値を持つ画素が抽出される。そして、抽出された画素には、値1が割り当てられ、抽出されなかった画素には、値0が割り当てられる。
次に、この差分画像が重ね合わされた画像にさらに未記入帳票が重ね合わされ(ステップS66)、値1を超える画素が値1にクリップされる(ステップS67)。これは、未記入帳票(値0と値1の二値画像)を重ね合わせた結果、値1を超える画素が出現する可能性があるからである。
このようにして、全ての画素の画素値が値0または値1となるように調整した後、各画素の画素値を表示画面31(図1参照)上への表示のための画素値に変換する(ステップS68)。すなわち、ここでは、値1を表示上の黒の値である画素値0に置きかえ、値0を表示上の白の値である画素値255に置きかえる。この第5例の場合、値0と値1との中間の値は存在しない。
この表示上の画素値への変換処理(ステップS68)の実行により、第5例としての積層画像が生成される。
図16は、図15に示す積層処理プログラムの実行により生成された積層画像の一部を示した図である。この図16には、図4に示した帳票の、設問(1)の部分が示されている。
この第5例の積層処理によれば、積層画像が二値画像として表示され、重ね合わされた目印の広がりでどの数値を選択した回答者が多いか、あるいは少ないかの概略を把握することができる。また、この第5例の積層処理によれば、目印の近くに書き込まれた38,512等の数値により、対応する1,2,3・・の各数値を選択した回答者の概略の人数を知ることができる。
なお、ここでは、目印として回答者による手書きの○印を例に挙げて説明したが、本発明にいう目印は、その記入位置により回答者の回答を伝えるものであればよく、特定の形状の目印に限定されるものではない。
When the laminating process is completed, the laminated image generated by the laminating process is displayed on the display screen 31 of the notebook PC 30 shown in FIG.
FIG. 9 is a diagram showing a flowchart of a stacking processing program as a second example.
The stacking process program shown in FIG. 9 is executed in step S31 of FIG. 7. This laminating processing program is a laminating processing program that executes the laminating processing of the second example described above.
Here, first, the pixel value of each pixel constituting each difference image sequentially calculated in step S29 of FIG. 7 is converted into a specified value (step S31). As described above, in the scanner 20 shown in FIG. 1, the form is read as a binary image having a pixel value of white (value 0) or black (value 1) for each pixel. Therefore, each difference image calculated in step S29 is also a binary image in which the pixel value of each pixel is white (value 0) or black (value 1). Here, as an example, white (value 0) is left as it is, and black (value 1) is converted to a value 0.01.
FIG. 10 is an explanatory diagram of pixel value conversion. Here, FIG. 10A shows one individual mark appearing on the difference image. 10 (B) is an enlarged view of the rectangular region R shown in FIG. 10 (A). Further, FIG. 10C is a diagram showing the pixel values of the rectangular region R after conversion.
The rectangular area R is composed of a large number of pixels (here, vertical and horizontal 4 × 4 pixels). Here, as shown in FIG. 10B, the pixel value of the pixel in the handwriting of the individual mark is a value 1 (black), and the pixel value of the pixel deviated from the handwriting of the individual mark is a value 0 (white). .. In step S31 of FIG. 9, the pixel value of each pixel having the value 1 (black) is converted to the value 0.01 as shown in FIG. 10 (C) as an example.
Returning to FIG. 9, the explanation will be continued.
After converting the pixel values as described above in step S31, the difference images are sequentially superimposed on the blank form while aligning the positions (step S32). Here, the blank form is a binary image composed of a value 0 (white) and a value 1 (black). After superimposing all the difference images on the blank form, the pixel value of the superimposed image is clipped to the value 1 for the pixel whose pixel value exceeds 1.0 (step S33). Further, after this clip processing, the pixel value of each pixel is converted into a pixel value for display on the display screen 31 (see FIG. 1) (step S34). That is, here, the value 1 is replaced with the pixel value 0, which is the black value on the display, and the value 0 is replaced with the pixel value 255, which is the white value on the display. Further, the value between the value 0 and the value 1 is replaced with the corresponding pixel value in the middle of 255 to 0. For example, a value of 0.8 is a pixel value of 31, and a value of 0.5 is a pixel value of 127.
By executing the conversion process (step S34) to the pixel value on the display, a laminated image as a second example is generated.
The laminated image generated by executing the stacking processing program of FIG. 9 is similar to the laminated image of the first example shown in FIG. 6, but has a density corresponding to the number of overlapping pixels. That is, in the laminated mark in which individual images by a plurality of respondents are laminated in this second example, which number is selected by many or few respondents depending on the density as well as the variation in the entry position and shape of the individual mark. You can get an overview of this.
FIG. 11 is a diagram showing a flowchart of a stacking processing program as a third example.
The laminating processing program shown in FIG. 11 is a laminating processing program that executes the laminating processing of the third example described above, and replaces the laminating processing program as the second example shown in FIG. 9 in step S31 of FIG. It is a stacking process program to be executed.
Here, first, the difference images calculated in step S29 of FIG. 7 are sequentially superimposed on each other after alignment (step S41). Each difference image superimposed here is a binary image composed of a value 0 and a value 1. Further, in step S41 in this third example, the unfilled form is not the target of superposition. After all the difference images are overlaid, the minimum pixel value in each pixel over the entire overlaid image is then normalized to a value of 0 and the maximum pixel value to a value of 1. (Step S42). For example, when the maximum value of the pixel value of the superimposed image is the value 512, the scale is converted so that the value 0 becomes the value 0 and the value 512 becomes the value 1.
Next, an unfilled form is further superimposed on the image on which the difference image is superimposed (step S43), and the pixels exceeding the value 1 are clipped to the value 1 (step S44). This is because there is a possibility that pixels exceeding the value 1 may appear as a result of superimposing the blank forms (binary images of the value 0 and the value 1).
In this way, after adjusting the pixel values of all the pixels to be the pixel values between the value 0 and the value 1, the pixel values of each pixel are displayed on the display screen 31 (in the same manner as in step S34 of FIG. 9). (See FIG. 1) Converting to a pixel value for display on the top (step S45). That is, here, the value 1 is replaced with the pixel value 0, which is the black value on the display, and the value 0 is replaced with the pixel value 255, which is the white value on the display. Further, the value between the value 0 and the value 1 is replaced with the corresponding pixel value in the middle of 255 to 0. For example, a value of 0.8 is a pixel value of 31, and a value of 0.5 is a pixel value of 127.
By executing the conversion process (step S45) to the pixel value on the display, a laminated image as a third example is generated.
The laminated image generated by executing the stacking processing program of FIG. 11 is similar to the laminated image of the first example shown in FIG. 6, but has a density corresponding to the number of overlapping pixels. Moreover, this density is normalized over the entire laminated image. That is, in this third example, the laminated mark in which individual images by a plurality of respondents are laminated is not only the variation in the entry position and shape of the individual mark, but also the laminated mark regardless of the number of samples (the number of completed forms). Depending on the mutual concentration ratio, it is possible to get a clearer outline of which number is selected by many or few respondents.
FIG. 12 is a diagram showing a flowchart of a stacking processing program as a fourth example.
The stacking process program shown in FIG. 12 is a stacking process program that executes the stacking process of the fourth example described above, and is the second example shown in FIG. 9 and the second layer shown in FIG. 11 in step S31 of FIG. It is a stacking process program executed in place of the stacking process program as three examples.
Here, first, the individual mark is replaced with the standard mark (step S51).
FIG. 13 is an explanatory diagram of replacement of an individual marker with a standard marker.
Here, as an example of the standard mark, the rectangular standard mark B inscribed by the individual mark A is adopted. Then, a pixel value indicating that the mark among the binarized pixel values exists in each pixel constituting the area inside the standard mark B, that is, in the example shown here, the value 1 is assigned. Be done. On the other hand, each pixel constituting the outside of the standard mark B is assigned a pixel value indicating that the mark among the binarized pixel values does not exist, that is, in the example shown here, the value 0 is assigned.
In this way, all the individual marks of all the difference images are replaced with standard marks, the difference images are aligned, sequentially superposed, and the values are integrated for each pixel (step S52).
When the superposition of all the difference images is completed, then normalization is performed so that the minimum pixel value in each pixel over the entire superimposed image is a value 0 and the maximum pixel value is a value 1. (Step S53). For example, when the maximum value of the pixel value of the superimposed image is the value 512, the scale is converted so that the value 0 becomes the value 0 and the value 512 becomes the value 1.
Next, this time, the maximum value of each mark after superimposition is extracted, not the entire area of the superimposed image (step S54). For example, if there are two marks after superimposition, and the maximum value of the pixel value of one mark is 38 and the maximum value of the pixel value of the other mark is 512, the numerical value 38 and the numerical value 512 are extracted, respectively. Will be done. Then, the maximum value of each mark extracted in this way is written numerically near the corresponding mark (step S55). The same applies when there are many more landmarks.
Next, an unfilled form is further superimposed on the image on which the difference image is superimposed (step S56), and the pixels exceeding the value 1 are clipped to the value 1 (step S57). This is because there is a possibility that pixels exceeding the value 1 may appear as a result of superimposing the blank forms (binary images of the value 0 and the value 1).
In this way, after adjusting the pixel values of all the pixels to be between the value 0 and the value 1, the pixel values of each pixel are displayed on the display screen 31 (see FIG. 1). It is converted into the pixel value of (step S58). That is, here, the value 1 is replaced with the pixel value 0, which is the black value on the display, and the value 0 is replaced with the pixel value 255, which is the white value on the display. Further, the value between the value 0 and the value 1 is replaced with the corresponding pixel value in the middle of 255 to 0. For example, a value of 0.8 is a pixel value of 31, and a value of 0.5 is a pixel value of 127.
By executing the conversion process (step S58) to the pixel value on the display, a laminated image as a fourth example is generated.
FIG. 14 is a diagram showing a part of the laminated image generated by executing the stacking processing program shown in FIG. 12. FIG. 14 shows the part of question (1) in the form shown in FIG.
According to the laminating process of the fourth example, it is possible to roughly grasp which numerical value is selected by the spread and density of the superposed marks, which number is large or small. Further, according to the laminating process of the fourth example, the approximate number of respondents who selected the corresponding numerical values of 1, 2, 3, ... By the numerical values of 38, 512, etc. written near the mark. You can also know.
FIG. 15 is a diagram showing a flowchart of a stacking processing program as a fifth example.
The laminating process program shown in FIG. 15 is a laminating process program that executes the laminating process of the fifth example described above, and is the second example shown in FIG. 9 and the second shown in FIG. 11 in step S31 of FIG. It is a stacking process program executed in place of the stacking process program as the third example and the fourth example shown in FIG.
Similar to the fourth example shown in FIG. 12, the individual mark is first replaced with the standard mark (see FIG. 13) (step S61).
Then, all the individual marks of all the difference images are replaced with standard marks, the difference images are aligned, sequentially superposed, and the values are integrated for each pixel (step S62).
Next, the maximum value of each mark after superimposition is extracted (step S63). For example, if there are two marks after superimposition, and the maximum value of the pixel value of one mark is 38 and the maximum value of the pixel value of the other mark is 512, the numerical value 38 and the numerical value 512 are extracted, respectively. Will be done. Then, the maximum value of each mark extracted in this way is written numerically near the corresponding mark (step S64). The same applies when there are many more landmarks.
Next, threshold processing is performed for each of the stacked marks (step S65). Here, as an example, pixels having a value of 70% or more of the maximum value for each mark are extracted. For example, when the mark has a maximum value of 38, pixels having a value of 27 or more are extracted, and when the mark has a maximum value of 512, pixels having a value of 359 or more are extracted. Then, a value 1 is assigned to the extracted pixels, and a value 0 is assigned to the pixels that are not extracted.
Next, an unfilled form is further superimposed on the image on which the difference image is superimposed (step S66), and the pixels exceeding the value 1 are clipped to the value 1 (step S67). This is because there is a possibility that pixels exceeding the value 1 may appear as a result of superimposing the blank forms (binary images of the value 0 and the value 1).
In this way, after adjusting the pixel values of all the pixels to have a value of 0 or a value of 1, the pixel values of each pixel are converted into pixel values for display on the display screen 31 (see FIG. 1). (Step S68). That is, here, the value 1 is replaced with the pixel value 0, which is the black value on the display, and the value 0 is replaced with the pixel value 255, which is the white value on the display. In the case of this fifth example, there is no intermediate value between the value 0 and the value 1.
By executing the conversion process (step S68) to the pixel value on the display, a laminated image as a fifth example is generated.
FIG. 16 is a diagram showing a part of the laminated image generated by executing the stacking processing program shown in FIG. FIG. 16 shows the part of question (1) in the form shown in FIG.
According to the laminating process of the fifth example, the laminated image is displayed as a binary image, and it is possible to roughly grasp which numerical value is selected by the spread of the superimposed marks, which number is large or small. .. Further, according to the laminating process of the fifth example, the approximate number of respondents who selected the corresponding numerical values of 1, 2, 3 ... You can know.
Here, the mark handwritten by the respondent is taken as an example as a mark, but the mark referred to in the present invention may have a specific shape as long as it conveys the answer of the respondent according to the entry position. It is not limited to landmarks.

10 回答集計システム
20 スキャナ
30 ノート型パーソナルコンピュータ(ノートPC)
31 表示画面
40 通信ケーブル
60 画像処理装置
61 帳票記憶部
62 積層画像生成部
63 積層画像表示部
10 Answer tabulation system 20 Scanner 30 Notebook type personal computer (notebook PC)
31 Display screen 40 Communication cable 60 Image processing device 61 Form storage unit 62 Stacked image generation unit 63 Stacked image display unit

Claims (11)

記入前の未記入帳票上に、目印の記入位置により回答者の回答を伝える個別目印が記入された複数枚の記入済帳票を表わす記入済帳票データを記憶する帳票記憶部と、
前記帳票記憶部に記憶された記入済帳票データを使って、前記複数枚の記入済帳票の各々に記入された個別目印が積層された積層目印が前記未記入帳票上に描かれた積層画像を表わす積層画像データを生成する積層画像生成部とを備えたことを特徴とする画像処理装置。
A form storage unit that stores completed form data representing multiple completed forms with individual marks that convey the respondent's answer according to the entry position of the mark on the unfilled form before entry.
Using the completed form data stored in the form storage unit, a laminated image in which individual marks entered in each of the plurality of completed forms are laminated and a laminated mark is drawn on the unfilled form. An image processing apparatus including a laminated image generation unit that generates laminated image data to be represented.
前記積層画像生成部が、2値画像としての複数枚の記入済帳票を積層することにより前記積層画像を表わす積層画像データを生成することを特徴とする請求項1に記載の画像処理装置。 The image processing apparatus according to claim 1, wherein the laminated image generation unit generates laminated image data representing the laminated image by stacking a plurality of completed forms as binary images. 前記積層画像生成部が、前記積層目印の生成にあたり、前記個別目印の画素ごとの積層数に応じた画素ごとの濃度を有する積層目印を生成することを特徴とする請求項1に記載の画像処理装置。 The image processing according to claim 1 , wherein the laminated image generation unit generates a laminated mark having a density for each pixel according to the number of layers for each pixel of the individual mark when generating the laminated mark. Device. 前記積層画像生成部が、前記積層目印の生成にあたり、前記記入済帳票上の前記個別目印が記入されている領域を構成している各画素の2値化された画素値を、前記複数の記入済帳票に亘って互いに対応する画素ごとに積算し、積算値が予め定められた範囲内の値となるように正規化することを特徴とする請求項1または3に記載の画像処理装置。 When the laminated image generation unit generates the laminated mark, the plurality of input pixel values of the binarized pixels constituting the area where the individual mark is written on the completed form are entered. The image processing apparatus according to claim 1 or 3 , wherein the integrated form is integrated for each pixel corresponding to each other and normalized so that the integrated value becomes a value within a predetermined range . 前記積層画像生成部が、前記積層目印の生成にあたり、前記個別目印を、内側の領域を構成する各画素に2値化された画素値のうちの目印が存在することを表わす画素値が割り当てられるとともに外側の領域を構成する各画素に2値化された画素値のうちの目印が存在しないことを表わす画素値が割り当てられた標準目印に置換し、該標準目印に置換された後の各画素の2値化された画素値を、前記複数の記入済帳票に亘って互いに対応する画素ごとに積算し、積算値が予め定められた範囲内の値となるように正規化することを特徴とする請求項1または3に記載の画像処理装置。 When the laminated image generation unit generates the laminated mark, the individual mark is assigned a pixel value indicating that each pixel constituting the inner region has a mark among the binarized pixel values. At the same time, each pixel constituting the outer region is replaced with a standard mark to which a pixel value indicating that a mark among the binarized pixel values does not exist is assigned, and each pixel after being replaced with the standard mark. The binarized pixel value of is integrated for each pixel corresponding to each other over the plurality of completed forms, and the integrated value is normalized so as to be within a predetermined range. The image processing apparatus according to claim 1 or 3 . 前記積層画像生成部が、前記積層目印に対応づけて、該積層目印を構成する各画素の正規化前の積算値のうちの最大の積算値を記録した積層画像を表わす積層画像データを生成することを特徴とする請求項に記載の画像処理装置。 The laminated image generation unit generates laminated image data representing a laminated image in which the maximum integrated value among the integrated values before normalization of each pixel constituting the laminated mark is recorded in association with the laminated mark. The image processing apparatus according to claim 5 . 前記積層画像生成部が、前記積層目印の生成にあたり、前記個別目印を、内側の領域を構成する各画素に2値化された画素値のうちの目印が存在することを表わす画素値が割り当てられるとともに外側の領域を構成する各画素に2値化された画素値のうちの目印が存在しないことを表わす画素値が割り当てられた標準目印に置換し、各画素の2値化された画素値を、前記複数の記入済帳票に亘って互いに対応する画素ごとに積算し、積算値を閾値処理することにより目印の存在を強く表す画素群からなる目印領域を前記積層目印として生成することを特徴とする請求項1または3に記載の画像処理装置。 When the laminated image generation unit generates the laminated mark, the individual mark is assigned a pixel value indicating that each pixel constituting the inner region has a mark among the binarized pixel values. At the same time, the pixel value indicating that there is no mark among the binarized pixel values in each pixel constituting the outer region is replaced with a standard mark to which a mark is assigned, and the binarized pixel value of each pixel is replaced with a standard mark. It is characterized in that a mark area consisting of a group of pixels that strongly indicates the existence of a mark is generated as the laminated mark by integrating each of the pixels corresponding to each other over the plurality of completed forms and performing threshold processing on the integrated value. The image processing apparatus according to claim 1 or 3 . 前記積層画像生成部が、前記積層目印に対応づけて、該積層目印を構成する各画素の閾値処理前の積算値のうちの最大の積算値を記録した積層画像を表わす積層画像データを生成することを特徴とする請求項に記載の画像処理装置。 The laminated image generation unit generates laminated image data representing a laminated image in which the maximum integrated value among the integrated values before threshold processing of each pixel constituting the laminated mark is recorded in association with the laminated mark . The image processing apparatus according to claim 7 , wherein the image processing apparatus is characterized by the above. 前記積層画像生成部で生成された積層画像データにより表わされる積層画像を表示する積層画像表示部をさらに備えたことを特徴とする請求項1から8のうちのいずれか1項に記載の画像処理装置。 The image processing according to any one of claims 1 to 8 , further comprising a laminated image display unit for displaying a laminated image represented by the laminated image data generated by the laminated image generation unit. Device. 前記帳票記憶部が、前記複数枚の記入済み帳票それぞれと前記未記入帳票との間の複数の差分画像を記憶し、
前記積層画像生成部が、前記複数の差分画像と未記入帳票とを積層することにより、前記積層目印が前記未記入帳票上に描かれた積層画像を表わす積層画像データを生成することを特徴とする請求項1に記載の画像処理装置。
The form storage unit stores a plurality of difference images between each of the plurality of filled-in forms and the unfilled form.
The laminated image generation unit is characterized in that by laminating the plurality of difference images and the blank form, the laminated image data representing the laminated image in which the laminated mark is drawn on the blank form is generated. The image processing apparatus according to claim 1 .
プログラムを実行する情報処理装置内で実行されて、該情報処理装置を、The information processing device is executed in the information processing device that executes the program.
記入前の未記入帳票上に、目印の記入位置により回答者の回答を伝える個別目印が記入された複数枚の記入済帳票を表わす記入済帳票データを記憶する帳票記憶部と、A form storage unit that stores completed form data representing multiple completed forms with individual marks that convey the respondent's answer according to the entry position of the mark on the unfilled form before entry.
前記帳票記憶部に記憶された記入済帳票データを使って、前記複数枚の記入済帳票の各々に記入された個別目印が積層された積層目印が前記未記入帳票上に描かれた積層画像を表わす積層画像データを生成する積層画像生成部とを備えた画像処理装置として動作させることを特徴とする画像処理プログラム。Using the completed form data stored in the form storage unit, a laminated image in which individual marks entered in each of the plurality of completed forms are laminated and a laminated mark is drawn on the unfilled form. An image processing program characterized by operating as an image processing device including a laminated image generation unit for generating the laminated image data to be represented.
JP2017136219A 2017-07-12 2017-07-12 Image processing equipment and image processing program Active JP7024233B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017136219A JP7024233B2 (en) 2017-07-12 2017-07-12 Image processing equipment and image processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017136219A JP7024233B2 (en) 2017-07-12 2017-07-12 Image processing equipment and image processing program

Publications (2)

Publication Number Publication Date
JP2019020818A JP2019020818A (en) 2019-02-07
JP7024233B2 true JP7024233B2 (en) 2022-02-24

Family

ID=65354743

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017136219A Active JP7024233B2 (en) 2017-07-12 2017-07-12 Image processing equipment and image processing program

Country Status (1)

Country Link
JP (1) JP7024233B2 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011009813A (en) 2009-06-23 2011-01-13 Ricoh Co Ltd Image extraction device

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011009813A (en) 2009-06-23 2011-01-13 Ricoh Co Ltd Image extraction device

Also Published As

Publication number Publication date
JP2019020818A (en) 2019-02-07

Similar Documents

Publication Publication Date Title
US9336437B2 (en) Segregation of handwritten information from typographic information on a document
US10713528B2 (en) System for determining alignment of a user-marked document and method thereof
JP6759951B2 (en) Learning support program, learning support device, learning tool generation notebook and learning tool generation method
CN101923644A (en) Image processing method, image processing apparatus and image forming apparatus
JP2008259156A (en) Information processing device, information processing system, information processing method, program, and storage medium
CN102339352A (en) Electronic paper marking method
Baker et al. Tactile graphics with a voice
JP7024233B2 (en) Image processing equipment and image processing program
JP6662023B2 (en) Image processing apparatus and image processing program
CN108334869A (en) Selection, face identification method and the device and electronic equipment of face component
JP5130081B2 (en) Control device and image data display method
CN106446865A (en) Answer sheet processing method and device
JP2008309961A (en) Marking system and marking program
JP6907565B2 (en) Image processing equipment and image processing program
CN115271015A (en) Two-dimensional code generation method, scanning method, device, system, equipment and medium
CN112052698A (en) Privacy protection design method based on questionnaire, storage medium and equipment
KR102607174B1 (en) Counting method of objects included in multiple images using an image analysis server and object counting system
JP7450131B2 (en) Image processing system, image processing method, and program
WO2023181102A1 (en) Image processing system, image processing method, and program
Rachchh et al. Inclusion of vertical bar in the OMR sheet for image-based robust and fast OMR evaluation technique using mobile phone camera
JP4341620B2 (en) Entry document creation device and creation method, entry content extraction device and extraction method
JP6939863B2 (en) Application processing equipment and programs
JP2007257337A (en) Attendance checking method
JP7342655B2 (en) Information processing device, control method and program
US20210390325A1 (en) System for determining alignment of a user-marked document and method thereof

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200619

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210615

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210622

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20210803

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210811

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220111

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220124

R150 Certificate of patent or registration of utility model

Ref document number: 7024233

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150