JP7017027B2 - 検索装置、検索プログラム、および検索システム - Google Patents

検索装置、検索プログラム、および検索システム Download PDF

Info

Publication number
JP7017027B2
JP7017027B2 JP2017052766A JP2017052766A JP7017027B2 JP 7017027 B2 JP7017027 B2 JP 7017027B2 JP 2017052766 A JP2017052766 A JP 2017052766A JP 2017052766 A JP2017052766 A JP 2017052766A JP 7017027 B2 JP7017027 B2 JP 7017027B2
Authority
JP
Japan
Prior art keywords
search
character string
information
unit
character
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017052766A
Other languages
English (en)
Other versions
JP2018156403A (ja
Inventor
俊一 木村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Priority to JP2017052766A priority Critical patent/JP7017027B2/ja
Priority to US15/893,847 priority patent/US10977301B2/en
Publication of JP2018156403A publication Critical patent/JP2018156403A/ja
Application granted granted Critical
Publication of JP7017027B2 publication Critical patent/JP7017027B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53Querying
    • G06F16/532Query formulation, e.g. graphical querying
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201Dedicated interfaces to print systems
    • G06F3/1202Dedicated interfaces to print systems specifically adapted to achieve a particular effect
    • G06F3/1203Improving or facilitating administration, e.g. print management
    • G06F3/1205Improving or facilitating administration, e.g. print management resulting in increased flexibility in print job configuration, e.g. job settings, print requirements, job tickets
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201Dedicated interfaces to print systems
    • G06F3/1223Dedicated interfaces to print systems specifically adapted to use a particular technique
    • G06F3/1237Print job management
    • G06F3/126Job scheduling, e.g. queuing, determine appropriate device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201Dedicated interfaces to print systems
    • G06F3/1278Dedicated interfaces to print systems specifically adapted to adopt a particular infrastructure
    • G06F3/1285Remote printer device, e.g. being remote from client or server
    • G06F3/1286Remote printer device, e.g. being remote from client or server via local network
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/12Detection or correction of errors, e.g. by rescanning the pattern
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/22Character recognition characterised by the type of writing
    • G06V30/226Character recognition characterised by the type of writing of cursive writing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Character Discrimination (AREA)

Description

本発明は、検索装置、検索プログラム、および検索システムに関する。
従来、OCR(optical character recognition:光学的文字認識)によって認識された文字列を用いて検索を行う検索装置や検索システムが知られている。
例えば特許文献1には、検索結果の文字列と検索対象の文字列とを照合して検索結果の文字列を評価することによって、検索結果の文字列の信頼度を算出する技術が開示されている。
また、例えば特許文献2には、記憶されている画像情報を認識し、類似度の程度に応じて認識結果として出力する候補文字数を切り替えながら認識結果を出力するOCR処理部2と、認識結果から検索用の文字列を作成し、検索用ファイルとして登録する文書検索部3とを備えた情報処理装置が開示されている。
また、例えば特許文献3には、受信した認識パターンに含まれる正常文字列と誤認識文字列とにより、検索対象データ内の文字列を検索する文字列検索システムが開示されている。
特開2016-081445号公報 特開平08-007033号公報 特開2014-059674号公報
OCRによる認識文字列を検索キーとして検索を行う場合、一般的には、検索結果を人手で確認し、検索結果が誤っている場合には検索キーを人手で入力して再検索している。しかしながら、特に手書き文字に対するOCRによる認識文字列を検索キーとした検索では、人による入力によって検索した場合と比較して再検索が必要になる割合が高く、全件について人が検索結果を確認すると検索後の確認や再検索の手間が煩わしい。
本発明は、全件について人が検索結果を確認する場合に較べ、検索後の確認や再検索の手間を軽減することを目的とする。
請求項1に係る検索装置は、
文字認識装置で認識された文字列を取得する文字列取得部と、
上記文字列を検索キーとして情報源に送り、その情報源が有する情報のうちその検索キーに対応した検索結果情報を入手する検索部と、
検索の誤りの原因および結果のうち少なくとも一方である誤り因子が存在するか否かの判定を行う判定部と、
上記判定部によって上記誤り因子が存在すると判定された場合には上記文字列に替わる検索キーの入力作業を作業者に求め、上記誤り因子が存在しないと判定された場合には上記検索結果情報の確認作業を作業者に求める作業分岐部と、
を備えたことを特徴とする。
請求項2に係る検索装置は、請求項1の検索装置において、
上記判定部が、上記誤りの原因として、上記文字列が誤っているか否かを判定することを特徴とする。
請求項3に係る検索装置は、請求項2の検索装置において、
上記判定部は、上記検索部が上記文字列を上記情報源に送る前に判定を行うものであり、
上記作業分岐部は、上記判定部によって上記文字列が誤っていると判定された場合には、上記検索部から上記情報源への上記文字列の送付を行わず、その文字列に替わる検索キーの入力作業を作業者に求めるものであることを特徴とする。
請求項4に係る検索装置は、請求項1または2の検索装置において、
上記文字列取得部が、複数の項目それぞれについて上記文字認識装置で認識された複数の文字列を取得するものであり、
上記検索部が、上記複数の文字列を組み合わせた検索キーを上記情報源に送るものであり、
上記判定部が、上記複数の文字列それぞれにおける確からしさを組み合わせて、上記誤りの原因が存在するか否かを判定するものであることを特徴とする。
請求項5に係る検索装置は、請求項1の検索装置において、
上記判定部が、上記情報源から取得された情報の確認によって上記誤りの結果が存在するか否かを判定するものであることを特徴とする。
請求項6に係る検索装置は、請求項2から5の検索装置において、
上記判定部が、上記文字列が誤っているか否かの判定と、上記情報源から取得された情報の確認との組み合わせによって、上記誤り因子が存在するか否かの判定を行うものであることを特徴とする。
請求項7に係る検索プログラムは、
情報処理装置に組み込まれ、その情報処理装置を、
文字認識装置で認識された文字列を取得する文字列取得部と、
上記文字列を検索キーとして情報源に送り、その情報源が有する情報のうちその検索キーに対応した検索結果情報を入手する検索部と、
検索の誤りの原因および結果のうち少なくとも一方である誤り因子が存在するか否かの判定を行う判定部と、
上記判定部によって上記誤り因子が存在すると判定された場合には上記文字列に替わる検索キーの入力作業を作業者に求め、上記誤り因子が存在しないと判定された場合には上記検索結果情報の確認作業を作業者に求める作業分岐部と、
を備えた検索装置として動作させることを特徴とする。
請求項8 に係る検索システムは、
文字認識を行う文字認識装置と、
情報が蓄積されていて検索キーが入力され、それらの情報のうちその検索キーに対応する情報を検索し検索結果情報として出力する情報源と、
上記文字認識装置で認識された文字列を検索キーとした検索を上記情報源に実行させる検索装置とを備え、
上記検索装置が、
上記文字認識装置で認識された文字列を取得する文字列取得部と、
上記文字列を検索キーとして上記情報源に送り、その情報源が有する情報のうちその検索キーに対応した検索結果情報を入手する検索部と、
検索の誤りの原因および結果のうち少なくとも一方である誤り因子が存在するか否かの判定を行う判定部と、
上記判定部によって上記誤り因子が存在すると判定された場合には上記文字列に替わる検索キーの入力作業を作業者に求め、上記誤り因子が存在しないと判定された場合には上記検索結果情報の確認作業を作業者に求める作業分岐部と、
を備えたことを特徴とする。
請求項1に係る検索装置、請求項7に係る検索プログラム、および請求項8に係る検索システムによれば、全件について人が検索結果を確認する場合に較べ、検索後の確認や再検索の手間が軽減される。
請求項2に係る検索装置によれば、文字列の誤りを考慮しない場合に較べ、誤った検索を行うことが低減できる。
請求項3に係る検索装置によれば、情報源への文字列送付を中止しない場合に較べ、誤った文字列での検索処理を低減できる。
請求項4に係る検索装置によれば、複数の文字列それぞれにおける確からしさを組み合わせない場合に較べ、検索キーとしての文字列の精度が高くなる。
請求項5に係る検索装置によれば、検索結果が誤りであるかの判定を行わない場合に較べ、人による確認を低減することができる。
請求項6に係る検索装置によれば、上記組み合わせを用いない場合に較べ、検索の誤りを低減しつつ人による確認を低減することができる。
本発明の第1実施形態を示す構成図である。 本発明の具体的な第2実施形態における外観構成を示す図である。 第2実施形態における機能構成を示す構成図である。 第1の動作手順例を示す図である。 第2の動作手順例を示す図である。 第3の動作手順例を示す図である。 第4の動作手順例を示す図である。 第5の動作手順例を示す図である。 第6の動作手順例を示す図である。 第1の別構成例を示す図である。 第2の別構成例を示す図である。 第3の別構成例を示す図である。
本発明の実施形態について、以下図面を参照して説明する。
図1は、本発明の第1実施形態を示す構成図である。図1には、第1実施形態の機能構成が機能ブロック図として示されている。
図1に示す検索システム1は、本発明の検索システムの第1実施形態であり、本発明の検索装置の第1実施形態である検索装置20を備えている。
この検索システム1は、OCR(光学的文字認識)等の技術により、画像に描かれた文字の認識処理を実行し、認識された文字列を表した文字列データを出力する文字認識器10と、いわゆるデータベースとして機能する情報源30を備えている。情報源30には情報が蓄積されていて、検索キーが入力されると、その検索キーに基づき検索処理を行い、検索された情報を検索結果として出力する。文字認識器10は、本発明にいう文字認識装置の一例に相当し、情報源30は、本発明にいう情報源の一例に相当する。
検索装置20は、文字認識器10と情報源30とが通信可能に接続され、認識された文字列を検索キーとした検索を、検索システム全体として実行させるものである。本実施形態の検索装置20は、本発明の検索プログラムの第1実施形態が、パーソナルコンピュータなどといった情報処理装置に組み込まれて実行されることによって実現されている。この図1に示された検索装置20の機能構成は、本実施形態の検索プログラムにおけるプログラム構成にも相当するものとする。
検索装置20は、文字列取得部21と検索部22と判定部23と作業分岐部24とを備えており、文字列取得部21は、文字認識器10によって認識された文字列を文字列データの形式で取得する。そして検索部22は、文字列取得部21によって取得された文字列を検索キーとして含んだ検索要求を情報源30に入力するとともに、情報源30から検索結果の情報を受け取る。文字列取得部21は、本発明にいう文字列取得部の一例に相当し、検索部22は、本発明にいう検索部の一例に相当する。
判定部23は、文字認識器10、文字列取得部21、検索部22、および情報源30によって実行される一連の検索処理において誤り因子が生じているか否かを判定する。この誤り因子とは、検索の誤りの原因および結果の少なくとも一方である。この判定部23は、本発明にいう判定部の一例に相当する。
この判定部23は、検索の誤りを直接あるいは間接に判定するものである。例えば、この判定部23は、検索処理として誤りが生じ得る検索状況であることを判定するものである。また、この判定部23は、検索の要求を行った検索キーとこの検索の結果である検索結果との少なくとも一方において検索処理として誤りが存在するか否かを判定する。
作業分岐部24は、検索装置20における作業の流れを、判定部23による判定の結果に応じた流れに分岐させるものであり、特に、ユーザ2による操作を求める人手作業について作業の流れを分岐させる。例えば、誤り因子が生じていると判定部23が判定した場合には、作業分岐部24はユーザ2に対し、検索キーの入力画面などを提示することで検索キーの再入力を求める。一方、誤り因子が生じていないと判定部23が判定した場合には、作業分岐部24はユーザ2に対し、検索結果の表示画面などを提示することで、情報源30から得られた検索結果が検索処理として妥当であるか否かの確認作業を求める。この作業分岐部24は、本発明にいう作業分岐部の一例に相当する。
検索に誤り因子が生じている場合には、ユーザ2が検索結果の確認作業を行っても検索の誤りが見つかって検索キーの再入力が必要になる可能性が高い。即ち、誤り因子が生じている場合は確認作業が無駄になることが多いので、上記のように作業の流れが分岐されると確認作業が省略されてユーザ2の手間(検索結果が検索処理として妥当であるか否かを確認する手間や、再入力の画面に移行させる手間など)が軽減されることになる。
次に、本願発明のより具体的な実施形態について説明する。
図2は、本発明の具体的な第2実施形態における装置構成を示す図である。
図2に示す検索システム3は、複合機4とパーソナルコンピュータ5とサーバ6がLAN(Local Area Network)7で互いに接続された構成を有する。
複合機4は上部に読取部41を備えており、読取部41にセットされた用紙などに記載されている文字列を読み取る。この文字列は、印字された文字列でもよく手書きの文字列でもよい。
パーソナルコンピュータ5は、本体部51と表示部52と入力部53とを備えている。本体部51は、ハードウェアとしてCPU等のマイクロプロセッサ、ランダムアクセスメモリ(RAM)およびリードオンリメモリ(ROM)やHDD(ハードディスク)等の記憶装置などを内蔵し、記憶装置にプログラムが組み込まれ、そのプログラムを読み出してCPU等のマイクロプロセッサが実行するものである。表示部52は、例えば液晶画面などを有し、本体部51の制御に従ってユーザに対して操作画面などを提示するものである。入力部53は、例えばキーボードやマウス(図示省略)などを有し、ユーザによって操作されることで各種の情報や指示の入力を本体部51に入力するものである。
サーバ6は、大型の記憶装置を内蔵して多数の情報を記憶したものである。また、サーバ6はCPUなども内蔵しており、サーバ6にプログラムが組み込まれてそのプログラムがサーバ6上で実行されることによって、サーバ6は例えばデータベースなどとして機能する。
図3は、第2実施形態における機能構成を示す構成図である。
上述したように、第2実施形態の検索システム3は、複合機4とパーソナルコンピュータ5とサーバ6を備えている。また、複合機4には読取部41が備えられ、サーバ6には大型の記憶装置61が備えられている。
複合機4には、読取部41によって読み取られた文字を含む画像から文字を文字認識によって認識する文字認識部42が備えられている。従って、この第2実施形態では、複合機4が、本発明にいう文字認識装置の一例に相当する。
また、サーバ6には、記憶装置61に対して情報の格納や取り出しを行う情報管理部62が備えられている。この情報管理部62は、受け付けた検索要求に含まれる検索キーの入力を受けて、その検索キーに対応した情報を記憶装置61内の情報から見つけ出す検索機能も有しているものとする。従って、この第2実施形態では、サーバ6が、本発明にいう情報源の一例に相当する。
パーソナルコンピュータ5には、本発明の検索プログラムの第2実施形態が組み込まれており、この第2実施形態の検索プログラムが実行されることにより、パーソナルコンピュータ5は、本発明の検索装置の第2実施形態として機能する。図3に示すパーソナルコンピュータ5の内部機能構成は、第2実施形態の検索プログラムの機能構成も示しているものとする。
検索装置の第2実施形態として機能するパーソナルコンピュータ5は、上述した出力部52と入力部53を備えると共に、上述した本体部51内の内部機能として、検索キー取得部54と検索部55とチェック部56と手順管理部57とを備えている。
検索キー取得部54は、本発明にいう文字列取得部の一例に相当し、複合機4の文字認識部42で認識された文字列を文字列データの形式で検索キーとして取得する。そして、その検索キーの文字列データを検索部55に入力する。なお、検索キー取得部54は、文字認識部42から、文字列データ以外に、文字列に含まれる各文字における認識の確度も入手する。
検索部55は、本発明にいう検索部の一例に相当し、検索キー取得部54から入力された検索キーの文字列データを含んだ検索要求をサーバ6に入力することで検索を要求し、サーバ6はその検索要求を受け付けて、検索キーを情報管理部62に入力する。また、検索部55は、その検索キーに対応した検索結果として情報管理部62から出力される情報を取得する。
チェック部56は、本発明にいう判定部の一例に相当し、検索キー取得部54が取得した検索キーの誤りと、検索部55が取得した検索結果の誤りとの少なくとも一方の有無を、予め決められた判定ロジックなどによって判定する。
手順管理部57は、本発明にいう作業分岐部の一例に相当し、ユーザ2が操作する操作画面をチェック部56による判定結果に応じた操作画面に切り替えることでユーザ2に操作を求める。この操作画面は出力部52によって表示される。このように表示される操作画面としては、例えば、検索部55によって取得された検索結果の情報をユーザが確認するための確認画面や、検索キー取得部54で取得された検索キーに替わる新たな検索キーをユーザが入力するためのキー入力画面などがある。
これらの操作画面を見たユーザ2は入力部53を操作し、その操作の結果として、新たな検索キーの文字列データや、ユーザの指示を表した指示データがパーソナルコンピュータ5に入力される。文字列データは検索部55へと送られ、指示データは手順管理部57へと送られる。
上述した検索部55は、ユーザ2の操作によって新たな検索キーが入力された場合には、その検索キーの文字列データをサーバ6の情報管理部62に入力する。また、検索部55は、その新たな検索キーに対応した検索結果として情報管理部62から出力される情報を取得する。
また、ユーザの指示が、検索結果が正常であることの判断指示である場合には、手順管理部57が、その検索結果を利用する次の処理へと処理手順を移行させる。このような次の処理としては、例えば検索結果の保存や更新の処理であったり、検索キーの文字列とデータベース中の検索キーに対応した情報とを、正しいデータの組として別の処理に適用することなどが考えられる。
次に、このような機能構成の検索システム3における具体的な動作手順について説明する。動作手順に関する以下の説明では、図3の構成図を適宜参照するものとする。
図4は、第1の動作手順例を示す図である。
この第1の動作手順例では、まず、ステップS101で、複合機4の文字認識部42による文字認識が行われる。そして、認識された文字列が検索キー取得部54および検索部55を経てサーバ6の情報管理部62へと送られて人の確認処理を介さずに自動的に検索が実行される(ステップS102)。以下、この人による確認処理を介さずに検索キーによる実行を行う処理を「自動検索」とする。この自動検索で得られた検索結果における誤りの有無をチェック部56が判定ロジックによって自動確認する(ステップS103)。
具体的には、例えば、「情報件数が0件である」か否かのチェックが行われ、0件であれば検索の誤りであると判定される。このような判定ロジックは、サーバ6に蓄積された情報が例えば会員登録のような情報であって、検索キーとなる文字列が会員の氏名や会員番号などである場合に有効である。即ち、検索キーが正しければ登録された会員の情報が検索される可能性が高いが、情報件数が0であるということは検索キーの文字列が誤っているか、検索キーに対応したデータがデータベースにそもそも存在しないなどというように、検索処理として間違いまたは不具合があることを示しているからである。このような明らかな誤りであれば、検索結果の自動確認によって容易に判定される。
ステップS102の自動検索で得られた検索結果が、ステップS103で「情報件数が0件である」という判定ロジックに合致して、検索結果が誤っていると判定された場合には、ステップS104に進んで、手順管理部57によって操作画面が検索キーの入力画面に切り替えられる。そして、ユーザ2の操作による人手検索が行われる。また、その人手検索の検索結果もユーザ2によって確認される。このように、明らかな結果の誤りがあると判定された場合には結果の確認画面は表示されず、確認作業や人手検索への移行作業が回避されるのでユーザ2の手間が軽減されることになる。
一方、自動検索の結果がステップS103で、「情報件数が0件である」という判定ロジックとは非合致であり、1件以上の検索結果が得られたと判定された場合には、ステップS105に進んで、手順管理部57によって操作画面が、自動検索の結果を確認する確認画面に切り替えられる。ユーザ2がこの確認画面を参照することにより検索結果が正しいと確認された場合には、その検索結果を利用する図示を省略した次工程の処理へと移行する。この次工程の処理の一例として、例えば、役所の証明書の発行システムにおいて、申請者が申し込み用紙に名前と住所を手書きし、ユーザ(システムの操作者)が、申込用紙をスキャンするなどして読み込み、読み込んで認識された文字列を検索キーとして役所の住民データベースを検索し、検索結果が正しければ、申請者の名前と住所が正しいと判断し、ユーザは、次工程として、申請者に対し証明書を発行する手続きを行う、といった処理が考えられる。また、ユーザ2が確認画面を参照して検索が誤りである旨を指示入力した場合には、ユーザの指示に従ってステップS106に進み、ステップS104と同様に人手検索と結果確認がユーザ2の操作によって実行される。これらステップS105,S106におけるユーザ2の作業は、本実施形態で新たに生じた作業では無く、全ての検索結果をユーザ2が確認する全件確認方式(従来方式)でも必要であった作業であるので、結局、ステップS104へと分岐する場合の分だけ全件確認方式よりもユーザ2の手間が軽減されることになる。
図5は、第2の動作手順例を示す図である。
この第2の動作手順例でも、まず、ステップS201で、複合機4の文字認識部42による文字認識が行われる。この認識された文字列が検索キー取得部54に取得されるとともに、文字認識における文字認識の確度も検索キー取得部54に取得される。
次に、認識された文字列における誤りの有無をチェック部56が文字認識の確度によって判定する(ステップS202)。即ち、文字認識の確度が、予め決められた閾値を下回った低い確度である場合には、文字認識の確度が低く、これを検索キーとして検索を行っても正しい検索結果が得られない可能性が高く、誤り因子が生じているものと判定される。
チェック部56による認識文字列の誤り判定の一例として、ここでは、文字認識の処理に伴って得られる認識確度に基づく判定が示されているが、文字列の誤り判定に用いられる確度としては、他にも種々の確度が考えられる。例えば、名前や住所が認識された文字列に対する誤り判定であれば、名字DBや都道府県DBを用意してそれらのDBに登録の無い名字や都道府県名で始まる文字列には低い確度を付与する方式でもよい。また、名前が認識された文字列に対する誤り判定であれば、認識された文字列がローマ字や数字や記号や、人名漢字以外の漢字などを含んでいたら低い確度を付与する方式でもよい。郵便番号のように桁数が決まっている文字列に対する誤り判定の場合は、数字が7文字の文字列には高い確度を付与して7文字以外の文字列や数字以外の文字が含まれている文字列には低い確度を付与する方式でもよい。
また、チェック部56で用いられる閾値としては、全ての文字列に対して適用される1つの閾値であってもよいし、例えば、人名や住所などの項目のどれを対象とした文字認識であるかに応じて複数の閾値が使い分けられてもよい。あるいは、文字列中の文字位置(何文字目か)に応じて複数の閾値が使い分けられてもよいし、認識された文字種に応じて複数の閾値が使い分けられてもよい。
チェック部56によりステップS202で、文字認識により得られた文字列が検索キーとして適さないと想定されるために検索キーとして誤りが生じていると判定された場合には、自動検索は行われず、ステップS203に進み、図4のステップS104と同様に、手順管理部57によって操作画面が検索キーの入力画面に切り替えられる。そして、ユーザ2の操作による人手検索が行われる。また、その人手検索の検索結果もユーザ2によって確認される。
一方、文字認識の確度が、予め決められた閾値を上回る高い確度である場合には、文字認識には誤りがないとチェック部56で判定される。そして、ステップS204に進んで、検索キー取得部54から検索部55を経てサーバ6の情報管理部62へと検索キーの文字列が送られて自動検索が実行される。その後は、図4のステップS105,S106と同様に、自動検索の結果確認がユーザ2の操作によって実行され(ステップS205)、結果に誤りがあれば、人手検索と結果確認がユーザ2の操作によって実行される(ステップS206)。
このように、第2の動作手順では、検索の誤りの原因となる文字認識の誤りが認められた場合には、自動検索が回避されるので検索装置および検索システムにおける処理が短縮される。また、文字認識の誤りが認められた場合には、検索結果の確認作業や人手検索への移行作業も回避されて、ユーザ2の手間が軽減される。
図6は、第3の動作手順例を示す図である。
この第3の動作手順例は、複数(例えば2つ)の文字列の組合せが検索キーとして用いられる場合の動作手順例である。
この第3の動作手順例が開始されると、複合機4の文字認識部42による文字認識によって、複数の記載枠(項目)それぞれに記載された複数の文字列が認識される(ステップS301,S302)。それら複数の文字列が検索キー取得部54に取得されるとともに、各文字列における文字認識の確度も検索キー取得部54に取得される。
その後チェック部56では、各文字列における認識確度の組合せによって、検索キーとして誤っているか否かが判定される。認識確度の組合せの一例として、図6のステップS303の下方にグラフGが示されている。このグラフGの横軸は第1の記載枠における認識確度を示し、縦軸は第2の記載枠における認識確度を示している。但し、グラフGの左下の原点が確度最大の点であり、この原点から離れるほど確度が低下するものとする。
そして、このグラフGでは、複数の認識確度のいずれもが低い確度である場合に、検索キーとして誤っている(X)と判定され、複数の認識確度の少なくとも1つが高い確度を示している場合には、検索キーとしての誤りは無い(Y)と判定される。このような判定は、例えば、複数の文字列がOR条件で組み合わされた検索キーが検索に用いられて、いずれかの文字列が正しい場合に所望の情報が検索結果として得られるような場合に適している。つまり、確度の組合せ方は、検索における検索キーの組合せ方に応じた適切な組合せ方が用いられる。
複数の認識確度のこのような組合せによる判定で、検索キーとして誤っていると判定された場合(X)は、図5のステップS203と同様に、自動検索は行われずに手順管理部57によって操作画面が検索キーの入力画面に切り替えられる。そして、ユーザ2の操作による人手検索が行われ、その人手検索の検索結果もユーザ2によって確認される(ステップS304)。
一方、複数の認識確度の組合せによる判定で、検索キーとして誤っていないと判定された場合(Y)は、図5のステップS204~S206と同様に、自動検索(ステップS305)と、ユーザ2の操作による検索の結果確認(ステップS306)が行われ、結果に誤りがあれば、人手検索と結果確認がユーザ2の操作によって実行される(ステップS307)。
図7は、第4の動作手順例を示す図である。
この第4の動作手順例では、図5に示す第2の動作手順例と同様に、文字認識から確度のチェックおよび検索を経て結果確認に至る(ステップS201~S206)。
ところで、文字認識の確度は、文字認識に誤りが生じているか否かを直接に表したものではなく、確度が低いほど認識が誤っている可能性が高いという統計的な関係になる。このため、ステップS202で用いられる認識確度の閾値が高すぎると、認識が正確であった文字列についても多くが再入力となってしまい、ユーザの手間がむしろ増えることになる。また、認識確度の閾値が低すぎると、低減されるはずの手間が低減されずに、全件確認方式との差が小さくなってしまう。
そこで、この第4の動作手順例では、ステップS201~S206の手順に更に、ステップS202で用いられる認識確度の閾値(複数の閾値が使い分けられる場合であってもよい)を自動更新する手順が加わっている。即ち、ステップS202における判定で用いられた確度の値と、ステップS205でユーザによって判定された結果が対応付けられて保存される(ステップS401)。そして、統計的な処理によって、ユーザの手間の低減が最大となるような閾値が算出され(ステップS402)、確度の閾値のデータベースに格納される(ステップS403)。このデータベースに閾値が格納されることで、ステップS202における判定で用いられる閾値が更新され、その後の判定に用いられる。
このように閾値の自動更新が行われることにより、ユーザの手間の軽減が最大化される。
図8は、第5の動作手順例を示す図である。
この第5の動作手順例では、チェック部56で、検索結果に対する判定と認識文字列に対する判定との双方が実行される。また、この第5の動作手順例では、複合機4で読み取られる用紙Pに氏名が記入されて認識されるものとし、サーバ6の記憶部61には、住所と氏名が対応付けられた住所氏名DBが格納されているものとする。
この第5の動作手順例が開始されると、ステップS501で、用紙Pに記入された氏名が複合機4の文字認識部42によって認識される。そして、認識された文字列(氏名)を検索キーとした自動検索が行われる(ステップS502)。そして、チェック部56は、例えば「情報件数が0件である」といった判定ロジックで、検索結果における誤りの有無をチェックする(ステップS503)。
件数ゼロの場合には、チェック部56によって、検索結果が誤りであると判定されてステップS504に進み、図4のステップS104と同様に、ユーザ2の操作による人手検索と結果確認が行われる。
一方、ステップS502の自動検索で該当情報が存在していた場合には、ステップS505に進み、チェック部56によって、文字の認識確度に基づいた検索キーのチェックが行われる。そして、文字の認識確度が閾値よりも低い場合には、チェック部56によって、検索キーが誤っていると判定されてステップS506に進み、ユーザ2の操作による人手検索と結果確認が行われる。
文字の認識確度が閾値よりも高い場合には、チェック部56によって、検索キーは誤っていないと判定されてステップS507に進み、ユーザ2の操作による検索の結果確認が行われる。この結果確認で、検索結果に誤りがあれば、人手検索と結果確認がユーザ2の操作によって実行される(ステップS508)。
このようにチェック部56によって2重のチェックが行われることにより、検索の誤りがより確実に判別され、ユーザ2の手間がより確実に軽減される。
図9は、第6の動作手順例を示す図である。
この第6の動作手順例では、複数(例えば2つ)の文字列の組合せが検索キーとして用いられる。また、この第6の動作手順例では、チェック部56で、検索結果に対する判定と認識文字列に対する判定との双方が実行される。更に、この第6の動作手順例では、複合機4で読み取られる用紙Pに氏名と住所が記入されて認識されるものとし、サーバ6の記憶部61には、住所と氏名と会員番号が対応付けられた住所氏名DBが格納されているものとする。
この第6の動作手順例が開始されると、複合機4の文字認識部42による文字認識によって、住所枠と氏名枠それぞれに記載された住所と氏名の文字列が認識される(ステップS601,S602)。それら住所と氏名の文字列が検索キー取得部54に取得されるとともに、住所と氏名それぞれにおける文字認識の確度も検索キー取得部54に取得される。
次に、認識された住所と氏名の各文字列を検索キーとした自動検索が実行される。この第6の動作手順例における自動検索では会員番号の検索が行われ、住所と氏名はOR条件とAND条件との両方で利用される。即ち、認識された住所の文字列を検索キーとした会員番号の検索(ステップS603)と、認識された氏名の文字列を検索キーとした会員番号の検索(ステップS604)と、住所と氏名の各文字列をAND条件の検索キーとした会員番号の検索(ステップS605)が実行される。
これらの検索で得られた検索結果がチェック部56によってチェックされる(ステップS606)。このチェックでは、ステップS603~S605の全ての検索で情報数がゼロである場合(α)を検索の失敗(誤り)と見做す。そして情報数がゼロである場合(α)はステップS607に進み、図4のステップS104と同様に、ユーザ2の操作による人手検索と結果確認が行われる。
一方、ステップS603~S605のいずれかの自動検索で検索キーに該当する情報が見つかった場合(β)には、ステップS608に進み、チェック部56によって、文字の認識確度に基づいた検索キーのチェックが行われる。なお、AND条件の検索キーによる自動検索(ステップS605)で該当情報が得られた場合には、OR条件による自動検索(ステップS603,S604)での該当情報が得られたとしていても、AND条件の検索結果のみが後続処理で用いられるものとする。
チェック部56によるステップS608のチェックでは、図6のステップS303と同様に、住所に対する認識確度と、氏名に対する認識確度との組み合わせによって、検索キーとして誤っているか否かが判定される。これらの認識確度の組合せの一例として、図9のステップS608の下方にグラフGが示されている。このグラフGの横軸は住所の認識確度を示し、縦軸は氏名の認識確度を示し、グラフGの左下の原点が確度最大の点である。このグラフGでは、住所と氏名の双方で認識確度が低い場合(即ちグラフGの右上側)は、検索キーとして誤っているのでユーザの操作による人手検索に進むことが示されている。逆に、住所と氏名の少なくとも一方で認識確度が高かった場合には自動検索の結果が後続処理に用いられる。
ステップS608におけるチェックで、人手検索に進むことが示された場合には、ステップS609に進み、図4のステップS104と同様に、ユーザ2の操作による人手検索と結果確認が行われる。
一方、ステップS608におけるチェックで、自動検索の結果がその後の処理に用いられることが示された場合には、図4のステップS105,S106と同様に、自動検索の結果確認がユーザ2の操作によって実行され(ステップS610)、結果に誤りがあれば、人手検索と結果確認がユーザ2の操作によって実行される(ステップS611)。
以上説明した各種の動作手順例は、図2および図3に示された構成の検索システム3によって実行されるが、これらの動作手順例を実行し得る検索システムの構成は、図2および図3に示された構成に限定されるものではない。以下、上記各種の動作手順例を実行し得る他の構成例について説明する。なお、以下の説明では、図3に示す検索システム3の要素と同様の要素については同一の符号を付して重複説明を省略する。
図10は、第1の別構成例を示す図である。
この第1の別構成例の検索システム110は、複合機4とパーソナルコンピュータ5とサーバ6を備えており、この第1の別構成例の検索システム110では、文字認識部111がパーソナルコンピュータ5内に組み込まれている。
そして、複合機4の読取部41によって読み取られた文字画像がパーソナルコンピュータ5へと送られ、パーソナルコンピュータ5内の文字認識部111が文字認識によって文字を認識する。認識された文字列を表した文字列データはパーソナルコンピュータ5内で検索キー取得部54に取得されることになる。
つまり、この第1の別構成例では、パーソナルコンピュータ5が、本発明の検索装置の一実施形態に相当するとともに、本発明にいう文字認識装置の一例も兼ねている。
図11は、第2の別構成例を示す図である。
この第2の別構成例の検索システム120も、複合機4とパーソナルコンピュータ5とサーバ6を備えており、この第2の別構成例の検索システム120では、文字認識部121がサーバ6内に組み込まれている。
そして、複合機4の読取部41によって読み取られた文字画像がサーバ6へと送られ、サーバ6内の文字認識部121が文字認識によって文字を認識する。認識された文字列を表した文字列データはサーバ6からパーソナルコンピュータ5へと送られ、検索キー取得部54に取得されることになる。
この第2の別構成例の検索システム9は、文字認識や検索の機能がサーバ6に集められているので、サーバ6のリソースによって高速な処理や高精度な処理が実現する。
図12は、第3の別構成例を示す図である。
この第3の別構成例の検索システム130は、複合機4とパーソナルコンピュータ5を備えており、この第3の別構成例の検索システム130では、記憶装置131と情報管理部132がパーソナルコンピュータ5内に組み込まれている。
つまり、この第3の別構成例では、パーソナルコンピュータ5が、本発明の検索装置の一実施形態に相当するとともに、本発明にいう情報源の一例も兼ねている。
1,3,110,120,130……検索システム、10……文字認識器、
20……検索装置、21……文字列取得部、22……検索部、23……判定部、
24……作業分岐部、30……情報源、4……複合機、41……読取部、
42……文字認識部、5……パーソナルコンピュータ、51……本体部、
52……表示部、53……入力部、54……検索キー取得部、55……検索部、
56……チェック部、57……手順管理部、6……サーバ、
61……記憶装置、62……情報管理部、7……LAN

Claims (8)

  1. 文字認識装置で認識された文字列を取得する文字列取得部と、
    前記文字列を検索キーとして情報源に送り、該情報源が有する情報のうち該検索キーに対応した検索結果情報を入手する検索部と、
    検索の誤りの原因および結果のうち少なくとも一方である誤り因子が存在するか否かの判定を行う判定部と、
    前記判定部によって前記誤り因子が存在すると判定された場合には前記文字列に替わる検索キーの入力作業を作業者に求め、前記誤り因子が存在しないと判定された場合には前記検索結果情報の確認作業を作業者に求める作業分岐部と、
    を備えたことを特徴とする検索装置。
  2. 前記判定部が、前記誤りの原因として、前記文字列が誤っているか否かを判定することを特徴とする請求項1に記載の検索装置。
  3. 前記判定部は、前記検索部が前記文字列を前記情報源に送る前に判定を行うものであり、
    前記作業分岐部は、前記判定部によって前記文字列が誤っていると判定された場合には、前記検索部から前記情報源への前記文字列の送付を行わず、該文字列に替わる検索キーの入力作業を作業者に求めるものであることを特徴とする請求項2に記載の検索装置。
  4. 前記文字列取得部が、複数の項目それぞれについて前記文字認識装置で認識された複数の文字列を取得するものであり、
    前記検索部が、前記複数の文字列を組み合わせた検索キーを前記情報源に送るものであり、
    前記判定部が、前記複数の文字列それぞれにおける確からしさを組み合わせて、前記誤りの原因が存在するか否かを判定するものであることを特徴とする請求項1または2に記載の検索装置。
  5. 前記判定部が、前記情報源から取得された情報の確認によって前記誤りの結果が存在するか否かを判定するものであることを特徴とする請求項1に記載の検索装置。
  6. 前記判定部が、前記文字列が誤っているか否かの判定と、前記情報源から取得された情報の確認との組み合わせによって、前記誤り因子が存在するか否かの判定を行うものであることを特徴とする請求項2から5のいずれか1項に記載の検索装置。
  7. 情報処理装置に組み込まれ、その情報処理装置を、
    文字認識装置で認識された文字列を取得する文字列取得部と、
    前記文字列を検索キーとして情報源に送り、該情報源が有する情報のうち該検索キーに対応した検索結果情報を入手する検索部と、
    検索の誤りの原因および結果のうち少なくとも一方である誤り因子が存在するか否かの判定を行う判定部と、
    前記判定部によって前記誤り因子が存在すると判定された場合には前記文字列に替わる検索キーの入力作業を作業者に求め、前記誤り因子が存在しないと判定された場合には前記検索結果情報の確認作業を作業者に求める作業分岐部と、
    を備えた検索装置として動作させることを特徴とする検索プログラム。
  8. 文字認識を行う文字認識装置と、
    情報が蓄積されていて検索キーが入力され、該情報のうち該検索キーに対応する情報を検索し検索結果情報として出力する情報源と、
    前記文字認識装置で認識された文字列を検索キーとした検索を前記情報源に実行させる検索装置とを備え、
    前記検索装置が、
    前記文字認識装置で認識された文字列を取得する文字列取得部と、
    前記文字列を検索キーとして前記情報源に送り、該情報源が有する情報のうち該検索キーに対応した検索結果情報を入手する検索部と、
    検索の誤りの原因および結果のうち少なくとも一方である誤り因子が存在するか否かの判定を行う判定部と、
    前記判定部によって前記誤り因子が存在すると判定された場合には前記文字列に替わる検索キーの入力作業を作業者に求め、前記誤り因子が存在しないと判定された場合には前記検索結果情報の確認作業を作業者に求める作業分岐部と、
    を備えたことを特徴とする検索システム。
JP2017052766A 2017-03-17 2017-03-17 検索装置、検索プログラム、および検索システム Active JP7017027B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017052766A JP7017027B2 (ja) 2017-03-17 2017-03-17 検索装置、検索プログラム、および検索システム
US15/893,847 US10977301B2 (en) 2017-03-17 2018-02-12 Search apparatus, search system, and non-transitory computer readable medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017052766A JP7017027B2 (ja) 2017-03-17 2017-03-17 検索装置、検索プログラム、および検索システム

Publications (2)

Publication Number Publication Date
JP2018156403A JP2018156403A (ja) 2018-10-04
JP7017027B2 true JP7017027B2 (ja) 2022-02-08

Family

ID=63520028

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017052766A Active JP7017027B2 (ja) 2017-03-17 2017-03-17 検索装置、検索プログラム、および検索システム

Country Status (2)

Country Link
US (1) US10977301B2 (ja)
JP (1) JP7017027B2 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006163446A (ja) 2004-12-02 2006-06-22 Canon Software Inc 情報処理装置およびデータ検索方法およびプログラムおよび記録媒体
JP2012128789A (ja) 2010-12-17 2012-07-05 Casio Comput Co Ltd 辞書機能を備えた電子機器およびプログラム
JP2013041388A (ja) 2011-08-15 2013-02-28 Fujitsu Marketing Ltd レシート定義データ作成装置およびそのプログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH087033A (ja) 1994-06-16 1996-01-12 Canon Inc 情報処理方法及び装置
US8150856B2 (en) * 2006-07-07 2012-04-03 S. Grants Co., Ltd. Bit string searching apparatus, searching method, and program
US8352264B2 (en) * 2008-03-19 2013-01-08 Canyon IP Holdings, LLC Corrective feedback loop for automated speech recognition
US8250080B1 (en) * 2008-01-11 2012-08-21 Google Inc. Filtering in search engines
US9002700B2 (en) * 2010-05-13 2015-04-07 Grammarly, Inc. Systems and methods for advanced grammar checking
WO2012103191A2 (en) * 2011-01-26 2012-08-02 Veveo, Inc. Method of and system for error correction in multiple input modality search engines
JP2014059674A (ja) 2012-09-14 2014-04-03 Ricoh Co Ltd 文字列検索システム、文字列検索方法及びプログラム
US9715576B2 (en) * 2013-03-15 2017-07-25 II Robert G. Hayter Method for searching a text (or alphanumeric string) database, restructuring and parsing text data (or alphanumeric string), creation/application of a natural language processing engine, and the creation/application of an automated analyzer for the creation of medical reports
EP3100174A1 (de) * 2014-01-28 2016-12-07 Somol Zorzin GmbH Verfahren zur automatischen sinnerkennung und messung der eindeutigkeit von text
JP6374289B2 (ja) 2014-10-22 2018-08-15 富士フイルム株式会社 文字列検索装置および方法並びにプログラム
US10019514B2 (en) * 2015-03-19 2018-07-10 Nice Ltd. System and method for phonetic search over speech recordings
US10049655B1 (en) * 2016-01-05 2018-08-14 Google Llc Biasing voice correction suggestions

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006163446A (ja) 2004-12-02 2006-06-22 Canon Software Inc 情報処理装置およびデータ検索方法およびプログラムおよび記録媒体
JP2012128789A (ja) 2010-12-17 2012-07-05 Casio Comput Co Ltd 辞書機能を備えた電子機器およびプログラム
JP2013041388A (ja) 2011-08-15 2013-02-28 Fujitsu Marketing Ltd レシート定義データ作成装置およびそのプログラム

Also Published As

Publication number Publication date
JP2018156403A (ja) 2018-10-04
US20180267999A1 (en) 2018-09-20
US10977301B2 (en) 2021-04-13

Similar Documents

Publication Publication Date Title
US8094976B2 (en) One-screen reconciliation of business document image data, optical character recognition extracted data, and enterprise resource planning data
CN110999264B (zh) 用于将消息内容集成到目标数据处理设备中的***和方法
JP2007026316A (ja) 画像管理装置、ならびに画像管理用コンピュータプログラムおよびそれを記録した記録媒体
JP2014048673A (ja) ワークフロー生成サーバ、及び方法
JP7017027B2 (ja) 検索装置、検索プログラム、および検索システム
JP2015090625A (ja) 帳票読取装置、プログラムおよび帳票読取システム
US20030135496A1 (en) Management program, method and apparatus for business process definition
US8812459B2 (en) Method and system for text interpretation and normalization
JP2017111500A (ja) 文字認識装置及びプログラム
JP2020087112A (ja) 帳票処理装置および帳票処理方法
JP2020095374A (ja) 文字認識システム、文字認識装置、プログラム及び文字認識方法
JP6588988B2 (ja) 業務プログラム生成支援システムおよび業務プログラム生成支援方法
JPH06301699A (ja) 取引処理装置
JP2011065597A (ja) データ検索装置、データ検索方法及びプログラム
JP2010237909A (ja) 知識補正プログラム、知識補正装置および知識補正方法
US11868726B2 (en) Named-entity extraction apparatus, method, and non-transitory computer readable storage medium
JP2004046388A (ja) 情報処理システムおよび文字修正方法
TWI747172B (zh) 外字管理系統
US20230216834A1 (en) Information processing apparatus, information processing method, and program
US20230419698A1 (en) Information processing apparatus and information input system
JP2004152115A (ja) 入力修正方法および入力修正支援システム
US10963684B2 (en) Information processing apparatus and non-transitory computer readable recording medium
JP6741045B2 (ja) データ入力装置、データ入力方法及びプログラム
JPH11316802A (ja) 単語認識装置及びその住所地名登録方法並びに記録媒体
JP2017201450A (ja) パラメータ化方法、情報処理装置およびパラメータ化プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200228

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210219

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210622

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20210803

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211228

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220110

R150 Certificate of patent or registration of utility model

Ref document number: 7017027

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150