JP6676955B2 - 画像処理装置及び画像処理プログラム - Google Patents

画像処理装置及び画像処理プログラム Download PDF

Info

Publication number
JP6676955B2
JP6676955B2 JP2015247177A JP2015247177A JP6676955B2 JP 6676955 B2 JP6676955 B2 JP 6676955B2 JP 2015247177 A JP2015247177 A JP 2015247177A JP 2015247177 A JP2015247177 A JP 2015247177A JP 6676955 B2 JP6676955 B2 JP 6676955B2
Authority
JP
Japan
Prior art keywords
pixel block
ruby
center line
image
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015247177A
Other languages
English (en)
Other versions
JP2017111720A (ja
Inventor
井原 富士夫
富士夫 井原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Priority to JP2015247177A priority Critical patent/JP6676955B2/ja
Publication of JP2017111720A publication Critical patent/JP2017111720A/ja
Application granted granted Critical
Publication of JP6676955B2 publication Critical patent/JP6676955B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Character Input (AREA)

Description

本発明は、画像処理装置及び画像処理プログラムに関する。
特許文献1には、本文行に対するルビ・脚注行といった、本文行群と別に扱いたい行を検出する場合に、対象ルビ行が原稿上のどこに在っても(前提条件を置かずに)検出可能とし、検出結果を利用し文字列の切出し精度の向上を図ることを課題とし、文字外接矩形統合法により対象文字列から切出された全行矩形の一つを基準行として選択し、基準行の高さの半分を閾値として各切出し行がルビ行であるか、否(本文行)かを行高さにより判定し、基準行の選択処理は、認識処理の対象となる複数の行に、行幅、行高さに対するメンバシップ関数を適用し、各評価値の和を算出し、その和が最大値となる行を選択し、ルビ行であるか、否かの判定結果により、ルビ行の行データを削除するか、或いは判定結果を添付した行データを後段の認識処理部に出力することが開示されている。
特許文献2には、文字行方向が不明で、文字の大きさやピッチ、文字行方向の異なる文字行や写真等の領域が混在する文書からの文字行抽出を可能にすることを課題とし、文字行候補生成部で、画像データより生成した画素連結矩形を接続し、文字行候補を生成し、文字矩形生成部で、生成された文字行候補を非分割領域として、主方向、副方向に適宜分割して、副方向の文字行を抽出するとともに、文字行候補内で基本矩形の統合を行うことにより文字矩形を生成し、文字行候補分割部で、文字矩形サイズの平均値、分散値から文字行候補の構成を判定し、構成に応じて文字行候補を分割し、文字矩形接続部で、分割された文字行候補の領域内において文字矩形を接続することにより文字行を抽出することが開示されている。
特開2004−094292号公報 特開平10−031716号公報
本文にルビが付された画像からルビを削除することが行われている。例えば、本文に対する文字認識において、文字認識率を向上させるためである。
前述の特許文献では、1回の判断でルビを抽出している。
本発明は、1回目のルビの抽出結果を利用して、1回目の抽出ではルビとされなかった画素塊をルビとして抽出できるようにした画像処理装置及び画像処理プログラムを提供することを目的としている。
かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。
請求項1の発明は、画像から本文に付されたルビを抽出する第1の抽出手段と、前記本文の中心線を抽出する中心線抽出手段と、前記画像内の画素塊と該画素塊に隣接する前記中心線間の距離が、前記ルビと該ルビに隣接する前記中心線間の距離より大きい又は以上である場合、該画素塊をルビとして抽出する第2の抽出手段を有し、前記中心線抽出手段は、既に抽出した中心線間の統計的間隔と該中心線の先頭にある画素塊の位置にしたがって、中心線群の外側に中心線を外挿する、画像処理装置である。
請求項2の発明は、前記第1の抽出手段によって抽出されたルビと前記第2の抽出手段によって抽出されたルビを前記画像から削除する削除手段と、前記削除手段によって前記画像からルビを削除した画像を出力する出力手段をさらに有する請求項1に記載の画像処理装置である。
請求項3の発明は、前記ルビと該ルビに隣接する前記中心線間の距離として、該ルビの外接矩形の該中心線に近い角から該中心線間の距離とし、前記画素塊と該画素塊に隣接する前記中心線間の距離として、該画素塊の外接矩形の中心から該中心線間の距離とする、請求項1又は2に記載の画像処理装置である。
請求項の発明は、前記第1の抽出手段は、前記画像の予め定められた方向にRLSA処理を行うRLSA手段と、前記RLSA手段による処理結果の第1の画素塊の予め定められた倍数より大きい又は以上の大きさを有する第2の画素塊を抽出する第3の抽出手段と、前記第1の画素塊と前記第2の画素塊間の距離が予め定められた距離未満又は以下である場合は、該第1の画素塊をルビとして抽出し、又は、該第1の画素塊と該第2の画素塊が重なり、該第1の画素塊は該第2の画素塊よりも小さく、該第1の画素塊の位置が該第2の画素塊内の予め定められた領域内である場合は、該第1の画素塊をルビとして抽出するルビ抽出手段を含む、請求項1から3のいずれか一項に記載の画像処理装置である。
請求項の発明は、コンピュータを、画像から本文に付されたルビを抽出する第1の抽出手段と、前記本文の中心線を抽出する中心線抽出手段と、前記画像内の画素塊と該画素塊に隣接する前記中心線間の距離が、前記ルビと該ルビに隣接する前記中心線間の距離より大きい又は以上である場合、該画素塊をルビとして抽出する第2の抽出手段として機能させ、前記中心線抽出手段は、既に抽出した中心線間の統計的間隔と該中心線の先頭にある画素塊の位置にしたがって、中心線群の外側に中心線を外挿する、画像処理プログラムである。
請求項1の画像処理装置によれば、1回目のルビの抽出結果を利用して、1回目の抽出ではルビとされなかった画素塊をルビとして抽出できる。また、既に抽出した中心線間の統計的間隔とその中心線の先頭にある画素塊の位置にしたがって、中心線群の外側に中心線を外挿することができる。
請求項2の画像処理装置によれば、ルビを削除した画像を出力することができる。
請求項3の画像処理装置によれば、ルビとそのルビに隣接する中心線間の距離として、そのルビの外接矩形のその中心線に近い角からその中心線間の距離とし、画素塊とその画素塊に隣接する中心線間の距離として、その画素塊の外接矩形の中心からその中心線間の距離とした処理を行うことができる。
請求項の画像処理装置によれば、RLSA処理を用いてルビを抽出することができる。
請求項の画像処理プログラムによれば、1回目のルビの抽出結果を利用して、1回目の抽出ではルビとされなかった画素塊をルビとして抽出できる。また、既に抽出した中心線間の統計的間隔とその中心線の先頭にある画素塊の位置にしたがって、中心線群の外側に中心線を外挿することができる。
本実施の形態の構成例についての概念的なモジュール構成図である。 本実施の形態を利用したシステム構成例を示す説明図である。 本実施の形態による処理例を示すフローチャートである。 本実施の形態による処理例を示すフローチャートである。 本実施の形態による処理例を示す説明図である。 本実施の形態による処理例を示すフローチャートである。 本実施の形態による処理例を示す説明図である。 本実施の形態による処理例を示す説明図である。 本実施の形態による処理例を示すフローチャートである。 本実施の形態による処理例を示す説明図である。 本実施の形態による処理例を示す説明図である。 本実施の形態による処理例を示す説明図である。 本実施の形態による処理例を示す説明図である。 本実施の形態による処理例を示すフローチャートである。 本実施の形態による処理例を示す説明図である。 本実施の形態を実現するコンピュータのハードウェア構成例を示すブロック図である。
以下、図面に基づき本発明を実現するにあたっての好適な一実施の形態の例を説明する。
図1は、本実施の形態の構成例についての概念的なモジュール構成図を示している。
なお、モジュールとは、一般的に論理的に分離可能なソフトウェア(コンピュータ・プログラム)、ハードウェア等の部品を指す。したがって、本実施の形態におけるモジュールはコンピュータ・プログラムにおけるモジュールのことだけでなく、ハードウェア構成におけるモジュールも指す。それゆえ、本実施の形態は、それらのモジュールとして機能させるためのコンピュータ・プログラム(コンピュータにそれぞれの手順を実行させるためのプログラム、コンピュータをそれぞれの手段として機能させるためのプログラム、コンピュータにそれぞれの機能を実現させるためのプログラム)、システム及び方法の説明をも兼ねている。ただし、説明の都合上、「記憶する」、「記憶させる」、これらと同等の文言を用いるが、これらの文言は、実施の形態がコンピュータ・プログラムの場合は、記憶装置に記憶させる、又は記憶装置に記憶させるように制御するという意味である。また、モジュールは機能に一対一に対応していてもよいが、実装においては、1モジュールを1プログラムで構成してもよいし、複数モジュールを1プログラムで構成してもよく、逆に1モジュールを複数プログラムで構成してもよい。また、複数モジュールは1コンピュータによって実行されてもよいし、分散又は並列環境におけるコンピュータによって1モジュールが複数コンピュータで実行されてもよい。なお、1つのモジュールに他のモジュールが含まれていてもよい。また、以下、「接続」とは物理的な接続の他、論理的な接続(データの授受、指示、データ間の参照関係等)の場合にも用いる。「予め定められた」とは、対象としている処理の前に定まっていることをいい、本実施の形態による処理が始まる前はもちろんのこと、本実施の形態による処理が始まった後であっても、対象としている処理の前であれば、そのときの状況・状態にしたがって、又はそれまでの状況・状態にしたがって定まることの意を含めて用いる。「予め定められた値」が複数ある場合は、それぞれ異なった値であってもよいし、2以上の値(もちろんのことながら、全ての値も含む)が同じであってもよい。また、「Aである場合、Bをする」という意味を有する記載は、「Aであるか否かを判断し、Aであると判断した場合はBをする」の意味で用いる。ただし、Aであるか否かの判断が不要である場合を除く。
また、システム又は装置とは、複数のコンピュータ、ハードウェア、装置等がネットワーク(一対一対応の通信接続を含む)等の通信手段で接続されて構成されるほか、1つのコンピュータ、ハードウェア、装置等によって実現される場合も含まれる。「装置」と「システム」とは、互いに同義の用語として用いる。もちろんのことながら、「システム」には、人為的な取り決めである社会的な「仕組み」(社会システム)にすぎないものは含まない。
また、各モジュールによる処理毎に又はモジュール内で複数の処理を行う場合はその処理毎に、対象となる情報を記憶装置から読み込み、その処理を行った後に、処理結果を記憶装置に書き出すものである。したがって、処理前の記憶装置からの読み込み、処理後の記憶装置への書き出しについては、説明を省略する場合がある。なお、ここでの記憶装置としては、ハードディスク、RAM(Random Access Memory)、外部記憶媒体、通信回線を介した記憶装置、CPU(Central Processing Unit)内のレジスタ等を含んでいてもよい。
本実施の形態である画像処理装置100は、文書画像からルビを抽出するものであって、図1の例に示すように、画像受付モジュール110、ルビ抽出(A)モジュール120、本文中心線抽出モジュール130、ルビ抽出(B)モジュール140、ルビ削除モジュール150、本文画像出力モジュール160を有している。画像受付モジュール110、ルビ抽出(A)モジュール120、本文中心線抽出モジュール130、ルビ抽出(B)モジュール140、ルビ削除モジュール150、本文画像出力モジュール160は、それぞれ接続されている。
文書画像を認識するにあたって、ルビが付されたままであると認識率を向上させることができない。例えば、古文書をテキスト化してデータベースにする場合に、ルビを抽出することが必要である。なお、ここでルビとは、一般的に、ふりがなのことをいう。漢字等の読みがなとして通常、縦書きならその漢字等の右、横書きならその漢字等の上に本文の文字よりも小さな文字(一般的には、ひらがな、カタカナ等)で書かれるものである。また、本実施の形態では、強調するためにふる傍点もルビに含む。
特に、ルビが本文に近い場合、画像全体にノイズが多い場合、又は、画像に幾何的な歪みがある場合では、ルビと本文行を完全に分離して抽出することは困難である。特に、古文書では、現代文に比較して、ルビが本文に近いものが多く、元の文書そのものが古いことから、画像全体にノイズが多くなり、また、文書そのものは貴重であることから大切に扱う必要があり、スキャナで読み込ませる場合に、プラテンガラスに押しつける等のように取り扱うことはできないので、読み込んだ画像に幾何的な歪みが発生してしまう場合が多い。
なお、主に縦書きを例示して説明する。横書きに対する処理については、90度回転で対応することが可能である。つまり、「縦方向への走査」は「横方向への走査」とし、「本文の右側」は「本文の上側」等と読み替えることで対応できる。また、横書きの場合は、画像受付モジュール110が、右への90度回転を施して、縦書きと同等の処理を行い、出力の際に左へ90度回転を施して元に戻すようにしてもよい。
画像受付モジュール110は、画像を受け付けて、その画像を他のモジュール(例えば、ルビ抽出(A)モジュール120等)に渡す。画像を受け付けるとは、例えば、スキャナ、カメラ等で画像を読み込むこと、ファックス等で通信回線を介して外部機器から画像を受信すること、ハードディスク(コンピュータに内蔵されているものの他に、ネットワークを介して接続されているもの等を含む)等に記憶されている画像を読み出すこと等が含まれる。画像は、2値画像、多値画像(カラー画像を含む)であってもよい。受け付ける画像は、1枚であってもよいし、複数枚であってもよい。また、画像は、本文にルビが付されているものであって、画像の内容として、前述したような古文書、ビジネスに用いられる文書、広告宣伝用のパンフレット等であってもよい。
ルビ抽出(A)モジュール120は、画像受付モジュール110が受け付けた画像から本文に付されたルビを抽出する。例えば、特許文献1、特許文献2等に記載された既に知られた技術を用いてもよい。
また、ルビ抽出(A)モジュール120は、次のような処理を行うようにしてもよい。また、このルビ抽出(A)モジュール120による処理結果を、画像処理装置100によるルビの抽出結果としてもよい。その場合、画像処理装置100は、画像受付モジュール110、ルビ抽出(A)モジュール120、ルビ削除モジュール150、本文画像出力モジュール160によって構成するようにしてもよい。
(1)画像受付モジュール110が受け付けた画像の予め定められた方向にRLSA処理を行う。ここで「予め定められた方向」として、縦書きの文書画像である場合は、縦方向であり、横書きの文書画像である場合は、横方向である。
(2)(1)の処理結果の第1の画素塊の予め定められた倍数より大きい又は以上の大きさを有する第2の画素塊を抽出する。第1の画素塊は、RLSA処理の処理結果であれば、任意の画素塊であってよい。
(3)第1の画素塊と第2の画素塊間の距離が予め定められた距離未満又は以下である場合は、その第1の画素塊をルビとして抽出し、又は、その第1の画素塊とその第2の画素塊が重なり、その第1の画素塊はその第2の画素塊よりも小さく、その第1の画素塊の位置がその第2の画素塊内の予め定められた領域内である場合は、その第1の画素塊をルビとして抽出する。
「予め定められた倍数」として、1以上の倍数(実数)であればよく、例えば、2倍、2.5倍等がある。
「予め定められた領域」は、第2の画素塊を本文とした場合にルビがふられている方向にある領域であり、具体的には、縦書きである場合は、第2の画素塊の右半分の領域であり、横書きである場合は、第2の画素塊の上半分の領域である。
本文中心線抽出モジュール130は、ルビ抽出(A)モジュール120によってルビを抽出された画像内の本文の中心線を抽出する。
また、本文中心線抽出モジュール130は、画像内の画素塊の形状が正方形に類似するものの中心を接続することによって、中心線を抽出するようにしてもよい。
また、本文中心線抽出モジュール130は、既に抽出した中心線間の統計的間隔にしたがって、中心線間に中心線を内挿するようにしてもよい。なお、「統計的間隔」とは、複数の中心線間の距離に対して、統計的処理を施した結果であり、例えば、中心線間の距離の平均値、中央値、最頻値等をいう。
また、本文中心線抽出モジュール130は、既に抽出した中心線間の統計的間隔とその中心線の先頭にある画素塊の位置にしたがって、中心線群の外側に中心線を外挿するようにしてもよい。
ルビ抽出(B)モジュール140は、画像内の画素塊とその画素塊に隣接する中心線間の距離が、ルビとそのルビに隣接する中心線間の距離より大きい又は以上である場合、その画素塊をルビとして抽出する。「ルビに隣接する中心線」として、例えば、そのルビに最も近い中心線がある。さらに、縦書きである場合、そのルビの左側に中心線があること(中心線の右側にそのルビがあること)を条件として付加してもよい。横書きである場合、そのルビの下側に中心線があること(中心線の上側にそのルビがあること)を条件として付加してもよい。
同様に、「画素塊に隣接する中心線」として、例えば、その画素塊に最も近い中心線がある。さらに、縦書きである場合、その画素塊の左側に中心線があること(中心線の右側にその画素塊があること)を条件として付加してもよい。横書きである場合、その画素塊の下側に中心線があること(中心線の上側にその画素塊があること)を条件として付加してもよい。
ここで「ルビとそのルビに隣接する中心線間の距離」として、そのルビの外接矩形のその中心線に近い角からその中心線間の距離としてもよい。そして、「画素塊とその画素塊に隣接する中心線間の距離」として、その画素塊の外接矩形の中心からその中心線間の距離としてもよい。
ルビ削除モジュール150は、ルビ抽出(A)モジュール120によって抽出されたルビとルビ抽出(B)モジュール140によって抽出されたルビを画像から削除する。本文だけの画像を生成するものである。
本文画像出力モジュール160は、ルビ削除モジュール150によって画像からルビを削除した画像を出力する。ここで画像を出力するとは、例えば、プリンタ等の印刷装置で印刷すること、ディスプレイ等の表示装置に表示すること、ファックス等の画像送信装置で画像を送信すること、画像データベース等の画像記憶装置へ画像を書き込むこと、メモリーカード等の記憶媒体に記憶すること、他の情報処理装置(例えば、文字認識装置等)へ渡すこと等が含まれる。
図2は、本実施の形態を利用したシステム構成例を示す説明図である。
図2(a)に示す例は、画像読取装置210と画像処理装置100と文字認識装置220によって構成されたシステムであり、具体的には、複写機、スキャナ、複合機(スキャナ、プリンタ、複写機、ファックス等のいずれか2つ以上の機能を有している画像処理装置)等として実現してもよい。
画像読取装置210は、画像処理装置100と接続されている。画像読取装置210は、本文にルビが付されている文書を読み取って、画像データとして画像処理装置100に渡す。
画像処理装置100は、画像読取装置210、文字認識装置220と接続されている。画像処理装置100は、画像読取装置210から受け取った画像からルビを削除し、本文だけとなった画像を生成する。なお、画像処理装置100は、図1の例に示した構成の他に、前述したように、画像受付モジュール110、ルビ抽出(A)モジュール120、ルビ削除モジュール150、本文画像出力モジュール160によって構成されていてもよい。
文字認識装置220は、画像処理装置100と接続されている。文字認識装置220は、画像処理装置100から受け取った画像に対して文字認識を行い、認識結果を出力する。例えば、画像読取装置210が読み込んだ画像と対応付けて、文書データベース等に記憶させてもよい。
図2(b)に示す例では、画像処理装置100、画像読取装置210、複合機215、文字認識装置220、文書DB装置230は、通信回線290を介してそれぞれ接続されているシステムである。通信回線290は、無線、有線、これらの組み合わせであってもよく、例えば、通信インフラとしてのインターネット、イントラネット等であってもよい。また、画像処理装置100、文字認識装置220、文書DB装置230による機能は、クラウドサービスとして実現してもよい。
画像読取装置210、複合機215は、文書を読み取って、通信回線290を介して、画像処理装置100にその画像を送信する。
画像処理装置100は、画像読取装置210、複合機215から画像を受け取って、処理結果(ルビを削除した画像)を、通信回線290を介して、文字認識装置220に送信する。
文字認識装置220は、画像処理装置100から画像を受け取って、文字認識処理を行って、通信回線290を介して、その認識処理結果を画像処理装置100に送信する。
図3は、本実施の形態による処理例を示すフローチャートである。
ステップS302では、画像受付モジュール110は、画像を受け付ける。
ステップS304では、画像受付モジュール110は、ルビ抽出のための前処理を行う。ステップS304の詳細な処理については、図4の例に示すフローチャートを用いて後述する。
ステップS306では、ルビ抽出(A)モジュール120は、第1段のルビ抽出を行う。ステップS306の詳細な処理については、図6の例に示すフローチャートを用いて後述する。
ステップS308では、本文中心線抽出モジュール130は、本文における中心線を抽出する。ステップS308の詳細な処理については、図9の例に示すフローチャートを用いて後述する。
ステップS310では、ルビ抽出(B)モジュール140は、ステップS306、ステップS308の処理結果を用いて、第2段のルビ抽出を行う。ステップS310の詳細な処理については、図14の例に示すフローチャートを用いて後述する。
ステップS312では、ルビ削除モジュール150は、画像からルビを削除する。
ステップS314では、本文画像出力モジュール160は、ルビを削除した画像を出力する。この後、例えば、本文の画像に対して文字認識処理を行う。
図4は、本実施の形態(画像受付モジュール110)による処理例(ステップS304での処理例)を示すフローチャートである。
ステップS402では、受け付けた画像は、2値画像であるか否かを判断し、2値画像の場合はステップS406へ進み、それ以外の場合はステップS404へ進む。
ステップS404では、受け付けた画像に対して、2値化処理を行う。ここでの2値化処理は、既存の処理を採用すればよい。
ステップS406では、垂直方向にRLSA(Run Length Smoothing Algorithm)処理を行う。もちろんのことながら、横書きの文書であれば、水平方向にRLSA処理を行う。
例えば、本文文字2文字分以内の白ランは黒に変換する。RLSA処理とは、黒画素に挟まれた白画素の短いラン(長さM以下)を黒画素に置き換えることにより、図形融合を実現する処理である(K.Y.Wong, R.Casey, and F.M.Wahl. Document analysis system.IBM Journal of Research and Development, Vol.26, pp647−656, 1982 参照)。なお、「本文文字2文字分」としたが、予め定められた値の例示であって、これ以外の長さの白ランを黒に変換してもよい。
RLSA処理だけでルビ抽出を行うと、ルビと本文が近かったり、ごみ(ノイズ)があったり、本文に傾きがあると、ルビと本文も融合してしまうという欠点がある。したがって、このRLSA処理だけでルビを抽出することは困難である。
図5の例を用いて説明する。図5は、本実施の形態による処理例を示す説明図である。
図5(a)に示す例は、処理対象の2値画像である。縦書きでルビが付されている。
図5(b)に示す例は、図5(a)に示す2値画像に対して、RLSA処理を施したものである。本文文字2文字分以内の白ランを黒に変換したものである。
図5(c)に示す例は、図5(b)に示すRLSA処理後画像の先頭部分である領域500を拡大して示したものである。ルビRLSA結果510内のルビは本文RLSA結果520内の本文と離れているので、抽出することができ、ルビRLSA結果532内のルビも本文RLSA結果540内の本文と離れているので、抽出することができる。しかし、ルビRLSA結果512内のルビは本文RLSA結果520内の本文との距離が近いため、ルビRLSA結果512と本文RLSA結果520は接触している。そして、ルビRLSA結果530内のルビは本文RLSA結果540内の本文との距離が近いため、ルビRLSA結果530と本文RLSA結果540は接触している。
ステップS408では、ラベリング処理を行う。つまり、黒画素塊(Connection Component:CCともいわれる)のそれぞれを特定できるようにする。RLSA適用画像に対してラベリングして外接矩形を求める。図5(c)の例では、ルビRLSA結果510と本文RLSA結果520が別のラベルが付されるが、ルビRLSA結果512と本文RLSA結果520が接触しているため、同じラベルが付されることになる。なお、黒画素塊とは、黒画素が4連結又は8連結で連続する画素領域である。
ステップS410では、ノイズ除去処理を行う。行とは考えられないほど大きな幅を持つ黒画素塊や文字の一部(文字偏とか)とは考えられないほど小さな黒画素塊を除去する。例えば、各黒画素塊の大きさ(縦、幅、又は面積等)が予め定められた範囲内でない場合は、ノイズであると判断して除去すればよい。
図6は、本実施の形態(ルビ抽出(A)モジュール120)による処理例(ステップS306での処理例)を示すフローチャートである。
ステップS602では、対象とする黒画素塊を選択する。ラベリング処理された黒画素塊であれば、いずれの黒画素塊であってもよい。
ステップS604では、(対象黒画素塊の外接矩形の幅)*2以上の外接矩形の幅を有する黒画素塊(A)を抽出する。なお、ここでの「2」は、予め定められた倍数の例示であって、他の倍数、例えば、「2.5」等であってもよい。
ステップS606では、対象黒画素塊の外接矩形と黒画素塊(A)の外接矩形間のX軸距離を算出する。ここでの「X軸距離」は、黒画素塊(A)の外接矩形の右端のX座標と対象黒画素塊の左端のX座標間の距離である。図7の例に示すように、他黒画素塊720が黒画素塊(A)の外接矩形に該当し、対象黒画素塊710が対象黒画素塊の外接矩形に該当する。距離725がX軸距離に該当する。なお、横書きの場合は、Y軸距離となり、黒画素塊(A)の外接矩形の上端のX座標と対象黒画素塊の下端のY座標間の距離である。
ステップS608では、「X軸距離≦rubi_distance_max」か否かを判断し、「X軸距離≦rubi_distance_max」である場合はステップS612へ進み、それ以外の場合はステップS610へ進む。なお、「rubi_distance_max」は、ルビと本文間の最大距離であり、予め定められた値である。図7の例では、「距離725≦rubi_distance_max」である場合は、対象黒画素塊710をルビとして抽出することになる。
ステップS610では、対象黒画素塊の外接矩形と黒画素塊(A)の外接矩形領域が重なり、かつ、対象黒画素塊の方が小さく、かつ、対象黒画素塊のX座標が相手の右半分側に存在するか否かを判断し、存在する場合はステップS612へ進み、それ以外の場合はステップS614へ進む。「対象黒画素塊の外接矩形と黒画素塊(A)の外接矩形領域が重なり」として、「対象黒画素塊の外接矩形」の全てが「黒画素塊(A)の外接矩形領域」に含まれている場合、「対象黒画素塊の外接矩形」の一部が「黒画素塊(A)の外接矩形領域」に含まれている場合を含む。図8(a)の例では、対象黒画素塊810の全体が他黒画素塊820に含まれており、図8(b)の例では、対象黒画素塊830の一部が他黒画素塊840に含まれており、いずれの例も「対象黒画素塊の外接矩形と黒画素塊(A)の外接矩形領域が重なっている」と判断する。また、「対象黒画素塊の方が小さく」とは、例えば、対象黒画素塊と黒画素塊(A)の外接矩形の幅、高さ、面積等を比較して、対象黒画素塊が黒画素塊(A)よりも小さい場合をいう。図8(a)の例では、対象黒画素塊810は他黒画素塊820よりも小さく、図8(b)の例では、対象黒画素塊830は他黒画素塊840よりも小さく、いずれの例も「対象黒画素塊の方が小さい」と判断する。また、「対象黒画素塊のX座標が相手の右半分側に存在する」とは、対象黒画素塊の位置が黒画素塊(A)の外接矩形領域の中心よりも右側にあることをいう。図8(a)の例では、対象黒画素塊810は他黒画素塊820の右半分側に存在し、図8(b)の例では、対象黒画素塊830は他黒画素塊840の右半分側に存在し、いずれの例も「対象黒画素塊のX座標が相手の右半分側に存在する」と判断する。この3つの条件を満たしているので、対象黒画素塊810、対象黒画素塊830はルビとして抽出されることとなる。
ステップS612では、対象黒画素塊をルビとする。
ステップS614では、全ての黒画素塊を対象としたか否かを判断し、全ての黒画素塊を対象とした場合は処理を終了し(ステップS699)、それ以外の場合はステップS602に戻る。例えば、各黒画素塊に対して、処理済みであるか否かを示すフラグを付して処理を行えばよい。具体的には、ステップS614までの処理を行った黒画素塊に対しては、処理済みであることを示すフラグを付し、処理済みであることを示すフラグが付されていない黒画素塊があるか否かによってステップS614の判断処理(処理済みであることを示すフラグが付されていない黒画素塊がある場合はステップS614で「N」、処理済みであることを示すフラグが付されていない黒画素塊がない場合はステップS614で「Y」)を行えばよい。
なお、図6に示すフローチャート例では、ステップS608の判断処理とステップS610の判断処理の両方を行っているが、いずれか一方の判断処理としてもよい。
また、さらに、対象黒画素塊の外接矩形の幅が、予め定められた値(rubi_width_max)未満又は以下であることを条件として、ルビと判断するようにしてもよい。
図9は、本実施の形態(本文中心線抽出モジュール130)による処理例(ステップS308での処理例)を示すフローチャートである。
ステップS902では、ラベリング処理を行う。元の2値画像(RLSA処理後の画像ではない)をラベリングし、外接矩形を求める。
ステップS904では、ノイズ除去処理を行う。大きさを考慮して、文字ではない黒画素塊を除去する。例えば、各黒画素塊の大きさ(縦、幅、又は面積等)が予め定められた範囲内でない場合は、ノイズであると判断して除去すればよい。
ステップS906では、ルビ除去処理を行う。ルビ検出第1段(図6の例に示すフローチャート内のステップS612)で検出されたルビを除去する。したがって、以下の処理では、ルビが削除された画像、つまり、本文だけで構成されている画像(外接矩形群)が対象となる。
ステップS908では、黒画素塊の重なり合成処理を行う。外接矩形に重なりがある場合、それらを合成する。ここで合成処理を行うのは、なるべく正方形に近い外接矩形の数を増やすためである。図10の例を用いて説明する。図10(a)の例では、「た」の文字画像について、黒画素塊の外接矩形として、黒画素塊外接矩形1010、黒画素塊外接矩形1020、黒画素塊外接矩形1030があることを示している。黒画素塊外接矩形1010と黒画素塊外接矩形1020との間、黒画素塊外接矩形1010と黒画素塊外接矩形1030との間で重なりがある。黒画素塊外接矩形1010と黒画素塊外接矩形1020を結合し、さらに、黒画素塊外接矩形1010と黒画素塊外接矩形1030を結合して、図10(b)の例に示すような合成黒画素塊外接矩形1050を生成する。
ステップS910では、アスペクト比(縦横比)が1に近い外接矩形をピックアップ(抽出)する。日本語の場合、外接矩形が正方形に近い文字が多くあることを利用している。なお、「1に近い」とは、例えば、「縦/横」の算出結果と「1」の差分が、予め定められた値未満又は以下であるか否かによって判断すればよい。
ステップS912では、行毎にステップS910でピックアップした外接矩形の中心座標を収集する。収集した中心座標にフィッティングする直線を求める。これは本文の本文中心線になる。図11の例を用いて説明する。この例では、白い縦線(本文中心線1102〜1146)が、本文中心線である。白い矩形がステップS910でピックアップされた外接矩形である。本文中心線は、白い矩形の中心を通る線分である。したがって、本文中心線を求めるのに、2個以上の外接矩形が必要である。なお、本文中心線は縦線であり、予め定められた値未満又は以下の傾きは許容する。
ステップS914では、直線の内挿処理と外挿処理を行う。ステップS912までの処理では、同じ行内に2つ以上の正方矩形がなかった場合は、直線が求められないので、その場合は周辺の直線から内挿又は外挿をする。図12の例を用いて内挿処理、図13の例を用いて外挿処理を説明する。
図12は、本実施の形態による処理例を示す説明図である。直線の内挿は、予め定められた間隔内にある直線群から平均間隔を求め、それを利用して何本の直線の内挿が必要かを計算する。N本必要なら両側の有効な直線のy=0(画像の上端)の場所のX座標間を(N+1)等分し、両側の直線の傾きの平均を傾きとする直線を本文中心線とする。図12の例では、本文中心線1204〜1210の4本の線分から平均間隔を算出する。そして、本文中心線1202と本文中心線1204の間隔は、平均間隔の2倍以上であるので、その間隔に内挿中心線1252、内挿中心線1254を生成する。内挿中心線1252、内挿中心線1254の傾きは、本文中心線1202と本文中心線1204の傾きの平均としている。
図13は、本実施の形態による処理例を示す説明図である。直線の外挿は、まずラベリング画像を対象として、行の平均的な先頭位置を抽出する。次に、内挿の場合と同じように直線の平均間隔を求め、一番端の直線の平均間隔分離れた場所で、平均的な先頭位置周辺に文字らしい黒画素塊があるかを調べ、あればその位置に直線を置く。この場合、直線の傾きは一番端の直線と同じ値とする。図13の例では、本文中心線1302、本文中心線1304、本文中心線1306の3本の線分を、ステップS912で抽出している。そして、各線分の先頭にある黒画素塊の外接矩形(黒画素塊外接矩形1328、黒画素塊外接矩形1334、黒画素塊外接矩形1342)を抽出する。そして、多数の黒画素塊の外接矩形の下端である先頭位置1370を算出する。本文中心線1302、本文中心線1304、本文中心線1306の平均間隔を算出し、一番端の本文中心線1302の先頭(先頭位置1370)の右側(本文中心線1306の先頭の左側であってもよい)に、その平均間隔分離れた位置(探索範囲1360)に、黒画素塊があるか否かを判断する。探索範囲1360には、黒画素塊外接矩形1322、黒画素塊外接矩形1324があるので、外挿中心線1352を挿入する。外挿中心線1352の傾きは、本文中心線1302と同じとする。なお、外挿中心線1352の傾きを、本文中心線1302、本文中心線1304、本文中心線1306の傾きの平均としてもよい。
図14は、本実施の形態(ルビ抽出(B)モジュール140)による処理例(ステップS310での処理例)を示すフローチャートである。
ステップS1402では、第1段のルビ抽出(図6の例に示すフローチャート)で抽出されたルビの外接矩形の左上座標と最も近い本文中心線との距離を求め、その平均値を算出する。図15の例では、対象黒画素塊外接矩形1502の左上の座標と本文中心線1504間の距離である距離1512が対象となる。
ステップS1404では、対象とする黒画素塊を選択する。黒画素塊であれば、いずれの黒画素塊であってもよい。
ステップS1406では、対象黒画素塊の外接矩形の中心と対象黒画素塊に最も近い本文中心線との間の距離を算出する。図15の例では、対象黒画素塊外接矩形1502の中心の座標と本文中心線1504間の距離である距離1514が対象となる。
ステップS1408では、(ステップS1406で算出した距離)>(ステップS1402で算出した平均値)であるか否かを判断し、(ステップS1406で算出した距離)>(ステップS1402で算出した平均値)である場合はステップS1410へ進み、それ以外の場合はステップS1412へ進む。
ステップS1410では、対象黒画素塊をルビとする。
ステップS1412では、全ての黒画素塊を対象としたか否かを判断し、全ての黒画素塊を対象とした場合は処理を終了し(ステップS1499)、それ以外の場合はステップS1404へ戻る。例えば、各黒画素塊に対して、処理済みであるか否かを示すフラグを付して処理を行えばよい。具体的には、ステップS1412までの処理を行った黒画素塊に対しては、処理済みであることを示すフラグを付し、処理済みであることを示すフラグが付されていない黒画素塊があるか否かによってステップS1412の判断処理(処理済みであることを示すフラグが付されていない黒画素塊がある場合はステップS1412で「N」、処理済みであることを示すフラグが付されていない黒画素塊がない場合はステップS1412で「Y」)を行えばよい。
なお、距離1512は、ステップS1402で算出する距離(左上が起点)とし、距離1514は、ステップS1406で算出する距離(中心が起点)とし、両者を異ならせている。具体的には、ステップS1402で算出する距離をステップS1406で算出する距離よりも短くなるようにしている。これは、ルビを確実に抽出するためである。なお、ステップS1402で算出する距離とステップS1406で算出する距離を同じとしてもよい。
図16を参照して、本実施の形態の画像処理装置のハードウェア構成例について説明する。図16に示す構成は、例えばパーソナルコンピュータ(PC)等によって構成されるものであり、スキャナ等のデータ読み取り部1617と、プリンタ等のデータ出力部1618を備えたハードウェア構成例を示している。
CPU(Central Processing Unit)1601は、前述の実施の形態において説明した各種のモジュール、すなわち、画像受付モジュール110、ルビ抽出(A)モジュール120、本文中心線抽出モジュール130、ルビ抽出(B)モジュール140、ルビ削除モジュール150、本文画像出力モジュール160等の各モジュールの実行シーケンスを記述したコンピュータ・プログラムにしたがった処理を実行する制御部である。
ROM(Read Only Memory)1602は、CPU1601が使用するプログラムや演算パラメータ等を格納する。RAM(Random Access Memory)1603は、CPU1601の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を格納する。これらはCPUバス等から構成されるホストバス1604により相互に接続されている。
ホストバス1604は、ブリッジ1605を介して、PCI(Peripheral Component Interconnect/Interface)バス等の外部バス1606に接続されている。
キーボード1608、マウス等のポインティングデバイス1609は、操作者により操作されるデバイスである。ディスプレイ1610は、液晶表示装置又はCRT(Cathode Ray Tube)等があり、各種情報をテキストやイメージ情報として表示する。また、ポインティングデバイス1609とディスプレイ1610の両方の機能を備えているタッチスクリーン等であってもよい。
HDD(Hard Disk Drive)1611は、ハードディスク(フラッシュメモリ等であってもよい)を内蔵し、ハードディスクを駆動し、CPU1601によって実行するプログラムや情報を記録又は再生させる。ハードディスクには、対象とする画像、ルビを削除した画像(本文だけの画像)、各モジュールの処理結果(途中結果を含む)等が格納される。さらに、その他の各種データ、各種コンピュータ・プログラム等が格納される。
ドライブ1612は、装着されている磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体1613に記録されているデータ又はプログラムを読み出して、そのデータ又はプログラムを、インタフェース1607、外部バス1606、ブリッジ1605、及びホストバス1604を介して接続されているRAM1603に供給する。なお、リムーバブル記録媒体1613も、データ記録領域として利用可能である。
接続ポート1614は、外部接続機器1615を接続するポートであり、USB、IEEE1394等の接続部を持つ。接続ポート1614は、インタフェース1607、及び外部バス1606、ブリッジ1605、ホストバス1604等を介してCPU1601等に接続されている。通信部1616は、通信回線に接続され、外部とのデータ通信処理を実行する。データ読み取り部1617は、例えばスキャナであり、ドキュメントの読み取り処理を実行する。データ出力部1618は、例えばプリンタであり、ドキュメントデータの出力処理を実行する。
なお、図16に示す画像処理装置のハードウェア構成は、1つの構成例を示すものであり、本実施の形態は、図16に示す構成に限らず、本実施の形態において説明したモジュールを実行可能な構成であればよい。例えば、一部のモジュールを専用のハードウェア(例えば特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)等)で構成してもよく、一部のモジュールは外部のシステム内にあり通信回線で接続している形態でもよく、さらに図16に示すシステムが複数互いに通信回線によって接続されていて互いに協調動作するようにしてもよい。また、特に、パーソナルコンピュータの他、携帯情報通信機器(携帯電話、スマートフォン、モバイル機器、ウェアラブルコンピュータ等を含む)、情報家電、ロボット、複写機、ファックス、スキャナ、プリンタ、複合機(スキャナ、プリンタ、複写機、ファックス等のいずれか2つ以上の機能を有している画像処理装置)などに組み込まれていてもよい。
なお、前述の実施の形態の説明において、比較処理において、「以上」、「以下」、「より大きい」、「より小さい(未満)」としたものは、その組み合わせに矛盾が生じない限り、それぞれ「より大きい」、「より小さい(未満)」、「以上」、「以下」としてもよい。
なお、説明したプログラムについては、記録媒体に格納して提供してもよく、また、そのプログラムを通信手段によって提供してもよい。その場合、例えば、前記説明したプログラムについて、「プログラムを記録したコンピュータ読み取り可能な記録媒体」の発明として捉えてもよい。
「プログラムを記録したコンピュータ読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通等のために用いられる、プログラムが記録されたコンピュータで読み取り可能な記録媒体をいう。
なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク(DVD)であって、DVDフォーラムで策定された規格である「DVD−R、DVD−RW、DVD−RAM等」、DVD+RWで策定された規格である「DVD+R、DVD+RW等」、コンパクトディスク(CD)であって、読出し専用メモリ(CD−ROM)、CDレコーダブル(CD−R)、CDリライタブル(CD−RW)等、ブルーレイ・ディスク(Blu−ray(登録商標) Disc)、光磁気ディスク(MO)、フレキシブルディスク(FD)、磁気テープ、ハードディスク、読出し専用メモリ(ROM)、電気的消去及び書換可能な読出し専用メモリ(EEPROM(登録商標))、フラッシュ・メモリ、ランダム・アクセス・メモリ(RAM)、SD(Secure Digital)メモリーカード等が含まれる。
そして、前記のプログラムの全体又はその一部は、前記記録媒体に記録して保存や流通等させてもよい。また、通信によって、例えば、ローカル・エリア・ネットワーク(LAN)、メトロポリタン・エリア・ネットワーク(MAN)、ワイド・エリア・ネットワーク(WAN)、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、又は無線通信ネットワーク、さらにこれらの組み合わせ等の伝送媒体を用いて伝送させてもよく、また、搬送波に乗せて搬送させてもよい。
さらに、前記のプログラムは、他のプログラムの一部分又は全部であってもよく、又は別個のプログラムと共に記録媒体に記録されていてもよい。また、複数の記録媒体に分割して記録されていてもよい。また、圧縮や暗号化等、復元可能であればどのような態様で記録されていてもよい。
100…画像処理装置
110…画像受付モジュール
120…ルビ抽出(A)モジュール
130…本文中心線抽出モジュール
140…ルビ抽出(B)モジュール
150…ルビ削除モジュール
160…本文画像出力モジュール
210…画像読取装置
215…複合機
220…文字認識装置
230…文書DB装置
290…通信回線

Claims (5)

  1. 画像から本文に付されたルビを抽出する第1の抽出手段と、
    前記本文の中心線を抽出する中心線抽出手段と、
    前記画像内の画素塊と該画素塊に隣接する前記中心線間の距離が、前記ルビと該ルビに隣接する前記中心線間の距離より大きい又は以上である場合、該画素塊をルビとして抽出する第2の抽出手段
    を有し、
    前記中心線抽出手段は、既に抽出した中心線間の統計的間隔と該中心線の先頭にある画素塊の位置にしたがって、中心線群の外側に中心線を外挿する、
    画像処理装置。
  2. 前記第1の抽出手段によって抽出されたルビと前記第2の抽出手段によって抽出されたルビを前記画像から削除する削除手段と、
    前記削除手段によって前記画像からルビを削除した画像を出力する出力手段
    をさらに有する請求項1に記載の画像処理装置。
  3. 前記ルビと該ルビに隣接する前記中心線間の距離として、該ルビの外接矩形の該中心線に近い角から該中心線間の距離とし、
    前記画素塊と該画素塊に隣接する前記中心線間の距離として、該画素塊の外接矩形の中心から該中心線間の距離とする、
    請求項1又は2に記載の画像処理装置。
  4. 前記第1の抽出手段は、
    前記画像の予め定められた方向にRLSA処理を行うRLSA手段と、
    前記RLSA手段による処理結果の第1の画素塊の予め定められた倍数より大きい又は以上の大きさを有する第2の画素塊を抽出する第3の抽出手段と、
    前記第1の画素塊と前記第2の画素塊間の距離が予め定められた距離未満又は以下である場合は、該第1の画素塊をルビとして抽出し、又は、該第1の画素塊と該第2の画素塊が重なり、該第1の画素塊は該第2の画素塊よりも小さく、該第1の画素塊の位置が該第2の画素塊内の予め定められた領域内である場合は、該第1の画素塊をルビとして抽出するルビ抽出手段
    を含む、
    請求項1から3のいずれか一項に記載の画像処理装置。
  5. コンピュータを、
    画像から本文に付されたルビを抽出する第1の抽出手段と、
    前記本文の中心線を抽出する中心線抽出手段と、
    前記画像内の画素塊と該画素塊に隣接する前記中心線間の距離が、前記ルビと該ルビに隣接する前記中心線間の距離より大きい又は以上である場合、該画素塊をルビとして抽出する第2の抽出手段
    として機能させ
    前記中心線抽出手段は、既に抽出した中心線間の統計的間隔と該中心線の先頭にある画素塊の位置にしたがって、中心線群の外側に中心線を外挿する、
    画像処理プログラム。
JP2015247177A 2015-12-18 2015-12-18 画像処理装置及び画像処理プログラム Active JP6676955B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015247177A JP6676955B2 (ja) 2015-12-18 2015-12-18 画像処理装置及び画像処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015247177A JP6676955B2 (ja) 2015-12-18 2015-12-18 画像処理装置及び画像処理プログラム

Publications (2)

Publication Number Publication Date
JP2017111720A JP2017111720A (ja) 2017-06-22
JP6676955B2 true JP6676955B2 (ja) 2020-04-08

Family

ID=59080783

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015247177A Active JP6676955B2 (ja) 2015-12-18 2015-12-18 画像処理装置及び画像処理プログラム

Country Status (1)

Country Link
JP (1) JP6676955B2 (ja)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2569103B2 (ja) * 1988-02-01 1997-01-08 富士電機株式会社 文字検出方法
JPH0271379A (ja) * 1988-09-07 1990-03-09 Fuji Xerox Co Ltd 画像処理装置
JP3837193B2 (ja) * 1996-05-13 2006-10-25 松下電器産業株式会社 文字行抽出方法および装置
JP4162195B2 (ja) * 2002-08-29 2008-10-08 株式会社リコー 画像処理装置、及び画像処理プログラム
US9330070B2 (en) * 2013-03-11 2016-05-03 Microsoft Technology Licensing, Llc Detection and reconstruction of east asian layout features in a fixed format document

Also Published As

Publication number Publication date
JP2017111720A (ja) 2017-06-22

Similar Documents

Publication Publication Date Title
JP4577421B2 (ja) 画像処理装置及び画像処理プログラム
JP2006246435A (ja) 画像処理装置及びその制御方法、プログラム
US20180225541A1 (en) Image processing apparatuses and non-transitory computer readable medium
JP4626777B2 (ja) 情報処理装置及び情報処理プログラム
JP6221220B2 (ja) 画像処理装置及び画像処理プログラム
JP4780184B2 (ja) 画像処理装置及び画像処理プログラム
JP6676955B2 (ja) 画像処理装置及び画像処理プログラム
JP6303671B2 (ja) 画像処理装置及び画像処理プログラム
JP2020204905A (ja) 文字認識装置、文書ファイル生成方法、文書ファイル生成プログラム
US8542922B2 (en) Image processing apparatus, image processing method, and computer readable medium
JP6852364B2 (ja) 画像処理装置及び画像処理プログラム
JP5742367B2 (ja) 画像処理装置及び画像処理プログラム
JP5440043B2 (ja) 画像処理装置及び画像処理プログラム
JP5476884B2 (ja) 画像処理装置及び画像処理プログラム
JP5673277B2 (ja) 画像処理装置およびプログラム
JP5262778B2 (ja) 画像処理装置及び画像処理プログラム
JP7342518B2 (ja) 画像処理装置及び画像処理プログラム
JP6922421B2 (ja) 読取方法案内装置、読取方法案内プログラム及び画像処理システム
AU2007237365B2 (en) Colour reproduction in a colour document image
JP6606885B2 (ja) 画像処理装置及び画像処理プログラム
JP2012022359A (ja) 画像処理装置及び画像処理プログラム
JP4872780B2 (ja) 画像処理システム及び画像処理プログラム
JP4882929B2 (ja) 画像処理装置及び画像処理プログラム
JP2021189859A (ja) 文書データ生成装置、画像形成装置、及び文書データ生成プログラム
JP5720166B2 (ja) 画像処理装置及び画像処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181022

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190909

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191001

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191127

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200225

R150 Certificate of patent or registration of utility model

Ref document number: 6676955

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350