JP2017208655A - Information processing system, information processing method and program - Google Patents

Information processing system, information processing method and program Download PDF

Info

Publication number
JP2017208655A
JP2017208655A JP2016098884A JP2016098884A JP2017208655A JP 2017208655 A JP2017208655 A JP 2017208655A JP 2016098884 A JP2016098884 A JP 2016098884A JP 2016098884 A JP2016098884 A JP 2016098884A JP 2017208655 A JP2017208655 A JP 2017208655A
Authority
JP
Japan
Prior art keywords
image
mask
character
corrected
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016098884A
Other languages
Japanese (ja)
Other versions
JP6540597B2 (en
Inventor
龍太 土井
Ryuta Doi
龍太 土井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Document Solutions Inc
Original Assignee
Kyocera Document Solutions Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Document Solutions Inc filed Critical Kyocera Document Solutions Inc
Priority to JP2016098884A priority Critical patent/JP6540597B2/en
Publication of JP2017208655A publication Critical patent/JP2017208655A/en
Application granted granted Critical
Publication of JP6540597B2 publication Critical patent/JP6540597B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Editing Of Facsimile Originals (AREA)

Abstract

PROBLEM TO BE SOLVED: To cause an image after correction to be visually recognized in technology for correcting and outputting the image obtained by photographing an original.SOLUTION: An information processing system comprises: an original region extracting section for extracting an original region image being an image of a region of an original from an original photographed image obtained by photographing the original; a correction section for correcting distortion of the extracted original region image and generating a corrected original image; a discrimination section for discriminating a corrected character image included in the corrected original image and discriminating a character which the corrected character image shows; a mask image generating section for generating a mask image including a character mask region where the corrected character image which the discrimination section discriminates is masked by one to one; an editable region calculation section for calculating an editable region including all the character mask regions in the mask image; and an arranging section for detecting the character mask region from the editable region of the mask image, arranging text data showing the character which the corrected character image that the character mask region masks shows in the character mask region of the mask image and generating a synthesis image.SELECTED DRAWING: Figure 3

Description

本開示は、原稿を撮影して得られた画像を補正して出力することが可能な情報処理装置、情報処理方法及びプログラムに関する。   The present disclosure relates to an information processing apparatus, an information processing method, and a program capable of correcting and outputting an image obtained by photographing a document.

原稿を撮影して得られた画像を補正して出力することが可能な技術が知られている（例えば、特許文献１〜特許文献５）。   A technique capable of correcting and outputting an image obtained by photographing a document is known (for example, Patent Documents 1 to 5).

特開２００４−０６２３５０号公報Japanese Patent Laid-Open No. 2004-062350 特開２０１５−２１０７４９号公報Japanese Patent Laid-Open No. 2015-210749 特開平１１−２４３４８１号公報JP 11-243481 A 特開２０１２−２２４１３号公報JP 2012-22413 A 特開２０１２−１４４３０号公報JP 2012-14430 A

補正後の画像は、益々ユーザーが視覚的に認識しやすいものであることが望ましい。   It is desirable that the corrected image is more easily visually recognized by the user.

以上のような事情に鑑み、本開示の目的は、原稿を撮影して得られた画像を補正して出力する技術において、補正後の画像を、益々ユーザーが視覚的に認識しやすいものとすることにある。   In view of the circumstances as described above, an object of the present disclosure is to make it easier for a user to visually recognize a corrected image in a technique for correcting and outputting an image obtained by photographing a document. There is.

本開示の一形態に係る情報処理装置は、
原稿を撮影して得られた原稿撮影画像から、前記原稿の領域の画像である原稿領域画像を抽出する原稿領域抽出部と、
前記抽出された原稿領域画像の歪みを補正して、補正原稿画像を生成する補正部と、
前記補正原稿画像に含まれる補正文字画像を判別し、前記補正文字画像が示す文字を識別する判別部と、
前記判別部が判別した補正文字画像を一対一でマスクする文字マスク領域を含むマスク画像を生成するマスク画像生成部と、
前記マスク画像内の、前記文字マスク領域全てを包含する編集可能領域を算出する編集可能領域算出部と、
前記マスク画像の前記編集可能領域から前記文字マスク領域を検出し、前記マスク画像の前記文字マスク領域に、前記文字マスク領域がマスクする前記補正文字画像が示す文字を示すテキストデータを配置して、合成画像を生成する配置部と
を具備する。 An information processing apparatus according to an aspect of the present disclosure is provided.
A document region extraction unit that extracts a document region image that is an image of the document region from a document photographed image obtained by photographing a document;
A correction unit that corrects distortion of the extracted document area image and generates a corrected document image;
A determination unit that determines a corrected character image included in the corrected document image and identifies a character indicated by the corrected character image;
A mask image generation unit that generates a mask image including a character mask region that masks the corrected character image determined by the determination unit on a one-to-one basis;
An editable area calculating unit for calculating an editable area including all the character mask areas in the mask image;
Detecting the character mask area from the editable area of the mask image, and arranging text data indicating the character indicated by the corrected character image masked by the character mask area in the character mask area of the mask image; And an arrangement unit for generating a composite image.

本形態によれば、原稿領域画像の歪みを補正してから補正文字画像を判別するので、文字識別の正確性が向上する。   According to this embodiment, since the corrected character image is determined after correcting the distortion of the document area image, the accuracy of character identification is improved.

前記判別部は、光学文字認識（Optical Character Recognition）により、前記補正原稿画像に含まれる補正文字画像を判別する。   The discriminating unit discriminates a corrected character image included in the corrected document image by optical character recognition.

前記マスク画像生成部は、前記生成したマスク画像のサイズを、前記合成画像のサイズと一致するように変更する。   The mask image generation unit changes the size of the generated mask image so as to match the size of the composite image.

前記判別部は、前記補正原稿画像に含まれる補正図画像をさらに判別する。   The determination unit further determines a corrected graphic image included in the corrected document image.

前記判別部は、前記補正図画像に含まれる文字を補正文字画像として判別しない。   The determination unit does not determine a character included in the corrected diagram image as a corrected character image.

本形態によれば、補正図画像に含まれる文字に対して、テキストデータは配置されない。   According to this embodiment, text data is not arranged for the characters included in the corrected drawing image.

前記マスク画像生成部は、前記判別部が判別した補正図画像を一対一でマスクする図マスク領域をさらに含む前記マスク画像を生成し、
前記編集可能領域算出部は、前記マスク画像内の、前記図マスク領域全てをさらに包含する前記編集可能領域を算出し、
前記配置部は、前記マスク画像の前記編集可能領域から前記図マスク領域をさらに検出し、前記マスク画像の前記図マスク領域に、前記図マスク領域がマスクする前記補正図画像又は前記補正図画像と異なる画像をさらに配置して、前記合成画像を生成する。 The mask image generation unit generates the mask image further including a figure mask region for masking the correction figure image determined by the determination unit on a one-to-one basis,
The editable area calculation unit calculates the editable area further including all the figure mask areas in the mask image;
The arrangement unit further detects the figure mask area from the editable area of the mask image, and the correction figure image or the correction figure image masked by the figure mask area in the figure mask area of the mask image Different images are further arranged to generate the composite image.

本形態によれば、配置部は、典型的には、判別部が判別した補正図画像そのものを配置してもよいし、ユーザーの選択に基づき補正図画像と異なる画像を配置してもよいし、補正図画像を必要に応じて加工した画像を配置してもよい。   According to this embodiment, the arrangement unit may typically arrange the correction diagram image itself determined by the determination unit, or may arrange an image different from the correction diagram image based on the user's selection. Alternatively, an image obtained by processing the correction diagram image as necessary may be arranged.

前記情報処理装置は、前記合成画像を用紙に形成する画像形成部をさらに具備する。   The information processing apparatus further includes an image forming unit that forms the composite image on a sheet.

本形態によれば、情報処理装置は、例えば、プリンターなどの画像形成装置である。   According to this embodiment, the information processing apparatus is an image forming apparatus such as a printer, for example.

前記情報処理装置は、前記原稿撮影画像を読み取る画像読取部をさらに具備する。   The information processing apparatus further includes an image reading unit that reads the document photographed image.

本形態によれば、情報処理装置は、例えば、スキャナー機能を有する画像形成装置である。   According to this embodiment, the information processing apparatus is, for example, an image forming apparatus having a scanner function.

本開示の一形態に係る情報処理方法は、
原稿を撮影して得られた原稿撮影画像から、前記原稿の領域の画像である原稿領域画像を抽出し、
前記抽出された原稿領域画像の歪みを補正して、補正原稿画像を生成し、
前記補正原稿画像に含まれる補正文字画像を判別し、前記補正文字画像が示す文字を識別し、
前記判別された補正文字画像を一対一でマスクする文字マスク領域を含むマスク画像を生成し、
前記マスク画像内の、前記文字マスク領域全てを包含する編集可能領域を算出し、
前記マスク画像の前記編集可能領域から前記文字マスク領域を検出し、前記マスク画像の前記文字マスク領域に、前記文字マスク領域がマスクする前記補正文字画像が示す文字を示すテキストデータを配置して、合成画像を生成する。 An information processing method according to an aspect of the present disclosure is:
Extracting an original area image, which is an image of the original area, from an original image obtained by photographing the original;
Correcting the distortion of the extracted document area image to generate a corrected document image;
Determining a corrected character image included in the corrected document image, identifying a character indicated by the corrected character image;
Generating a mask image including a character mask area for masking the determined corrected character image on a one-to-one basis;
Calculating an editable region including all the character mask regions in the mask image;
Detecting the character mask area from the editable area of the mask image, and arranging text data indicating the character indicated by the corrected character image masked by the character mask area in the character mask area of the mask image; Generate a composite image.

本開示の一形態に係るプログラムは、
情報処理装置を、
原稿を撮影して得られた原稿撮影画像から、前記原稿の領域の画像である原稿領域画像を抽出する原稿領域抽出部、
前記抽出された原稿領域画像の歪みを補正して、補正原稿画像を生成する補正部と、
前記補正原稿画像に含まれる補正文字画像を判別し、前記補正文字画像が示す文字を識別する判別部、
前記判別部が判別した補正文字画像を一対一でマスクする文字マスク領域を含むマスク画像を生成するマスク画像生成部、
前記マスク画像内の、前記文字マスク領域全てを包含する編集可能領域を算出する編集可能領域算出部及び
前記マスク画像の前記編集可能領域から前記文字マスク領域を検出し、前記マスク画像の前記文字マスク領域に、前記文字マスク領域がマスクする前記補正文字画像が示す文字を示すテキストデータを配置して、合成画像を生成する配置部
として機能させる。 A program according to an embodiment of the present disclosure is:
Information processing device
A document region extraction unit that extracts a document region image that is an image of the document region from a document photographed image obtained by photographing a document;
A correction unit that corrects distortion of the extracted document area image and generates a corrected document image;
A determination unit for determining a corrected character image included in the corrected document image and identifying a character indicated by the corrected character image;
A mask image generation unit that generates a mask image including a character mask region that masks the corrected character image determined by the determination unit on a one-to-one basis;
An editable area calculating unit that calculates an editable area that includes all of the character mask area in the mask image; and detecting the character mask area from the editable area of the mask image, and the character mask of the mask image In the area, text data indicating a character indicated by the corrected character image masked by the character mask area is arranged to function as an arrangement unit for generating a composite image.

本開示によれば、原稿を撮影して得られた画像を補正して出力する技術において、補正後の画像を、益々ユーザーが視覚的に認識しやすいものとすることができる。   According to the present disclosure, in a technique for correcting and outputting an image obtained by photographing a document, the corrected image can be more easily recognized visually by the user.

本開示の一実施形態に係る画像形成装置のハードウェア構成を示すブロック図である。2 is a block diagram illustrating a hardware configuration of an image forming apparatus according to an embodiment of the present disclosure. FIG. 画像形成装置の機能的構成を示すブロック図である。2 is a block diagram illustrating a functional configuration of the image forming apparatus. FIG. 画像形成装置の動作を示すフローチャートである。3 is a flowchart illustrating an operation of the image forming apparatus. 画像形成装置の動作を説明するための図である。It is a figure for demonstrating operation | movement of an image forming apparatus.

以下、図面を参照しながら、本開示の実施形態を説明する。   Hereinafter, embodiments of the present disclosure will be described with reference to the drawings.

（１．画像形成装置のハードウェア構成）
図１は、本開示の一実施形態に係る画像形成装置のハードウェア構成を示すブロック図である。 (1. Hardware configuration of image forming apparatus)
FIG. 1 is a block diagram illustrating a hardware configuration of an image forming apparatus according to an embodiment of the present disclosure.

本発明の各実施形態に係る情報処理装置は、画像形成装置（例えば、ＭＦＰ、Multifunction Peripheral）であり、以下ＭＦＰと称する。   An information processing apparatus according to each embodiment of the present invention is an image forming apparatus (for example, MFP, Multifunction Peripheral), and is hereinafter referred to as an MFP.

ＭＦＰ１は、制御部１１を備える。制御部１１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）及び専用のハードウェア回路等から構成され、ＭＦＰ１の全体的な動作制御を司る。ＭＦＰ１を各機能部（後述）として機能させるコンピュータプログラムは、ＲＯＭ等の非一過性の記憶媒体に記憶される。   The MFP 1 includes a control unit 11. The control unit 11 includes a CPU (Central Processing Unit), a RAM (Random Access Memory), a ROM (Read Only Memory), a dedicated hardware circuit, and the like, and controls overall operation of the MFP 1. A computer program that causes the MFP 1 to function as each functional unit (described later) is stored in a non-transitory storage medium such as a ROM.

制御部１１は、画像読取部１２、画像処理部１４、画像メモリー１５、画像形成部１６、操作部１７、記憶部１８、ネットワーク通信部１３等と接続されている。制御部１１は、接続されている上記各部の動作制御や、各部との間での信号又はデータの送受信を行う。   The control unit 11 is connected to an image reading unit 12, an image processing unit 14, an image memory 15, an image forming unit 16, an operation unit 17, a storage unit 18, a network communication unit 13, and the like. The control unit 11 performs operation control of each of the above connected units and transmission / reception of signals or data to / from each unit.

制御部１１は、ユーザーから、操作部１７またはネッワーク接続されたパーソナルコンピュータ（図示せず）等を通じて入力されるジョブの実行指示に従って、スキャナー機能、印刷機能及びコピー機能機能などの各機能についての動作制御を実行するために必要な機構の駆動及び処理を制御する。   The control unit 11 operates for each function such as a scanner function, a print function, and a copy function function in accordance with a job execution instruction input from the user through the operation unit 17 or a network-connected personal computer (not shown). Controls the drive and processing of the mechanisms necessary to perform the control.

画像読取部１２は、原稿から画像を読み取る。   The image reading unit 12 reads an image from a document.

画像処理部１４は、画像読取部１２で読み取られた画像の画像データを必要に応じて画像処理する。例えば、画像処理部１４は、画像読取部１２により読み取られた画像が画像形成された後の品質を向上させるために、シェーディング補正等の画像処理を行う。   The image processing unit 14 performs image processing on the image data of the image read by the image reading unit 12 as necessary. For example, the image processing unit 14 performs image processing such as shading correction in order to improve the quality after the image read by the image reading unit 12 is formed.

画像メモリー１５は、画像読取部１２による読み取りで得られた原稿画像のデータを一時的に記憶したり、画像形成部１６での印刷対象となるデータを一時的に記憶したりする領域を有する。   The image memory 15 has an area for temporarily storing document image data obtained by reading by the image reading unit 12 and temporarily storing data to be printed by the image forming unit 16.

画像形成部１６は、画像読取部１２で読み取られた画像データ等の画像形成を行う。   The image forming unit 16 forms an image of the image data read by the image reading unit 12.

操作部１７は、ＭＦＰ１が実行可能な各種動作及び処理についてユーザーからの指示を受け付けるタッチパネル部および操作キー部を備える。タッチパネル部は、タッチパネルが設けられたＬＣＤ（Liquid Crystal Display）等の表示部１７ａを備えている。   The operation unit 17 includes a touch panel unit and operation key units that receive instructions from the user regarding various operations and processes that can be executed by the MFP 1. The touch panel unit includes a display unit 17a such as an LCD (Liquid Crystal Display) provided with a touch panel.

ネットワーク通信部１３は、ネットワークに接続するためのインタフェースである。   The network communication unit 13 is an interface for connecting to a network.

記憶部１８は、画像読取部１２によって読み取られた原稿画像等を記憶する、ＨＤＤ（Hard Disk Drive）などの大容量の記憶装置である。   The storage unit 18 is a large-capacity storage device such as an HDD (Hard Disk Drive) that stores a document image read by the image reading unit 12.

（２．画像形成装置の機能的構成）
図２は、画像形成装置の機能的構成を示すブロック図である。 (2. Functional configuration of image forming apparatus)
FIG. 2 is a block diagram illustrating a functional configuration of the image forming apparatus.

ＭＦＰ１は、コンピューター読み取り可能な非一過性の記憶媒体の一例であるＲＯＭに記憶された情報処理プログラムをＲＡＭにロードして実行することで、原稿領域抽出部１０１、補正部１０２、判別部１０３、マスク画像生成部１０４、編集可能領域算出部１０５及び配置部１０６として機能する。   The MFP 1 loads an information processing program stored in a ROM, which is an example of a computer-readable non-transitory storage medium, into the RAM and executes the information processing program, thereby executing a document area extraction unit 101, a correction unit 102, and a determination unit 103. , Function as a mask image generation unit 104, an editable area calculation unit 105, and an arrangement unit 106.

原稿領域抽出部１０１は、画像メモリー１５から、原稿撮影画像を読み出す。原稿領域抽出部１０１は、読み出した原稿撮影画像から、原稿領域画像Ｉ‐２を抽出する。   The document area extraction unit 101 reads a document shot image from the image memory 15. The document area extraction unit 101 extracts a document area image I-2 from the read document photographed image.

補正部１０２は、原稿領域抽出部１０１が抽出した原稿領域画像の歪みを補正して補正原稿画像を生成する。   The correction unit 102 corrects the distortion of the document area image extracted by the document area extraction unit 101 and generates a corrected document image.

判別部１０３は、補正原稿画像に含まれる補正図画像及び補正文字画像を判別する。判別部１０３は、文字認識用データベース１１１を参照し、抽出した複数の補正文字画像それぞれが示す文字を識別する。   The determination unit 103 determines a corrected graphic image and a corrected character image included in the corrected document image. The determination unit 103 refers to the character recognition database 111 and identifies the character indicated by each of the extracted corrected character images.

マスク画像生成部１０４は、補正原稿画像に基づき、マスク画像を生成する。   The mask image generation unit 104 generates a mask image based on the corrected document image.

編集可能領域算出部１０５は、マスク画像内の編集可能領域を算出する。   The editable area calculation unit 105 calculates an editable area in the mask image.

配置部１０６は、マスク画像内の編集可能領域内に、補正図画像と、補正文字画が示す文字を示すテキストデータとを配置することで、合成画像を生成する。   The arrangement unit 106 generates a composite image by arranging the corrected diagram image and text data indicating the character indicated by the corrected character image in the editable area in the mask image.

（３．画像形成装置の動作）
図３は、画像形成装置の動作を示すフローチャートである。図４は、画像形成装置の動作を説明するための図である。 (3. Operation of image forming apparatus)
FIG. 3 is a flowchart showing the operation of the image forming apparatus. FIG. 4 is a diagram for explaining the operation of the image forming apparatus.

画像入力部１１０としての画像読取部１２は、用紙に形成（印刷）された原稿撮影画像Ｉ‐１をスキャンして読み取る。あるいは、画像入力部１１０としてのネットワーク通信部１３は、ネットワークＮに接続された情報処理装置（図示せず）から、原稿撮影画像Ｉ‐１を受信する。画像メモリー１５に設定された画像メモリー１５は、画像入力部１１０としての画像読取部１２又はネットワーク通信部１３が取得した原稿撮影画像Ｉ‐１を、記憶する（ステップＳ１）。   The image reading unit 12 as the image input unit 110 scans and reads a document photographed image I-1 formed (printed) on a sheet. Alternatively, the network communication unit 13 as the image input unit 110 receives the document photographed image I-1 from an information processing apparatus (not shown) connected to the network N. The image memory 15 set in the image memory 15 stores the document photographed image I-1 acquired by the image reading unit 12 or the network communication unit 13 as the image input unit 110 (step S1).

「原稿撮影画像Ｉ‐１」は、具体的には、原稿をデジタルカメラ等で撮影して得られた画像データである。「原稿」は、用紙等に文字や図が可視的に記録されたものである。「文字」は、典型的にはテキストデータの印字であるが、手書きの文字でもよい。「図」は、本開示では、用紙等への「文字」以外の記録対象を意味する。「図」の具体例は、写真、電子的に作図した図形や表等、手書きの絵等であるが、これらに限定されない。   The “original photographed image I-1” is specifically image data obtained by photographing an original with a digital camera or the like. A “document” is a text or figure visibly recorded on paper or the like. “Character” is typically printing of text data, but may be handwritten characters. In the present disclosure, “figure” means a recording target other than “character” on a sheet or the like. Specific examples of “figure” are photographs, electronically drawn figures and tables, handwritten pictures, etc., but are not limited thereto.

原稿領域抽出部１０１は、画像メモリー１５から、原稿撮影画像Ｉ‐１を読み出す。原稿領域抽出部１０１は、読み出した原稿撮影画像Ｉ‐１から、原稿領域画像Ｉ‐２を抽出する（ステップＳ２）。「原稿領域画像」は、原稿の領域の画像である。より具体的には、「原稿領域画像」は、原稿撮影画像Ｉ‐１全体のうち、原稿（用紙）の輪郭線により縁取られる領域であり、文字、図及び背景を内包する。具体的には、原稿領域抽出部１０１は、原稿撮影画像Ｉ‐１に含まれる原稿（用紙）の輪郭線を探索する。原稿領域抽出部１０１は、輪郭線上の１つの点Ｐを検出すると、点Ｐを始点として輪郭線をなぞることにより、輪郭線を探索する。原稿領域抽出部１０１は、探索の始点と終点が同一であり、外周が一定の距離以上ある輪郭線により囲まれる閉塞した領域を、原稿領域として判断する。原稿領域抽出部１０１は、判断した原稿領域の画像を、原稿領域画像Ｉ‐２として抽出する。   The document area extraction unit 101 reads a document photographed image I-1 from the image memory 15. The document area extraction unit 101 extracts a document area image I-2 from the read document photographed image I-1 (step S2). The “original area image” is an image of an original area. More specifically, the “document area image” is an area bordered by the outline of the document (paper) in the entire document photographed image I-1, and includes characters, drawings, and backgrounds. Specifically, the document area extraction unit 101 searches for a contour line of a document (paper) included in the document photographed image I-1. When detecting one point P on the contour line, the document area extracting unit 101 searches the contour line by tracing the contour line starting from the point P. The document area extraction unit 101 determines a closed area surrounded by a contour line having the same search start point and end point and having an outer circumference equal to or greater than a certain distance as a document area. The document area extraction unit 101 extracts the image of the determined document area as a document area image I-2.

補正部１０２は、原稿領域抽出部１０１が抽出した原稿領域画像Ｉ‐２の歪みを補正する（ステップＳ３）。長方形の用紙等の原稿をデジタルカメラ等で撮影すると、原稿領域画像Ｉ‐２は、台形になる等少なからず歪んでいる可能性が高い。従って、補正部１０２は、公知の台形歪み補正技術等により、台形の原稿領域画像Ｉ‐２を長方形に補正して（図４の矢印及び点線を参照）、補正原稿画像Ｉ‐３を生成する。   The correcting unit 102 corrects the distortion of the document area image I-2 extracted by the document area extracting unit 101 (step S3). When a document such as a rectangular sheet is photographed with a digital camera or the like, the document region image I-2 has a high possibility of being distorted, such as a trapezoid. Therefore, the correction unit 102 corrects the trapezoidal document area image I-2 to a rectangle (see arrows and dotted lines in FIG. 4) by using a known trapezoidal distortion correction technique or the like, and generates a corrected document image I-3. .

判別部１０３は、公知の方法（エッジ検出等）により、補正原稿画像Ｉ‐３に含まれる補正図画像を判別する。例えば、判別部１０３は、連続するエッジで形成される図形（図形が矩形等の２次元の場合は、図形の輪郭線で囲まれる閉塞した領域（図形が特定サイズ以下であって、単一色で形成されている場合を除いてもよい。例えば、罫線や、黒丸やハイフン等の記号等。）を補正図画像として判別する。「補正図画像」は、補正原稿画像Ｉ‐３に含まれる図の画像である。そして、判別部１０３は、光学文字認識（ＯＣＲ、Optical Character Recognition）により、補正原稿画像Ｉ‐３のうち補正図画像を除く領域（文字領域）に含まれる補正文字画像を判別する（ステップＳ４）。具体的には、判別部１０３は、補正原稿画像Ｉ‐３のうち補正図画像を除く文字領域から、複数の補正文字画像を抽出する。つまり、判別部１０３は、補正図画像に含まれる文字を補正文字画像として判別しない。「補正文字画像」は、補正原稿画像Ｉ‐３の文字領域に含まれる１文字１文字（言語によっては、１語１語としてもよい。）の画像である。判別部１０３は、文字認識用データベース１１１を参照し、抽出した複数の補正文字画像それぞれが示す文字を識別する。具体的には、文字認識用データベース１１１には、文字の画像パターンと文字コードとが対応付けられて１文字ずつ登録されている。判別部１０３は、抽出した補正文字画像の画像パターンを文字認識用データベース１１１から検索し、検索により得られた画像パターンが対応付けられた文字コードを取得する。   The discriminating unit 103 discriminates a corrected diagram image included in the corrected original image I-3 by a known method (edge detection or the like). For example, the discriminating unit 103 uses a figure formed by continuous edges (in the case of a two-dimensional figure such as a rectangle, a closed area surrounded by the outline of the figure (the figure is smaller than a specific size and is displayed in a single color). (For example, ruled lines, symbols such as black circles and hyphens, etc.) are discriminated as corrected figure images. “Correct figure image” is a figure included in the corrected document image I-3. The discriminating unit 103 discriminates a corrected character image included in a region (character region) excluding the corrected drawing image of the corrected original image I-3 by optical character recognition (OCR). Specifically, the determination unit 103 extracts a plurality of corrected character images from the character area excluding the corrected drawing image in the corrected document image I-3. Included in diagram image The “corrected character image” is an image of one character and one character included in the character region of the corrected document image I-3 (may be one word per word depending on the language). The discriminating unit 103 refers to the character recognition database 111 and identifies the character indicated by each of the extracted corrected character images 111. Specifically, the character recognition database 111 includes a character image pattern and a character code. The discriminating unit 103 searches the character recognition database 111 for an image pattern of the extracted corrected character image, and the character associated with the image pattern obtained by the search is registered. Get the code.

マスク画像生成部１０４は、補正原稿画像Ｉ‐３に基づき、マスク画像Ｉ‐４を生成する（ステップＳ５）。「マスク画像Ｉ‐４」は、補正原稿画像Ｉ‐３に含まれる補正図画像を一対一でマスクする図マスク領域と、補正文字画像を一対一でマスクする文字マスク領域とを含む。典型的には、マスク画像Ｉ‐４中、図マスク領域及び文字マスク領域のピクセルは黒（全ビットが１）であり、それ以外の背景領域のピクセルは白（全ビットが０）である。さらに、マスク画像生成部１０４は、マスク画像Ｉ‐４のサイズと出力すべき画像（後述の「合成画像Ｉ‐６」）のサイズとを比較し、その比率に基づき、マスク画像Ｉ‐４のサイズを、出力すべき画像のサイズと一致するように変更する。さらに、マスク画像生成部１０４は、マスク画像Ｉ‐４に含まれる図マスク領域及び文字マスク領域を、それぞれ、ラベリングする。「ラベリング」とは、マスク画像Ｉ‐４に含まれる図マスク領域及び文字マスク領域が、補正原稿画像Ｉ‐３に含まれる補正図画像及び補正文字画像と、それぞれ対応するように、一対一で識別番号を付すことである。   The mask image generation unit 104 generates a mask image I-4 based on the corrected document image I-3 (step S5). The “mask image I-4” includes a figure mask area for masking the correction figure image included in the corrected document image I-3 on a one-to-one basis and a character mask area for masking the correction character image on a one-to-one basis. Typically, in the mask image I-4, the pixels in the figure mask area and the character mask area are black (all bits are 1), and the other background area pixels are white (all bits are 0). Further, the mask image generation unit 104 compares the size of the mask image I-4 with the size of an image to be output (“composite image I-6” described later), and based on the ratio, the mask image I-4 Change the size to match the size of the image to be output. Further, the mask image generation unit 104 labels the figure mask area and the character mask area included in the mask image I-4. The “labeling” is one-to-one so that the figure mask area and the character mask area included in the mask image I-4 correspond to the corrected figure image and the corrected character image included in the corrected document image I-3, respectively. It is to attach an identification number.

なお、背景領域のピクセルは原稿の地色等の白以外の色であっても良い。また、図マスク領域及び文字マスク領域のピクセルは、背景領域と異なる色であれば、白等の黒以外の色であっても良い。さらに、図マスク領域と文字マスク領域のピクセルは、互いに異なる色であっても良い。   The pixels in the background area may be a color other than white, such as the background color of the document. Further, the pixels in the figure mask region and the character mask region may be in a color other than black, such as white, as long as the color is different from the background region. Furthermore, the pixels in the figure mask region and the character mask region may have different colors.

編集可能領域算出部１０５は、マスク画像Ｉ‐４内の編集可能領域Ｉ‐５を算出する（ステップＳ６）。「編集可能領域Ｉ‐５」は、マスク画像Ｉ‐４内の文字マスク領域及び図マスク領域全てを包含する、１つの枠内の領域である。具体的には、「編集可能領域Ｉ‐５」は、マスク画像Ｉ‐４内の文字マスク領域及び図マスク領域全てを包含し得る、最小の枠内の領域である。   The editable area calculation unit 105 calculates the editable area I-5 in the mask image I-4 (step S6). The “editable area I-5” is an area within one frame that includes all of the character mask area and the figure mask area in the mask image I-4. Specifically, the “editable area I-5” is an area within a minimum frame that can include all of the character mask area and the figure mask area in the mask image I-4.

配置部１０６は、マスク画像Ｉ‐４内の編集可能領域Ｉ‐５から、図マスク領域を検出する。配置部１０６は、マスク画像Ｉ‐４内の図マスク領域に、この図マスク領域がマスクする補正図画像（言い換えれば、この図マスク領域にラベリングされた補正図画像）を配置する（ステップＳ７）。このとき、配置部１０６は、補正図画像のサイズが図マスク領域のサイズと一致するように、補正図画像を変形する。配置部１０６は、典型的には、判別部１０３が判別（ステップＳ４）した補正図画像そのものを配置する。あるいは、配置部１０６は、ユーザーの選択に基づき補正図画像と異なる画像を配置してもよいし、補正図画像を必要に応じて加工した画像を配置してもよい。   The placement unit 106 detects a figure mask region from the editable region I-5 in the mask image I-4. The placement unit 106 places the correction figure image masked by the figure mask area (in other words, the correction figure image labeled in the figure mask area) in the figure mask area in the mask image I-4 (step S7). . At this time, the arrangement unit 106 deforms the corrected diagram image so that the size of the corrected diagram image matches the size of the diagram mask area. The placement unit 106 typically places the corrected diagram image itself determined by the determination unit 103 (step S4). Alternatively, the arrangement unit 106 may arrange an image different from the correction diagram image based on the user's selection, or may arrange an image obtained by processing the correction diagram image as necessary.

配置部１０６は、マスク画像Ｉ‐４内の編集可能領域Ｉ‐５から、文字マスク領域を検出する。配置部１０６は、マスク画像Ｉ‐４内の文字マスク領域に、この文字マスク領域がマスクする補正文字画像（言い換えれば、この文字マスク領域にラベリングされた補正文字画像）が示す文字を示すテキストデータを配置する（ステップＳ８）。具体的には、配置部１０６は、判別部１０３がＯＣＲにより判別した文字コードのテキストデータを、マスク画像Ｉ‐４内の文字マスク領域に配置する。テキストデータのフォントは、判別部１０３が抽出した補正文字画像から推測されるフォントとしてもよい。各文字のサイズは、各文字マスク領域の輪郭線が包含し得る、最大のサイズとしてもよい（この場合、全ての文字のフォントサイズは、必ずしも同一とは限らない）。あるいは、全ての文字のフォントサイズを、同一としてもよい。   The placement unit 106 detects a character mask area from the editable area I-5 in the mask image I-4. The arrangement unit 106, in the character mask area in the mask image I-4, text data indicating the character indicated by the corrected character image masked by the character mask area (in other words, the corrected character image labeled in the character mask area). Are arranged (step S8). Specifically, the arrangement unit 106 arranges the text data of the character code determined by the determination unit 103 by OCR in the character mask area in the mask image I-4. The font of the text data may be a font estimated from the corrected character image extracted by the determination unit 103. The size of each character may be the maximum size that can be included in the outline of each character mask area (in this case, the font sizes of all characters are not necessarily the same). Alternatively, the font size of all characters may be the same.

以上のように、配置部１０６は、マスク画像Ｉ‐４の図マスク領域に補正図画像又は別の画像を配置し、文字マスク領域にテキストデータを配置することで、合成画像Ｉ‐６を生成する。   As described above, the arrangement unit 106 generates the composite image I-6 by arranging the correction figure image or another image in the figure mask area of the mask image I-4 and arranging the text data in the character mask area. To do.

表示部１７ａは、配置部１０６が生成した合成画像Ｉ‐６と、画像読取部１２が読み取った原稿撮影画像Ｉ‐１（ステップＳ１）とを、ユーザーが視覚的に確認しやすいように、例えば並べて表示する。操作部１７を介して、ユーザーにより、合成画像Ｉ‐６の出力方法（印刷、メール送信、ＢＯＸ保存等）が選択される。画像出力部１１２は、選択された出力方法で合成画像Ｉ‐６を出力する（ステップＳ９）。例えば、出力方法として印刷が選択された場合、画像出力部１１２としての画像形成部１６は、合成画像Ｉ‐６を用紙に形成（印刷）する。   The display unit 17a is configured so that the user can easily visually check the composite image I-6 generated by the arrangement unit 106 and the original photographed image I-1 (step S1) read by the image reading unit 12, for example. Display side by side. The user selects an output method (printing, mail transmission, BOX storage, etc.) of the composite image I-6 through the operation unit 17. The image output unit 112 outputs the composite image I-6 using the selected output method (step S9). For example, when printing is selected as the output method, the image forming unit 16 as the image output unit 112 forms (prints) the composite image I-6 on a sheet.

（４．変形例）
情報処理装置の一実施形態として画像形成装置（ＭＦＰ）を例に説明した。これに替えて、情報処理装置の一実施形態として、パーソナルコンピューター、タブレットコンピューター、スマートフォン、デジタルカメラ等の端末装置を用いてもよい。その場合、ステップＳ１（原稿撮影画像を入力）として、端末装置は、ＭＦＰがスキャンして読み取った原稿撮影画像を、ネットワークを通じて取得すればよい。あるいは、端末装置は、別の端末装置（例えば、デジタルカメラや、デジタルカメラを内蔵する端末装置）が撮影した画像を、原稿撮影画像としてネットワークを通じて取得してもよい。あるいは、端末装置は、端末装置自体に内蔵されたカメラが撮影した画像を、原稿撮影画像として取得してもよい。また、ステップＳ９（合成画像を出力）として、端末装置は、印刷データをネットワークを通じてＭＦＰに出力したり、端末装置の表示部に出力（表示）すればよい。 (4. Modifications)
The image forming apparatus (MFP) has been described as an example of the information processing apparatus. Instead, a terminal device such as a personal computer, a tablet computer, a smartphone, or a digital camera may be used as an embodiment of the information processing apparatus. In this case, as step S1 (input a document photographed image), the terminal device may acquire a document photographed image scanned and read by the MFP via the network. Alternatively, the terminal device may acquire an image photographed by another terminal device (for example, a digital camera or a terminal device incorporating a digital camera) as a document photographed image through a network. Alternatively, the terminal device may acquire an image photographed by a camera built in the terminal device itself as a document photographed image. In step S9 (output the composite image), the terminal device may output the print data to the MFP via the network or output (display) the data to the display unit of the terminal device.

あるいは、情報処理装置の一実施形態として、ネットワーク（クラウド）に接続されたサーバー装置としてのコンピューターを用いてもよい。その場合、ステップＳ１（原稿撮影画像を入力）として、サーバー装置は、ＭＦＰがスキャンして読み取った原稿撮影画像を、ネットワークを通じて取得すればよい。あるいは、サーバー装置は、端末装置（例えば、デジタルカメラや、デジタルカメラを内蔵する端末装置）が撮影した画像を、原稿撮影画像としてネットワークを通じて取得してもよい。また、ステップＳ９（合成画像を出力）として、サーバー装置は、印刷データをネットワークを通じてＭＦＰに出力したり、ネットワークを通じて端末装置の表示部に出力（表示）すればよい。   Alternatively, as an embodiment of the information processing apparatus, a computer as a server apparatus connected to a network (cloud) may be used. In this case, as step S1 (input a document photographed image), the server device may acquire a document photographed image scanned and read by the MFP via the network. Alternatively, the server device may acquire an image photographed by a terminal device (for example, a digital camera or a terminal device incorporating a digital camera) as a document photographed image through a network. In step S9 (output the composite image), the server apparatus may output the print data to the MFP via the network, or output (display) it to the display unit of the terminal apparatus via the network.

（５．まとめ）
近年、デジタルカメラを内蔵するスマートフォンやタブレットコンピューター等の端末装置の普及や、デジタルカメラの画質の向上が目覚ましい。このため、ワードプロセッサーソフトで作成した文書データを保存したり印刷する代わりに、原稿を端末装置で撮影し、原稿を撮影した画像を保存したり印刷することもある。しかし、原稿を撮影した画像は、カメラの角度など様々な条件によって歪みが生じ得る。歪みが生じた画像に対して処理を施しては、正確性が低くなる可能性がある。 (5. Summary)
In recent years, the spread of terminal devices such as smartphones and tablet computers with built-in digital cameras and the improvement in image quality of digital cameras have been remarkable. For this reason, instead of storing or printing document data created by word processor software, a document is sometimes shot by a terminal device, and an image of the document is saved or printed. However, an image obtained by photographing a document may be distorted depending on various conditions such as a camera angle. If processing is performed on a distorted image, the accuracy may be lowered.

そこで、本実施形態によれば、原稿撮影画像Ｉ‐１から原稿領域画像Ｉ‐２を抽出し（ステップＳ２）、原稿領域画像Ｉ‐２の歪みを補正し（ステップＳ３）、ＯＣＲにより補正文字画像を判別し（ステップＳ４）、補正文字画像を示すテキストデータを配置する（ステップＳ８）。本実施形態によれば、原稿領域画像Ｉ‐２の歪みを補正してから（ステップＳ３）ＯＣＲにより補正文字画像を判別する（ステップＳ４）ので、ＯＣＲの正確性が向上する。また、原稿領域画像Ｉ‐２を抽出し（ステップＳ２）、原稿領域画像Ｉ‐２の歪みを補正する（ステップＳ３）ので、原稿以外の領域（背景。原稿が載置されている机等）が無くなりワードプロセッサーソフトで作成した文書データに近い出力結果を得ることができる。また、判別部１０３は、補正図画像に含まれる文字を補正文字画像として判別（ステップＳ４）しない。これにより、補正図画像に含まれる文字に対してテキストデータが配置されないので、配置（ステップＳ７）される補正図画像がユーザーにとって違和感なく自然なものとなる。また、補正原稿画像Ｉ‐３に含まれる補正図画像及び補正文字画像を一対一でマスクするマスク領域を含むマスク画像Ｉ‐４を生成し（ステップＳ５）、テキストデータを配置する（ステップＳ８）ので、ユーザーが配置先の位置を指定する等の手間が掛からない。以上より、ユーザーにとっては自動的に、原稿撮影画像Ｉ‐１を電子文書に変換することができる。   Therefore, according to the present embodiment, the original area image I-2 is extracted from the original photographed image I-1 (step S2), the distortion of the original area image I-2 is corrected (step S3), and the corrected character is obtained by OCR. The image is discriminated (step S4), and text data indicating the corrected character image is arranged (step S8). According to the present embodiment, since the corrected character image is determined by OCR after correcting the distortion of the document area image I-2 (step S3), the accuracy of the OCR is improved. Also, the document area image I-2 is extracted (step S2), and the distortion of the document area image I-2 is corrected (step S3). Therefore, the area other than the document (background, desk on which the document is placed, etc.) The output result close to the document data created by the word processor software can be obtained. Further, the determination unit 103 does not determine characters included in the corrected drawing image as corrected character images (step S4). Thereby, since text data is not arranged with respect to the characters included in the corrected drawing image, the corrected drawing image to be arranged (step S7) becomes natural for the user without a sense of incongruity. Further, a mask image I-4 including a mask area for masking the correction diagram image and the correction character image included in the correction document image I-3 one-to-one is generated (step S5), and text data is arranged (step S8). Therefore, there is no need for the user to specify the location of the placement destination. From the above, it is possible for the user to automatically convert the original photographed image I-1 into an electronic document.

これに対して、特許文献１では、撮像対象となる文書(既存文書)を写真として読み込み、電子文書として再配置を行うが、ユーザーが座標を指定し、認識範囲、貼り付ける位置などを選択する必要があり、手間がかかる。   On the other hand, in Patent Document 1, a document (existing document) to be imaged is read as a photograph and rearranged as an electronic document. The user designates coordinates, selects a recognition range, a pasting position, and the like. It is necessary and time-consuming.

１…ＭＦＰ
１０１…原稿領域抽出部
１０２…補正部
１０３…判別部
１０４…マスク画像生成部
１０５…編集可能領域算出部
１０６…配置部
１１０…画像入力部
１１１…文字認識用データベース
１１２…画像出力部 1 ... MFP
DESCRIPTION OF SYMBOLS 101 ... Document area extraction part 102 ... Correction | amendment part 103 ... Discrimination part 104 ... Mask image generation part 105 ... Editable area calculation part 106 ... Arrangement part 110 ... Image input part 111 ... Database for character recognition 112 ... Image output part

Claims (10)

原稿を撮影して得られた原稿撮影画像から、前記原稿の領域の画像である原稿領域画像を抽出する原稿領域抽出部と、
前記抽出された原稿領域画像の歪みを補正して、補正原稿画像を生成する補正部と、
前記補正原稿画像に含まれる補正文字画像を判別し、前記補正文字画像が示す文字を識別する判別部と、
前記判別部が判別した補正文字画像を一対一でマスクする文字マスク領域を含むマスク画像を生成するマスク画像生成部と、
前記マスク画像内の、前記文字マスク領域全てを包含する編集可能領域を算出する編集可能領域算出部と、
前記マスク画像の前記編集可能領域から前記文字マスク領域を検出し、前記マスク画像の前記文字マスク領域に、前記文字マスク領域がマスクする前記補正文字画像が示す文字を示すテキストデータを配置して、合成画像を生成する配置部と
を具備する情報処理装置。 A document region extraction unit that extracts a document region image that is an image of the document region from a document photographed image obtained by photographing a document;
A correction unit that corrects distortion of the extracted document area image and generates a corrected document image;
A determination unit that determines a corrected character image included in the corrected document image and identifies a character indicated by the corrected character image;
A mask image generation unit that generates a mask image including a character mask region that masks the corrected character image determined by the determination unit on a one-to-one basis;
An editable area calculating unit for calculating an editable area including all the character mask areas in the mask image;
Detecting the character mask area from the editable area of the mask image, and arranging text data indicating the character indicated by the corrected character image masked by the character mask area in the character mask area of the mask image; An information processing apparatus comprising: an arrangement unit that generates a composite image. 請求項１に記載の情報処理装置であって、
前記判別部は、光学文字認識（Optical Character Recognition）により、前記補正原稿画像に含まれる補正文字画像を判別する
情報処理装置。 The information processing apparatus according to claim 1,
The determination unit is configured to determine a corrected character image included in the corrected document image by optical character recognition. 請求項１又は請求項２に記載の情報処理装置であって、
前記マスク画像生成部は、前記生成したマスク画像のサイズを、前記合成画像のサイズと一致するように変更する
情報処理装置。 The information processing apparatus according to claim 1 or 2,
The mask image generation unit changes the size of the generated mask image so as to match the size of the synthesized image. 請求項１乃至請求項３の何れか一項に記載の情報処理装置であって、
前記判別部は、前記補正原稿画像に含まれる補正図画像をさらに判別する
情報処理装置。 An information processing apparatus according to any one of claims 1 to 3,
The determination unit further determines a correction diagram image included in the corrected document image. 請求項４に記載の情報処理装置であって、
前記判別部は、前記補正図画像に含まれる文字を補正文字画像として判別しない
情報処理装置。 The information processing apparatus according to claim 4,
The determination unit does not determine a character included in the corrected diagram image as a corrected character image. 請求項４又は請求項５に記載の情報処理装置であって、
前記マスク画像生成部は、前記判別部が判別した補正図画像を一対一でマスクする図マスク領域をさらに含む前記マスク画像を生成し、
前記編集可能領域算出部は、前記マスク画像内の、前記図マスク領域全てをさらに包含する前記編集可能領域を算出し、
前記配置部は、前記マスク画像の前記編集可能領域から前記図マスク領域をさらに検出し、前記マスク画像の前記図マスク領域に、前記図マスク領域がマスクする前記補正図画像又は前記補正図画像と異なる画像をさらに配置して、前記合成画像を生成する
情報処理装置。 The information processing apparatus according to claim 4 or 5,
The mask image generation unit generates the mask image further including a figure mask region for masking the correction figure image determined by the determination unit on a one-to-one basis,
The editable area calculation unit calculates the editable area further including all the figure mask areas in the mask image;
The arrangement unit further detects the figure mask area from the editable area of the mask image, and the correction figure image or the correction figure image masked by the figure mask area in the figure mask area of the mask image An information processing apparatus that further arranges different images to generate the composite image. 請求項１乃至請求項６の何れか一項に記載の情報処理装置であって、
前記合成画像を用紙に形成する画像形成部をさらに具備する
情報処理装置。 An information processing apparatus according to any one of claims 1 to 6,
An information processing apparatus further comprising an image forming unit that forms the composite image on a sheet. 請求項１乃至請求項７の何れか一項に記載の情報処理装置であって、
前記原稿撮影画像を読み取る画像読取部
をさらに具備する情報処理装置。 An information processing apparatus according to any one of claims 1 to 7,
An information processing apparatus further comprising an image reading unit for reading the photographed original image. 原稿を撮影して得られた原稿撮影画像から、前記原稿の領域の画像である原稿領域画像を抽出し、
前記抽出された原稿領域画像の歪みを補正して、補正原稿画像を生成し、
前記補正原稿画像に含まれる補正文字画像を判別し、前記補正文字画像が示す文字を識別し、
前記判別された補正文字画像を一対一でマスクする文字マスク領域を含むマスク画像を生成し、
前記マスク画像内の、前記文字マスク領域全てを包含する編集可能領域を算出し、
前記マスク画像の前記編集可能領域から前記文字マスク領域を検出し、前記マスク画像の前記文字マスク領域に、前記文字マスク領域がマスクする前記補正文字画像が示す文字を示すテキストデータを配置して、合成画像を生成する
情報処理方法。 Extracting an original area image, which is an image of the original area, from an original image obtained by photographing the original;
Correcting the distortion of the extracted document area image to generate a corrected document image;
Determining a corrected character image included in the corrected document image, identifying a character indicated by the corrected character image;
Generating a mask image including a character mask area for masking the determined corrected character image on a one-to-one basis;
Calculating an editable region including all the character mask regions in the mask image;
Detecting the character mask area from the editable area of the mask image, and arranging text data indicating the character indicated by the corrected character image masked by the character mask area in the character mask area of the mask image; An information processing method for generating a composite image. 情報処理装置を、
原稿を撮影して得られた原稿撮影画像から、前記原稿の領域の画像である原稿領域画像を抽出する原稿領域抽出部、
前記抽出された原稿領域画像の歪みを補正して、補正原稿画像を生成する補正部と、
前記補正原稿画像に含まれる補正文字画像を判別し、前記補正文字画像が示す文字を識別する判別部、
前記判別部が判別した補正文字画像を一対一でマスクする文字マスク領域を含むマスク画像を生成するマスク画像生成部、
前記マスク画像内の、前記文字マスク領域全てを包含する編集可能領域を算出する編集可能領域算出部及び
前記マスク画像の前記編集可能領域から前記文字マスク領域を検出し、前記マスク画像の前記文字マスク領域に、前記文字マスク領域がマスクする前記補正文字画像が示す文字を示すテキストデータを配置して、合成画像を生成する配置部
として機能させるプログラム。 Information processing device
A document region extraction unit that extracts a document region image that is an image of the document region from a document photographed image obtained by photographing a document;
A correction unit that corrects distortion of the extracted document area image and generates a corrected document image;
A determination unit for determining a corrected character image included in the corrected document image and identifying a character indicated by the corrected character image;
A mask image generation unit that generates a mask image including a character mask region that masks the corrected character image determined by the determination unit on a one-to-one basis;
An editable area calculating unit that calculates an editable area that includes all of the character mask area in the mask image; and detecting the character mask area from the editable area of the mask image, and the character mask of the mask image A program that arranges text data indicating a character indicated by the corrected character image masked by the character mask region in an area and functions as an arrangement unit that generates a composite image.
JP2016098884A 2016-05-17 2016-05-17 INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, AND PROGRAM Expired - Fee Related JP6540597B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016098884A JP6540597B2 (en) 2016-05-17 2016-05-17 INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, AND PROGRAM

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016098884A JP6540597B2 (en) 2016-05-17 2016-05-17 INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, AND PROGRAM

Publications (2)

Publication Number Publication Date
JP2017208655A true JP2017208655A (en) 2017-11-24
JP6540597B2 JP6540597B2 (en) 2019-07-10

Family

ID=60416642

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016098884A Expired - Fee Related JP6540597B2 (en) 2016-05-17 2016-05-17 INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, AND PROGRAM

Country Status (1)

Country Link
JP (1) JP6540597B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020013217A (en) * 2018-07-13 2020-01-23 株式会社リコー Information processing system, image log search method, information processing apparatus, and program
CN113270088A (en) * 2020-02-14 2021-08-17 阿里巴巴集团控股有限公司 Text processing method, data processing method, voice processing method, data processing device, voice processing device and electronic equipment

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000013596A (en) * 1998-06-18 2000-01-14 Minolta Co Ltd Device and method for processing image and recording medium with image processing program recorded there
JP2000339402A (en) * 1999-05-27 2000-12-08 Canon Inc Picture processor, picture processing method and computer readable memory
JP2004062350A (en) * 2002-07-26 2004-02-26 Fujitsu Ltd Document information input program, document information input device, and document information input method
JP2006303678A (en) * 2005-04-18 2006-11-02 Canon Inc Image processing apparatus

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000013596A (en) * 1998-06-18 2000-01-14 Minolta Co Ltd Device and method for processing image and recording medium with image processing program recorded there
JP2000339402A (en) * 1999-05-27 2000-12-08 Canon Inc Picture processor, picture processing method and computer readable memory
JP2004062350A (en) * 2002-07-26 2004-02-26 Fujitsu Ltd Document information input program, document information input device, and document information input method
JP2006303678A (en) * 2005-04-18 2006-11-02 Canon Inc Image processing apparatus

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020013217A (en) * 2018-07-13 2020-01-23 株式会社リコー Information processing system, image log search method, information processing apparatus, and program
CN113270088A (en) * 2020-02-14 2021-08-17 阿里巴巴集团控股有限公司 Text processing method, data processing method, voice processing method, data processing device, voice processing device and electronic equipment
CN113270088B (en) * 2020-02-14 2022-04-29 阿里巴巴集团控股有限公司 Text processing method, data processing method, voice processing method, data processing device, voice processing device and electronic equipment

Also Published As

Publication number Publication date
JP6540597B2 (en) 2019-07-10

Similar Documents

Publication Publication Date Title
KR101292925B1 (en) Object of image capturing, computer readable media for storing image processing program and image processing method
JP7387339B2 (en) Image processing system, image processing method, and program
JP4904426B1 (en) Image processing system and imaging object used therefor
US10395131B2 (en) Apparatus, method and non-transitory storage medium for changing position coordinates of a character area stored in association with a character recognition result
US9558433B2 (en) Image processing apparatus generating partially erased image data and supplementary data supplementing partially erased image data
US11418658B2 (en) Image processing apparatus, image processing system, image processing method, and storage medium
CN111950557A (en) Error problem processing method, image forming apparatus and electronic device
US11470211B2 (en) Image processing apparatus for generating an electronic file of a document image from an optically captured image, and non-transitory computer readable recording medium that records image processing program for generating an electronic file of a document image from an optically captured image
US9818028B2 (en) Information processing apparatus for obtaining a degree of similarity between elements
JP6540597B2 (en) INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, AND PROGRAM
JP2017212575A (en) Image reading device and program
US11436733B2 (en) Image processing apparatus, image processing method and storage medium
JP2009027221A (en) Information management system and program
US10645256B2 (en) Image forming apparatus and non-transitory computer-readable storage medium suitable for extracting areas in images specified by handwritten marker by line marker such as highlighter pen or the like, and electronic marker by digital pen
JP5651221B2 (en) Symbol piece, image processing program, and image processing method
JP6058042B2 (en) Image processing device
JP2018170653A (en) Image forming apparatus and program
JP7147544B2 (en) Information processing device and information processing method
JP6639257B2 (en) Information processing apparatus and control method therefor
JP2019220906A (en) Image processing system, print instruction device, image processing device, and program
US20220301326A1 (en) Ocr target area position acquisition system, computer-readable non-transitory recording medium storing ocr target area position acquisition program, hard copy, hard copy generation system, and computer-readable non-transitory recording medium storing hard copy generation program
JP5101740B2 (en) Object to be imaged
WO2022097408A1 (en) Image processing device and image forming device
US20220277473A1 (en) Pose estimation apparatus, learning apparatus, pose estimation method, and non-transitory computer-readable recording medium
JP5602927B2 (en) Imaging object, image processing program, and image processing method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180226

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181031

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181219

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190514

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190527

R150 Certificate of patent or registration of utility model

Ref document number: 6540597

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees