JP2016046794A - Image processing system and image processing method - Google Patents
Image processing system and image processing method Download PDFInfo
- Publication number
- JP2016046794A JP2016046794A JP2014172326A JP2014172326A JP2016046794A JP 2016046794 A JP2016046794 A JP 2016046794A JP 2014172326 A JP2014172326 A JP 2014172326A JP 2014172326 A JP2014172326 A JP 2014172326A JP 2016046794 A JP2016046794 A JP 2016046794A
- Authority
- JP
- Japan
- Prior art keywords
- image
- character
- divided
- boundary
- divided images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
Description
本発明は、画像処理装置及び画像処理方法に関する。 The present invention relates to an image processing apparatus and an image processing method.
従来のデジタルカメラでは、ある対象物を分割して撮影し、撮影された複数の分割画像を配置し、配置された各分割画像の間の重複部分（オーバーラップ部分）を検出して、当該検出した重複部分を適切に処理して、複数の分割画像を合成し、一つの大きな画像を生成するパノラマ合成技術が知られている。近年、このパノラマ合成技術が、複写機、複合機等の画像処理装置に適用されている。 In a conventional digital camera, an object is divided and photographed, a plurality of photographed divided images are arranged, an overlapping portion (overlap portion) between the arranged divided images is detected, and the detection is performed. A panorama synthesis technique is known in which a plurality of divided images are synthesized by appropriately processing the overlapped portions and generating one large image. In recent years, this panorama composition technique has been applied to image processing apparatuses such as copying machines and multifunction machines.
例えば、特開２００３−１４１５２６号公報（特許文献１）には、輝度値を用いて、画像読取装置（スキャナー）で読み取られた画像の地肌部分に、境界部分を設定することで、文字部分に境界部分が設定されることを避け、複数の分割画像を一つの合成画像に高画質に合成する技術が開示されている。 For example, Japanese Patent Application Laid-Open No. 2003-141526 (Patent Document 1) uses a luminance value to set a boundary portion on the background portion of an image read by an image reading device (scanner), thereby adding a character portion. A technique for avoiding setting a boundary portion and synthesizing a plurality of divided images into one synthesized image with high image quality is disclosed.
又、特開２０１２−２２７６０１号公報（特許文献２）には、濃度差の大きい画像の領域を文字領域として判定し、それ以外の地肌領域に境界を設定することで、複数の分割画像を一つの合成画像に高画質に合成する技術が開示されている。 In Japanese Patent Laid-Open No. 2012-227601 (Patent Document 2), an area of an image having a large density difference is determined as a character area, and a boundary is set in the other background area. A technique for synthesizing two synthesized images with high image quality is disclosed.
しかしながら、上述した特許文献１に記載の技術は、分割画像の文字部分を輝度値で判定するため、文字部分の色や背景が単調で無い場合、文字部分を地肌部分と誤認するという課題がある。又、上述した特許文献２に記載の技術は、分割画像の写真上に文字が重ねられている場合や文字の背景に地肌部分が殆ど無い場合に、境界を地肌領域に適切に設定することが出来ないという課題がある。 However, since the technique described in Patent Document 1 described above determines the character part of the divided image based on the luminance value, there is a problem that the character part is mistaken as a background part when the color or background of the character part is not monotonous. . Further, the technique described in Patent Document 2 described above can appropriately set the boundary in the background area when characters are superimposed on the photograph of the divided image or when there is almost no background portion on the background of the characters. There is a problem that it cannot be done.
ところで、画像処理装置における分割画像合成技術では、所定のサイズ（大型サイズ）の原稿を、他の位置で複数分割して画像読取し、複数の分割画像を一枚の合成画像として合成する際に、分割画像の境界部分で画質劣化が生じる。 By the way, in the divided image composition technique in the image processing apparatus, when a document of a predetermined size (large size) is divided into a plurality of parts at other positions and read, and the plurality of divided images are combined as a single composite image. Degradation of image quality occurs at the boundary between divided images.
特に、文字部分は鮮鋭で微細なエッジから構成されていることから、この文字部分に分割画像の境界部分が重なる場合、当該文字部分に、文字部分以外の部分、例えば、写真部分と比較して顕著な画質劣化を生じさせるという課題がある。 In particular, since the character part is composed of sharp and fine edges, when the boundary part of the divided image overlaps with this character part, the character part is compared with a part other than the character part, for example, a photograph part. There is a problem of causing significant image quality degradation.
そのため、原稿を分割して画像読取し、一つの合成画像を生成させる場合、シームレスさ（継ぎ目のない状態のこと）が要求される部分は、自然画像を含む写真部分ではなく、文字部分である。従って、この文字部分で画像合成時にズレが生じた場合、合成画像の画質劣化が顕著に現れる。 For this reason, when a document is divided and scanned to generate a single composite image, a portion that requires seamlessness (a seamless state) is a character portion, not a photographic portion including a natural image. . Therefore, when a deviation occurs during image synthesis in this character portion, the image quality degradation of the synthesized image appears significantly.
そこで、本発明は、前記課題を解決するためになされたものであり、文字部分を含む複数の分割画像を合成しても、高品質な合成画像を得ることが可能な画像処理装置及び画像処理方法を提供することを目的とする。 Therefore, the present invention has been made to solve the above-described problem, and an image processing apparatus and an image processing capable of obtaining a high-quality composite image even when a plurality of divided images including a character portion are combined. It aims to provide a method.
本発明の一の局面に係る画像処理装置は、分割画像取得部と、分割画像合成部と、文字部分抽出部と、重複判定部と、境界部分再決定部と、分割画像再合成部と、を備える。画像分割取得部は、一枚の原稿の画像を分割して読み取って、複数の分割画像を取得する。分割画像合成部は、前記複数の分割画像の重複部分を検出し、当該検出した重複部分から、前記複数の分割画像の境界部分を決定し、当該境界部分で当該複数の分割画像を合成する。文字部分抽出部は、前記合成された合成画像に所定の領域分離処理を施すことで、当該合成画像から文字部分を抽出する。重複判定部は、前記抽出された文字部分に前記境界部分が重なるか否かを判定する。境界部分再決定部は、前記文字部分に前記境界部分が重なる場合、前記文字部分以外の部分に、前記複数の分割画像の境界部分を再決定する。分割画像再合成部は、前記再決定された境界部分で当該複数の分割画像を再合成する。 An image processing apparatus according to one aspect of the present invention includes a divided image acquisition unit, a divided image synthesis unit, a character part extraction unit, an overlap determination unit, a boundary part redetermination unit, a divided image re-synthesis unit, Is provided. The image division acquisition unit divides and reads an image of a single document and acquires a plurality of divided images. The divided image combining unit detects an overlapping portion of the plurality of divided images, determines a boundary portion of the plurality of divided images from the detected overlapping portion, and combines the plurality of divided images at the boundary portion. The character part extraction unit extracts a character part from the synthesized image by performing a predetermined region separation process on the synthesized image. The duplication determination unit determines whether or not the boundary portion overlaps the extracted character portion. The boundary portion redetermining unit redetermines the boundary portions of the plurality of divided images as portions other than the character portions when the boundary portions overlap the character portions. The divided image re-synthesizing unit re-synthesizes the plurality of divided images at the re-determined boundary portion.
前記文字部分抽出部は、前記合成画像に対して、画素毎或いは複数の画素からなるブロック毎に、エッジ部の検出、エッジ部の勾配量の検出、エッジ部の範囲に基づいて、文字エッジ領域に属するか否かを推定し、前記文字エッジ領域に属する画素又はブロックを文字部分として推定して抽出する。又、前記境界部分再決定部は、前記分割画像の重複部分のうち、前記文字部分以外の部分を検索し、当該検索した部分に前記境界部分を新たに再決定する。 The character part extraction unit is configured to detect a character edge region based on detection of an edge portion, detection of a gradient amount of the edge portion, and a range of the edge portion for each pixel or each block including a plurality of pixels with respect to the synthesized image. And the pixels or blocks belonging to the character edge region are estimated and extracted as character portions. In addition, the boundary part redetermining unit searches a part other than the character part among the overlapping parts of the divided images, and newly redetermines the boundary part to the searched part.
本発明の一の局面に係る画像処理方法は、分割画像取得ステップと、分割画像合成ステップと、文字部分抽出ステップと、重複判定ステップと、境界部分再決定ステップと、分割画像再合成ステップと、を備える。画像分割取得ステップは、一枚の原稿の画像を分割して読み取って、複数の分割画像を取得する。分割画像合成ステップは、前記複数の分割画像の重複部分を検出し、当該検出した重複部分から、前記複数の分割画像の境界部分を決定し、当該境界部分で当該複数の分割画像を合成する。文字部分抽出ステップは、前記合成された合成画像に所定の領域分離処理を施すことで、当該合成画像から文字部分を抽出する。重複判定ステップは、前記抽出された文字部分に前記境界部分が重なるか否かを判定する。境界部分再決定ステップは、前記文字部分に前記境界部分が重なる場合、前記文字部分以外の部分に、前記複数の分割画像の境界部分を再決定する。分割画像再合成ステップは、前記再決定された境界部分で当該複数の分割画像を再合成する。 An image processing method according to one aspect of the present invention includes a divided image acquisition step, a divided image synthesis step, a character part extraction step, an overlap determination step, a boundary part redetermination step, a divided image resynthesis step, Is provided. In the image division acquisition step, an image of one original is divided and read to acquire a plurality of divided images. The divided image combining step detects an overlapping portion of the plurality of divided images, determines a boundary portion of the plurality of divided images from the detected overlapping portion, and combines the plurality of divided images at the boundary portion. The character part extraction step extracts a character part from the synthesized image by performing a predetermined region separation process on the synthesized image. In the duplication determination step, it is determined whether or not the boundary portion overlaps the extracted character portion. In the boundary portion redetermination step, when the boundary portion overlaps the character portion, the boundary portion of the plurality of divided images is redetermined in a portion other than the character portion. The divided image re-synthesizing step re-synthesizes the plurality of divided images at the re-determined boundary portion.
本発明の画像処理装置及び画像処理方法によれば、文字部分を含む複数の分割画像を合成しても、高品質な合成画像を得ることが可能となる。 According to the image processing apparatus and the image processing method of the present invention, it is possible to obtain a high-quality composite image even if a plurality of divided images including a character portion are combined.
以下に、添付図面を参照して、本発明の画像処理装置及び画像処理方法の実施形態について説明し、本発明の理解に供する。尚、以下の実施形態は、本発明を具体化した一例であって、本発明の技術的範囲を限定する性格のものではない。又、フローチャートにおける数字の前に付されたアルファベットＳはステップを意味する。 DETAILED DESCRIPTION Embodiments of an image processing apparatus and an image processing method according to the present invention will be described below with reference to the accompanying drawings for understanding of the present invention. In addition, the following embodiment is an example which actualized this invention, Comprising: The thing of the character which limits the technical scope of this invention is not. Moreover, the alphabet S added before the number in a flowchart means a step.
以下に、本発明の実施形態の一例として、画像読取と画像形成とを兼ね備えた画像処理装置について説明する。尚、本発明の画像処理装置は、例えば、ファクシミリ、コピー、スキャナ、プリンター等の機能を備えた複合機（ＭＦＰ：Ｍｕｌｔｉ Ｆｕｎｃｔｉｏｎ Ｐｅｒｉｐｈｅｒａｌ）が該当する。 An image processing apparatus that combines image reading and image formation will be described below as an example of an embodiment of the present invention. Note that the image processing apparatus according to the present invention corresponds to, for example, a multi-function peripheral (MFP) having functions such as a facsimile, a copy, a scanner, and a printer.
複合機１００は、図１に示すように、タッチパネルを含む操作部１０１を介してユーザーから、画像読取ジョブの設定条件を受け付けると、画像読取部１０２の各部を駆動し、当該画像読取ジョブを提供する。又、複合機１００は、操作部１０１を介して印刷ジョブの設定条件を受け付けると、画像読取部１０２、画像形成部１０３等の各部を駆動し、当該印刷ジョブを提供する。 As illustrated in FIG. 1, when the MFP 100 receives a setting condition for an image reading job from a user via an operation unit 101 including a touch panel, the multifunction peripheral 100 drives each unit of the image reading unit 102 and provides the image reading job. To do. When the MFP 100 receives the print job setting conditions via the operation unit 101, the MFP 100 drives each unit such as the image reading unit 102 and the image forming unit 103 to provide the print job.
尚、複合機１００の制御回路は、図示しないが、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、各駆動部に対応するドライバーを内部バスによって接続している。複合機１００のＣＰＵは、例えば、ＲＡＭを作業領域として利用し、ＲＯＭ、ＨＤＤ等に記憶されているプログラムを実行し、当該実行結果に基づいてドライバーからのデータ、指示、信号、命令等を授受し、各種処理の実行に関する各駆動部の動作を制御する。又、駆動部以外の後述する各部（図２に示す）についても、ＣＰＵが、各プログラムを実行することで当該各部を実現する。ＲＯＭ、ＲＡＭ、ＨＤＤ等には、以下に説明する各部を実現するプログラムやデータが記憶されている。 Although not shown, the control circuit of the multifunction peripheral 100 includes a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), a HDD (Hard Disk Drive), and drivers corresponding to each driving unit. Connected by internal bus. The CPU of the multifunction device 100 uses, for example, a RAM as a work area, executes a program stored in a ROM, HDD, etc., and receives data, instructions, signals, instructions, etc. from the driver based on the execution results. Then, the operation of each drive unit related to the execution of various processes is controlled. Further, for each unit (shown in FIG. 2) to be described later other than the drive unit, the CPU implements each unit by executing each program. A ROM, a RAM, an HDD, and the like store programs and data for realizing each unit described below.
次に、図２、図３を参照しながら、本発明の実施形態に係る構成及び実行手順について説明する。先ず、ユーザーが、複合機１００の電源を投入する（又は複合機１００のスリープ状態を解除する）と、当該複合機１００の表示受付部２０１が、操作部１０１を介して操作画面を表示し、ユーザーからジョブの入力を受け付ける。 Next, the configuration and execution procedure according to the embodiment of the present invention will be described with reference to FIGS. First, when the user turns on the power of the multifunction device 100 (or cancels the sleep state of the multifunction device 100), the display reception unit 201 of the multifunction device 100 displays an operation screen via the operation unit 101, Accept job input from user.
ここで、ユーザーが、前記操作画面のうち、画像合成モードを選択すると、表示受付部２０１が、当該画像合成モードの選択を受け付け（図３：Ｓ１０１）、その旨を分割画像取得部２０２に通知する。当該通知を受けた分割画像取得部２０２は、一枚の原稿の画像を分割して読み取って、複数の分割画像を取得する（図３：Ｓ１０２）。 Here, when the user selects an image composition mode in the operation screen, the display accepting unit 201 accepts the selection of the image composition mode (FIG. 3: S101), and notifies the divided image obtaining unit 202 to that effect. To do. Upon receiving the notification, the divided image acquisition unit 202 divides and reads an image of a single document and acquires a plurality of divided images (FIG. 3: S102).
ここで、分割画像取得部２０２が取得する方法に特に限定は無い。例えば、分割画像取得部２０２は、操作部１０１を介して、所定の分割画像読取画面を表示させて、ユーザーに一枚の原稿の画像を分割して読み取らせるように促す。ユーザーは、前記分割画像読取画面を見ながら、所定のサイズの原稿の一部を画像読取部１０２のコンタクトガラスに配置して、スタートキーを選択すると、分割画像取得部２０２が、画像読取部１０２を介して、当該原稿の一部の画像を読み取る。そして、ユーザーは、前記原稿の一部と異なる部分である原稿の他部を前記コンタクトガラスに配置して、スタートキーを選択すると、分割画像取得部２０２が、画像読取部１０２を介して、当該原稿の他部の画像を読み取る。このような処理を複数繰り返すことで、分割画像取得部２０２は、複数の分割画像を取得する。分割画像取得部２０２の分割画像の取得は、例えば、ユーザーが、前記分割画像読取画面を介して、分割画像読取完了キーを選択することで、完了する。 Here, there is no limitation in particular in the method which the divided image acquisition part 202 acquires. For example, the divided image acquisition unit 202 displays a predetermined divided image reading screen via the operation unit 101 and prompts the user to divide and read one original image. When the user places a part of a document of a predetermined size on the contact glass of the image reading unit 102 and selects a start key while looking at the divided image reading screen, the divided image acquisition unit 202 causes the image reading unit 102 to display the divided image reading screen. The image of a part of the document is read via the. Then, when the user places the other part of the document that is different from a part of the document on the contact glass and selects the start key, the divided image acquisition unit 202 passes the image reading unit 102 through the image reading unit 102. Read the image of the other part of the document. By repeating such a process a plurality of times, the divided image acquisition unit 202 acquires a plurality of divided images. The acquisition of the divided image by the divided image acquisition unit 202 is completed, for example, when the user selects a divided image reading completion key via the divided image reading screen.
ここで、図４（Ａ）に示すように、分割画像取得部２０２は、所定のサイズ（例えば、Ａ３）の原稿（例えば、カタログ、ポスター等）の画像を、当該サイズよりも小さいサイズ（例えば、Ａ４）の２つの分割画像（分割画像Ａ、Ｂ）で取得したとする。尚、この原稿の画像には、文字部分と、写真部分（地肌部分）が存在する。 Here, as shown in FIG. 4A, the divided image acquisition unit 202 converts an image of a document (for example, a catalog, a poster, etc.) having a predetermined size (for example, A3) into a size (for example, a size smaller than the size). , A4) is acquired with two divided images (divided images A and B). The original image has a character portion and a photograph portion (background portion).
さて、分割画像取得部２０２が取得を完了すると、その旨を分割画像合成部２０３に通知する。当該通知を受けた分割画像合成部２０３は、前記複数の分割画像の重複部分を検出し、当該検出した重複部分から、前記複数の分割画像の境界部分を決定し、当該境界部分で当該複数の分割画像を合成する。 When the divided image acquisition unit 202 completes the acquisition, it notifies the divided image composition unit 203 to that effect. Receiving the notification, the divided image composition unit 203 detects an overlapping portion of the plurality of divided images, determines a boundary portion of the plurality of divided images from the detected overlapping portion, and the plurality of divided images at the boundary portion. Combine the divided images.
ここで、分割画像合成部２０３が合成する方法に特に限定は無い。例えば、公知のパノラマ合成技術が利用され、下記の手順で行われる。分割画像合成部２０３は、図４（Ｂ）に示すように、分割画像Ａと分割画像Ｂを並列して、当該分割画像Ａ、Ｂを重ね合わせることで、当該分割画像Ａ、Ｂで共通する重複部分を検出する（図３：Ｓ１０３）。前記重複部分の検出方法に特に限定は無く、公知の方法で良い。 Here, there is no particular limitation on the method of combining by the divided image combining unit 203. For example, a known panorama synthesis technique is used, and the following procedure is performed. As shown in FIG. 4B, the divided image combining unit 203 has the divided images A and B in common by overlapping the divided images A and B in parallel. An overlapping part is detected (FIG. 3: S103). The method for detecting the overlapping portion is not particularly limited, and a known method may be used.
次に、分割画像合成部２０３は、前記検出した重複部分から、前記分割画像Ａ、Ｂの境界部分を決定する（図３：Ｓ１０４）。又、前記境界部分の決定方法に特に限定は無く、公知の方法で良い。前記境界部分は、前記重複部分の任意の位置に決定することが出来、前記境界部分の形状も、前記重複部分上であれば、直線状、斜め線状等任意に決定することが出来る。例えば、図４（Ｂ）に示すように、前記重複部分のうち、最初に取得された分割画像Ａの直線状の端部が、境界部分に決定される。 Next, the divided image synthesizing unit 203 determines a boundary portion between the divided images A and B from the detected overlapping portion (FIG. 3: S104). Moreover, there is no limitation in particular in the determination method of the said boundary part, A well-known method may be used. The boundary portion can be determined at an arbitrary position of the overlapping portion, and the shape of the boundary portion can be arbitrarily determined as long as it is on the overlapping portion. For example, as shown in FIG. 4B, the linear end portion of the divided image A acquired first among the overlapping portions is determined as the boundary portion.
更に、分割画像合成部２０３は、前記決定した境界部分で分割画像Ａ、Ｂを合成する（図３：Ｓ１０５）。例えば、図４（Ｂ）に示すように、分割画像合成部２０３は、最初に取得された分割画像Ａの直線状の端部を境界部分に決定すると、当該分割画像Ａをそのまま利用し、後に取得された分割画像Ｂの重複部分を前記境界部分で削除し、当該削除されて残った分割画像Ｂの境界部分を前記分割画像Ａの境界部分と接続する。これにより、図４（Ｂ）に示すように、２つの分割画像Ａ、Ｂから、１つの合成画像が出来上がる。尚、上述では、２つの分割画像Ａ、Ｂで１つの合成画像を合成したが、２つ以上の分割画像であっても同様である。 Further, the divided image combining unit 203 combines the divided images A and B at the determined boundary portion (FIG. 3: S105). For example, as shown in FIG. 4B, when the divided image composition unit 203 determines the linear end of the first obtained divided image A as the boundary portion, the divided image A is used as it is, and later The overlapped portion of the acquired divided image B is deleted at the boundary portion, and the boundary portion of the deleted divided image B is connected to the boundary portion of the divided image A. Thereby, as shown in FIG. 4B, one composite image is completed from the two divided images A and B. In the above description, one synthesized image is synthesized with the two divided images A and B, but the same applies to two or more divided images.
ここで、図４（Ｂ）に示すように、前記境界部分が、前記合成画像の文字部分に重なる場合、当該文字部分におけるシームレスさが悪化するため、当該合成画像の画質劣化が生じる。 Here, as shown in FIG. 4B, when the boundary portion overlaps with the character portion of the composite image, the seamlessness of the character portion deteriorates, so that the image quality of the composite image deteriorates.
そこで、分割画像合成部２０３は合成を完了すると、その旨を文字部分抽出部２０４に通知し、当該通知を受けた文字部分抽出部２０４は、前記合成された合成画像に所定の領域分離処理を施すことで、当該合成画像から文字部分を抽出する（図３：Ｓ１０６）。 Therefore, when the divided image composition unit 203 completes the composition, it notifies the character part extraction unit 204 to that effect, and the character part extraction unit 204 that has received the notification performs a predetermined region separation process on the composite image. As a result, a character portion is extracted from the composite image (FIG. 3: S106).
ここで、文字部分抽出部２０４が抽出する方法に特に限定は無い。例えば、文字部分抽出部２０４は、前記合成画像に対して、画素毎或いは複数の画素からなるブロック毎に領域属性を判定する。具体的には、文字部分抽出部２０４は、画素毎或いは複数の画素からなるブロック毎に、例えば、エッジ部の検出、エッジ部の勾配量の検出、エッジ部の範囲に基づいて、文字エッジ領域に属するか否かを推定する。前記文字エッジ領域に属する画素又はブロックは、文字部分と推定され、前記文字エッジ領域に属さない画素又はブロックは、文字部分以外の部分、例えば、写真部分或いは地肌部分と推定される。このようにして、図５（Ｂ）に示すように、前記合成画像から、文字部分が抽出される。ここで、領域分離処理を採用することで、文字部分と、写真部分或いは地肌部分とを明確に区別することが出来るため、例えば、地肌部分が殆ど無い原稿であっても、良好な合成画像を得ることが可能となる。 Here, there is no limitation in particular in the method which the character part extraction part 204 extracts. For example, the character part extraction unit 204 determines an area attribute for each pixel or each block including a plurality of pixels with respect to the synthesized image. Specifically, the character part extraction unit 204 performs, for each pixel or each block composed of a plurality of pixels, a character edge region based on, for example, edge detection, edge gradient detection, and edge portion range. It is estimated whether it belongs to. Pixels or blocks belonging to the character edge region are estimated as character portions, and pixels or blocks not belonging to the character edge region are estimated as portions other than the character portions, for example, photograph portions or background portions. In this manner, as shown in FIG. 5B, the character portion is extracted from the composite image. Here, by adopting the region separation processing, it is possible to clearly distinguish the character portion from the photograph portion or the background portion. For example, even if the document has almost no background portion, a good composite image can be obtained. Can be obtained.
さて、前記合成画像に文字部分が存在する場合、文字部分抽出部２０４は当該文字部分を抽出し（図３：Ｓ１０６ＹＥＳ）、その旨を重複判定部２０５に通知する。当該通知を受けた重複判定部２０５は、前記抽出された文字部分に前記境界部分が重なるか否かを判定する（図３：Ｓ１０７）。 When a character part exists in the composite image, the character part extraction unit 204 extracts the character part (FIG. 3: S106 YES) and notifies the duplication determination unit 205 to that effect. Upon receiving the notification, the duplication determination unit 205 determines whether or not the boundary portion overlaps the extracted character portion (FIG. 3: S107).
ここで、重複判定部２０５が判定する方法に特に限定は無い。例えば、重複判定部２０５は、図５（Ｂ）に示すように、前記文字部分と前記境界部分とを特定し、当該特定された文字部分に当該境界部分が重なるか否かを判定する。 Here, there is no particular limitation on the method used by the overlap determination unit 205 to determine. For example, as shown in FIG. 5B, the overlap determination unit 205 specifies the character part and the boundary part, and determines whether or not the boundary part overlaps the specified character part.
前記判定の結果、前記文字部分に前記境界部分が重なる場合（図３：Ｓ１０７ＹＥＳ）、重複判定部２０５は、その旨を境界部分再決定部２０６に通知する。当該通知を受けた境界部分再決定部２０６は、前記文字部分以外の部分に、前記複数の分割画像の境界部分を再決定する（図３：Ｓ１０８）。 As a result of the determination, when the boundary portion overlaps the character portion (FIG. 3: S107 YES), the overlap determination unit 205 notifies the boundary portion re-determination unit 206 to that effect. Receiving the notification, the boundary part redetermining unit 206 redetermines the boundary parts of the plurality of divided images in parts other than the character part (FIG. 3: S108).
ここで、境界部分再決定部２０６が再決定する方法に特に限定は無い。前記境界部分の形状が直線状であれば、例えば、図５（Ｂ）に示すように、境界部分再決定部２０６は、前記分割画像Ａ、Ｂの重複部分のうち、前記文字部分以外の部分を検索する。ここで、前記文字部分は、画像内の細線部分も含まれる。具体的には、境界部分再決定部２０６は、前記文字部分のうち、直線状を確保出来る文字部分「Ｊ」と文字部分「Ｋ」との間の部分を検索する。そして、境界部分再決定部２０６は、前記検索した部分に前記境界部分を新たに再決定する。これにより、前記境界部分は、前記文字部分を避けて設定されることになる。 Here, there is no particular limitation on the method by which the boundary portion redetermining unit 206 redetermines. If the shape of the boundary portion is a straight line, for example, as shown in FIG. 5B, the boundary portion redetermining unit 206 is a portion other than the character portion among the overlapping portions of the divided images A and B. Search for. Here, the character portion includes a thin line portion in the image. Specifically, the boundary portion redetermining unit 206 searches for a portion between the character portion “J” and the character portion “K” that can ensure a straight line shape among the character portions. Then, the boundary portion redetermining unit 206 newly redetermines the boundary portion as the searched portion. Thereby, the boundary portion is set avoiding the character portion.
そして、境界部分再決定部２０６は再決定を完了すると、その旨を分割画像再合成部２０７に通知し、当該通知を受けた分割画像再合成部２０７は、前記再決定された境界部分で当該複数の分割画像を再合成する（図３：Ｓ１０９）。 When the re-determination unit 206 completes the re-determination, the boundary image re-synthesizing unit 207 notifies the division image re-synthesizing unit 207 to that effect. A plurality of divided images are recombined (FIG. 3: S109).
ここで、分割画像再合成部２０７が再合成する方法に特に限定は無い。例えば、図５（Ｂ）に示すように、分割画像再合成部２０７は、最初に取得された分割画像Ａの重複部分のうち、分割画像Ｂ側の重複部分を、前記再決定された境界部分で削除する。又、分割画像再合成部２０７は、後に取得された分割画像Ｂの重複部分のうち、分割画像Ａ側の重複部分を、前記再決定された境界部分で削除する。そして、分割画像再合成部２０７は、前記削除されて残った分割画像Ａ、Ｂを、前記再決定された境界部分で接続する。これにより、図５（Ｂ）に示すように、２つの分割画像Ａ、Ｂを、文字部分に重ならない境界部分で再合成することが出来る。そのため、画像合成による文字部分のズレを無くし、合成画像にシームレスさ、高画質（高品質）を確保することが出来る。 Here, there is no particular limitation on the method by which the divided image re-synthesis unit 207 re-synthesizes. For example, as shown in FIG. 5B, the divided image re-synthesizing unit 207 selects the overlapping portion on the divided image B side from among the overlapping portions of the divided image A acquired first, and re-determines the boundary portion. Delete with. Also, the divided image re-synthesizing unit 207 deletes the overlapping portion on the divided image A side among the overlapping portions of the divided image B acquired later at the redetermined boundary portion. Then, the divided image re-synthesizing unit 207 connects the deleted divided images A and B with the redetermined boundary portion. As a result, as shown in FIG. 5B, the two divided images A and B can be recombined at the boundary portion that does not overlap the character portion. Therefore, it is possible to eliminate the deviation of the character part due to the image composition, and to ensure seamlessness and high image quality (high quality) in the composite image.
さて、分割画像再合成部２０７が再合成を完了すると、その旨を表示受付部２０１に通知し、当該通知を受けた表示受付部２０１は、操作部１０１を介して、前記再合成された合成画像を表示して、当該合成画像を出力する（図３：Ｓ１１０）。これにより、ユーザーは、シームレスさのある合成画像を得ることが出来る。ここで、合成画像の出力とは、上述のように、表示に限らず、例えば、複合機１００がデータとして所定のメモリーに記憶させたり、印刷物として印刷したりする意味も包含する。 When the divided image re-synthesizing unit 207 completes re-synthesizing, the display receiving unit 201 is notified of this, and the display receiving unit 201 that has received the notification performs the re-synthesized combining via the operation unit 101. The image is displayed and the composite image is output (FIG. 3: S110). As a result, the user can obtain a seamless composite image. Here, as described above, the output of the composite image is not limited to display, but includes, for example, the meaning that the multi-function device 100 stores data in a predetermined memory as data or prints it as a printed matter.
ところで、Ｓ１０６において、例えば、分割画像が全て写真部分であり、前記合成画像に文字部分が存在しない場合、文字部分抽出部２０４は文字部分を抽出することが出来ないと判定し（図３：Ｓ１０６ＮＯ）、その旨を表示受付部２０１に通知する。当該通知を受けた表示受付部２０１は、前記合成画像を出力する（図３：Ｓ１１０）。この場合は、文字部分による画質悪化を考える必要が無いため、合成画像がそのまま出力される。 By the way, in S106, for example, when all the divided images are photograph parts and there is no character part in the composite image, the character part extraction unit 204 determines that the character part cannot be extracted (FIG. 3: S106 NO). ), And notifies the display reception unit 201 to that effect. Upon receiving the notification, the display receiving unit 201 outputs the composite image (FIG. 3: S110). In this case, since it is not necessary to consider the deterioration in image quality due to the character portion, the composite image is output as it is.
又、Ｓ１０７において、例えば、最初に決定した境界部分が文字部分に重ならない場合（図３：Ｓ１０７ＮＯ）、重複判定部２０５は、その旨を表示受付部２０１に通知する。当該通知を受けた表示受付部２０１は、前記合成画像を出力する（図３：Ｓ１１０）。この場合は、文字部分が存在しても、最初に決定した境界部分が、偶々、当該文字部分と重ならなかったため、合成画像に、文字部分のシームレスさの問題が無い。従って、合成画像がそのまま出力される。 Further, in S107, for example, when the first determined boundary portion does not overlap the character portion (FIG. 3: S107 NO), the duplication determination unit 205 notifies the display reception unit 201 to that effect. Upon receiving the notification, the display receiving unit 201 outputs the composite image (FIG. 3: S110). In this case, even if the character portion exists, the boundary portion determined first does not coincide with the character portion by chance, so there is no problem of the seamlessness of the character portion in the composite image. Therefore, the composite image is output as it is.
尚、本発明の実施形態では、境界部分再決定部２０６が、前記合成画像に基づいて、前記境界部分の再決定を自動的に実行したが、他の構成でも良い。例えば、境界部分再決定部２０６は、前記合成画像から、前記文字部分以外の部分で、境界部分を決定可能な部分を候補部分として自動的に検索し、当該検索した候補部分を、操作部１０１を介して、所定の候補画面に表示して、ユーザーから、所定の候補部分を選択させるように促す。ユーザーが、前記候補画面を見ながら、所望の候補部分を選択することで、境界部分再決定部２０６は、前記選択された候補部分に、前記境界部分を再決定する。これにより、ユーザーが、合成画像を見ながら、所望の境界部分を決定して、合成画像を再合成させることが可能となる。 In the embodiment of the present invention, the boundary portion redetermining unit 206 automatically executes redetermination of the boundary portion based on the composite image, but other configurations may be used. For example, the boundary part redetermining unit 206 automatically searches the synthesized image for a part other than the character part that can determine the boundary part as a candidate part, and the searched candidate part is searched for the candidate part. The user is prompted to select a predetermined candidate portion by displaying on the predetermined candidate screen. When the user selects a desired candidate part while viewing the candidate screen, the boundary part redetermining unit 206 redetermines the boundary part as the selected candidate part. Accordingly, the user can determine a desired boundary portion while looking at the composite image, and re-synthesize the composite image.
又、本発明の実施形態では、分割画像合成部２０３或いは境界部分再決定部２０６は、直線状の境界部分を決定したが、他の構成でも良い。例えば、分割画像合成部２０３或いは境界部分再決定部２０６が、境界部分を決定する際に、操作部１０１を介して、複数の分割画像Ａ、Ｂ及び重複部分を表示して、ユーザーから、境界部分の形状を問い合わせる。そして、ユーザーが、任意の形状の境界部分を選択することで、分割画像合成部２０３或いは境界部分再決定部２０６が、当該選択された形状の境界部分を決定する。これにより、これにより、ユーザーが、分割画像を見ながら、全体的な印象を考慮して、所望の形状の境界部分を決定することが可能となる。尚、所望の形状の境界部分の選択には、例えば、タッチパネルで、タッチペンによるユーザーの任意な形状の境界部分の選択を挙げることが出来る。 In the embodiment of the present invention, the divided image composition unit 203 or the boundary part redetermining unit 206 determines the linear boundary part, but other configurations may be used. For example, when the divided image synthesizing unit 203 or the boundary part redetermining unit 206 determines the boundary part, the plurality of divided images A and B and the overlapping part are displayed via the operation unit 101, and the boundary is received from the user. Queries the shape of the part. Then, when the user selects a boundary portion having an arbitrary shape, the divided image composition unit 203 or the boundary portion redetermining unit 206 determines the boundary portion of the selected shape. Thereby, the user can determine the boundary portion of a desired shape in consideration of the overall impression while viewing the divided images. In addition, selection of the boundary part of a desired shape can mention selection of the boundary part of arbitrary shapes of a user with a touch pen, for example with a touch panel.
又、本発明の実施形態では、複合機１００が各部を備えるよう構成したが、当該各部を実現するプログラムを記憶媒体に記憶させ、当該記憶媒体を提供するよう構成しても構わない。当該構成では、前記プログラムを、画像処理装置に読み出させ、画像処理装置が前記各部を実現する。その場合、前記記録媒体から読み出されたプログラム自体が本発明の作用効果を奏する。さらに、各手段が実行するステップをハードディスクに記憶させる方法として提供することも可能である。 In the embodiment of the present invention, the MFP 100 is configured to include each unit. However, a program that realizes each unit may be stored in a storage medium, and the storage medium may be provided. In this configuration, the image processing apparatus is caused to read the program, and the image processing apparatus realizes the respective units. In that case, the program itself read from the recording medium exhibits the effects of the present invention. Furthermore, it is possible to provide a method for storing the steps executed by each means in a hard disk.
以上のように、本発明に係る画像処理装置及び画像処理方法は、複合機、複写機等の画像処理装置に有用であり、文字部分を含む複数の分割画像を合成しても、高品質な合成画像を得ることが可能な画像処理装置及び画像処理方法として有効である。 As described above, the image processing apparatus and the image processing method according to the present invention are useful for an image processing apparatus such as a multifunction peripheral and a copying machine, and can produce high quality even when a plurality of divided images including character portions are combined. This is effective as an image processing apparatus and an image processing method capable of obtaining a composite image.
１００ 複合機
２０１ 表示受付部
２０２ 分割画像取得部
２０３ 分割画像合成部
２０４ 文字部分抽出部
２０５ 重複判定部
２０６ 境界部分再決定部
２０７ 分割画像再合成部
DESCRIPTION OF SYMBOLS 100 Multifunction apparatus 201 Display reception part 202 Division image acquisition part 203 Division image composition part 204 Character part extraction part 205 Duplication determination part 206 Boundary part redetermination part 207 Division image resynthesis part
Claims (4)
前記複数の分割画像の重複部分を検出し、当該検出した重複部分から、前記複数の分割画像の境界部分を決定し、当該境界部分で当該複数の分割画像を合成する分割画像合成部と、
前記合成された合成画像に所定の領域分離処理を施すことで、当該合成画像から文字部分を抽出する文字部分抽出部と、
前記抽出された文字部分に前記境界部分が重なるか否かを判定する重複判定部と、
前記文字部分に前記境界部分が重なる場合、前記文字部分以外の部分に、前記複数の分割画像の境界部分を再決定する境界部分再決定部と、
前記再決定された境界部分で当該複数の分割画像を再合成する分割画像再合成部と、
を備えることを特徴とする画像処理装置。 A divided image obtaining unit that obtains a plurality of divided images by dividing and reading an image of a single document;
A divided image combining unit that detects an overlapping portion of the plurality of divided images, determines a boundary portion of the plurality of divided images from the detected overlapping portion, and combines the plurality of divided images at the boundary portion;
A character part extraction unit that extracts a character part from the synthesized image by performing a predetermined region separation process on the synthesized image;
An overlap determination unit that determines whether or not the boundary portion overlaps the extracted character portion;
When the boundary portion overlaps the character portion, a boundary portion redetermining unit that re-determines the boundary portion of the plurality of divided images in a portion other than the character portion;
A divided image re-synthesizing unit that re-synthesizes the plurality of divided images at the redetermined boundary portion;
An image processing apparatus comprising:
請求項１に記載の画像処理装置。 The character part extraction unit is configured to detect a character edge region based on detection of an edge portion, detection of a gradient amount of the edge portion, and a range of the edge portion for each pixel or each block including a plurality of pixels with respect to the synthesized image. The image processing apparatus according to claim 1, wherein a pixel or a block belonging to the character edge region is estimated and extracted as a character part.
請求項１又は２に記載の画像処理装置。 The image according to claim 1, wherein the boundary part redetermining unit searches for a part other than the character part among overlapping parts of the divided images, and newly redetermines the boundary part in the searched part. Processing equipment.
前記複数の分割画像の重複部分を検出し、当該検出した重複部分から、前記複数の分割画像の境界部分を決定し、当該境界部分で当該複数の分割画像を合成する分割画像合成ステップと、
前記合成された合成画像に所定の領域分離処理を施すことで、当該合成画像から文字部分を抽出する文字部分抽出ステップと、
前記抽出された文字部分に前記境界部分が重なるか否かを判定する重複判定ステップと、
前記文字部分に前記境界部分が重なる場合、前記文字部分以外の部分に、前記複数の分割画像の境界部分を再決定する境界部分再決定ステップと、
前記再決定された境界部分で当該複数の分割画像を再合成する分割画像再合成ステップと、
を備えることを特徴とする画像処理方法。 A divided image acquisition step of dividing and reading an image of a single document and acquiring a plurality of divided images;
A divided image combining step of detecting overlapping portions of the plurality of divided images, determining boundary portions of the plurality of divided images from the detected overlapping portions, and combining the plurality of divided images at the boundary portions;
A character part extraction step of extracting a character part from the synthesized image by applying a predetermined region separation process to the synthesized image;
A duplication determination step for determining whether or not the boundary portion overlaps the extracted character portion;
When the boundary part overlaps the character part, a boundary part redetermination step for redetermining a boundary part of the plurality of divided images to a part other than the character part;
A divided image re-synthesizing step for re-synthesizing the plurality of divided images at the redetermined boundary portion;
An image processing method comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014172326A JP2016046794A (en) | 2014-08-27 | 2014-08-27 | Image processing system and image processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014172326A JP2016046794A (en) | 2014-08-27 | 2014-08-27 | Image processing system and image processing method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2016046794A true JP2016046794A (en) | 2016-04-04 |
Family
ID=55636927
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014172326A Pending JP2016046794A (en) | 2014-08-27 | 2014-08-27 | Image processing system and image processing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2016046794A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019092156A (en) * | 2017-11-16 | 2019-06-13 | アクシス アーベー | Method for synthesizing first image and second image having overlapping fields of view, device, and camera |
| JP2020098429A (en) * | 2018-12-17 | 2020-06-25 | トッパン・フォームズ株式会社 | Image processor, image control method, and program |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11243483A (en) * | 1998-02-24 | 1999-09-07 | Ricoh Co Ltd | Image processor |
| JP2005252485A (en) * | 2004-03-02 | 2005-09-15 | Sharp Corp | Image processing apparatus, image forming apparatus, image processing program and recording medium |
| JP2009055159A (en) * | 2007-08-24 | 2009-03-12 | Make Softwear:Kk | Apparatus and method for photographing and editing image, and image editing program |
-
2014
- 2014-08-27 JP JP2014172326A patent/JP2016046794A/en active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11243483A (en) * | 1998-02-24 | 1999-09-07 | Ricoh Co Ltd | Image processor |
| JP2005252485A (en) * | 2004-03-02 | 2005-09-15 | Sharp Corp | Image processing apparatus, image forming apparatus, image processing program and recording medium |
| JP2009055159A (en) * | 2007-08-24 | 2009-03-12 | Make Softwear:Kk | Apparatus and method for photographing and editing image, and image editing program |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019092156A (en) * | 2017-11-16 | 2019-06-13 | アクシス アーベー | Method for synthesizing first image and second image having overlapping fields of view, device, and camera |
| JP2020098429A (en) * | 2018-12-17 | 2020-06-25 | トッパン・フォームズ株式会社 | Image processor, image control method, and program |
| JP7240163B2 (en) | 2018-12-17 | 2023-03-15 | トッパン・フォームズ株式会社 | Image processing device, image management method, program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9203983B2 (en) | Image forming apparatus and image data processing method | |
| JP2016032270A (en) | Image processor and image processing program | |
| JP2022184133A (en) | Electronic watermark analyzing device and electronic watermark analyzing method | |
| US20110194154A1 (en) | Image Processing Apparatus, Method, And Computer Program | |
| JP6249240B2 (en) | Image processing device | |
| JP2016046794A (en) | Image processing system and image processing method | |
| JP2011166403A (en) | Image processing apparatus, method, and computer program | |
| JP6058042B2 (en) | Image processing device | |
| JP5649552B2 (en) | Image processing apparatus and image forming apparatus | |
| JP2005109807A (en) | Image processing method, image processor, image forming device and image processing system | |
| JP6025803B2 (en) | Image processing device | |
| JP5464157B2 (en) | Image processing apparatus and image processing program | |
| US10298788B2 (en) | Image forming apparatus that ensures trial printing and recording medium therefor | |
| JP4904911B2 (en) | Image processing apparatus and control method thereof | |
| JP5268861B2 (en) | Image processing device | |
| JP2013150111A (en) | Image processing device and image processing method | |
| JP2017183766A (en) | Server program, image generation device and image data generation method | |
| JP2016139868A (en) | Image processing apparatus | |
| US9729756B2 (en) | Image forming system that restrains increase of print data amount, image forming apparatus, and recording medium | |
| JP2016032249A (en) | Image processor and image processing method | |
| JP6083807B2 (en) | Image processing apparatus and image forming system | |
| JP2015220742A (en) | Image processing system, image forming apparatus, and control method for them | |
| JP6303897B2 (en) | Image processing apparatus and computer program | |
| JP6224419B2 (en) | Image processing device | |
| JP2007306310A (en) | Image processing unit and control method thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160923 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170329 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170522 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20170620 |