JP4901928B2 - Image composition method, image composition apparatus, and program - Google Patents

Image composition method, image composition apparatus, and program Download PDF

Info

Publication number
JP4901928B2
JP4901928B2 JP2009211747A JP2009211747A JP4901928B2 JP 4901928 B2 JP4901928 B2 JP 4901928B2 JP 2009211747 A JP2009211747 A JP 2009211747A JP 2009211747 A JP2009211747 A JP 2009211747A JP 4901928 B2 JP4901928 B2 JP 4901928B2
Authority
JP
Japan
Prior art keywords
image
divided
images
position determination
image composition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009211747A
Other languages
Japanese (ja)
Other versions
JP2011061688A (en
Inventor
典子 堀部
和章 横田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Toshiba Digital Solutions Corp
Original Assignee
Toshiba Corp
Toshiba Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Solutions Corp filed Critical Toshiba Corp
Priority to JP2009211747A priority Critical patent/JP4901928B2/en
Publication of JP2011061688A publication Critical patent/JP2011061688A/en
Application granted granted Critical
Publication of JP4901928B2 publication Critical patent/JP4901928B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Studio Circuits (AREA)
  • Editing Of Facsimile Originals (AREA)

Description

本発明は、複数の画像を合成するための画像合成方法、画像合成装置及びプログラムに関する。 The present invention relates to an image synthesizing how, images synthesized equipment and program for synthesizing a plurality of images.

互いに異なる視点からそれぞれ撮像された複数の画像を、それらを撮像した地点や撮像した角度などを基に合成することによって、任意の視点からみたパノラマ画像を生成する技術が提案されている(例えば特許文献1参照)。   There has been proposed a technique for generating a panoramic image viewed from an arbitrary viewpoint by combining a plurality of images captured from different viewpoints based on a point where the images are captured and an angle at which the images are captured (for example, a patent) Reference 1).

また、例えばスキャナ装置の読み取り領域より大きな原稿画像を複数回に分割して読み込み、その分割して読み込んだデータを合成して印刷できるようにした印刷装置なども知られている(例えば特許文献2参照)。   Also, for example, a printing apparatus that reads a document image that is larger than the reading area of the scanner device in a plurality of times and that can synthesize and print the divided and read data is also known (for example, Patent Document 2). reference).

さらに、分割したデータの取り込みに対応する他の装置としては、例えば帳票サイズの1/2程度の大きさの小型タブレットにて、帳票の全領域の筆記データを取り込んで処理できる筆記データ入力装置なども知られている(例えば特許文献3参照)。つまり、この装置は、タブレットに置かれた帳票上の部位が、前半部分であるか後半部分であるかをクリップ兼用位置検出器で判別し、この判別結果に基づき帳票の前半部分用又は後半部分用のフォーマットデータを選択的に読み出して文字認識を行う。   Furthermore, as another device corresponding to the fetching of the divided data, for example, a writing data input device capable of capturing and processing writing data of the entire area of the form with a small tablet about half the size of the form. Is also known (see, for example, Patent Document 3). In other words, this device determines whether the part on the form placed on the tablet is the first half part or the second half part by using the clip / position detector, and based on the determination result, the first half part or second half part of the form. For this purpose, character data is recognized by selectively reading out format data.

特開2002−213984号公報JP 2002-213984 A 特開2001−96708号公報JP 2001-96708 A 特開平10−283098号公報Japanese Patent Laid-Open No. 10-283098

ところで、上記した特許文献2のように、原稿から分割して読み取られた複数の分割画像を合成する場合には、個々の分割画像が原稿上のどの位置の画像であるかをシステム側に認識させる必要がある。ここで、特許文献3のように、クリップ型の位置検出器などを適用して、分割画像が原稿上のどの位置のものであるかを、人為的に指定することも可能である。しかしながら、この場合、位置の指定に人的な労力が必要であることに加え、分割画像の数が多数である場合の位置の指定ミスなども懸念される。   By the way, when combining a plurality of divided images read from a document as described in Patent Document 2, the system recognizes the position of each divided image on the document. It is necessary to let Here, as in Patent Document 3, it is also possible to artificially specify the position of the divided image on the document by applying a clip-type position detector or the like. However, in this case, in addition to the necessity of human labor for specifying the position, there is a concern about an error in specifying the position when the number of divided images is large.

本発明は、このような課題を解決するためになされたものであり、原稿から分割して得られた複数の画像を容易に合成することができる画像合成方法、画像合成装置及びプログラムの提供を目的とする。 The present invention has been made to solve such a problem, an image synthesizing how a plurality of images obtained by dividing the original can be easily synthesized, images synthesized equipment and program The purpose is to provide.

上記目的を達成するために、本発明の一態様に係る画像合成方法は、スキャンする対象物を保持した状態でスキャナにセットされ前記対象物とともに複数回に分割してスキャンされるシートであって、前記スキャナへの位置決め用の基準位置を表す画像、および前記対象物の一部分の当該対象物上での位置を特定するための番号を表す位置判別画像が、複数の異なる位置に印刷された前記シートを用いて、前記対象物の一部分の画像と前記位置判別画像とを含む複数の分割画像を取得する画像取得ステップと、前記取得された分割画像毎に前記位置判別画像のパターン認識を行う認識ステップと、前記パターン認識による認識結果に基づいて、前記複数の分割画像を配列させた合成画像を生成する合成ステップと、を有する。 In order to achieve the above object, an image composition method according to an aspect of the present invention is a sheet that is set on a scanner while holding an object to be scanned, and is scanned in a plurality of times together with the object. The position determination image indicating a reference position for positioning to the scanner and a number for specifying the position of a part of the object on the object is printed at a plurality of different positions. An image acquisition step of acquiring a plurality of divided images including a partial image of the object and the position determination image using a sheet, and recognition for performing pattern recognition of the position determination image for each of the acquired divided images steps and, based on the recognition result by the pattern recognition, a synthetic step of generating a synthesized image obtained by arranging the plurality of divided images, that have a.

本発明によれば、原稿から分割して得られた複数の画像を容易に合成することができる画像合成方法、画像合成装置及びプログラムを提供することが可能である。 According to the present invention, it is possible to provide an image synthesizing how, images synthesized equipment and programs that a plurality of images obtained by dividing the original can be easily synthesized.

本発明の第1の実施形態に係る画像合成装置を備えた画像合成処理システムを示す構成図。1 is a configuration diagram illustrating an image composition processing system including an image composition apparatus according to a first embodiment of the present invention. 図1の画像合成装置上で動作する画像合成プログラムを示す機能ブロック図。FIG. 2 is a functional block diagram showing an image composition program that operates on the image composition apparatus of FIG. 1. 図1の画像合成処理システムで用いるスキャンクリアシート及び原稿の各々を表面側からみた図。FIG. 2 is a diagram of a scan clear sheet and a document used in the image composition processing system of FIG. 1 as viewed from the front side. 裏面を上にして図3の原稿が挿入された状態のスキャンクリアシート及びスキャナを表面側からみた図。FIG. 4 is a diagram of a scan clear sheet and a scanner viewed from the front side in a state where the document of FIG. 3 is inserted with the back side up. 図3のスキャンクリアシートに挿入された原稿を6回に分割して読み取る際のセッティングの状態を示す図。The figure which shows the state of the setting at the time of dividing and reading the original document inserted in the scan clear sheet of FIG. 3 into 6 times. 図3のスキャンクリアシートと構造の異なる他のスキャンクリアシートを表面側からみた図。FIG. 4 is a diagram of another scan clear sheet having a structure different from that of FIG. 3 as viewed from the front side. 原稿が挿入された状態のスキャンクリアシートをスキャナ上にセットした状態を表面側からみた図。The figure which looked at the state which set the scan clear sheet of the state in which the original was inserted on the scanner from the surface side. 図7のセット状態で読み取られた分割画像を示す図。The figure which shows the division | segmentation image read in the set state of FIG. 順次読み取られる分割画像のうちで、位置判別用文字の文字認識が完了した分割画像を表示部に表示させた状態を示す図。The figure which shows the state which displayed on the display part the divided image which character recognition of the character for position determination was completed among the divided images read sequentially. 読み取られた分割画像どうしを合成する場合の処理を説明するための図。The figure for demonstrating the process in the case of synthesize | combining the read divided images. 図1の画像合成装置による画像合成方法を示すフローチャート。2 is a flowchart showing an image composition method by the image composition apparatus of FIG. 1. 図3、図6のスキャンクリアシートと構成の異なる他のスキャンクリアシートを表面側からみた図。FIG. 7 is a view of another scan clear sheet having a configuration different from that of the scan clear sheet of FIGS. 図3、図6、図12のスキャンクリアシートと構成の異なる他のスキャンクリアシートを表面側からみた図。FIG. 13 is a view of another scan clear sheet having a configuration different from that of the scan clear sheet of FIGS. 図3、図6、図12、図13のスキャンクリアシートと構成の異なる他のスキャンクリアシートを主に表面側からみた図。FIG. 14 is a view of another scan clear sheet having a configuration different from that of the scan clear sheet of FIGS. 3, 6, 12, and 13 mainly viewed from the front surface side. 図14のスキャンクリアシートを主に裏面側からみた図。The figure which looked at the scan clear sheet of FIG. 14 mainly from the back side. 第2の実施形態の画像合成装置上で動作する画像合成プログラムを示す機能ブロック図。The functional block diagram which shows the image composition program which operate | moves on the image composition apparatus of 2nd Embodiment. スキャナに対しスキャンクリアシートが正しい向きでセットされた場合と誤った向きでセットされた場合とのそれぞれで得られた分割画像を示す図。The figure which shows the division | segmentation image obtained by each when the scan clear sheet is set with the correct orientation with respect to the scanner, and when it is set with the wrong orientation. 図16の画像合成プログラムにより実現される画像合成方法を示すフローチャート。17 is a flowchart showing an image composition method realized by the image composition program of FIG. 第3の実施形態の画像合成装置上で動作する画像合成プログラムを示す機能ブロック図。The functional block diagram which shows the image composition program which operate | moves on the image composition apparatus of 3rd Embodiment. 第3の実施形態で適用されるスキャンクリアシートを表面側からみた図。The figure which looked at the scan clear sheet applied in 3rd Embodiment from the surface side. 図20のスキャンクリアシート越しに原稿から分割して読み取られた分割画像を示す図。The figure which shows the division | segmentation image divided | segmented and read from the original document through the scan clear sheet | seat of FIG. 第4の実施形態の画像合成装置上で動作する画像合成プログラムを示す機能ブロック図。The functional block diagram which shows the image composition program which operate | moves on the image composition apparatus of 4th Embodiment. 第4の実施形態で適用されるスキャンクリアシートを表面側からみた図。The figure which looked at the scan clear sheet applied in 4th Embodiment from the surface side. 第5の実施形態で適用するスキャンクリアシート及び原稿の各々を表面側からみた図。FIG. 10 is a diagram of a scan clear sheet and a document applied in the fifth embodiment as viewed from the front side. 表面を上にして原稿が挿入された図24のスキャンクリアシートを表面側からみた図。The figure which looked at the scan clear sheet | seat of FIG. 24 in which the original was inserted facing up from the surface side. 第5の実施形態の画像合成装置上で動作する画像合成プログラムを示す機能ブロック図。The functional block diagram which shows the image composition program which operate | moves on the image composition apparatus of 5th Embodiment. 第6の実施形態の画像合成装置上で動作する画像合成プログラムを示す機能ブロック図。The functional block diagram which shows the image composition program which operate | moves on the image composition apparatus of 6th Embodiment. 第6の実施形態で適用するスキャンクリアシートを表面側からみた図。The figure which looked at the scan clear sheet applied in 6th Embodiment from the surface side. 表面を上にして原稿が挿入された図28のスキャンクリアシートを表面側からみた図。The figure which looked at the scan clear sheet | seat of FIG. 28 in which the original was inserted facing up from the surface side. デジタルビデオカメラによって撮影されたスキャンクリアシートの画像の形状的な歪みを説明するための図。The figure for demonstrating the geometric distortion of the image of the scan clear sheet image | photographed with the digital video camera. 第6の実施形態の画像合成プログラムにより実現される画像合成方法を示すフローチャート。14 is a flowchart illustrating an image composition method realized by an image composition program according to the sixth embodiment.

以下、本発明を実施するための形態を図面に基づき説明する。
[第1の実施の形態]
図1に示すように、この実施形態の画像合成処理システム1は、PCなどのコンピュータ装置で実現される画像合成装置10と、スキャナ2と、帳票などの原稿3をセットする画像取得補助部材としてのスキャンクリアシート7(又は17)と、を備えている。
Hereinafter, embodiments for carrying out the present invention will be described with reference to the drawings.
[First Embodiment]
As shown in FIG. 1, an image composition processing system 1 according to this embodiment is an image acquisition auxiliary member for setting an image composition device 10 realized by a computer device such as a PC, a scanner 2, and a document 3 such as a form. Scan clear sheet 7 (or 17).

画像合成装置10は、図1に示すように、CPU5、入力操作部12、表示部14、画像合成プログラム8の実行領域となるメインメモリ9、外部(補助)記憶装置16、ビデオメモリ15、インタフェース6を備えている。入力操作部12は、マウスやキーボードなどによって構成されており、画像合成装置10本体に対し各種の指示を与えるための入力装置である。表示部14は、CRTモニタや液晶ディスプレイなどにより構成されており、ユーザに対し各種情報を可視的に表示する表示装置である。   As shown in FIG. 1, the image composition device 10 includes a CPU 5, an input operation unit 12, a display unit 14, a main memory 9 serving as an execution area for the image composition program 8, an external (auxiliary) storage device 16, a video memory 15, and an interface. 6 is provided. The input operation unit 12 is configured by a mouse, a keyboard, and the like, and is an input device for giving various instructions to the main body of the image composition device 10. The display unit 14 is configured by a CRT monitor, a liquid crystal display, or the like, and is a display device that visually displays various types of information to the user.

外部記憶装置16は、HDDなどによって実現されており、オペレーティングシステムや画像合成プログラム本体があらかじめインストールされている。インタフェース6は、USB接続やIEE1394接続などによってスキャナ2を画像合成装置10本体と接続する。ビデオメモリ(フレームメモリ)15は、VRAMなどで構成されており、画像を一時的に記憶するフレームバッファである。ここで、このビデオメモリ15を設けずに、メインメモリ9の記憶領域の一部を画像の一時的な記憶領域として割り当てるようにしてもよい。   The external storage device 16 is realized by an HDD or the like, and an operating system and an image composition program main body are installed in advance. The interface 6 connects the scanner 2 to the main body of the image composition apparatus 10 by USB connection, IEEE1394 connection, or the like. The video memory (frame memory) 15 is configured by a VRAM or the like, and is a frame buffer that temporarily stores images. Here, a part of the storage area of the main memory 9 may be allocated as a temporary storage area for images without providing the video memory 15.

図1及び図4に示すように、スキャナ2は、フラットベットタイプの装置であり、読み取り可能な最大原稿サイズが例えばA6サイズとなる可搬型のイメージスキャナである。スキャナ2には、画像の読み取り面として構成された矩形(長方形)のコンタクトガラス2aが配置されている。コンタクトガラス2aの一つのコーナ部分の外縁には、読み取り対象物の位置合わせの基準位置を示す位置合わせ基準マーク2bが設けられている。   As shown in FIGS. 1 and 4, the scanner 2 is a flat bed type device, and is a portable image scanner in which the maximum readable document size is, for example, A6 size. The scanner 2 is provided with a rectangular (rectangular) contact glass 2 a configured as an image reading surface. On the outer edge of one corner portion of the contact glass 2a, an alignment reference mark 2b indicating a reference position for alignment of the reading object is provided.

また、スキャナ2には、コンタクトガラス2aの上面を塞ぐ蓋部が、例えばヒンジ構造などを介して取り付けられている。スキャナ2の蓋部の内側面(原稿3を挟んでコンタクトガラス2aと対向する面)には、コンタクトガラス2a越しに読み取った画像イメージの背景を黒色で形成する背景形成部が設けられている。ここで、原稿3は、白色の紙面上に例えば黒色の画像(文書など)が配置(印刷又は記入)されている。なお、本実施形態の図面に示される原稿3上の画像を文字「F」を拡大した図で表しているが、これは単に、原稿3を、表面、裏面、縦、横などのからみた時の視点を容易に把握できるようにするために、文字「F」を図示している。   In addition, a lid that closes the upper surface of the contact glass 2a is attached to the scanner 2 via, for example, a hinge structure. On the inner side surface of the lid portion of the scanner 2 (the surface facing the contact glass 2a with the document 3 interposed therebetween), a background forming portion for forming the background of the image image read through the contact glass 2a in black is provided. Here, in the document 3, for example, a black image (document or the like) is arranged (printed or filled in) on a white paper surface. Note that the image on the document 3 shown in the drawings of the present embodiment is shown in an enlarged view of the letter “F”, but this is simply when the document 3 is viewed from the front, back, portrait, landscape, etc. The letter “F” is illustrated so that the user can easily grasp the viewpoint.

次に、スキャンクリアシート7について図3、図4に基づき詳述する。ここで、図3は、スキャンクリアシート7及び原稿3の各々を表面(スキャナ2の蓋部内側と対向する面)側からみた図である。図4は、裏面を上にして原稿3が挿入された状態のスキャンクリアシート7、及びスキャナ2を表(おもて)面側からみた図である。   Next, the scan clear sheet 7 will be described in detail with reference to FIGS. Here, FIG. 3 is a view of each of the scan clear sheet 7 and the document 3 as viewed from the front surface (surface facing the inner side of the lid portion of the scanner 2). FIG. 4 is a view of the scan clear sheet 7 and the scanner 2 in a state where the document 3 is inserted with the back side up, as viewed from the front (front) side.

図3、図4に示すように、スキャンクリアシート7は、例えば塩化ビニル製の透明又は半透明な矩形(長方形)のシートを二枚重ね合わせて構成されるクリアフォルダ状のシートである。本実施形態では、読み取り対象の原稿3としてA4サイズのものを適用することを想定しており、スキャンクリアシート7は、A4サイズより、ひとまわり大きいサイズで構成されている。   As shown in FIGS. 3 and 4, the scan clear sheet 7 is a clear folder-like sheet configured by superposing two transparent or translucent rectangular (rectangular) sheets made of, for example, vinyl chloride. In the present embodiment, it is assumed that an A4 size document is applied as the document 3 to be read, and the scan clear sheet 7 is configured to be slightly larger than the A4 size.

すなわち、スキャンクリアシート7は、図3、図4に示すように、原稿3を保持する原稿保持部7aと、画像配置部としてのクリアエリア7bとを備える。具体的には、スキャンクリアシート7の一方の長辺部分は、開口部7fとして構成されており、他方の長辺部分のやや内側及び両短辺部分のやや内側は、袋閉じ部7c、7d、7eとして構成されている。   That is, as shown in FIGS. 3 and 4, the scan clear sheet 7 includes a document holding unit 7 a that holds the document 3 and a clear area 7 b as an image placement unit. Specifically, one long side portion of the scan clear sheet 7 is configured as an opening 7f, and the inner side of the other long side portion and the inner side of both short side portions are the bag closing portions 7c and 7d. , 7e.

原稿保持部7aは、開口部7fの開口端よりもやや内側の部位と袋閉じ部7c、7d、7eとで囲われた矩形状の領域部分であり、図4に示すように、開口部7fより挿入された原稿3を保持する。ここで、図4に示すように、表(おもて)面を上にしたスキャンクリアシート7に対し、原稿3は、その裏面を上にした状態で挿入される。つまり、原稿3の表面は、スキャナ2によって、スキャンクリアシート7越しに読み取られる。   The document holding portion 7a is a rectangular region surrounded by a portion slightly inside the opening end of the opening 7f and the bag closing portions 7c, 7d, and 7e. As shown in FIG. 4, the opening 7f The inserted original 3 is held. Here, as shown in FIG. 4, the document 3 is inserted with the back side facing up with respect to the scan clear sheet 7 with the front side facing up. That is, the surface of the document 3 is read by the scanner 2 through the scan clear sheet 7.

ここで、本実施形態の画像合成処理システム1は、読み取り可能な最大原稿サイズがA6サイズのスキャナ2により、A4サイズの原稿3を6回に分割して読み取り、分割して読み取った6つの画像を一つの画像に合成するように構成されている。図5は、スキャンクリアシート7に挿入された原稿3を6回に分割して読み取る際のセッティングの状態を示す図である。   Here, the image composition processing system 1 according to the present embodiment reads the A4 size document 3 by dividing the A4 size document 3 into six times by the scanner 2 having the maximum readable document size of A6 size, and reads the six images divided and read. Are combined into one image. FIG. 5 is a diagram showing a setting state when the original 3 inserted in the scan clear sheet 7 is divided into six times and read.

すなわち、クリアエリア7bは、図3、図4に示すように、原稿保持部7aの外枠の領域部分で構成される。クリアエリア7bには、矢印で表された複数(6つの)の位置決め基準マーク7gと、位置判別画像として機能する数字[(1)〜(6)の数字]で表された複数の位置判別用文字7hとが、スキャンクリアシート7本体における長辺部分の内側に配置されている。また、本実施形態では、黒色の位置決め基準マーク7gと、白色の位置判別用文字7hと、がそれぞれ適用されている。   That is, as shown in FIGS. 3 and 4, the clear area 7b is configured by an area of the outer frame of the document holding portion 7a. In the clear area 7b, a plurality of (six) positioning reference marks 7g represented by arrows and a plurality of position determinations represented by numbers [numbers (1) to (6)] functioning as position determination images. The characters 7h are arranged inside the long side portion of the main body of the scan clear sheet 7. In the present embodiment, a black positioning reference mark 7g and a white position determination character 7h are applied.

クリアエリア7b上の位置決め基準マーク7g及び位置判別用文字7hは、図3、図4に示すように、スキャンクリアシート7本体の一方の長辺部分と他方の長辺部分に3つずつ配置されている。上記した矢印及び数字の向きは、長辺部分の一方と他方とでは、180°逆向きに配置されている。また、互いに6つずつある基準マーク7gと位置判別用文字7hとは、一つずつが互いの近傍に配置されている。   As shown in FIGS. 3 and 4, three positioning reference marks 7 g and position determination characters 7 h on the clear area 7 b are arranged on one long side portion and the other long side portion of the main body of the scan clear sheet 7. ing. The directions of the arrows and numerals described above are arranged in the opposite direction of 180 ° between one and the other of the long side portions. Further, the reference marks 7g and the position determination characters 7h, which are six each, are arranged in the vicinity of each other.

さらに、個々の位置判別用文字7hは、原稿保持部7aに挿入された原稿3の位置に対応させて各々配置されている。詳述すると、位置判別用文字7hは、原稿3上から6回に分割して読み取った6つの画像が、原稿3上のどの位置の画像であるかを特定するための情報として用いられる。   Further, the individual position determination characters 7h are respectively arranged corresponding to the positions of the document 3 inserted in the document holding portion 7a. More specifically, the position determination character 7h is used as information for specifying which position on the document 3 the six images read by dividing the document 3 into six times from the document 3 are read.

一方、個々の位置決め基準マーク7gは、それらの矢印の先端を、図4、図5に示すように、スキャナ2上の位置合わせ基準マーク(三角マークの先端)2bと、それぞれ位置合わせするために設けられている。つまり、図5に示すように、スキャナ2上の位置合わせ基準マーク2bに対し、6つの位置決め基準マーク7gを、1回ずつ(計6回)位置合わせした状態で、スキャンクリアシート7のクリアエリア7b上の画像(位置判別用文字7h)と原稿3上の画像とが、6回に分割されて読み取られる。   On the other hand, each positioning reference mark 7g is used to align the tip of the arrow with the positioning reference mark (tip of the triangular mark) 2b on the scanner 2, as shown in FIGS. Is provided. That is, as shown in FIG. 5, the clear area of the scan clear sheet 7 with the six positioning reference marks 7 g aligned with the alignment reference mark 2 b on the scanner 2 once (a total of six times). The image on 7b (position determination character 7h) and the image on the document 3 are divided into six times and read.

さらに、図5に示すように、スキャナ2上の位置合わせ基準マーク2bに対し、スキャンクリアシート7の位置決め基準マーク7gを位置合わせした状態で、読み取った隣接する画像どうしには、重複部分が必ず生成される。この重複部分は、後述する画像どうしの合成の際に利用される。また、ここで、本実施形態では、背景色が黒色となる仕様のスキャナ2を適用していることから、クリアエリア7bから読み取った画像は、黒色の位置決め基準マーク7gを含み基本的には黒色となるが、位置判別用文字7hは、白色であらわれる。   Further, as shown in FIG. 5, in the state where the positioning reference mark 7g of the scan clear sheet 7 is aligned with the alignment reference mark 2b on the scanner 2, there is always an overlap between the read adjacent images. Generated. This overlapping portion is used when images are combined as described later. Here, in the present embodiment, since the scanner 2 having the specification that the background color is black is applied, the image read from the clear area 7b includes the black positioning reference mark 7g and is basically black. However, the position determination character 7h appears white.

また、図5に示すように、スキャンクアリシート7は、自身の長辺が、コンタクトガラスの長辺と90°の角度をなす向きにそれぞれセットされる。なお、本実施形態では、位置決め基準マーク7gの近傍の位置判別用文字7hが(1)〜(6)の数字で表されているが、図5に示すように、必ずしも(1)〜(6)の数字順にセットする必要はなく、後述する理由から、ランダムな数字順であっても、異なるセット状態で6回の読み取りを行えばよい。   In addition, as shown in FIG. 5, the scan qualification sheet 7 is set such that its long side forms an angle of 90 ° with the long side of the contact glass. In the present embodiment, the position determination characters 7h in the vicinity of the positioning reference mark 7g are represented by numbers (1) to (6). However, as shown in FIG. ) Need not be set in numerical order, and for the reason described later, six readings may be performed in different set states even in random numerical order.

図6は、上述したスキャンクリアシート17と一部構成の異なるスキャンクリアシート17を、表(おもて)面側からみた図である。なお、図6では、図3のスキャンクリアシート7と同一の構成部分には、同一の符号を付与している。つまり、本実施形態の画像合成処理システム1では、図3に示すスキャンクリアシート7に代えて、図6に示すスキャンクリアシート17を用いることも可能である。スキャンクリアシート17は、汎用のクリアフォルダを加工することで、容易に作成することができる。このスキャンクリアシート17は、スキャンクリアシート7の袋閉じ部7eを開口部17aに代えたかたちで構成されている。   FIG. 6 is a view of the scan clear sheet 17 having a partially different configuration from the above-described scan clear sheet 17 as seen from the front (front) surface side. In FIG. 6, the same components as those in the scan clear sheet 7 in FIG. That is, in the image composition processing system 1 of the present embodiment, the scan clear sheet 17 shown in FIG. 6 can be used instead of the scan clear sheet 7 shown in FIG. The scan clear sheet 17 can be easily created by processing a general-purpose clear folder. The scan clear sheet 17 is configured by replacing the bag closing portion 7e of the scan clear sheet 7 with an opening 17a.

なお、このようなスキャンクリアシート17及び上述したスキャンクリアシート7では、クリアエリア7b上に配置される位置決め基準マーク7g及び位置判別用文字7hは、クリアエリア7b上に、印刷されたものでもよいし、例えば手書きで記入されたものであってもよい。さらに、位置判別用文字7hは、カッコなしの数字であってもよいし、また、文字認識可能な互いに異なるキャラクタであれば、どのような画像であってもよい。   In the scan clear sheet 17 and the scan clear sheet 7 described above, the positioning reference mark 7g and the position determination character 7h arranged on the clear area 7b may be printed on the clear area 7b. For example, it may be handwritten. Further, the position determination characters 7h may be numbers without parentheses, or may be any images as long as they are different characters that can be recognized.

次に、図1、図2に示すように、画像合成装置10上で動作する画像合成プログラム8について説明する。CPU5によって外部記憶装置16内からメインメモリ9上にロードされる画像合成プログラム8は、画像取得部22、エッジ検出部23、パターン認識部として機能する文字認識部24、画像合成部25、画像出力部26、及び各部を統括的に制御する画像処理制御部21をソフトウェアで実現する。   Next, as shown in FIGS. 1 and 2, an image composition program 8 that operates on the image composition apparatus 10 will be described. The image synthesis program 8 loaded on the main memory 9 from the external storage device 16 by the CPU 5 includes an image acquisition unit 22, an edge detection unit 23, a character recognition unit 24 functioning as a pattern recognition unit, an image synthesis unit 25, and an image output. The unit 26 and the image processing control unit 21 that comprehensively controls each unit are realized by software.

ここで、図7は、原稿3が挿入された状態のスキャンクリアシート17をスキャナ2上にセットした状態(数字1の近傍の矢印を位置合わせした状態)を表面側からみた図である。また、図8は、図7のセット状態で読み取られた分割画像を示す図である。さらに、図9は、順次読み取られる分割画像のうちで、位置判別用文字7hの文字認識が完了した分割画像を表示部14に表示させた状態を示す図である。また、図10は、読み取られた分割画像どうしを合成する場合の処理を説明するための図である。   Here, FIG. 7 is a view of the state in which the scan clear sheet 17 with the document 3 inserted is set on the scanner 2 (the state in which the arrows in the vicinity of the numeral 1 are aligned) viewed from the front side. FIG. 8 is a diagram showing a divided image read in the set state of FIG. Further, FIG. 9 is a diagram showing a state in which the divided image in which the character recognition of the position determination character 7h has been completed among the sequentially read divided images is displayed on the display unit 14. FIG. 10 is a diagram for explaining processing in the case where the read divided images are combined.

図2、図7、図8に示すように、画像取得部22は、スキャンクリアシート17を介してスキャナ2により読み取られて例えば2値化された複数(本実施形態では6つ)の分割画像31a…31fを、ビデオメモリ15の記憶領域を利用しつつ個別に取得する。個々の分割画像31a…31fは、図8に示すように、原稿3の一部に対応した第1の画像領域32a…32fと、当該一部の原稿3上での位置を表す位置判別用文字7hの画像33a…33fを含む第2の画像領域34a…34fと、を有している。   As shown in FIGS. 2, 7, and 8, the image acquisition unit 22 reads a plurality of (six in this embodiment) divided images that are read by the scanner 2 through the scan clear sheet 17 and binarized, for example. 31a... 31f are obtained individually using the storage area of the video memory 15. As shown in FIG. 8, each of the divided images 31a... 31f includes first image areas 32a... 32f corresponding to a part of the document 3 and position determination characters indicating the position of the part on the document 3. Second image regions 34a... 34f including 7h images 33a.

図2、図8に示すように、エッジ検出部23は、2値化された分割画像31a…31f中の白の領域部分と黒の領域部分との境界をみつけることで、原稿3の周縁のエッジを検出する。   As shown in FIGS. 2 and 8, the edge detection unit 23 finds the boundary between the white area portion and the black area portion in the binarized divided images 31a. Detect edges.

文字認識部24は、図8に示すように、分割画像31a…31f毎に位置判別用文字7hの画像33aの文字認識(パターン認識)を行う。ここで、クリアエリア7bの位置に対応する黒色の画像中において、位置判別用文字7hは白色であらわれる。つまり、文字認識部24は、エッジ検出部23により検出されたエッジの近傍に位置する位置判別用文字7hの画像33a…33fを切り出して左右反転し、この左右反転した文字の文字認識を行う。図8の例では、文字認識部24は、文字認識結果として、数字(1)、数字(2)を得ることになる。   As shown in FIG. 8, the character recognition unit 24 performs character recognition (pattern recognition) of the image 33a of the position determination character 7h for each of the divided images 31a ... 31f. Here, in the black image corresponding to the position of the clear area 7b, the position determination character 7h appears white. That is, the character recognition unit 24 cuts out the images 33a... 33f of the position determination character 7h located in the vicinity of the edge detected by the edge detection unit 23, reverses the image horizontally, and performs character recognition of the horizontally inverted character. In the example of FIG. 8, the character recognition unit 24 obtains the number (1) and the number (2) as the character recognition result.

この場合、画像処理制御部21は、図8に示した分割画像31aが、図7に示すコンタクトガラス2aの破線で囲われた領域の画像であることを認識する。つまり、画像処理制御部21は、図5、図7、図8に示すように、数字(1)、(2)が文字認識された場合、数字(2)、(3)が文字認識された場合、数字(3)のみが文字認識された場合…を含む6種類の認識結果のパターンと、原稿3上の分割対象となる6個所の領域部分のレイアウトと、を例えばテーブルの形式で記憶している。   In this case, the image processing control unit 21 recognizes that the divided image 31a illustrated in FIG. 8 is an image of a region surrounded by a broken line of the contact glass 2a illustrated in FIG. That is, as shown in FIGS. 5, 7, and 8, the image processing control unit 21 recognizes the numbers (2) and (3) when the numbers (1) and (2) are recognized. In this case, six types of recognition result patterns including the case where only the number (3) is recognized, and the layout of the six area portions to be divided on the document 3 are stored in the form of a table, for example. ing.

画像出力部26は、ビデオメモリ15の記憶領域を利用し、画像取得部22により順次取得される分割画像31a…31fのうちで、(スキャニングが完了しかつ)位置判別用文字7hの文字認識が完了した分割画像を、図9に示すように、表示部14に可視表示させる表示制御を行う。この画像出力部26は、上記した原稿3上の6個所の領域部分のレイアウトどおりに、文字認識の完了した分割画像を表示する。   The image output unit 26 uses the storage area of the video memory 15, and among the divided images 31a... 31f sequentially acquired by the image acquisition unit 22, character recognition of the position determination character 7h (when scanning is completed) is performed. As shown in FIG. 9, display control is performed to visually display the completed divided image on the display unit 14. The image output unit 26 displays the divided images whose character recognition has been completed in accordance with the layout of the six area portions on the document 3 described above.

また、画像出力部26は、分割画像31a…31fのうちで、スキャニングが完了していない(及び位置判別用文字7hの文字認識が完了していない)分割画像については、図9に示すように、対応する上記レイアウトの位置に「未スキャン」の文字を表示させる。これにより、原稿3上で主にスキャニングの完了した部分がどの部分であるかを、容易に判別できるので、原稿3上の各部を、任意の順序でスキャンできる分かりやすいユーザインタフェースが実現される。また、例えば、スキャニングや文字認識に失敗した原稿3上の部位をユーザが容易に把握することができる。   As shown in FIG. 9, the image output unit 26 for the divided images 31a... 31f for which the scanning has not been completed (and the character recognition for the position determination character 7h has not been completed). Then, “unscanned” characters are displayed at the corresponding positions in the layout. This makes it easy to determine which part of the document 3 has been scanned, so that an easy-to-understand user interface that can scan each part on the document 3 in an arbitrary order is realized. Further, for example, the user can easily grasp the part on the document 3 where scanning or character recognition has failed.

画像合成部25は、ビデオメモリ15の記憶領域を確保し、文字認識部24(パターン認識)による認識結果に基づいて、複数の分割画像31a…31fを、原稿3のレイアウトどおりに配列させた合成画像を生成する。また、画像合成部25は、隣接する分割画像どうしの上述した重複部分が重なり合うように合成画像を生成する。   The image composition unit 25 secures a storage area of the video memory 15 and composes a plurality of divided images 31a... 31f arranged according to the layout of the document 3 based on the recognition result by the character recognition unit 24 (pattern recognition). Generate an image. Further, the image composition unit 25 generates a composite image so that the above-described overlapping portions of adjacent divided images overlap each other.

ここで、画像合成部25は、個々の分割画像31a…31f中に各々含まれる位置判別用文字7h(位置判別画像)どうしの物理的な位置関係に基づいて、複数の分割画像31a…31fの配列に補正を加える。つまり、画像合成部25は、図10に示すように、分割画像31a中及び分割画像31b中の位置判別用文字7hである数字(2)どうしが互いに重なり合うように、分割画像31aと分割画像31bとの互いの位置及び傾きを補正しつつ合成画像を生成する。   Here, the image composition unit 25 selects the plurality of divided images 31a... 31f based on the physical positional relationship between the position determination characters 7h (position determination images) included in the individual divided images 31a. Make corrections to the array. That is, as shown in FIG. 10, the image composition unit 25 divides the divided image 31a and the divided image 31b so that the numbers (2) that are the position determination characters 7h in the divided image 31a and the divided image 31b overlap each other. A composite image is generated while correcting the position and inclination of each other.

また、画像合成部25は、図10に示すように、エッジ検出された例えば分割画像31a、31bどうしの白の領域部分と黒の領域部分との境界が、直線になるように合成画像の生成に補正を加える。画像合成部25がこれらの機能を有することで、原稿3が、例えば白色の領域の多い原稿(分割画像どうしの重複部分を得にくい原稿)であっても、安定した画像の合成処理を実現できる。   Further, as shown in FIG. 10, the image composition unit 25 generates a composite image so that the boundary between the white region portion and the black region portion between the divided images 31a and 31b whose edges are detected, for example, is a straight line. Add corrections to. With the image composition unit 25 having these functions, stable image composition processing can be realized even if the document 3 is a document having many white areas (a document in which overlapping portions between divided images are difficult to obtain). .

次に、このように構成された画像合成装置10による画像合成方法を図11に示すフローチャートに基づき説明する。まず、画像取得部22は、図8、図11に示すように、スキャンクリアシート17を介してスキャナ2により読み取られた例えば分割画像31aを取得する(S1)。続いて、エッジ検出部23は、分割画像31a中の白領域と黒領域との境界をみつけることで原稿3の周縁のエッジを検出する(S2)。   Next, an image composition method by the image composition apparatus 10 configured as described above will be described based on a flowchart shown in FIG. First, as shown in FIGS. 8 and 11, the image acquisition unit 22 acquires, for example, a divided image 31a read by the scanner 2 via the scan clear sheet 17 (S1). Subsequently, the edge detection unit 23 detects the edge of the peripheral edge of the document 3 by finding the boundary between the white area and the black area in the divided image 31a (S2).

次いで、文字認識部24は、図8、図11に示すように、検出されたエッジ近傍に位置する位置判別用文字7hの画像33aを切り出して左右反転して文字認識(番号の認識)を行う(S3)。次に、画像出力部26は、(スキャニングが完了しかつ)位置判別用文字7hの文字認識が完了した分割画像31aを表示部14に表示させる(S4)。続いて、画像処理制御部21は、全ての分割画像31a…31fを表示部14に表示させたか否かを判断する(S5)。   Next, as shown in FIGS. 8 and 11, the character recognition unit 24 cuts out the image 33a of the position determination character 7h located in the vicinity of the detected edge, and performs left-right inversion to perform character recognition (number recognition). (S3). Next, the image output unit 26 causes the display unit 14 to display the divided image 31a in which the character recognition of the position determination character 7h is completed (S4 is completed) (S4). Subsequently, the image processing control unit 21 determines whether or not all the divided images 31a to 31f are displayed on the display unit 14 (S5).

画像処理制御部21が、全ての分割画像31a…31fを表示部14に表示させたと判断した場合(S5のYES)、画像合成部25は、文字認識部24による認識結果に基づいて、原稿3のレイアウトどおりに複数の分割画像31a…31fを配列させた合成画像を生成する。   When the image processing control unit 21 determines that all the divided images 31a... 31f have been displayed on the display unit 14 (YES in S5), the image composition unit 25 based on the recognition result by the character recognition unit 24. A composite image in which a plurality of divided images 31a... 31f are arranged in accordance with the layout is generated.

既述したように、本実施形態の画像合成装置10を備えた画像合成処理システム1によれば、原稿3から複数回に分割して得られた複数の分割画像31a…31fを容易に合成することができる。   As described above, according to the image composition processing system 1 provided with the image composition device 10 of the present embodiment, the plurality of divided images 31a... 31f obtained by dividing the document 3 into a plurality of times can be easily combined. be able to.

また、本実施形態の画像合成処理システム1では、スキャンクリアシート17に代えて、図12、図13に示すように、スキャンクリアシート17のクリアエリア7bに原稿サイズ識別画像27a、37aを配置したスキャンクリアシート27、37を適用するようにしてもよい。原稿サイズ識別画像27a、37aは、スキャンクリアシートの保持対象の原稿サイズを特定するために、例えば文字認識可能な識別記号(星形マーク)や文字列(A4、B4、A3)などを用いる。   In the image composition processing system 1 of the present embodiment, instead of the scan clear sheet 17, document size identification images 27a and 37a are arranged in the clear area 7b of the scan clear sheet 17 as shown in FIGS. The scan clear sheets 27 and 37 may be applied. The document size identification images 27a and 37a use, for example, a character recognizable identification symbol (star mark) or a character string (A4, B4, A3) in order to specify the document size to be held by the scan clear sheet.

つまり、上述した例では、A4サイズ用のスキャンクリアシート7、17を適用した場合を示したが、画像合成処理システム1では、B4サイズなど他のサイズの原稿の画像を分割して取り込むことも想定している。したがって、上述した画像合成処理システムでは、複数の位置決め基準マーク7gの数や位置(矢印の個数やそれらの配置)と、位置判別用文字7hの数や位置(数字の個数やそれらの配置)と、を原稿サイズ毎に相違させた複数の種類のスキャンクリアシートを用意する必要がある。   In other words, in the above-described example, the case where the A4 size scan clear sheets 7 and 17 are applied is shown. However, the image composition processing system 1 may separately capture images of documents of other sizes such as B4 size. Assumed. Therefore, in the image composition processing system described above, the number and position of the plurality of positioning reference marks 7g (number of arrows and their arrangement) and the number and position of position determination characters 7h (number of numbers and their arrangement) Therefore, it is necessary to prepare a plurality of types of scan clear sheets that differ for each document size.

そこで、図12、図13に示した原稿サイズ識別画像27a、37aを有するスキャンクリアシート27、37が有用となる。ここで、画像合成装置は、原稿サイズ識別画像27a、37bの文字認識結果から、スキャンクリアシート27、37がどの原稿サイズに対応するものかを認識できるように、個々の原稿サイズ識別画像と原稿サイズとを対応付けたテーブルなどを画像処理制御部21に記憶保持させておく態様などが例示される。   Therefore, the scan clear sheets 27 and 37 having the document size identification images 27a and 37a shown in FIGS. 12 and 13 are useful. Here, the image composition apparatus recognizes each original size identification image and original so that the scan clear sheets 27 and 37 correspond to which original size from the character recognition result of the original size identification images 27a and 37b. A mode in which a table or the like associated with the size is stored in the image processing control unit 21 is exemplified.

このような構成により、原稿サイズに対応するスキャンクリアシートをユーザが容易に選び出すことができると共に、画像合成装置側では、原稿をスキャンニングさせるべき回数などを表示部14に表示させ、これをユーザに報知することなどが可能となる。   With such a configuration, the user can easily select a scan clear sheet corresponding to the document size, and the image composition device side displays the number of times the document should be scanned on the display unit 14, and this is displayed on the user screen. It is possible to notify the user.

また、本実施形態の画像合成処理システム1では、さらに構造の異なるスキャンクリアシートを適用することも可能である。ここで、図14(a)は、スキャンクリアシート47を表面(スキャナ2の蓋部内側と対向する面)側からみた図であり、図14(b)は、その図示方向に対応する断面図である。また、図15(a)は、スキャンクリアシート47を裏面(スキャナ2のコンタクトガラス2aと対向する面)側からみた図であり、図15(b)は、その図示方向に対応する断面図である。   In the image composition processing system 1 of this embodiment, it is also possible to apply a scan clear sheet having a different structure. Here, FIG. 14A is a view of the scan clear sheet 47 as viewed from the front surface (surface facing the inner side of the lid portion of the scanner 2), and FIG. 14B is a cross-sectional view corresponding to the illustrated direction. It is. 15A is a view of the scan clear sheet 47 as viewed from the back surface (the surface facing the contact glass 2a of the scanner 2), and FIG. 15B is a cross-sectional view corresponding to the illustrated direction. is there.

すなわち、スキャンクリアシート47は、その表(おもて)面側を黒色のシート47aで構成し、裏面側を透明(又は半透明)なシート47bで構成している。表面の黒色のシート47a上には、それぞれ白色の位置決め基準マーク7g及び位置判別用文字7hが配置(印刷又は記入)されている。一方、裏面側の(透明又は半透明の)シート47b上にも白色の位置判別用文字7hが印刷又は記入されている。   In other words, the scan clear sheet 47 is configured with a black sheet 47a on the front (front) side and a transparent (or translucent) sheet 47b on the back side. On the black sheet 47a on the surface, a white positioning reference mark 7g and a position determination character 7h are arranged (printed or written). On the other hand, white position-determining characters 7h are also printed or written on the back side (transparent or translucent) sheet 47b.

このような構造のスキャンクリアシート47では、読み取った画像イメージの背景を黒色で形成する仕様の上記スキャナ2を適用した場合と、画像イメージの背景を白色で形成する仕様のスキャナを適用した場合と、のいずれにおいても、図8、図10の例示と同様に、分割画像31a、31b…上にエッジ部や位置判別用文字7hがあらわれる。つまり、スキャンクリアシート47では、背景を白色で形成する仕様のスキャナを用いる場合であっても、分割画像どうしを合成する際の位置合わせを、エッジ部や位置判別用文字7hを基準として好適に行うことができる。   In the scan clear sheet 47 having such a structure, the case where the scanner 2 having the specification of forming the background of the read image image in black is applied, and the case of applying the scanner having the specification of forming the background of the image image in white are applied. In both cases, as in the examples of FIGS. 8 and 10, edge portions and position determination characters 7h appear on the divided images 31a, 31b. That is, with the scan clear sheet 47, even when using a scanner with specifications for forming the background in white, the alignment when combining the divided images is preferably performed with reference to the edge portion and the position determination character 7h. It can be carried out.

[第2の実施の形態]
次に、本発明の第2の実施形態を、上述した図5に加え、図16、図17(a)〜図17(d)及び図18に基づき説明する。なお、図16〜図18において、第の1実施形態の図2〜図10に示した構成要素と同一の構成要素については、同一の符号を付与しその説明を省略する。ここで、図16は、本実施形態の画像合成装置上で動作する画像合成プログラム8aを示す機能ブロック図である。
[Second Embodiment]
Next, a second embodiment of the present invention will be described based on FIG. 16, FIG. 17 (a) to FIG. 17 (d) and FIG. 18 in addition to FIG. 5 described above. 16 to 18, the same components as those illustrated in FIGS. 2 to 10 of the first embodiment are denoted by the same reference numerals and description thereof is omitted. Here, FIG. 16 is a functional block diagram showing an image composition program 8a operating on the image composition apparatus of the present embodiment.

また、図17(a)及び図17(c)は、スキャンクリアシート17が正しい向きで、スキャナ2にセットされた場合に得られた分割画像31a、31bを示す図である。図17(b)及び図17(d)は、スキャンクリアシート17が間違った向きで、スキャナ2にセットされた場合に得られた分割画像41a、41bを示す図である。図18は、本実施形態の画像合成装置(画像合成プログラム8a)により実現される画像合成方法を示すフローチャートである。   FIGS. 17A and 17C are diagrams showing the divided images 31a and 31b obtained when the scan clear sheet 17 is set in the scanner 2 in the correct orientation. FIGS. 17B and 17D are diagrams showing the divided images 41a and 41b obtained when the scan clear sheet 17 is set in the scanner 2 in the wrong direction. FIG. 18 is a flowchart showing an image composition method realized by the image composition apparatus (image composition program 8a) of this embodiment.

この実施形態に係る画像合成処理システムでは、第1の実施形態に係る画像合成処理システム1の画像合成プログラム8に代えて、図16に示すように、画像合成プログラム8aを有している。図5に示したように、第1の実施形態では、スキャンクリアシート17(7)は、自身の長辺が、コンタクトガラスの長辺と90°の角度をなす向きにそれぞれセットされる必要があった。このセット状態では、原稿3の各部における向きのそろった複数の画像を合成することを前提として、図17(a)、図17(c)に示すように、正しい向きの分割画像31a、31bが画像取得部22によって取得される。   The image composition processing system according to this embodiment has an image composition program 8a as shown in FIG. 16 instead of the image composition program 8 of the image composition processing system 1 according to the first embodiment. As shown in FIG. 5, in the first embodiment, the scan clear sheet 17 (7) needs to be set so that its long side forms an angle of 90 ° with the long side of the contact glass. there were. In this set state, on the premise that a plurality of images having the same orientation in each part of the document 3 are combined, as shown in FIGS. 17A and 17C, divided images 31a and 31b having the correct orientation are obtained. Acquired by the image acquisition unit 22.

一方、スキャンクリアシート17(7)が、自身の長辺を、コンタクトガラスの長辺と同じ方向に向けてセットされて、図17(b)、図17(d)に示す分割画像41a、41bが得られた場合でも、この実施形態の画像合成装置(画像合成プログラム8a)は、このような誤ったセッティングを修正して分割画像を合成することが可能となる。   On the other hand, the scan clear sheet 17 (7) is set with its long side facing the same direction as the long side of the contact glass, and the divided images 41a and 41b shown in FIGS. 17 (b) and 17 (d). Even if obtained, the image synthesizing apparatus (image synthesizing program 8a) of this embodiment can synthesize the divided images by correcting such erroneous settings.

すなわち、図16に示すように、画像合成プログラム8aは、画像合成プログラム8の構成に加え、さらに、辺部色判別部28及び文字方向判別部29を備えていると共に、画像合成プログラム8の画像合成部25に代えて、画像合成部25aを備える。辺部色判別部28は、画像取得部22によって取得された分割画像の4つの辺部の周辺の色が概ね白色であるか黒色であるかを判別する。辺部色判別部28は、図17(a)〜図17(d)に示すように、画像取得部22が取得する分割画像中から、白色の辺部を2辺又は3辺検出し、一方、黒色の辺部を1辺又は2辺検出する。   That is, as shown in FIG. 16, in addition to the configuration of the image composition program 8, the image composition program 8 a further includes a side color determination unit 28 and a character direction determination unit 29, and an image of the image composition program 8. Instead of the combining unit 25, an image combining unit 25a is provided. The side color determination unit 28 determines whether the color around the four sides of the divided image acquired by the image acquisition unit 22 is substantially white or black. As shown in FIGS. 17A to 17D, the side color determination unit 28 detects two or three white sides from the divided image acquired by the image acquisition unit 22, and Then, one or two sides of the black side are detected.

文字認識部24は、黒色の辺部周辺に含まれる白色の位置判別用文字7h(数字)を文字認識する。文字方向判別部29は、文字認識部24による認識結果に基づいて、位置判別用文字7hの向きを判断する。画像合成部25aは、辺部色判別部28及び文字方向判別部29による判別結果から、図17(b)、図17(d)に示すように、90°誤った向きの分割画像41a、41bが得られたと判断した場合には、これら分割画像41a、41bの合成時に図17(a)、図17(c)に示す向きに修正したうえで、分割画像41a、41bどうしを合成する。   The character recognition unit 24 recognizes the white position determination characters 7h (numeric characters) included around the black side portion. The character direction determination unit 29 determines the direction of the position determination character 7 h based on the recognition result by the character recognition unit 24. From the discrimination results by the side color discriminating unit 28 and the character direction discriminating unit 29, the image synthesis unit 25a, as shown in FIGS. 17 (b) and 17 (d), split images 41a and 41b with the 90 ° wrong orientation. When it is determined that the divided images 41a and 41b are synthesized, the divided images 41a and 41b are synthesized after being corrected in the directions shown in FIGS. 17A and 17C when the divided images 41a and 41b are synthesized.

次に、このように構成された画像合成プログラム8aによる画像合成方法を図18に示すフローチャートに基づき説明する。まず、画像取得部22は、スキャンクリアシート17を介してスキャナ2により読み取られた分割画像を取得する(S11)。次いで、辺部色判別部28は、取得された分割画像の4つの辺部の周辺の色が白色であるか黒色であるかを判別する(S12)。文字認識部24は、黒色の辺部周辺の位置判別用文字7hを文字認識し(S13)、さらに、文字方向判別部29は、文字認識部24による認識された位置判別用文字7hの向きを判別する(S14)。   Next, an image composition method using the image composition program 8a configured as described above will be described with reference to the flowchart shown in FIG. First, the image acquisition unit 22 acquires a divided image read by the scanner 2 via the scan clear sheet 17 (S11). Next, the side color determination unit 28 determines whether the color around the four sides of the acquired divided image is white or black (S12). The character recognition unit 24 recognizes the position determination character 7h around the black side (S13), and the character direction determination unit 29 determines the direction of the position determination character 7h recognized by the character recognition unit 24. It discriminate | determines (S14).

次に、全ての分割画像中の位置判別用文字7hの文字方向の判別が完了したことを画像処理制御部21が認識した場合(S15のYES)、画像合成部25aは、必要に応じて分割画像の向きを修正したうえで、原稿3のレイアウトどおりに複数の分割画像31a…31fを配列させた合成画像を生成する(S16)。   Next, when the image processing control unit 21 recognizes that the determination of the character direction of the position determination characters 7h in all the divided images has been completed (YES in S15), the image composition unit 25a performs the division as necessary. After correcting the orientation of the image, a composite image in which a plurality of divided images 31a... 31f are arranged according to the layout of the document 3 is generated (S16).

したがって、本実施形態の画像合成装置では、分割画像中の黒色の辺部の配置関係と、位置判別用文字7hの向きとを検出することで、取得した分割画像の向きを判別することができる。これにより、スキャナ2上に、90°誤った向きで、スキャンクリアシート17がセットされた場合でも、分割画像を正しい向きに修正したうえで、合成画像を生成することができる。   Therefore, in the image composition device of the present embodiment, the orientation of the acquired divided image can be determined by detecting the arrangement relationship of the black sides in the divided image and the direction of the position determination character 7h. . As a result, even when the scan clear sheet 17 is set on the scanner 2 with a 90 ° misorientation, it is possible to generate a composite image after correcting the divided image to the correct orientation.

[第3の実施の形態]
次に、本発明の第3の実施形態を図19〜図21に基づき説明する。なお、図19〜図21において、図2〜図8に示した第1の実施形態の構成要素と同一の構成要素については、同一の符号を付与しその説明を省略する。ここで、図19は、本実施形態の画像合成装置上で動作する画像合成プログラム8bを示す機能ブロック図である。また、図20は、スキャンクリアシート57を表面側からみた図である。さらに、図21は、スキャンクリアシート57越しに原稿から分割して読み取られた分割画像51aを示す図である。
[Third Embodiment]
Next, the 3rd Embodiment of this invention is described based on FIGS. 19 to 21, the same components as those of the first embodiment illustrated in FIGS. 2 to 8 are denoted by the same reference numerals and description thereof is omitted. Here, FIG. 19 is a functional block diagram showing an image composition program 8b operating on the image composition apparatus of the present embodiment. FIG. 20 is a view of the scan clear sheet 57 as viewed from the front side. Further, FIG. 21 is a diagram showing a divided image 51 a that is read from the document through the scan clear sheet 57.

この実施形態に係る画像合成処理システムでは、第1の実施形態の画像合成処理システム1が備えた、背景を黒色で形成する仕様のスキャナ2に代えて、読み取った画像イメージの背景を白色で形成する背景形成部を蓋部の内側面に備えたスキャナが適用されている。また、第1の実施形態のスキャンクリアシート17に代えて、図20に示すように、スキャンクリアシート57が用いられる。   In the image composition processing system according to this embodiment, the background of the read image image is formed in white instead of the scanner 2 having the specification for forming the background in black, which is included in the image composition processing system 1 of the first embodiment. A scanner having a background forming portion on the inner side surface of the lid portion is applied. Further, instead of the scan clear sheet 17 of the first embodiment, a scan clear sheet 57 is used as shown in FIG.

すなわち、スキャンクリアシート57には、図20に示すように、その表面に黒色の位置決め基準マーク57gが配置(印刷又は記入)されている。さらに、スキャンクリアシート57には、分割画像毎に異なる黒色の位置判別用文字57hと、個々の位置判別用文字57hの近傍に配置される黒色で塗り潰された正方形のタイミングマーク57kと、がそれぞれ位置判別画像として印刷又は記入されている。   That is, as shown in FIG. 20, a black positioning reference mark 57g is arranged (printed or filled in) on the surface of the scan clear sheet 57. Further, on the scan clear sheet 57, there are black position determination characters 57h that differ for each divided image, and square timing marks 57k that are filled with black and that are arranged in the vicinity of the individual position determination characters 57h. Printed or entered as a position discrimination image.

また、画像合成装置上では、第1の実施形態の画像合成プログラム8に代えて、画像合成プログラム8bが動作する。すなわち、画像合成プログラム8bは、画像合成プログラム8のエッジ検出部23、文字認識部24及び画像合成部25に代えて、図19に示すように、タイミングマーク検出部23b、文字認識部24b及び画像合成部25bを備えている。   In addition, on the image composition apparatus, an image composition program 8b operates instead of the image composition program 8 of the first embodiment. That is, the image synthesis program 8b replaces the edge detection unit 23, the character recognition unit 24, and the image synthesis unit 25 of the image synthesis program 8 with each other as shown in FIG. 19 with a timing mark detection unit 23b, a character recognition unit 24b, and an image. A synthesizer 25b is provided.

つまり、タイミングマーク検出部23bは、クリアエリア7bに対応する領域内の黒色で塗り潰された正方形の部位をタイミングマーク57kとして検出する。文字認識部24bは、タイミングマーク57kの近傍に位置する黒色の位置判別用文字57hを文字認識する。画像合成部25bは、隣り合う分割画像どうしを重ね合わせて合成する場合に、各分割画像中に含まれるタイミングマーク57k(及び位置判別用文字57h)どうしの向き及び位置が重なるように、分割画像どうしの互いの位置及び傾きを補正しつつ合成画像を生成する。   That is, the timing mark detection unit 23b detects a square portion filled with black in the area corresponding to the clear area 7b as the timing mark 57k. The character recognition unit 24b recognizes the black position determination character 57h located in the vicinity of the timing mark 57k. The image composition unit 25b divides the divided images so that the directions and positions of the timing marks 57k (and the position determination characters 57h) included in the divided images overlap when the adjacent divided images are superimposed and synthesized. A composite image is generated while correcting the position and inclination of each other.

ここで、本実施形態のように、背景が白色となるスキャナを適用している場合、分割画像51a上に原稿3のエッジが見えないという欠点がある。しかしながら、本実施形態の画像合成装置によれば、比較的検出しやすい長方形を塗り潰したかたちのタイミングマーク57kを基準として、位置判別用文字57hを容易に検出して文字認識を行うことができる。さらに、本実施形態の画像合成装置によれば、タイミングマーク57kを位置合わせの基準として分割画像どうしの合成に補正を加えることが可能となる。   Here, as in this embodiment, when a scanner with a white background is applied, there is a drawback that the edge of the document 3 cannot be seen on the divided image 51a. However, according to the image synthesizing apparatus of the present embodiment, it is possible to easily detect the position determination character 57h with reference to the timing mark 57k in the form of a rectangle that is relatively easy to detect. Furthermore, according to the image composition apparatus of the present embodiment, it is possible to correct the composition of the divided images using the timing mark 57k as a reference for alignment.

[第4の実施の形態]
次に、本発明の第4の実施形態を上述した図5に加え、図22、図23に基づき説明する。なお、図22、図23において、図2〜図8に示した第の1実施形態の構成要素と同一の構成要素については、同一の符号を付与しその説明を省略する。ここで、図22は、本実施形態の画像合成装置上で動作する画像合成プログラム8cを示す機能ブロック図である。また、図23は、スキャンクリアシート67を表面側からみた図である。
[Fourth Embodiment]
Next, a fourth embodiment of the present invention will be described with reference to FIGS. 22 and 23 in addition to FIG. 5 described above. 22 and 23, the same reference numerals are given to the same components as those of the first embodiment shown in FIGS. 2 to 8, and the description thereof is omitted. Here, FIG. 22 is a functional block diagram showing an image composition program 8c operating on the image composition apparatus of the present embodiment. FIG. 23 is a view of the scan clear sheet 67 viewed from the front side.

この実施形態に係る画像合成処理システムでは、第1の実施形態の画像合成処理システム1が備えていた、背景を黒色で形成する仕様のスキャナ2に代えて、第3の実施形態と同様、読み取った画像イメージの背景を白色で形成する仕様のスキャナが適用されている。また、第1の実施形態のスキャンクリアシート17に代えて、図23に示すように、スキャンクリアシート67が用いられる。スキャンクリアシート67は、第3の実施形態のスキャンクリアシート57からタイミングマーク57kを削除したかたちで構成されている。   In the image composition processing system according to this embodiment, instead of the scanner 2 having the specification of forming the background in black, which is included in the image composition processing system 1 of the first embodiment, reading is performed in the same manner as in the third embodiment. A scanner having a specification for forming a white background of the image is applied. Further, instead of the scan clear sheet 17 of the first embodiment, a scan clear sheet 67 is used as shown in FIG. The scan clear sheet 67 is configured by deleting the timing mark 57k from the scan clear sheet 57 of the third embodiment.

また、画像合成装置上では、第1の実施形態の画像合成プログラム8に代えて、画像合成プログラム8cが動作する。すなわち、画像合成プログラム8cは、図22に示すように、画像合成プログラム8のエッジ検出部23が削除されていると共に、画像合成プログラム8の画像処理制御部21及び文字認識部24に代えて、画像処理制御部21c及び画像取得順序検出部24cを備えている。   On the image composition device, an image composition program 8c operates instead of the image composition program 8 of the first embodiment. That is, in the image composition program 8c, as shown in FIG. 22, the edge detection unit 23 of the image composition program 8 is deleted, and instead of the image processing control unit 21 and the character recognition unit 24 of the image composition program 8, An image processing control unit 21c and an image acquisition order detection unit 24c are provided.

画像取得順序検出部24cは、図5に示したように、スキャナによる読み取り後に、画像取得部22によって取得された個々の分割画像と、それらの取得順序とを互いに対応付けて記憶する。一方、画像処理制御部21は、原稿3上の分割対象となる6個所の領域部分のレイアウトと上記した分割画像の取得順序とをテーブルの形式で予め記憶している。つまり、画像処理制御部21は、画像取得順序検出部24cの検出結果を参照し、1番目に取得された分割画像を、例えば図9に示した(原稿3の)左上の部分画像として自動的に割り当て、また、6番目に取得された分割画像を、図9に示す右下の部分画像として自動的に割り当てる。   As illustrated in FIG. 5, the image acquisition order detection unit 24 c stores each divided image acquired by the image acquisition unit 22 after being read by the scanner and their acquisition order in association with each other. On the other hand, the image processing control unit 21 stores in advance the layout of the six area portions to be divided on the document 3 and the acquisition order of the divided images described above in the form of a table. That is, the image processing control unit 21 refers to the detection result of the image acquisition order detection unit 24c, and automatically acquires the first acquired divided image, for example, as the upper left partial image (of the document 3) shown in FIG. And the sixth acquired divided image is automatically assigned as the lower right partial image shown in FIG.

したがって、この実施形態の画像合成処理システムでは、図23に示すスキャンクリアシート67上の位置判別用文字57hが表す(1)〜(6)までの数字の番号は、分割画像の読み取りの順番として適用される。つまり、本実施形態の画像合成処理システムでは、図5に示したように、スキャナ上の位置合わせ基準マーク2bに対し、(1)〜(6)の数字近傍の各位置決め基準マーク57g(矢印)を、必ず数字順に6回セットする必要がある。   Therefore, in the image composition processing system of this embodiment, the numbers (1) to (6) represented by the position determination characters 57h on the scan clear sheet 67 shown in FIG. Applied. That is, in the image composition processing system of the present embodiment, as shown in FIG. 5, each positioning reference mark 57g (arrow) in the vicinity of the numbers (1) to (6) with respect to the alignment reference mark 2b on the scanner. Must be set 6 times in numerical order.

しかしながら、本実施形態の画像合成装置(画像合成プログラム8c)では、位置判別用文字57hを文字認識する必要がないから、文字認識部や、文字認識処理時に利用され得るエッジ検出部などを削除することができる。また、本実施形態の画像合成装置では、上記したように、文字認識処理が不要なので、例えば、画像イメージの背景を黒色で形成する仕様のスキャナを適用する場合において、分割画像中に位置判別用文字57hを配置させるといった制約などが必然的に回避される。これにより、背景が黒色になるスキャナと背景が白色になるスキャナとの双方に、位置判別用文字57hが黒色の図23に示すスキャンクリアシート67を問題なく適用することができる。   However, in the image composition apparatus (image composition program 8c) of the present embodiment, since it is not necessary to recognize the character 57h for position determination, the character recognition unit, the edge detection unit that can be used during the character recognition process, and the like are deleted. be able to. In addition, as described above, the image synthesis apparatus according to the present embodiment does not require character recognition processing. For example, when a scanner having a specification that forms the background of an image image in black is applied, the position is included in the divided image. The restriction of arranging the character 57h is inevitably avoided. Accordingly, the scan clear sheet 67 shown in FIG. 23 in which the position determination characters 57h are black can be applied without problem to both the scanner whose background is black and the scanner whose background is white.

[第5の実施の形態]
次に、本発明の第5の実施形態を図24〜図26に基づき説明する。なお、図24〜図26において、図19〜図21に示した第3の実施形態の構成要素と同一の構成要素については、同一の符号を付与しその説明を省略する。ここで、図24は、この実施形態で適用するスキャンクリアシート57及び原稿3の各々を表面側からみた図である。また、図25は、表(おもて)面を上にして原稿3が挿入された状態のスキャンクリアシート57を表面側からみた図である。さらに、図26は、本実施形態の画像合成装置上で動作する画像合成プログラム8dを示す機能ブロック図である。
[Fifth Embodiment]
Next, a fifth embodiment of the present invention will be described with reference to FIGS. 24 to 26, the same components as those of the third embodiment illustrated in FIGS. 19 to 21 are denoted by the same reference numerals and description thereof is omitted. Here, FIG. 24 is a view of the scan clear sheet 57 and the document 3 applied in this embodiment as seen from the front side. FIG. 25 is a view of the scan clear sheet 57 in a state where the document 3 is inserted with the front side facing up, as viewed from the front side. Furthermore, FIG. 26 is a functional block diagram showing an image composition program 8d operating on the image composition apparatus of the present embodiment.

この実施形態に係る画像合成処理システムでは、第1の実施形態の画像合成処理システム1が備えたスキャナ2に代えて、図25に示すように、動画を撮像するためのWebカメラなどのデジタルビデオカメラ2dが適用されている。また、第1の実施形態のスキャンクリアシート17に代えて、図24、図25に示すように、第3の実施形態と同様にスキャンクリアシート57が用いられる。   In the image composition processing system according to this embodiment, instead of the scanner 2 provided in the image composition processing system 1 of the first embodiment, as shown in FIG. 25, a digital video such as a Web camera for capturing a moving image is shown. A camera 2d is applied. Further, instead of the scan clear sheet 17 of the first embodiment, as shown in FIGS. 24 and 25, a scan clear sheet 57 is used as in the third embodiment.

また、実施形態では、スキャナに代えて、例えばカラーの映像を撮影可能なデジタルビデオカメラ2dで原稿3から分割画像が撮像される。このため、原稿3がその表面を上にして挿入された状態のスキャンクリアシート57が、表面側からデジタルビデオカメラ2dによって撮像される。   In the embodiment, a divided image is captured from the document 3 by a digital video camera 2d capable of capturing a color image, for example, instead of the scanner. For this reason, the scan clear sheet 57 in a state where the document 3 is inserted with the front side facing up is imaged by the digital video camera 2d from the front side.

ここで、通常、デジタルビデオカメラ2dは、原稿3全体を一度に撮影しようとすると、解像度が落ちてしまうという課題がある。そこで、本実施形態では、上述した各実施形態でスキャナにより6回にわけてスキャニングされていた原稿3を含むスキャンクリアシート57上の6つの領域を、デジタルビデオカメラ2dによる6つの撮影領域として割り当てる。つまり、図25に示すように、デジタルビデオカメラ2dの撮影領域2eを、原稿3を含むスキャンクリアシート57上の6個所に移動させながら動画を撮影する。   Here, usually, the digital video camera 2d has a problem that the resolution is lowered when the whole document 3 is shot at once. Therefore, in this embodiment, the six areas on the scan clear sheet 57 including the document 3 that has been scanned six times by the scanner in each of the above-described embodiments are allocated as six shooting areas by the digital video camera 2d. . That is, as shown in FIG. 25, a moving image is shot while moving the shooting region 2e of the digital video camera 2d to six locations on the scan clear sheet 57 including the document 3.

また、画像合成装置上では、第3の実施形態の画像合成プログラム8bに代えて、図26に示すように、画像合成プログラム8dが動作する。すなわち、画像合成プログラム8dには、画像合成プログラム8bの画像取得部22に代えて、静止画抽出部22eを有する画像取得部22dが設けられている。   Further, on the image composition apparatus, an image composition program 8d operates as shown in FIG. 26 instead of the image composition program 8b of the third embodiment. That is, the image synthesis program 8d is provided with an image acquisition unit 22d having a still image extraction unit 22e instead of the image acquisition unit 22 of the image synthesis program 8b.

画像取得部22dは、デジタルビデオカメラ2dによって原稿3を6分割するようにして撮像された動画を取得する。静止画抽出部22eは、取得した動画の構成単位である複数の画像フレームから、スナップショットとなる静止画を分割画像として抽出する。詳細には、静止画抽出部22eは、原稿3上の6個所分の分割画像(静止画)を抽出する。ここで、静止画抽出部22eは、例えば文字認識部24bと協働して動作するものであってもよい。つまり、静止画抽出部22eは、複数の画像フレームのうちで、文字認識部24bにより位置判別用文字57hの文字認識結果が最初に得られた画像フレームを、選択的に抽出するものであってもよい。   The image acquisition unit 22d acquires a moving image captured by the digital video camera 2d so that the document 3 is divided into six parts. The still image extraction unit 22e extracts a still image serving as a snapshot as a divided image from a plurality of image frames that are constituent units of the acquired moving image. Specifically, the still image extraction unit 22e extracts six divided images (still images) on the document 3. Here, the still image extraction unit 22e may operate in cooperation with the character recognition unit 24b, for example. That is, the still image extraction unit 22e selectively extracts an image frame in which the character recognition result of the position determination character 57h is first obtained by the character recognition unit 24b from among a plurality of image frames. Also good.

このように本実施形態の画像合成処理システムは、スキャナよりも小型の装置として構成しやすいWebカメラなどを適用できるので、可搬性に優れている。また、カメラ付きのモバイルPCやノートPCなどを画像合成処理システムに適用することで、カメラと一体となった画像合成装置を構成することが可能となる。これにより、携帯性のさらなる向上を図ることができる。   As described above, the image composition processing system according to the present embodiment is excellent in portability because a Web camera or the like that can be easily configured as a smaller device than a scanner can be applied. In addition, by applying a mobile PC with a camera, a notebook PC, or the like to the image composition processing system, an image composition device integrated with the camera can be configured. Thereby, the further improvement of portability can be aimed at.

[第6の実施の形態]
次に、本発明の第6の実施形態を図27〜図31に基づき説明する。なお、図27〜図31において、図24〜図26に示した第5の実施形態の構成要素と同一の構成要素については、同一の符号を付与しその説明を省略する。ここで、図27は、本実施形態の画像合成装置上で動作する画像合成プログラム8eを示す機能ブロック図である。また、図28は、スキャンクリアシート77を表(おもて)面からみた図である。さらに、図29は、表面を上にして原稿3が挿入された状態のスキャンクリアシート77を表面側からみた図である。
[Sixth Embodiment]
Next, a sixth embodiment of the present invention will be described with reference to FIGS. 27 to 31, the same components as those of the fifth embodiment illustrated in FIGS. 24 to 26 are denoted by the same reference numerals and description thereof is omitted. Here, FIG. 27 is a functional block diagram showing an image composition program 8e operating on the image composition apparatus of the present embodiment. FIG. 28 is a view of the scan clear sheet 77 as seen from the front (front) surface. Furthermore, FIG. 29 is a view of the scan clear sheet 77 in a state where the document 3 is inserted with the front side facing up, as viewed from the front side.

さらに、図29は、本実施形態の画像合成装置上で動作する画像合成プログラム8eを示す機能ブロック図である。また、図30は、デジタルビデオカメラ2dによって撮影されたスキャンクリアシート77の画像の形状的な歪みを説明するための図である。さらに、図31は、本実施形態の画像合成装置(画像合成プログラム8a)により実現される画像合成方法を示すフローチャートである。   FIG. 29 is a functional block diagram showing an image composition program 8e that operates on the image composition apparatus of the present embodiment. FIG. 30 is a view for explaining the geometric distortion of the image of the scan clear sheet 77 photographed by the digital video camera 2d. Further, FIG. 31 is a flowchart showing an image composition method realized by the image composition apparatus (image composition program 8a) of the present embodiment.

この実施形態のスキャンクリアシート77は、図28、図29に示すように、第3、第5の実施形態のスキャンクリアシート57上の主に原稿保持部7aの表(おもて)面に複数の罫線77a(複数の線分の画像)が格子状に配置されている。複数の罫線77aは、スキャンクリアシート77内に挿入された原稿3上の画像を透過させる濃さで引かれている。具体的には、これらの罫線77aは、黄色の蛍光色の線として構成されている。   As shown in FIGS. 28 and 29, the scan clear sheet 77 of this embodiment is mainly on the front surface of the document holder 7a on the scan clear sheet 57 of the third and fifth embodiments. A plurality of ruled lines 77a (images of a plurality of line segments) are arranged in a grid pattern. The plurality of ruled lines 77 a are drawn with a density that allows the image on the document 3 inserted into the scan clear sheet 77 to pass therethrough. Specifically, these ruled lines 77a are configured as yellow fluorescent lines.

また、この実施形態の画像合成処理システムでは、第5の実施形態の画像合成処理システムで適用されていた画像合成プログラム8dに代えて、図27に示すように、画像合成プログラム8eが適用されている。すなわち、この画像合成プログラム8eは、画像合成プログラム8dの構成に加え、図27に示すように、蛍光成分抽出部28e及び罫線検出部29eを備えると共に、画像合成部25dに代えて画像合成部25eを備えている。   In the image composition processing system of this embodiment, an image composition program 8e is applied as shown in FIG. 27 in place of the image composition program 8d applied in the image composition processing system of the fifth embodiment. Yes. That is, the image composition program 8e includes a fluorescence component extraction unit 28e and a ruled line detection unit 29e as shown in FIG. 27 in addition to the configuration of the image composition program 8d, and an image composition unit 25e instead of the image composition unit 25d. It has.

ここで、画像取得部22dは、デジタルビデオカメラ2dによって撮影された、格子状に配置される線分画像(罫線77aの画像)を含む複数のカラーの分割画像を取得する。蛍光成分抽出部28eは、画像取得部22dが取得したカラーの分割画像から、スキャンクリアシート77上における罫線77aの蛍光黄色の成分を抽出する。具体的には、蛍光黄色の成分は、赤色光及び緑色光の反射率が高く、一方、青色光の反射率が低いという特性を持つ。そこで、蛍光成分抽出部28eは、原稿3の白色の背景とコントラストが得られるように、青色光の反射成分を強調させた画像処理を行い、罫線77aの蛍光黄色の成分を抽出する。なお、この場合の2値化の画像処理では、罫線77aと原稿3上の画像(例えば黒色の画像)とが、重なっている領域部分だけは、罫線77aを判別できないことになる。   Here, the image acquisition unit 22d acquires a plurality of color divided images including line segment images (images of ruled lines 77a) arranged in a grid pattern, which are captured by the digital video camera 2d. The fluorescent component extraction unit 28e extracts the fluorescent yellow component of the ruled line 77a on the scan clear sheet 77 from the color divided image acquired by the image acquisition unit 22d. Specifically, the fluorescent yellow component has a characteristic that the reflectance of red light and green light is high, while the reflectance of blue light is low. Therefore, the fluorescence component extraction unit 28e performs image processing in which the blue light reflection component is enhanced so as to obtain a contrast with the white background of the document 3, and extracts the fluorescence yellow component of the ruled line 77a. In the binarized image processing in this case, the ruled line 77a cannot be discriminated only in the region where the ruled line 77a and the image on the document 3 (for example, a black image) overlap.

そこで、罫線検出部29eは、このような原稿3の画像上で途切れた罫線77aを直線状につなげる処理により罫線77aの全体を検出する。また、画像合成部25eは、図30に示すように、デジタルビデオカメラ2dによる撮影時の傾きなどによって生じた分割画像61aの形状的な歪みを矯正するように、各分割画像中の罫線77aの配置関係に基づき、分割画像どうしを合成する際の補正を行う。つまり、画像合成部25eは、隣り合う分割画像どうしの各罫線77aが直接的につながり、かつ、互いに交差する罫線77aが90°の角度をなすように、分割画像どうしの合成を補正する。   Accordingly, the ruled line detection unit 29e detects the entire ruled line 77a by a process of connecting the ruled lines 77a that are interrupted on the image of the document 3 in a straight line. In addition, as shown in FIG. 30, the image composition unit 25e corrects the ruled line 77a in each divided image so as to correct the geometric distortion of the divided image 61a caused by the inclination at the time of shooting by the digital video camera 2d. Based on the arrangement relationship, correction is performed when the divided images are combined. That is, the image composition unit 25e corrects the composition of the divided images so that the ruled lines 77a of the adjacent divided images are directly connected and the ruled lines 77a intersecting each other form an angle of 90 °.

次に、このように構成された画像合成プログラム8eによる画像合成方法を図31に示すフローチャートに基づき説明する。まず、画像取得部22dがカラーの分割画像を取得すると(S21)、蛍光成分抽出部28eは、取得された分割画像中の蛍光黄色の成分を抽出する。(S22)。罫線検出部29eは、原稿3の画像上で途切れた蛍光黄色の成分を直線状につなげる処理により罫線77aを検出する(S23)。この後、文字認識部24は、カラーに戻した分割画像中から位置判別用文字57hを文字認識する(S24)。全ての分割画像の文字認識が終わった場合(S25のYES)、原稿3のレイアウトどおりに複数の分割画像を配列させると共に、罫線77aの歪みを直すように補正を加えつつ分割画像どうしを合成する(S26)。   Next, an image composition method by the image composition program 8e configured as described above will be described with reference to a flowchart shown in FIG. First, when the image acquisition unit 22d acquires a color divided image (S21), the fluorescent component extraction unit 28e extracts a fluorescent yellow component in the acquired divided image. (S22). The ruled line detection unit 29e detects the ruled line 77a by the process of connecting the fluorescent yellow components interrupted on the image of the document 3 in a straight line (S23). Thereafter, the character recognizing unit 24 recognizes the position determination character 57h from the divided image returned to the color (S24). When character recognition of all the divided images has been completed (YES in S25), a plurality of divided images are arranged according to the layout of the document 3, and the divided images are synthesized while correcting so as to correct the distortion of the ruled line 77a. (S26).

したがって、本実施形態の画像合成装置によれば、撮影時のデジタルビデオカメラ2dの傾きなどによって分割画像61aに形状的な歪みが生じた場合でも、スキャンクリアシート77上の罫線77aを利用することで、各分割画像61aの歪みを修正しながら合成画像を生成することができる。   Therefore, according to the image composition device of the present embodiment, the ruled line 77a on the scan clear sheet 77 is used even when the divided image 61a is distorted due to the inclination of the digital video camera 2d at the time of shooting. Thus, a composite image can be generated while correcting the distortion of each divided image 61a.

以上、本発明を第1〜第6の実施の形態により具体的に説明したが、本発明はこれらの実施形態にのみ限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能である。例えば、第1〜第6の実施形態に例示された構成要素の一部を適宜組み合わせて、他の画像合成処理システムや画像合成装置を構成してもよい。また、第5、第6の実施形態の動画を撮影するデジタルビデオカメラに代えて、静止画を直接撮影するデジタルスチルカメラを適用してもよい。デジタルスチルカメラを適用した場合は、複数の対象の中から画像フレームを抽出する処理が不要となるため画像取得部の構成を簡略化できる。また、第1〜第4の実施形態は、スキャナ2に代えて、このようなデジタルスチルカメラやデジタルビデオカメラ2dを用いて分割画像を得るものであってもよい。また、第6の実施形態の罫線77aを格子状に配置したスキャンクリアシート77を第1〜第5の実施形態でも適用し、これを適用した第1〜第5の実施形態が、分割画像の形状的な歪みを補正する合成処理を実現するものであってもよい。   The present invention has been specifically described with reference to the first to sixth embodiments. However, the present invention is not limited to these embodiments, and various modifications can be made without departing from the scope of the present invention. . For example, other image composition processing systems and image composition devices may be configured by appropriately combining some of the constituent elements exemplified in the first to sixth embodiments. Further, instead of the digital video camera that shoots the moving image of the fifth and sixth embodiments, a digital still camera that directly shoots a still image may be applied. When a digital still camera is applied, it is not necessary to extract an image frame from a plurality of objects, so that the configuration of the image acquisition unit can be simplified. In the first to fourth embodiments, a divided image may be obtained using such a digital still camera or digital video camera 2d instead of the scanner 2. Further, the scan clear sheet 77 in which the ruled lines 77a of the sixth embodiment are arranged in a lattice shape is also applied to the first to fifth embodiments, and the first to fifth embodiments to which the scan clear sheet 77 is applied are divided images. You may implement | achieve the synthetic | combination process which correct | amends a geometric distortion.

1…画像合成処理システム、2…スキャナ、8,8a,8b,8c,8d,8e…画像合成プログラム、2a…コンタクトガラス、2d…デジタルビデオカメラ、7,17,27,37,47,57,67,77…スキャンクリアシート、7a…原稿保持部、7b…クリアエリア、7h,57h…位置判別用文字、10…画像合成装置、14…表示部、22,22d…画像取得部、22e…静止画抽出部、23…エッジ検出部、23b…タイミングマーク検出部、24,24b…文字認識部、24c…画像取得順序検出部、25,25a,25b,25d,25e…画像合成部、31a,31b,31f,41a,51a,61a…分割画像、32a…第1の画像領域、33a…位置判別用文字の画像、34a…第2の画像領域、57k…タイミングマーク、77a…罫線。   DESCRIPTION OF SYMBOLS 1 ... Image composition processing system, 2 ... Scanner, 8, 8a, 8b, 8c, 8d, 8e ... Image composition program, 2a ... Contact glass, 2d ... Digital video camera, 7, 17, 27, 37, 47, 57, 67, 77: Scan clear sheet, 7a: Document holding unit, 7b: Clear area, 7h, 57h ... Position determination character, 10 ... Image composition device, 14 ... Display unit, 22, 22d ... Image acquisition unit, 22e ... Stationary Image extraction unit, 23 ... edge detection unit, 23b ... timing mark detection unit, 24, 24b ... character recognition unit, 24c ... image acquisition order detection unit, 25, 25a, 25b, 25d, 25e ... image synthesis unit, 31a, 31b , 31f, 41a, 51a, 61a ... divided image, 32a ... first image region, 33a ... character for position determination, 34a ... second image region, 57k ... Timing mark, 77a ... borders.

Claims (6)

スキャンする対象物を保持した状態でスキャナにセットされ前記対象物とともに複数回に分割してスキャンされるシートであって、前記スキャナへの位置決め用の基準位置を表す画像、および前記対象物の一部分の当該対象物上での位置を特定するための番号を表す位置判別画像が、複数の異なる位置に印刷された前記シートを用いて、前記対象物の一部分の画像と前記位置判別画像とを含む複数の分割画像を取得する画像取得ステップと、
前記取得された分割画像毎に前記位置判別画像のパターン認識を行う認識ステップと、
前記パターン認識による認識結果に基づいて、前記複数の分割画像を配列させた合成画像を生成する合成ステップと、
を有する画像合成方法。
An image representing a reference position for positioning to the scanner, and a part of the object, which is a sheet that is set in a scanner with the object to be scanned held and is divided and scanned together with the object A position determination image representing a number for specifying the position of the object on the object includes an image of a part of the object and the position determination image using the sheet printed at a plurality of different positions. An image acquisition step of acquiring a plurality of divided images;
A recognition step of performing pattern recognition of the position determination image for each of the acquired divided images;
A synthesis step of generating a synthesized image in which the plurality of divided images are arranged based on a recognition result by the pattern recognition;
Images synthetic methods that have a.
前記認識ステップにより前記位置判別画像のパターン認識の完了した分割画像とともに、スキャン及びパターン認識が完了していない前記対象物上の領域についてはこの領域に対応する位置に対応する番号とともにその旨を表示装置に表示させる表示ステップ、
をさらに有する請求項1記載の画像合成方法。
With split picture image complete pattern recognition of the position determination image by the recognition step, the area on the object to scan and pattern recognition has not been completed to that effect together with the number corresponding to the position corresponding to the region A display step to be displayed on the display device;
Further, the image synthesis method according to claim 1 Symbol placement that have a.
前記合成ステップでは、
前記画像取得ステップにて取得された個々の分割画像中に各々含まれる位置判別画像どうしの物理的な位置関係に基づいて、前記複数の分割画像の合成に補正を加える
求項1ないしのいずれか1項に記載の画像合成方法。
In the synthesis step,
Based on the physical positional relationship between the position determination images respectively included in the individual divided images acquired in the image acquisition step, a correction is made to the synthesis of the plurality of divided images .
Motomeko image composition method according to 1 to any one of 2.
前記基準位置を表す画像は、前記シート上の前記位置判別画像の近傍マークとして印刷されている、
求項1ないしのいずれか1項に記載の画像合成方法。
The image representing the reference position is printed as a mark in the vicinity of the position determination image on the sheet .
Motomeko image composition method according to 1 to any one of the three.
スキャンする対象物を保持した状態でスキャナにセットされ前記対象物とともに複数回に分割してスキャンされるシートであって、前記スキャナへの位置決め用の基準位置を表す画像、および前記対象物の一部分の当該対象物上での位置を特定するための番号を表す位置判別画像が、複数の異なる位置に印刷された前記シートから、前記対象物の一部分の画像と前記位置判別画像とを含む複数の分割画像を取得する画像取得部と、
前記画像取得部により取得された分割画像毎に前記位置判別画像のパターン認識を行うパターン認識部と、
前記パターン認識部による認識結果に基づいて、前記複数の分割画像を配列させた合成画像を生成する画像合成部と、
を具備する画像合成装置。
An image representing a reference position for positioning to the scanner, and a part of the object, which is a sheet that is set in a scanner with the object to be scanned held and is divided and scanned together with the object A position determination image representing a number for specifying the position of the object on the object includes a plurality of images including a partial image of the object and the position determination image from the sheet printed at a plurality of different positions . An image acquisition unit for acquiring divided images;
A pattern recognition unit that performs pattern recognition of the position determination image for each divided image acquired by the image acquisition unit;
An image synthesis unit that generates a synthesized image in which the plurality of divided images are arranged based on a recognition result by the pattern recognition unit;
It provided the images synthesizer.
スキャンする対象物を保持した状態でスキャナにセットされ前記対象物とともに複数回に分割してスキャンされるシートであって、前記スキャナへの位置決め用の基準位置を表す画像、および前記対象物の一部分の当該対象物上での位置を特定するための番号を表す位置判別画像が、複数の異なる位置に印刷された前記シートから、前記対象物の一部分の画像と前記位置判別画像とを含む複数の分割画像を取得する画像取得手順と、An image representing a reference position for positioning to the scanner, and a part of the object, which is a sheet that is set in a scanner with the object to be scanned held and is divided and scanned together with the object A position determination image representing a number for specifying the position of the object on the object includes a plurality of images including a partial image of the object and the position determination image from the sheet printed at a plurality of different positions. An image acquisition procedure for acquiring divided images;
前記画像取得手順により取得された分割画像毎に前記位置判別画像のパターン認識を行うパターン認識手順と、A pattern recognition procedure for performing pattern recognition of the position determination image for each of the divided images acquired by the image acquisition procedure;
前記パターン認識手順による認識結果に基づいて、前記複数の分割画像を配列させた合成画像を生成する画像合成手順と、An image synthesis procedure for generating a synthesized image in which the plurality of divided images are arranged based on a recognition result by the pattern recognition procedure;
をコンピュータに実行させるためのプログラム。A program that causes a computer to execute.
JP2009211747A 2009-09-14 2009-09-14 Image composition method, image composition apparatus, and program Expired - Fee Related JP4901928B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009211747A JP4901928B2 (en) 2009-09-14 2009-09-14 Image composition method, image composition apparatus, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009211747A JP4901928B2 (en) 2009-09-14 2009-09-14 Image composition method, image composition apparatus, and program

Publications (2)

Publication Number Publication Date
JP2011061688A JP2011061688A (en) 2011-03-24
JP4901928B2 true JP4901928B2 (en) 2012-03-21

Family

ID=43948775

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009211747A Expired - Fee Related JP4901928B2 (en) 2009-09-14 2009-09-14 Image composition method, image composition apparatus, and program

Country Status (1)

Country Link
JP (1) JP4901928B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5426422B2 (en) * 2010-02-10 2014-02-26 株式会社Pfu Image processing apparatus, image processing method, and image processing program
JP5953954B2 (en) * 2012-06-07 2016-07-20 富士通株式会社 Image processing apparatus, method, and program
JP6950252B2 (en) * 2017-04-11 2021-10-13 富士フイルムビジネスイノベーション株式会社 Image processing equipment and programs

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2917155B2 (en) * 1989-12-18 1999-07-12 株式会社日立製作所 Image combining device and method
JP2004342067A (en) * 2003-04-22 2004-12-02 3D Media Co Ltd Image processing method, image processor and computer program
JP4057545B2 (en) * 2004-03-10 2008-03-05 株式会社Pfu Image processing apparatus and method
JP4662310B2 (en) * 2006-01-25 2011-03-30 富士ゼロックス株式会社 Image reading apparatus, image processing apparatus, image forming apparatus, image processing method, image forming method, and program

Also Published As

Publication number Publication date
JP2011061688A (en) 2011-03-24

Similar Documents

Publication Publication Date Title
US8331677B2 (en) Combined image and text document
KR101292925B1 (en) Object of image capturing, computer readable media for storing image processing program and image processing method
KR100448038B1 (en) Pen type input device with camera
US8237818B2 (en) Camera
US20080037040A1 (en) Image display apparatus capable of displaying image while retaining confidentiality
EP2549732A1 (en) Document scanning system which initiates image capture if a user finger pressing the document does not move
JP5975281B2 (en) Image processing apparatus and program
WO2001003416A1 (en) Border eliminating device, border eliminating method, and authoring device
JP2008283649A (en) Image processing method, image region detecting method, image processing program, image region detection program, image processing apparatus, and image region detecting apparatus
JP4901928B2 (en) Image composition method, image composition apparatus, and program
US20120120099A1 (en) Image processing apparatus, image processing method, and storage medium storing a program thereof
JP5366699B2 (en) Image processing apparatus, image processing method, and image processing program
US20100149557A1 (en) Image processing apparatus and image processing method
TW200910224A (en) Method of displaying the result of recognition of optical identification code
JP2017199288A (en) Image processing device, image processing method and program
JP6516225B2 (en) Image forming apparatus and image forming method
JP2018181243A (en) Information processor, information processor control method, and program
JP2007074484A (en) Calibration method, calibration system, calibration program and recording medium with the calibration program stored
JP4305346B2 (en) Image processing apparatus, image processing method, and image processing program
JP6815712B1 (en) Image processing system, image processing method, image processing program, image processing server, and learning model
JP2010171540A (en) Image forming apparatus, image forming program, computer readable recording medium and image forming method
US10944884B2 (en) Imaging device and non-transitory computer readable medium storing program
JP6743401B2 (en) Form design/read setting support device, form design/read setting support method, and optical character recognition system
JP2001155139A (en) Storage medium for pen type input device provided with camera
JP6025031B2 (en) Image processing apparatus and program

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110815

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110823

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111024

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20111024

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111206

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111227

R150 Certificate of patent or registration of utility model

Ref document number: 4901928

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150113

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees