JP5928902B2 - Image processing apparatus and program - Google Patents
Image processing apparatus and program Download PDFInfo
- Publication number
- JP5928902B2 JP5928902B2 JP2013057701A JP2013057701A JP5928902B2 JP 5928902 B2 JP5928902 B2 JP 5928902B2 JP 2013057701 A JP2013057701 A JP 2013057701A JP 2013057701 A JP2013057701 A JP 2013057701A JP 5928902 B2 JP5928902 B2 JP 5928902B2
- Authority
- JP
- Japan
- Prior art keywords
- page
- unit
- pages
- processing apparatus
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003384 imaging method Methods 0.000 claims description 15
- 238000000034 method Methods 0.000 description 31
- 238000013500 data storage Methods 0.000 description 21
- 238000007405 data analysis Methods 0.000 description 18
- 230000000694 effects Effects 0.000 description 7
- 238000010191 image analysis Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000002950 deficient Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000000763 evoking effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
Images
Landscapes
- Character Discrimination (AREA)
- Facsimiles In General (AREA)
- Facsimile Scanning Arrangements (AREA)
- Studio Devices (AREA)
Description
本発明は、画像処理装置、及びプログラムに関する。 The present invention relates to an image processing apparatus and a program.
近年、書籍の電子化技術が普及しつつある。この電子化においては、一般的にはスキャナー等の専用機器を利用することが多いが、最近では、デジタルカメラの連写機能を利用することも考えられている。 In recent years, computerization technology for books has become widespread. In this digitization, a dedicated device such as a scanner is generally used, but recently, it is also considered to use a continuous shooting function of a digital camera.
例えば、特許文献１には、デジタルカメラを利用した書籍の電子化技術を述べたものであるが、より詳細には、撮影後、各ページの隅に印刷されているページ番号を認識し、画像を並び替える技術が開示されている。 For example, Patent Document 1 describes a book digitization technique using a digital camera. More specifically, after shooting, a page number printed at the corner of each page is recognized, and an image is displayed. Techniques for rearranging are disclosed.
しかしながら、上記特許文献１の技術においては、書面にページ番号が振られ、且つ、それが正確に読み取れる場合のみ効力を発揮する。換言すれば、特許文献１の技術では、ページ番号が読み取れない場合や、その印刷位置が不明である場合、または、そもそもページ番号が振られていない書籍であった場合などに、ページ抜けや、ページ順の入れ違いなどの乱丁が生じても対応に非常に手間がかかる、あるいは対応することができないという問題がある。 However, the technique disclosed in Patent Document 1 is effective only when a page number is assigned to the document and it can be read accurately. In other words, in the technique of Patent Document 1, when the page number cannot be read, when the print position is unknown, or when the book is not assigned a page number in the first place, There is a problem that even if there is a typographical error such as wrong page order, it takes a lot of time to deal with it or it cannot be dealt with.
そこで本発明は、誌面の状態に左右されることなく、ページ抜けや、ページ順の入れ違いなどの乱丁の発生を低減することができる画像処理装置、及びプログラムを提供することを目的とする。 SUMMARY An advantage of some aspects of the invention is that it provides an image processing apparatus and a program that can reduce the occurrence of pages such as missing pages and incorrect page order without being affected by the state of a magazine.
上記目的を達成するため、本発明は、所定の撮影周期でページが連続してめくられている状況が撮像された、複数の画像を取得する取得手段と、この取得手段によって取得された複数の画像からページが矩形として含まれるフレームを複数選択する選択手段と、この選択手段によって選択された複数の画像の夫々に含まれるページの、文字を認識する文字認識手段と、この文字認識手段による認識結果から、複数のページにまたがる文章の正誤を判断する判断手段と、を備えることを特徴とする。 In order to achieve the above object, the present invention provides an acquisition unit that acquires a plurality of images in which a situation in which pages are continuously turned in a predetermined shooting cycle is captured , and a plurality of images acquired by the acquisition unit. Selection means for selecting a plurality of frames in which a page is included as a rectangle from an image, character recognition means for recognizing characters of pages included in each of the plurality of images selected by the selection means, and recognition by the character recognition means Judgment means for judging the correctness of a sentence extending over a plurality of pages from the result.
又、上記目的を達成するため、本発明は、コンピュータを、複数の画像を取得する取得手段、この取得手段によって取得された複数の画像に含まれる文字を認識する文字認識手段、この文字認識手段による認識結果から、前記複数の画像にまたがる文章の正誤を判断する判断手段、として機能させることを特徴とする。 In order to achieve the above object, the present invention provides a computer, an acquisition means for acquiring a plurality of images, a character recognition means for recognizing characters included in the plurality of images acquired by the acquisition means, and the character recognition means. It is made to function as a judgment means which judges the right or wrong of the sentence over the said several image from the recognition result by.
この発明によれば、誌面の状態に左右されることなく、ページ抜けや、ページ順の入れ違いなどの乱丁の発生を低減することができる。 According to the present invention, it is possible to reduce the occurrence of pages such as missing pages or incorrect page order without being affected by the state of the magazine.
以下、本発明の実施の形態を、図面を参照して説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
Ａ．実施形態の構成
図１は、本発明の実施形態による画像処理装置１の構成を示すブロック図である。図において、画像処理装置１は、イメージ入力部１０、システム制御部１１、表示部１２、データ解析部１３、動画データ格納メモリ１４、及びページデータ格納メモリを備えている。イメージ入力部１０は、光学レンズ群からなるレンズブロックと、ＣＣＤや、ＣＭＯＳなどの撮像素子からなり、レンズブロックから入った画像を撮像素子によりデジタル信号に変換して出力する。具体的には、後述するシステム制御部１１による制御に従って、ユーザによってページがめくられる書籍を撮像する。表示部１２は、液晶表示器や有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）表示器などからなり、各種のメニュー画面や、撮像時におけるライブビュー画面、撮像された画像データなどを表示する。
A. Configuration of Embodiment FIG. 1 is a block diagram showing a configuration of an image processing apparatus 1 according to an embodiment of the present invention. In the figure, the image processing apparatus 1 includes an
システム制御部１１は、イメージデータ入力部１０によって撮像されたデータを動画に変換して動画データ格納メモリ１４に保存する。また、システム制御部１１は、データ解析部１３に動画データの解析を指示する。また、システム制御部１１は、ページデータ格納メモリ１５のページデータを参照し、ページデータに含まれる文字を認識する文字認識機能を有し、ページデータ間にまたがる文章の正誤を判断することで、ページ抜けや、ページ順の入れ違いなどの乱丁の有無を判定するとともに、取り込みページに不足あったことや、取り込みが完了したことを、表示部１２に表示する。
The
データ解析部１３は、システム制御部１１の制御に従って、動画データ格納メモリ１４から動画データを取り出し、動画データを解析してページデータを生成し、ページデータ格納メモリ１５に保存する。具体的には、データ解析部１３は、フレーム画像をトリミングして矩形部分以外を削除したり、トリミング後のページデータの右側と左側とを判定し、ページをマージ（ページ順にする）したり、ページデータ内にページ番号が認識できた場合に、該ページ画像にページ番号を付加して保存したりする。なお、ページデータは、書籍のページ単位の画像データである。動画データ格納メモリ１４は、イメージデータ入力部１０によって撮影され、システム制御部１１により変換された動画データを格納する。ページデータ格納メモリ１５は、データ解析部１３により動画データから生成されたページデータを格納する。
The
Ｂ．実施形態の動作
次に、上述した実施形態の動作について説明する。
図２は、本実施形態による画像処理装置１の動作を説明するためのフローチャートである。ユーザは、画像処理装置１に対して所定の撮影開始操作を行う。ユーザは、撮影開始操作を行った後、書籍の縁で指を少しずつずらすことで書籍のページを連続してめくる。画像処理装置１は、見開きの片側のページを撮影するようになっている。したがって、ユーザは、まず、１回目に、例えば、偶数ページが撮影されるようにページをめくり、２回目に、奇数ページが撮影されるようにページをめくる。
B. Operation of Embodiment Next, the operation of the above-described embodiment will be described.
FIG. 2 is a flowchart for explaining the operation of the image processing apparatus 1 according to the present embodiment. The user performs a predetermined shooting start operation on the image processing apparatus 1. After performing the shooting start operation, the user turns the pages of the book continuously by moving the finger little by little at the edge of the book. The image processing apparatus 1 captures a page on one side of a spread. Therefore, the user first turns the page so that an even page is shot, for example, and turns the page so that an odd page is shot a second time.
画像処理装置１では、システム制御部１１が、撮影開始操作があったか否かを判断し（ステップＳ１０）、撮影開始操作がない場合には（ステップＳ１０のＮＯ）、待機する。一方、撮影開始操作があった場合には（ステップＳ１０のＹＥＳ）、イメージデータ入力部１０は、所定の時間間隔でイメージデータを取り込み（ステップＳ１２）、システム制御部１１は、イメージデータ入力部１０によって撮影されたイメージデータを動画に変換して動画データ格納メモリ１４に保存する（ステップＳ１４）。イメージ取り込み中、システム制御部１１は、撮影終了操作があったか否かを判断し（ステップＳ１６）、撮影終了操作がない場合には（ステップＳ１６のＮＯ）、ステップＳ１２に戻り、イメージデータの取り込み、動画への変換を継続する。
In the image processing apparatus 1, the
ユーザは、書籍のページ（例えば、偶数ページ）をめくり終わると、画像処理装置１に対して所定の撮影終了操作を行った後、上述したように、再度、ユーザは、撮影開始操作を行い、２回目の撮影で、奇数ページが撮影されるようにページをめくる。そして、書籍のページ（例えば、き数ページ）をめくり終わると、画像処理装置１に対して所定の撮影終了操作を行う。このように、上記処理を２回繰り返すことで、１つの書籍の偶数ページが撮影された動画と、奇数ページが撮影された動画とが記録されることになる。 When the user finishes turning over the pages of the book (for example, even pages), after performing a predetermined shooting end operation on the image processing apparatus 1, as described above, the user performs a shooting start operation again, Turn the pages so that odd pages are shot in the second shot. Then, when the pages of the book (for example, several pages) are finished, a predetermined photographing end operation is performed on the image processing apparatus 1. In this way, by repeating the above process twice, a moving image in which an even page of one book is photographed and a moving image in which an odd page is photographed are recorded.
そして、撮影終了操作があると（ステップＳ１６のＹＥＳ）、データ解析部１３は、システム制御部１１の制御に従って、動画データ格納メモリ１４から動画データを取り出し、動画データを解析してページデータを生成し、ページデータ格納メモリ１５に保存する（ステップＳ１８）。なお、画像解析の詳細について後述する。
When there is a shooting end operation (YES in step S16), the
次に、システム制御部１１は、ページデータ格納メモリ１５のページデータを参照し、不足ページの有無判定を行う（ステップＳ２０）。なお、不足ページの有無判定の詳細については後述する。そして、不足ページがあるか否かを判断し（ステップＳ２２）、不足ページがあった場合には（ステップＳ２２のＹＥＳ）、その旨、表示した後、ステップＳ１０に戻り、上述した処理を繰り返す。つまり、不足ページがあった場合には、ユーザは、再度、書籍をめくって撮影を行う。追加撮影した動画データは、記録され、必要に応じて、ページ判定、不足ページの有無判定が他の動画データと同様に行われる。一方、不足ページがなかった場合には（ステップＳ２２のＮＯ）、当該処理を終了する。
Next, the
図３は、本実施形態の画像処理装置１による画像解析処理の動作を説明するためのフローチャートである。データ解析部１３は、動画データ格納メモリ１４から動画データを読み出し（ステップＳ３０）、動画データを構成するフレーム画像に対して矩形判定し、ページとなる画像を検索する（ステップＳ３２）。次に、データ解析部１３は、ページが見つかったか否かを判断する（ステップＳ３４）。
FIG. 3 is a flowchart for explaining the operation of the image analysis process performed by the image processing apparatus 1 according to the present embodiment. The
ここで、動画データからページを見つける方法について説明する。ユーザがページをめくると、その動作によりページがたわみながらめくられることが分かる。そこで、このページのたわみが生じていないフレーム画像を、書籍の１ページであると判断すればよい。そして、ページが見つからない場合には（ステップＳ３４のＮＯ）、当該処理を終了する。 Here, a method for finding a page from moving image data will be described. When the user turns the page, it can be seen that the page is turned while being bent. Therefore, it is only necessary to determine that the frame image in which the page is not bent is one page of the book. If no page is found (NO in step S34), the process ends.
一方、ページが見つかった場合には（ステップＳ３４のＹＥＳ）、データ解析部１３は、そのフレーム画像をトリミングして矩形部分以外を削除する（ステップＳ３６）。次に、データ解析部１３は、トリミング後のページデータの右側と左側とを判定し、ページをマージ（ページ順にする）してページデータ格納メモリ１５に保存する（ステップＳ３８）。次に、データ解析部１３は、ページデータ内にページ番号が認識できた場合に、該ページ画像にページ番号を付加してページデータ格納メモリ１５に保存する（ステップＳ４０）。
On the other hand, if a page is found (YES in step S34), the
次に、データ解析部１３は、動画データが終了したか否かを判断し（ステップＳ４２）、動画データが終了していない場合には（ステップＳ４２のＮＯ）、ステップＳ３２に戻り、上述した処理を繰り返し、動画データからページ画像を取り出してページデータ格納メモリ１５に保存していく。そして、動画データが終了した場合には（ステップＳ４２のＹＥＳ）、当該処理を終了する。
Next, the
図４は、本実施形態の画像処理装置１による不足ページ判定処理の動作を説明するためのフローチャートである。システム制御部１１は、ページデータ格納メモリ１５のページデータを参照し、ページ番号が認識できているか否かを判断する（ステップＳ６０）。そして、ページ番号が認識されている場合には（ステップＳ６０のＹＥＳ）、システム制御部１１は、ページがページ番号に従って順番に並んでいるか否かを判断する（ステップＳ６２）。
FIG. 4 is a flowchart for explaining the operation of the missing page determination process by the image processing apparatus 1 of the present embodiment. The
そして、ページ順に並んでいる場合には（ステップＳ６２のＹＥＳ）、システム制御部１１は、不足ページなしと判定し、その旨を表示部１２に表示する（ステップＳ８０）。その後、当該処理を終了し、図２に示すメインルーチンに戻る。
If the pages are arranged in the page order (YES in step S62), the
一方、ページ順に並んでいない場合には（ステップＳ６２のＮＯ）、システム制御部１１は、当該ページデータを用いてページ順に並び替え可能であるか否かを判断する（ステップＳ６４）。そして、当該ページデータを用いてページ順に並び替え可能である場合には（ステップＳ６４のＹＥＳ）、ページデータをページ番号に従って順番に並び替え（ステップＳ６６）、不足（乱丁）ページなしと判定し、その旨を表示部１２に表示する（ステップＳ８０）。その後、当該処理を終了し、図２に示すメインルーチンに戻る。
On the other hand, when the pages are not arranged in the page order (NO in step S62), the
一方、当該ページデータを用いてページ順に並び替え可能でない場合には（ステップＳ６４のＮＯ）、別途（過去）に取り込んだ（同じ書籍の）ページデータがあるか否かを判断する（ステップＳ７２）。そして、別途（過去）に取り込んだページデータがある場合には（ステップＳ７２のＹＥＳ）、別途（過去）に取り込んだページデータから同一ページをサーチし（ステップＳ７４）、サーチしたページの前後のページで補完できるか否かを判断する（ステップＳ７６）。ここでは、ページ番号を参照して補完可能であるか否かを判断している。そして、補完できる場合には（ステップＳ７６）、別途（過去）に取り込んだページデータで、ページ番号に従ってページを補完し（ステップＳ７８）、不足（乱丁）ページなしと判定し、その旨を表示部１２に表示する（ステップＳ８０）。その後、当該処理を終了し、図２に示すメインルーチンに戻る。 On the other hand, when the page data cannot be rearranged using the page data (NO in step S64), it is determined whether or not there is page data (for the same book) that has been taken in separately (past) (step S72). . If there is separately (past) page data (YES in step S72), the same page is searched from the separately (past) page data (step S74), and pages before and after the searched page are searched. It is determined whether or not it can be complemented (step S76). Here, it is determined whether or not the supplement is possible with reference to the page number. If it can be complemented (step S76), the page data is supplemented according to the page number separately (past) page data (step S78), it is determined that there is no deficient (random) page, and a message to that effect is displayed. 12 (step S80). Thereafter, the process is terminated, and the process returns to the main routine shown in FIG.
一方、別途（過去）に取り込んだ（同じ書籍の）ページデータがない場合（ステップＳ７２のＮＯ）、あるいは、別途（過去）に取り込んだページデータから補完できない場合には（ステップＳ７６）、不足（乱丁）ページありと判定し、その旨を表示部１２に表示する（ステップＳ８２）。その後、当該処理を終了し、図２に示すメインルーチンに戻る。この場合、ユーザは、再度、書籍のページを撮像することになる（再撮像するよう指示を表示してもよい）。画像処理装置１では、図２、図３、図４に示すフローチャートを実行し、新たに取り込んだ動画データから抽出したページデータで、抜けたページを補完する。 On the other hand, if there is no page data (for the same book) that has been imported separately (past) (NO in step S72), or if it cannot be supplemented from the page data that has been imported separately (past) (step S76), a shortage ( It is determined that there is a page, and a message to that effect is displayed on the display unit 12 (step S82). Thereafter, the process is terminated, and the process returns to the main routine shown in FIG. In this case, the user takes an image of the book page again (an instruction may be displayed to re-image). In the image processing apparatus 1, the flowcharts shown in FIGS. 2, 3, and 4 are executed, and the missing pages are complemented with the page data extracted from the newly captured moving image data.
一方、ページ番号が認識されていない場合には（ステップＳ６０のＮＯ）、システム制御部１１は、ページ内の文字を活字認識し（ステップＳ６８）、ページをまたぐ文章の正誤を、その文章が自然言語となっているか否か、すなわち文章として成立しているか否かで判断する（ステップＳ７０）。そして、ページをまたぐ文章が正しく読めるものである、つまり自然言語となっている場合には（ステップＳ７０のＹＥＳ）、システム制御部１１は、不足ページなしと判定し、その旨を表示部１２に表示する（ステップＳ７２）。その後、当該処理を終了し、図２に示すメインルーチンに戻る。
On the other hand, when the page number is not recognized (NO in step S60), the
一方、ページをまたぐ文章が正しく読めるものになっていない、つまり文章としては誤りであり、自然言語となっておらず、文章として成立していない場合には（ステップＳ７０のＹＥＳ）、システム制御部１１は、ページ順でないと判断し、システム制御部１１は、当該ページデータを用いてページ順に並び替え可能であるか否かを判断する（ステップＳ６４）。ここでは、ページをまたぐ文章が正しく読めるか（自然言語となるか）否かで、補完可能であるか否かを判断している。そして、当該ページデータを用いてページ順に並び替え可能である場合には（ステップＳ６４のＹＥＳ）、ページをまたぐ文章が正しく読めるように（自然言語となるように）、ページデータを順番に並び替え（ステップＳ６６）、不足（乱丁）ページなしと判定し、その旨を表示部１２に表示する（ステップＳ８０）。その後、当該処理を終了し、図２に示すメインルーチンに戻る。
On the other hand, if the text across the pages is not readable, that is, the text is incorrect, is not a natural language, and is not established as a text (YES in step S70), the
一方、当該ページデータを用いてページ順に並び替え可能でない場合には（ステップＳ６４のＮＯ）、別途（過去）に取り込んだ（同じ書籍の）ページデータがあるか否かを判断する（ステップＳ７２）。そして、別途（過去）に取り込んだページデータがある場合には（ステップＳ７２のＹＥＳ）、別途（過去）に取り込んだページデータから同一ページをサーチし（ステップＳ７４）、サーチしたページの前後のページで、ページをまたぐ文章が正しく読める自然言語となるように補完できるか否かを判断する（ステップＳ７６）。そして、補完できる場合には（ステップＳ７６）、別途（過去）に取り込んだページデータで、ページをまたぐ文章が正しく読める自然言語となるようにページ補完し（ステップＳ７８）、不足（乱丁）ページなしと判定し、その旨を表示部１２に表示する（ステップＳ８０）。その後、当該処理を終了し、図２に示すメインルーチンに戻る。 On the other hand, when the page data cannot be rearranged using the page data (NO in step S64), it is determined whether or not there is page data (for the same book) that has been taken in separately (past) (step S72). . If there is separately (past) page data (YES in step S72), the same page is searched from the separately (past) page data (step S74), and pages before and after the searched page are searched. In step S76, it is determined whether or not the text across the pages can be complemented so as to become a natural language that can be read correctly. If it can be complemented (step S76), the page is supplemented so that the text across the pages becomes a natural language that can be read correctly (step S78) with the page data taken separately (past), and there is no missing (random) page. And the fact is displayed on the display unit 12 (step S80). Thereafter, the process is terminated, and the process returns to the main routine shown in FIG.
一方、別途（過去）に取り込んだ（同じ書籍の）ページデータがない場合（ステップＳ７２のＮＯ）、あるいは、別途（過去）に取り込んだページデータから補完できない場合には（ステップＳ７６）、不足（乱丁）ページありと判定し、その旨を表示部１２に表示する（ステップＳ８２）。その後、当該処理を終了し、図２に示すメインルーチンに戻る。この場合、ユーザは、再度、書籍のページを撮像することになる（ステップＳ８２で、再度、撮像するよう指示を表示してもよい）。画像処理装置１では、図２、図３、図４に示すフローチャートを実行し、新たに取り込んだ動画データから抽出したページデータで、抜けたページを補完する。 On the other hand, if there is no page data (for the same book) that has been imported separately (past) (NO in step S72), or if it cannot be supplemented from the page data that has been imported separately (past) (step S76), a shortage ( It is determined that there is a page, and a message to that effect is displayed on the display unit 12 (step S82). Thereafter, the process is terminated, and the process returns to the main routine shown in FIG. In this case, the user captures an image of the book page again (an instruction may be displayed to capture the image again in step S82). In the image processing apparatus 1, the flowcharts shown in FIGS. 2, 3, and 4 are executed, and the missing pages are complemented with the page data extracted from the newly captured moving image data.
図５は、本実施形態の画像処理装置１による書籍のとり込み撮影、画像解析、不足ページの補完の一例を示す概念図である。画像処理装置１は、まず、状態５０に示すように、イメージ入力部１０により、ユーザが書籍５１のページ（例えば、偶数ページ）をめくるところを撮像し、動画データ５２として動画データ格納メモリ１４に保存する。同様にして、画像処理装置１は、状態６０に示すように、イメージ入力部１０により、ユーザが書籍５１のページ（例えば、奇数ページ）をめくるところを撮像し、動画データ６２として動画データ格納メモリ１４に保存する。
FIG. 5 is a conceptual diagram illustrating an example of taking-in and taking a book by the image processing apparatus 1 according to the present embodiment, image analysis, and complementing a shortage page. First, as shown in a state 50, the image processing apparatus 1 uses the
データ解析部１３は、まず、状態５０に示すように、動画データ５２から、ページのたわみの重なりでページの区切りを判断し、ページデータ５３、５４（偶数ページ）を抽出する。同様に、データ解析部１３は、状態６０に示すように、動画データ６２から、ページのたわみの重なりでページの区切りを判断し、ページデータ６３、６４（奇数ページ）を抽出する。
First, as shown in the state 50, the
そして、システム制御部１１は、抽出されたページデータ５３、５４、６３、６４をページ番号や、ページをまたぐ文章が自然言語となっているかで並び替える。このとき、ページ抜けがあった場合には、動画データ５２、６２のページデータで補完できる場合には、動画データ５２、６２のページデータで補完する。
Then, the
これに対して、動画データ５２、６２のページデータで補完できない場合には、状態７０に示すように、画像処理装置１は、イメージ入力部１０により、再度、書籍５１をめくるところを撮像し、動画データ７２として動画データ格納メモリ１４に保存する。そして、データ解析部１３は、該動画データ７２から、ページのたわみの重なりでページの区切りを判断し、ページデータ７３を抽出する。システム制御部１１は、該動画データ７２から抽出されたページデータをサーチし、上記ページ抜けの部分を、ページデータ７３で補完する。
On the other hand, when the page data of the moving
図６は、本実施形態の画像処理装置１による自然言語での画像解析、不足ページの補完の一例を示す概念図である。まず、図６の上段には、１回目の取り込みページデータＡ、Ｂ、Ｃ、Ｄを示している。図６の中段には、再取り込したページデータＥ、Ｆ、Ｇ、Ｈを示している。そして、図６の下段には、上記ページデータＡ、Ｂ、Ｃ、ＤとページデータＥ、Ｆ、Ｇ、Ｈとをマージしてページ順とした最終データを示している。 FIG. 6 is a conceptual diagram showing an example of image analysis in natural language and missing page complementation by the image processing apparatus 1 of the present embodiment. First, in the upper part of FIG. 6, the first fetched page data A, B, C, and D are shown. The middle part of FIG. 6 shows the re-imported page data E, F, G, and H. The lower part of FIG. 6 shows the final data in which the page data A, B, C, and D and the page data E, F, G, and H are merged into the page order.
図６の上段において、ページをまたぐ文章が正しく読める自然言語となっているかを判別すると、ページデータＡとＢとの間では、「ち明けない。こ」、「れは世間を憚」であり、「ち明けない。これは世間を憚」となり、文章が正しく読める自然言語となっている。ゆえに、システム制御部１１は、ページ順であると判定する。同様に、ページデータＢとＣとの間では、「の人の記憶を呼び起こすごと」となり、文章が正しく読める自然言語となっている。ゆえに、システム制御部１１は、ページ順であると判定する。次に、ページデータＣとＤとの間では、「そよそしい頭私はまだ若々」となり、文章が正しく読めず不自然なものになっている。ゆえに、システム制御部１１は、誤りである、つまり、ページ順でないと判定し、取り込み漏れがある判定する。
In the upper part of FIG. 6, when it is determined whether or not the text across the pages is a natural language that can be read correctly, between page data A and B, “Don't dawn. , “Don't dawn. This is a habit of the world.” It is a natural language that can be read correctly. Therefore, the
同様に、図６の中段において、ページをまたぐ文章が正しく読める自然言語となっているかを判別すると、ページデータＦとＧとの間では、「の人の記憶を文字などはと」となり、文章が正しく読めず不自然なものになっている。ゆえに、システム制御部１１は、誤りである、つまり、ページ順でないと判定し、取り込み漏れがある判定する。
Similarly, in the middle part of FIG. 6, when it is determined whether the text across the pages is a natural language that can be read correctly, between the page data F and G, “the person's memory is a character etc.” Cannot be read correctly and is unnatural. Therefore, the
そして、図６の下段に示すように、システム制御部１１は、ページ順でないと判定した、ページデータＣ、Ｄ、及びページデータＦ、Ｇにおけるページをまたぐ文章を解析し、全てのページデータでページをまたぐ文章が正しく読める自然言語となるように並び替え、補完を行うと、最終データは、ページデータＡ、Ｂ、Ｃ、Ｇ、Ｄとなり、ページ順となることが分かる。
Then, as shown in the lower part of FIG. 6, the
上述した実施形態によれば、イメージ入力部１０により書籍のページめくりを撮像して動画データとして保存し、データ解析部１３によって、動画データからページデータを抽出し、システム制御部１１によって、ページデータに含まれる文字を認識し、該認識結果から、ページデータ間にまたがる文章の正誤を判断して、複数の画像の並び順を修正するようにしたので、誌面の状態に左右されることなく、ページ抜けや、ページ順の入れ違いなどの乱丁の発生を低減することができる。特に、ページ番号が読み取れない場合や、その印刷位置が不明である場合、または、そもそもページ番号が振られていない場合であっても、ページ抜けや、ページ順の入れ違いなどの乱丁の発生を低減することができる。
According to the embodiment described above, the page turning of a book is imaged by the
また、上述した実施形態によれば、ページ抜けや、ページ順の入れ違いなどの乱丁があった場合には、他の動画データからページデータを抽出し、再度、システム制御部１１によって、ページデータに含まれる文字を認識し、該認識結果からページデータ間にまたがる文章の正誤を判断するようにしたので、誌面の状態に左右されることなく、ページ抜けや、ページ順の入れ違いなどの乱丁の発生を低減することができる。
Further, according to the above-described embodiment, when there is an irregularity such as missing page or wrong page order, the page data is extracted from other moving image data, and the
また、上述した実施形態によれば、自動的にページ抜けや、ページ順の入れ違いなどの乱丁の有無を判定し、ページ抜けや、ページ順の入れ違いがあった場合には、再撮影するように指示するようにしたので、ユーザは、ページ抜けや、ページ順の入れ違いなどの乱丁の発生を気にせずにページめくりできる。 Further, according to the above-described embodiment, it is automatically determined whether or not there is any typographical error such as missing pages or incorrect page order. If there is missing pages or incorrect page order, re-shooting is performed. Since the instruction is given, the user can turn the page without worrying about the occurrence of misordering such as missing pages or incorrect page order.
また、上述した実施形態によれば、先に動画として取り込んでから書籍の外形形状に等しい紙面が撮像された画像をページデータとして抽出するようにしたので、撮影時間を短縮することができる。 Further, according to the above-described embodiment, since an image obtained by capturing a paper surface equal to the outer shape of the book after being previously captured as a moving image is extracted as page data, the photographing time can be shortened.
また、上述した実施形態によれば、ページ内の文字を活字認識し、ページをまたぐ文章が自然言語となっているかで、ページ抜けや、ページ順の入れ違いなどの乱丁の有無を判定するようにしたので、取りこぼしたページを探す作業を省ける。 In addition, according to the above-described embodiment, the characters in the page are recognized as characters, and whether or not there is a typographical error such as missing a page or incorrect page order is determined based on whether the text across the page is a natural language. This saves you the task of searching for missing pages.
なお、上述した実施形態において、とり込み撮影時のシャッター速度を高速化することで、ブレのない画像を撮影することができ、ページ判定の確度を向上させることができる。また、ページの矩形にめくる時の手（指）が写り込んでいるか否かを判定（直線の遮り）し、手（指）が写り込んでいる場合に、遮っている部分を周辺色で塗りつぶすことで、ページ判定の確度を向上させることができる。 Note that, in the above-described embodiment, by increasing the shutter speed during capture shooting, it is possible to capture a blur-free image and improve the accuracy of page determination. Also, it is determined whether or not the hand (finger) is reflected in the page rectangle (blocking the straight line), and when the hand (finger) is reflected, the blocked part is filled with the surrounding color. As a result, the accuracy of page determination can be improved.
以上、この発明のいくつかの実施形態について説明したが、この発明は、これらに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲を含むものである。
以下に、本願出願の特許請求の範囲に記載された発明を付記する。
As mentioned above, although several embodiment of this invention was described, this invention is not limited to these, The invention described in the claim, and its equal range are included.
Below, the invention described in the claims of the present application is appended.
（付記１）
付記１に記載の発明は、複数の画像を取得する取得手段と、この取得手段によって取得された複数の画像に含まれる文字を認識する文字認識手段と、この文字認識手段による認識結果から、前記複数の画像にまたがる文章の正誤を判断する判断手段と、を備えることを特徴とする画像処理装置である。
(Appendix 1)
The invention according to appendix 1 includes: an acquisition unit that acquires a plurality of images; a character recognition unit that recognizes characters included in the plurality of images acquired by the acquisition unit; and a recognition result by the character recognition unit. An image processing apparatus comprising: a determination unit that determines correctness of a sentence extending over a plurality of images.
（付記２）
付記２に記載の発明は、前記判断手段による判断結果に基づいて、前記複数の画像について文字を再度認識させるよう前記文字認識手段を制御する第１の制御手段を更に備えることを特徴とする付記１記載の画像処理装置である。
(Appendix 2)
The invention according to attachment 2 further includes first control means for controlling the character recognition means so that characters are recognized again for the plurality of images based on the determination result by the determination means. The image processing apparatus according to claim 1.
（付記３）
付記３に記載の発明は、前記取得手段は、撮像手段を含み、前記判断手段による判断結果に基づいて、前記撮像手段に対し再度撮影するよう制御する第３の制御手段を更に備えることを特徴とする付記１記載の画像処理装置である。
(Appendix 3)
The invention according to appendix 3 is characterized in that the acquisition unit further includes an imaging unit, and further includes a third control unit that controls the imaging unit to perform imaging again based on a determination result by the determination unit. The image processing apparatus according to appendix 1.
（付記４）
付記４に記載の発明は、前記取得手段は、撮像手段を含み、前記判断手段による判断結果に基づいて、再度の撮影をするよう報知する報知手段を更に備えることを特徴とする付記１記載の画像処理装置である。
(Appendix 4)
The invention according to appendix 4 is characterized in that the acquisition means includes an imaging means, and further comprises an informing means for informing the user to take another picture based on a determination result by the determination means. An image processing apparatus.
（付記５）
付記５に記載の発明は、前記撮像手段を連続的に駆動させ、撮像画像を順次出力する撮像制御手段と、この撮像制御手段によって順次出力された撮像画像において、書籍の外形形状に等しい紙面が撮像された画像を選択する選択手段と、を更に備え、前記文字認識手段は、前記選択手段が順次選択した複数の画像に含まれる文字を認識することを特徴とする付記３または４に記載の画像処理装置である。
(Appendix 5)
The invention according to appendix 5 includes: an imaging control unit that continuously drives the imaging unit to sequentially output captured images; and a captured image that is sequentially output by the imaging control unit includes a paper surface that is equal to the outer shape of the book. And a selection unit that selects a captured image, wherein the character recognition unit recognizes characters included in a plurality of images sequentially selected by the selection unit. An image processing apparatus.
（付記６）
付記６に記載の発明は、前記判断手段による判断結果に基づいて、前記複数の画像の並び順を修正する修正手段を更に備えることを特徴とする請求項１乃至５のいずれかに記載の画像処理装置である。
(Appendix 6)
The image according to any one of claims 1 to 5, further comprising correction means for correcting an arrangement order of the plurality of images based on a determination result by the determination means. It is a processing device.
（付記７）
付記７に記載の発明は、コンピュータを、複数の画像を取得する取得手段、この取得手段によって取得された複数の画像に含まれる文字を認識する文字認識手段、この文字認識手段による認識結果から、前記複数の画像にまたがる文章の正誤を判断する判断手段として機能させることを特徴とするプログラムである。
(Appendix 7)
The invention according to appendix 7 includes a computer, an acquisition unit that acquires a plurality of images, a character recognition unit that recognizes characters included in the plurality of images acquired by the acquisition unit, and a recognition result by the character recognition unit. A program that functions as a determination unit that determines whether or not a sentence spans a plurality of images.
１ 画像処理装置
１０ イメージ入力部
１１ システム制御部
１２ 表示部
１３ データ解析部
１４ 動画データ格納メモリ
１５ ページデータ格納メモリ
DESCRIPTION OF SYMBOLS 1
Claims (7)
この取得手段によって取得された複数の画像からページが矩形として含まれるフレームを複数選択する選択手段と、
この選択手段によって選択された複数の画像の夫々に含まれるページの、文字を認識する文字認識手段と、
この文字認識手段による認識結果から、複数のページにまたがる文章の正誤を判断する判断手段と、
を備えることを特徴とする画像処理装置。 An acquisition means for acquiring a plurality of images in which a situation in which pages are continuously turned at a predetermined shooting cycle is captured ;
Selection means for selecting a plurality of frames in which a page is included as a rectangle from a plurality of images acquired by the acquisition means;
A character recognition means for recognizing characters of pages included in each of the plurality of images selected by the selection means;
From the recognition result by the character recognition means, a judgment means for judging the correctness of the text across a plurality of pages,
An image processing apparatus comprising:
ことを特徴とする請求項１記載の画像処理装置。 The image processing apparatus according to claim 1, further comprising: a first control unit that controls the character recognition unit so that characters are recognized again for the plurality of pages based on a determination result by the determination unit.
前記判断手段による判断結果に基づいて、前記撮像手段に対し再度撮影するよう制御する第２の制御手段を更に備える
ことを特徴とする請求項１記載の画像処理装置。 The image acquisition device further includes an imaging unit, and the acquisition unit acquires a plurality of images captured by the imaging unit,
The image processing apparatus according to claim 1, further comprising: a second control unit configured to control the imaging unit to perform imaging again based on a determination result by the determination unit.
前記判断手段による判断結果に基づいて、再度の撮影をするよう報知する報知手段を更に備える
ことを特徴とする請求項１記載の画像処理装置。 The image acquisition device further includes an imaging unit, and the acquisition unit acquires a plurality of images captured by the imaging unit,
The image processing apparatus according to claim 1, further comprising an informing unit that informs the user to perform another imaging based on a determination result by the determining unit.
ことを特徴とする請求項１乃至５のいずれかに記載の画像処理装置。 The image processing apparatus according to claim 1, further comprising a correcting unit that corrects an arrangement order of the plurality of pages based on a determination result by the determining unit.
所定の撮影周期でページが連続してめくられている状況が撮像された、複数の画像を取得する取得手段、
この取得手段によって取得された複数の画像からページが矩形として含まれるフレームを複数選択する選択手段、
この選択手段によって選択された複数の画像の夫々に含まれるページの、文字を認識する文字認識手段、
この文字認識手段による認識結果から、複数のページにまたがる文章の正誤を判断する判断手段、
として機能させることを特徴とするプログラム。
Computer
Acquisition means for acquiring a plurality of images in which a situation in which pages are continuously turned in a predetermined shooting cycle is captured ;
Selection means for selecting a plurality of frames in which a page is included as a rectangle from a plurality of images acquired by the acquisition means;
Character recognition means for recognizing characters of pages included in each of the plurality of images selected by the selection means;
Judgment means for judging the correctness of the text across a plurality of pages from the recognition result by the character recognition means
A program characterized by functioning as
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013057701A JP5928902B2 (en) | 2013-03-21 | 2013-03-21 | Image processing apparatus and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013057701A JP5928902B2 (en) | 2013-03-21 | 2013-03-21 | Image processing apparatus and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2014183510A JP2014183510A (en) | 2014-09-29 |
| JP5928902B2 true JP5928902B2 (en) | 2016-06-01 |
Family
ID=51701811
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013057701A Expired - Fee Related JP5928902B2 (en) | 2013-03-21 | 2013-03-21 | Image processing apparatus and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5928902B2 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017199103A (en) * | 2016-04-26 | 2017-11-02 | 京セラドキュメントソリューションズ株式会社 | Image processing system, image processing device, and image processing method |
| JP6624106B2 (en) * | 2017-02-09 | 2019-12-25 | 京セラドキュメントソリューションズ株式会社 | Image reading device, image forming system, image reading method, and image reading program |
| JP6795469B2 (en) * | 2017-08-04 | 2020-12-02 | Kddi株式会社 | Gaze area estimator and program |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08329198A (en) * | 1995-06-01 | 1996-12-13 | Oki Electric Ind Co Ltd | Document reader |
| JP2002024762A (en) * | 2000-06-30 | 2002-01-25 | Toshiba Corp | Document recognizing device and its method |
| JP4232679B2 (en) * | 2004-04-15 | 2009-03-04 | 富士ゼロックス株式会社 | Image forming apparatus and program |
| JP2009302944A (en) * | 2008-06-13 | 2009-12-24 | Konica Minolta Business Technologies Inc | Image processing apparatus |
| JP5752907B2 (en) * | 2010-09-17 | 2015-07-22 | オリンパス株式会社 | Photography equipment |
-
2013
- 2013-03-21 JP JP2013057701A patent/JP5928902B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2014183510A (en) | 2014-09-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11563926B2 (en) | User feedback for real-time checking and improving quality of scanned image | |
| US8494286B2 (en) | Face detection in mid-shot digital images | |
| JP5293206B2 (en) | Image search apparatus, image search method and program | |
| JP5488548B2 (en) | Image processing apparatus, image processing method, and program | |
| US8068697B2 (en) | Real time video stabilizer | |
| TWI472224B (en) | Image processing device and image processing method thereof | |
| JP5752907B2 (en) | Photography equipment | |
| US10013632B2 (en) | Object tracking apparatus, control method therefor and storage medium | |
| JP2010211255A (en) | Imaging apparatus, image processing method, and program | |
| KR101178777B1 (en) | Image processing apparatus, image processing method and computer readable-medium | |
| JP5928902B2 (en) | Image processing apparatus and program | |
| KR101597915B1 (en) | Image processing apparatus and image processing method | |
| CN105993164A (en) | Solid-state image sensor, electronic device, and auto focusing method | |
| JP2013183185A (en) | Imaging apparatus, and imaging control method and program | |
| JP6594666B2 (en) | Imaging auxiliary device, imaging device, and imaging auxiliary method | |
| JP2011191860A (en) | Imaging apparatus, imaging processing method, and program | |
| JP5206422B2 (en) | Composition selection device and program | |
| JP4807623B2 (en) | Imaging apparatus, imaging method, and imaging program | |
| KR20210043979A (en) | Device, method and computer program for extracting object from video | |
| JP5278483B2 (en) | Imaging apparatus, imaging method, and imaging program | |
| JP2016081095A (en) | Subject tracking device, control method thereof, image-capturing device, display device, and program | |
| JP5131399B2 (en) | Image processing apparatus, image processing method, and program | |
| JP2006128793A (en) | Image pickup device and control method thereof | |
| JP5740934B2 (en) | Subject detection apparatus, subject detection method, and program | |
| JP5370577B2 (en) | Composition selection device and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140929 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150722 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150804 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151001 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160122 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160315 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160401 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160414 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5928902 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |