JP6589302B2 - Information processing apparatus, image reading apparatus, and image display method - Google Patents
Information processing apparatus, image reading apparatus, and image display method Download PDFInfo
- Publication number
- JP6589302B2 JP6589302B2 JP2015046988A JP2015046988A JP6589302B2 JP 6589302 B2 JP6589302 B2 JP 6589302B2 JP 2015046988 A JP2015046988 A JP 2015046988A JP 2015046988 A JP2015046988 A JP 2015046988A JP 6589302 B2 JP6589302 B2 JP 6589302B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- display
- thumbnail
- aspect ratio
- determined
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Editing Of Facsimile Originals (AREA)
- User Interface Of Digital Computer (AREA)
Description
本発明は，情報処理装置，画像読取装置，および画像表示方法に関する。さらに詳細には，サムネイル画像を表示する技術に関するものである。 The present invention relates to an information processing apparatus, an image reading apparatus, and an image display method. More specifically, the present invention relates to a technique for displaying thumbnail images.
従来から，スマートフォンやパーソナルコンピュータ（ＰＣ）等の情報処理装置のディスプレイや，スキャナやプリンタ等の画像処理装置の操作パネルに，サムネイル画像を表示する技術が知られている。サムネイル画像を表示する技術を開示した文献としては，例えば，特許文献１がある。特許文献１では，サムネイル画像の中心領域を抽出し，所定サイズにリサイズした画像を一覧表示する技術が開示されている。
Conventionally, a technique for displaying thumbnail images on a display of an information processing apparatus such as a smartphone or a personal computer (PC) or an operation panel of an image processing apparatus such as a scanner or a printer is known. As a document disclosing a technique for displaying a thumbnail image, for example, there is
しかしながら，前記した従来の技術には，次のような問題があった。すなわち，サムネイル画像は，縦横比が決められている。画像データの画像には，Ａ４やレター等の縦横比がサムネイル画像と近い画像の他，レシートのような縦横比がサムネイル画像と大きく異なる画像もある。そのため，例えば，レシートのような縦長の画像全体をサムネイル画像に収めると，サムネイル画像内の余白が多くなり，画像も視認し難くなる。 However, the conventional technique described above has the following problems. That is, the thumbnail image has a predetermined aspect ratio. In the image data image, there are images such as A4, letter, etc. whose aspect ratio is close to that of the thumbnail image, and images such as receipts, whose aspect ratio is significantly different from that of the thumbnail image. For this reason, for example, when an entire vertically long image such as a receipt is stored in a thumbnail image, the margin in the thumbnail image increases and the image is also difficult to visually recognize.
また，特許文献１のようにサムネイル画像の中心領域を抽出してリサイズした画像を一覧表示して余白を無くすこともできるが，表示までの処理が多く，処理の負荷がかかる。画像データの画像には，画像全体を収めたサムネイル画像をそのまま表示しても視認性についての影響が殆ど無い場合もあり，全ての画像をリサイズすると処理の負荷が大きくなることから，改善の余地がある。
In addition, as in
本発明は，前記した従来の技術が有する問題点を解決するためになされたものである。すなわちその課題とするところは，サムネイル画像を表示する装置であって，処理負荷の増大の抑制と，サムネイル画像の視認性の向上と，の両立を図る技術を提供することにある。 The present invention has been made to solve the above-described problems of the prior art. That is, an object of the present invention is to provide a technique for displaying a thumbnail image, which is a technique for achieving both suppression of an increase in processing load and improvement in the visibility of thumbnail images.
この課題の解決を目的としてなされた情報処理装置は，表示部と，制御部と，を備える情報処理装置において，前記制御部は，画像データを取得する取得処理と，前記取得処理にて取得した画像データによって表される画像の，短辺の長さに対する長辺の長さの比である縦横比が，所定値より大きいか否かを判断する判断処理と，前記画像全体を，所定の大きさに収まる縮小率で縮小したサムネイル画像を生成する第１生成処理と，前記画像の一部を抽出する抽出処理と，前記抽出処理にて抽出した前記画像の一部を，前記所定の大きさに収まる縮小率で縮小したサムネイル画像を生成する第２生成処理と，前記判断処理にて前記画像の前記縦横比が前記所定値よりも大きいと判断された場合に，前記第２生成処理にて生成されたサムネイル画像を前記表示部に表示させ，前記判断処理にて前記画像の前記縦横比が前記所定値よりも大きくないと判断された場合に，前記第１生成処理にて生成されたサムネイル画像を前記表示部に表示させる表示処理と，を実行することを特徴としている。 An information processing apparatus made for the purpose of solving this problem is an information processing apparatus including a display unit and a control unit, wherein the control unit acquires an image data acquisition process and the acquisition process. A determination process for determining whether or not an aspect ratio, which is a ratio of the length of the long side to the length of the short side, of the image represented by the image data is greater than a predetermined value; A first generation process for generating a thumbnail image reduced at a reduction ratio that fits within, an extraction process for extracting a part of the image, and a part of the image extracted by the extraction process at a predetermined size. A second generation process for generating a thumbnail image reduced at a reduction ratio that falls within the range, and the second generation process when the determination process determines that the aspect ratio of the image is greater than the predetermined value. Generated thumbnail An image is displayed on the display unit, and when the determination process determines that the aspect ratio of the image is not larger than the predetermined value, the thumbnail image generated by the first generation process is displayed on the display unit. Display processing to be displayed on the screen.
本明細書に開示される情報処理装置は，画像データを取得し，取得した画像データによって表される画像の縦横比が所定値よりも大きいか否かを判断する。そして，画像の縦横比が所定値よりも大きいと判断した場合には，画像の一部を抽出して，抽出した画像を所定の大きさに縮小したサムネイル画像を生成し，生成したサムネイル画像を表示する。一方，画像の縦横比が所定値よりも大きくないと判断した場合，画像全体を縮小してサムネイル画像を生成し，表示する。 The information processing apparatus disclosed in this specification acquires image data, and determines whether or not the aspect ratio of the image represented by the acquired image data is larger than a predetermined value. If it is determined that the aspect ratio of the image is larger than a predetermined value, a part of the image is extracted, a thumbnail image is generated by reducing the extracted image to a predetermined size, and the generated thumbnail image is indicate. On the other hand, if it is determined that the aspect ratio of the image is not greater than the predetermined value, the entire image is reduced and a thumbnail image is generated and displayed.
すなわち，本明細書に開示される情報処理装置は，レシートの画像等，画像の縦横比が大きい場合，画像全体のサムネイル画像を表示すると余白が多くなって画像の内容も視認し難くなるので，画像の一部を抽出してサムネイル画像を生成し，表示する。これにより，サムネイル画像の余白を少なくし，視認性を向上させることができる。一方で，画像の縦横比が大きくない場合，余白がもともと少なく，視認性も良好であるため，抽出を行わず，画像全体に基づくサムネイル画像を表示することで，処理負荷の増大を抑えることが期待できる。 That is, the information processing apparatus disclosed in the present specification has a large margin when displaying a thumbnail image of the entire image when the aspect ratio of the image, such as a receipt image, is large. A part of the image is extracted and a thumbnail image is generated and displayed. Thereby, the margin of the thumbnail image can be reduced and the visibility can be improved. On the other hand, when the aspect ratio of the image is not large, the margin is originally small and the visibility is good, so that it is possible to suppress an increase in processing load by displaying thumbnail images based on the entire image without performing extraction. I can expect.
また，前記制御部は，前記画像の画像領域を複数のブロックに分割し，各ブロックについて，画素値が所定の画素閾値以上の画素の密度である画素密度を算出する算出処理を実行し，前記抽出処理では，前記画像の画像領域のうち，画素密度が他のブロックより高いブロックを含む領域を，前記一部として抽出するとよい。画素密度が高いブロックは，画素密度が低いブロックと比較して，有用な画像が含まれている可能性が高い。そのため，画素密度が高いブロックを含んで抽出する方が好ましい。 Further, the control unit divides the image area of the image into a plurality of blocks, and executes a calculation process for calculating a pixel density that is a density of pixels having a pixel value equal to or greater than a predetermined pixel threshold for each block, In the extraction process, an area including a block having a higher pixel density than the other blocks in the image area of the image may be extracted as the part. A block having a high pixel density is more likely to contain a useful image than a block having a low pixel density. Therefore, it is preferable to extract including a block having a high pixel density.
また，前記制御部は，前記画像から特定の文字あるいは特定のマークを検出する検出処理を実行し，前記抽出処理では，前記画像の画像領域のうち，前記特定の文字あるいは前記特定のマークを含む領域を，前記一部として抽出するとよい。例えば，レシートを読み取った画像であれば，ロゴマーク，日付，金額は，有用な画像である。そこで，これらを特定の文字あるいは特定のマークとして検出し，そのような文字あるいはマークが検出された領域を表示する方が好ましい。 Further, the control unit executes a detection process for detecting a specific character or a specific mark from the image, and the extraction process includes the specific character or the specific mark in the image area of the image. The region may be extracted as the part. For example, in the case of an image obtained by reading a receipt, the logo mark, date, and amount are useful images. Therefore, it is preferable to detect these as specific characters or specific marks and to display an area in which such characters or marks are detected.
また，前記制御部は，前記抽出処理にて前記画像の一部を抽出する前に，前記画像の短辺が主走査方向に平行となるように傾きを補正するとよい。画像の傾きを補正した画像から一部を抽出することで，より視認性に優れたサムネイル画像を表示できる。 The control unit may correct the inclination so that the short side of the image is parallel to the main scanning direction before extracting a part of the image in the extraction process. By extracting a part from the image with corrected image tilt, it is possible to display a thumbnail image with better visibility.
また，前記制御部は，前記画像全体あるいは前記画像の上端から所定範囲の領域を，前記所定の大きさに収まる縮小率で縮小したサムネイル画像を生成する第３生成処理と，前記第３生成処理にて生成されたサムネイル画像を，前記表示部に表示させるプレ表示処理と，を実行し，さらに前記判断処理にて前記画像の前記縦横比が前記所定値よりも大きいと判断された場合，前記プレ表示処理と，前記抽出処理および前記第１生成処理とを同時に実行し，前記第１生成処理が完了した後，前記プレ表示処理を終了し，前記表示処理を実行するとよい。画像の一部の抽出に時間がかかることもあることから，初めに画像全体などの所定範囲の領域に基づくサムネイル画像を表示することで，画像が表示されるまでのユーザの不安を軽減できる。なお，第３表示処理と，抽出処理および第１生成処理とは同時に実行されていればよく，同時に開始しても別々に開始してもよい。 Further, the control unit generates a thumbnail image obtained by reducing the entire image or an area within a predetermined range from the upper end of the image at a reduction ratio that fits in the predetermined size, and the third generation process. A pre-display process for displaying the thumbnail image generated in step (b) on the display unit, and when the determination process determines that the aspect ratio of the image is greater than the predetermined value, The pre-display process, the extraction process, and the first generation process may be performed simultaneously, and after the first generation process is completed, the pre-display process is terminated and the display process is performed. Since it may take time to extract a part of the image, the user's anxiety until the image is displayed can be reduced by displaying the thumbnail image based on a predetermined area such as the entire image first. Note that the third display process, the extraction process, and the first generation process need only be executed simultaneously, and may be started simultaneously or separately.
また，前記制御部は，前記判断処理にて前記画像の前記縦横比が前記所定値よりも大きいと判断された場合であって，前記画像から特定の文字あるいは特定のマークを検出する場合，あるいは前記画像のデータサイズが所定のデータ閾値よりも大きい場合に，前記第３生成処理および前記プレ表示処理を実行し，それ以外の場合に，前記第３生成処理および前記プレ表示処理を実行せず，前記表示処理を実行するとよい。特定の文字あるいは特定のマークを検出する場合や，画像のデータサイズが大きい場合は，画像の抽出に時間がかかることが想定されることから，画像全体に基づくサムネイル画像を先に表示する方が好ましい。一方，それ以外の場合は，画像の抽出が早期に完了することが想定されることから，画像全体に基づくサムネイル画像の表示を省略してもユーザに不安を与える可能性は低い。そのため，処理負荷の軽減を優先して，画像全体に基づくサムネイル画像の表示を行わない方が好ましい。 The control unit may determine that the aspect ratio of the image is greater than the predetermined value in the determination process and detects a specific character or a specific mark from the image, or When the data size of the image is larger than a predetermined data threshold, the third generation process and the pre-display process are executed; otherwise, the third generation process and the pre-display process are not executed. The display process may be executed. When detecting a specific character or mark, or when the image data size is large, it may be time-consuming to extract the image, so it is better to display the thumbnail image based on the entire image first. preferable. On the other hand, in other cases, it is assumed that the image extraction is completed at an early stage. Therefore, even if the display of the thumbnail image based on the entire image is omitted, there is a low possibility that the user is uneasy. Therefore, it is preferable not to display the thumbnail image based on the entire image, giving priority to reducing the processing load.
また，前記制御部は，前記所定の大きさよりも画像サイズが大きく，前記画像全体を縮小した画像である全体縮小画像を生成するスクロール画像生成処理と，前記スクロール画像生成処理にて生成された前記全体縮小画像のうち前記所定の大きさの領域を表示し，さらに所定方向への表示の切換指示に従って，前記全体縮小画像を，前記表示部に前記所定方向にスクロール表示させるスクロール表示処理と，を実行し，前記判断処理にて前記画像の前記縦横比が前記所定値よりも大きいと判断された場合，前記表示処理を実行した後，前記スクロール画像生成処理を実行し，前記スクロール画像生成処理が完了した後，前記表示処理を終了し，前記スクロール表示処理を実行するとよい。画像の一部を表示した場合に，有用な画像を表示していない可能性もある。そのため，画像全体を縮小した全体縮小画像を生成し，当該全体縮小画像に基づくスクロール表示を可能にすることで，画像全体を一度に表示させることなく画像の内容を確認できる。さらには，全体縮小画像の生成には時間がかかることもあることから，始めに第２生成処理にて生成したサムネイル画像を表示し，その後に全体縮小画像をスクロール表示することで，画像が表示されるまでのユーザの不安を軽減できる。 Further, the control unit has a scroll image generation process for generating an overall reduced image that is an image having an image size larger than the predetermined size and is an image obtained by reducing the entire image, and the scroll image generation process generates the scroll image generation process. Scroll display processing for displaying the area of the predetermined size in the entire reduced image, and further scroll-displaying the entire reduced image on the display unit in the predetermined direction in accordance with a display switching instruction in a predetermined direction. When the determination process determines that the aspect ratio of the image is greater than the predetermined value, the display process is executed, the scroll image generation process is executed, and the scroll image generation process is performed. After completion, the display process may be terminated and the scroll display process may be executed. When a part of the image is displayed, there is a possibility that a useful image is not displayed. Therefore, by generating an overall reduced image obtained by reducing the entire image and enabling scroll display based on the overall reduced image, the contents of the image can be confirmed without displaying the entire image at once. Furthermore, since it may take time to generate the entire reduced image, the thumbnail image generated in the second generation process is displayed first, and then the entire reduced image is scrolled to display the image. The user's anxiety until it is done can be reduced.
また，前記制御部は，前記抽出処理では，複数のコンテンツが含まれる前記画像の画像データに，前記各コンテンツのレイアウトの情報であるレイアウト情報が含まれている場合，当該レイアウト情報に基づいて前記画像の一部を抽出するとよい。画像データにレイアウト情報が含まれている場合には，当該レイアウト情報に基づいて特徴部分を抽出できることから，当該レイアウト情報に基づいて画像の一部を抽出する方が好ましい。 Further, in the extraction process, when the image data of the image including a plurality of contents includes layout information that is layout information of each content, the control unit, based on the layout information, A part of the image may be extracted. When layout information is included in the image data, a feature portion can be extracted based on the layout information. Therefore, it is preferable to extract a part of the image based on the layout information.
また，前記制御部は，前記原画像に含まれる文字列が長辺方向に並ぶか短辺方向に並ぶかを判断する文字列方向判断処理を実行し，前記表示処理では，前記判断処理にて前記原画像の前記縦横比が前記所定値よりも大きいと判断された場合であって，前記文字列方向判断処理にて短辺方向に並ぶと判断された場合には，前記第２生成処理にて生成されたサムネイル画像を前記表示部に表示させ，前記文字列方向判断処理にて長辺方向に並ぶと判断された場合には，前記第１生成処理にて生成されたサムネイル画像を前記表示部に表示させるとよい。画像に含まれる文字列が長辺方向に並ぶ場合（縦書きの場合）は画像の一部を表示しても内容を視認できない可能性が高い。そのため，画像の一部ではなく，画像全体に基づいてサムネイル画像を表示する方が好ましい。 Further, the control unit executes a character string direction determination process for determining whether the character strings included in the original image are aligned in the long side direction or the short side direction. In the display process, the control unit performs the determination process. If it is determined that the aspect ratio of the original image is greater than the predetermined value, and the character string direction determination process determines that the original image is arranged in the short side direction, the second generation process is performed. When the thumbnail image generated in the first generation process is displayed on the display unit and is determined to be arranged in the long side direction in the character string direction determination process, the thumbnail image generated in the first generation process is displayed in the display unit. It is good to display in the section. When character strings included in an image are arranged in the long side direction (in the case of vertical writing), there is a high possibility that the contents cannot be visually recognized even if a part of the image is displayed. Therefore, it is preferable to display the thumbnail image based on the entire image, not a part of the image.
また，前記制御部は，前記表示処理では，前記判断処理にて前記原画像の前記縦横比が前記所定値よりも大きいと判断された場合であって，前記画像全体の画素密度の偏差が所定の偏差閾値よりも大きい場合には，前記第２生成処理にて生成されたサムネイル画像を，前記表示部に表示させ，前記画像全体の画素密度の偏差が前記所定の偏差閾値よりも大きくない場合には，前記第１生成処理にて生成されたサムネイル画像を，前記表示部に表示させるとよい。画像が，写真画像等の画素密度の偏差が小さい画像である場合は，画像の一部を表示しても内容を視認できない可能性が高い。そのため，画像の一部ではなく，画像全体に基づいてサムネイル画像を表示する方が好ましい。 In the display process, the control unit determines that the aspect ratio of the original image is larger than the predetermined value in the determination process, and a deviation in pixel density of the entire image is predetermined. The thumbnail image generated in the second generation process is displayed on the display unit, and the deviation of the pixel density of the entire image is not greater than the predetermined deviation threshold. In this case, the thumbnail image generated in the first generation process may be displayed on the display unit. When the image is an image with a small deviation in pixel density such as a photographic image, it is highly possible that the contents cannot be visually recognized even if a part of the image is displayed. Therefore, it is preferable to display the thumbnail image based on the entire image, not a part of the image.
また，本明細書には，表示部と，制御部と，を備える情報処理装置において，前記制御部は，画像データを取得する取得処理と，前記取得処理にて取得した画像データによって表される画像の，短辺の長さに対する長辺の長さの比である縦横比が，所定値より大きいか否かを判断する判断処理と，前記画像全体を，所定の大きさに収まる縮小率で縮小したサムネイル画像を生成するサムネイル画像生成処理と，前記所定の大きさよりも画像サイズが大きく，前記画像全体を縮小した画像である全体縮小画像を生成するスクロール画像生成処理と，前記判断処理にて前記画像の前記縦横比が前記所定値よりも大きいと判断された場合に，前記スクロール画像生成処理にて生成された前記全体縮小画像のうち前記所定の大きさの領域を表示し，さらに所定方向への表示の切換指示に従って，前記全体縮小画像を前記表示部に前記所定方向にスクロール表示させ，前記判断処理にて前記画像の前記縦横比が前記所定値よりも大きくないと判断された場合に，前記サムネイル画像生成処理にて生成されたサムネイル画像を前記表示部に表示させる表示処理と，を実行する情報処理装置も開示されている。画像の一部を表示した場合に，有用な画像を表示していない可能性もある。そのため，画像全体に基づいて縮小した全体縮小画像を生成し，当該全体縮小画像に基づくスクロール表示を可能にすることで，画像全体を一度に表示させることなく画像の内容を確認できる。 Further, in this specification, in an information processing apparatus including a display unit and a control unit, the control unit is represented by an acquisition process for acquiring image data and an image data acquired by the acquisition process. A determination process for determining whether the aspect ratio, which is the ratio of the length of the long side to the length of the short side of the image, is greater than a predetermined value, and the entire image at a reduction ratio that fits within a predetermined size. In thumbnail image generation processing for generating a reduced thumbnail image, scroll image generation processing for generating an overall reduced image that is an image having an image size larger than the predetermined size and reduced in size, and the determination processing When it is determined that the aspect ratio of the image is larger than the predetermined value, an area having the predetermined size is displayed in the entire reduced image generated by the scroll image generation process. In accordance with a display switching instruction in a predetermined direction, the entire reduced image is scroll-displayed in the predetermined direction on the display unit, and it is determined in the determination process that the aspect ratio of the image is not greater than the predetermined value. An information processing apparatus is also disclosed that executes a display process for displaying a thumbnail image generated by the thumbnail image generation process on the display unit. When a part of the image is displayed, there is a possibility that a useful image is not displayed. Therefore, by generating an overall reduced image reduced based on the entire image and enabling scroll display based on the entire reduced image, the contents of the image can be confirmed without displaying the entire image at once.
上記情報処理装置の機能を備える画像読取装置，上記情報処理装置の機能を実現するための制御方法，画像読取方法，コンピュータプログラム，および当該コンピュータプログラムを格納するコンピュータ読取可能な記憶媒体も，新規で有用である。 An image reading apparatus having the functions of the information processing apparatus, a control method for realizing the functions of the information processing apparatus, an image reading method, a computer program, and a computer-readable storage medium for storing the computer program are also novel. Useful.
本発明によれば，サムネイル画像を表示する装置であって，処理負荷の増大の抑制と，サムネイル画像の視認性の向上と，の両立を図る技術の実現が期待される。 According to the present invention, it is an apparatus that displays thumbnail images, and it is expected to realize a technology that achieves both suppression of an increase in processing load and improvement in the visibility of thumbnail images.
以下，本発明にかかる情報処理装置を具体化した実施の形態について，添付図面を参照しつつ詳細に説明する。本実施の形態は，画像読取機能を備えたスキャナと，画像表示機能を備えたＰＣ（パーソナルコンピュータ）と，を含む画像読取システムに本発明を適用したものである。 DESCRIPTION OF THE PREFERRED EMBODIMENTS Embodiments of an information processing apparatus according to the present invention will be described below in detail with reference to the accompanying drawings. In this embodiment, the present invention is applied to an image reading system including a scanner having an image reading function and a PC (personal computer) having an image display function.
まず，本形態の画像読取システム１００の電気的構成について説明する。画像読取システム１００は，図１に示すように，ＰＣ１と，スキャナ２とを備える。ＰＣ１は，情報処理装置の一例である。スキャナ２は，画像読取装置の一例である。画像読取システム１００のＰＣ１とスキャナ２とは，例えば伝送ケーブル等を介して接続され，あるいは，無線通信によって，通信可能に接続されている。スキャナ２は，画像を読み取って，読み取った画像に基づく画像データを生成する画像読取機能を有している。
First, the electrical configuration of the
ＰＣ１は，ＣＰＵ１１と，ＲＯＭ１２と，ＲＡＭ１３と，ＨＤＤ（ハードディスクドライブ）１４とを含むコントローラ３０を備えている。さらに，ＰＣ１は，操作部１５と，表示部１６と，ネットワークインターフェース１８とを備え，これらが，コントローラ３０に接続されている。表示部１６は，表示部の一例である。なお，図１中のコントローラ３０は，ＣＰＵ１１等，ＰＣ１の制御に利用されるハードウェアを纏めた総称であって，実際にＰＣ１に存在する単一のハードウェアを表すとは限らない。
The
ＣＰＵ１１は，ＲＯＭ１２から読み出した制御プログラムに従って，その処理結果をＲＡＭ１３またはＨＤＤ１４に記憶させながら，ＰＣ１の各構成要素を制御する。ＲＯＭ１２には，ＰＣ１の起動時にＣＰＵ１１が行う起動処理のプログラム等の各種制御プログラムや，各種設定等が記憶されている。ＲＡＭ１３は，ＣＰＵ１１が各種処理を行う際に一時的な記憶領域として利用される。ＨＤＤ１４は，各種のプログラムやデータを記憶するために使用される。
The
操作部１５は，キーボードやマウス等からなり，ユーザの指示入力を受け付ける。表示部１６は，液晶ディスプレイ等からなり，画像データのサムネイル表示や，ユーザに向けてのメッセージ表示等が行われる。なお，操作部１５と表示部１６とは，例えば，タッチパネルのように一体であってもよい。ネットワークインターフェース１８は，スキャナ２等の外部機器と通信を行うためのハードウェアである。通信媒体は，有線であっても無線であってもよい。なお，画像読取システム１００を構成するＰＣ１やスキャナ２は，それぞれ１台に限るものではなく，複数台が接続されていてもよい。
The
画像読取システム１００では，ＰＣ１は，スキャナ２を制御するアプリケーションプログラム（以下，「アプリ」とする）をＨＤＤ１４に記憶している。ＰＣ１は，ユーザの指示入力に応じてアプリを起動し，アプリを実行させた状態で，原稿の画像をスキャナ２に読み取らせる原稿読取指示を受け付ける。そして，ＰＣ１は，原稿読取指示を受け付けると，スキャナ２に対して読取ジョブを送信する。
In the
スキャナ２は，読取ジョブを受信すると，読取動作を開始する。具体的に，スキャナ２は，原稿の画像を読み取って，読取画像データを生成する。読取画像データは，例えば，スキャナ２にて一度に読み取り可能なライン数ずつ生成され，スキャナ２に順次記憶される。そして，スキャナ２は，１枚の原稿の画像を読み取った読取画像データに基づいて，送信用の画像データである送付画像データを生成し，生成した送付画像データをＰＣ１に送信する。
When the
ＰＣ１は，スキャナ２から送付画像データを受信し，受信した送付画像データから，原稿の範囲を推定してトリミングおよび傾き補正を実行し，原稿の画像に相当する画像データを生成する。そして，ＰＣ１は，生成した画像データに基づくサムネイル画像を生成して，表示部１６にてアプリの表示領域に表示させる。以下では，サムネイル表示の対象の画像を対象画像とし，対象画像の画像データを対象画像データとする。なお，原稿の範囲の推定や，トリミングおよび傾き補正は，スキャナ２にて実行してもよい。つまり，ＰＣ１は，対象画像データを受信してもよい。
The
ＰＣ１では，対象画像データのサイズにかかわらず，個々のサムネイル画像の表示領域の大きさおよび形状は，予め決められている。なお，サムネイル画像の表示領域の形状は，正方形に近い形状である場合が多い。以下では，サムネイル画像の表示領域のサイズを，サムネイルサイズとする。
In the
例えば，対象画像の全体に基づくサムネイル画像を表示する場合には，ＰＣ１のコントローラ３０は，対象画像の全体をサムネイルサイズに収まる縮小率で縮小した画像である全体サムネイル画像を生成する。具体的には，コントローラ３０は，対象画像の横幅に対するサムネイルサイズの横幅の割合である横縮小率と，対象画像の縦幅に対するサムネイルサイズの縦幅の割合である縦縮小率との小さい方で，対象画像全体を縮小して，全体サムネイル画像を生成する。なお，本明細書では，縮小とは，画像の縦横比を保って元の画像より小さい画像を生成することである。縮小率は，元の画像の一辺の長さに対する縮小後の画像の該当辺の長さである。縮小率として，面積比を用いてもよい。
For example, when displaying a thumbnail image based on the entire target image, the
対象画像が縦横比の大きい画像である場合には，全体サムネイル画像を生成する際の縮小率は，対象画像の長辺の長さに基づいて決定されるため，縮小率が小さくなりがちである。つまり，縦横比の大きい対象画像の全体サムネイル画像を表示した場合，対象画像の短辺はサムネイルサイズよりも小さく縮小されるため，短辺方向の少なくとも一方の側に多くの余白領域がある表示となる。なお，画像の縦横比は，画像の短辺の長さに対する長辺の長さの比である。縦横比が大きい原稿としては，例えば，レシートや短冊のような細長い原稿が該当する。 When the target image is an image with a large aspect ratio, the reduction ratio when generating the entire thumbnail image is determined based on the length of the long side of the target image, so the reduction ratio tends to be small. . In other words, when the entire thumbnail image of the target image having a large aspect ratio is displayed, the short side of the target image is reduced to be smaller than the thumbnail size, so that there is a display with many blank areas on at least one side in the short side direction. Become. The aspect ratio of the image is the ratio of the length of the long side to the length of the short side of the image. As a document having a large aspect ratio, for example, an elongated document such as a receipt or a strip is applicable.
そこで，コントローラ３０は，対象画像の縦横比が大きい場合には，対象画像の一部である一部画像を抽出して，抽出した一部画像に基づくサムネイル画像である抽出サムネイル画像を生成して表示する。例えば，コントローラ３０は，対象画像を，短辺がサムネイルサイズの一辺に入る縮小率で縮小し，かつ，対象画像の長辺方向については，当該縮小率で縮小した場合にサムネイルサイズに入る範囲を抽出して一部画像とする。一方，対象画像の縦横比が大きくない場合には，コントローラ３０は，全体サムネイル画像を生成して表示する。
Therefore, when the aspect ratio of the target image is large, the
そのために，コントローラ３０は，まず，対象画像の縦横比を算出する。縦横比Ｒは，対象画像の長辺の長さＷＡと，対象画像の短辺の長さＷＢとに基づいて，Ｒ＝ＷＡ／ＷＢで求められる。そして，コントローラ３０は，縦横比が所定値よりも大きい場合，前述したように，画像の一部に基づくサムネイル画像を生成して表示する。所定値は，サムネイルサイズの縦横比よりも大きい値であり，例えば，リーガルサイズの用紙の縦横比（約１．６５）の２倍以上の値である。
For this purpose, the
例えば，読取対象の原稿が図２に示すようなレシートの原稿５１であった場合，レシートの原稿５１を読み取った画像データに基づいて，コントローラ３０は，長辺の長さＷＡと短辺の長さＷＢとを求め，縦横比を算出する。そして，算出した縦横比が所定値よりも大きいと判断して，コントローラ３０は，図３に示すように，一部画像５２を抽出し，抽出した一部画像５２に基づく抽出サムネイル画像を生成する。さらに，コントローラ３０は，生成した抽出サムネイル画像を，表示部１６のサムネイル画像の表示領域に表示させる。
For example, when the document to be read is a receipt document 51 as shown in FIG. 2, the
続いて，前述したサムネイル表示動作をＰＣ１にて実現するサムネイル表示処理の手順について，図４のフローチャートを参照して説明する。このサムネイル表示処理は，ＰＣ１にて画像データのサムネイル表示を実行する条件を満たしたことを契機に，ＰＣ１のＣＰＵ１１によって実行される。
Next, the procedure of thumbnail display processing for realizing the above-described thumbnail display operation on the
サムネイル表示を実行する条件としては，例えば，スキャナ２を制御するアプリを実行することによって，スキャナ２から送信された画像データを表示する指示を受け付けたこと，または，画像データの表示や編集を行うアプリを実行することによって，画像データの一覧表示を行う指示を受け付けたこと，が該当する。以下では，スキャナ２から送信された画像データを表示する指示を受け付けた場合について説明する。
As a condition for executing the thumbnail display, for example, by executing an application for controlling the
サムネイル表示処理では，コントローラ３０は，まず，画像データを取得する（Ｓ１０１）。Ｓ１０１は，取得処理の一例である。Ｓ１０１では，ＰＣ１は，スキャナ２に原稿の読み取り動作を行わせ，読み取った画像データをＰＣ１に送信させる。これにより，ＰＣ１は，画像データを取得する。ＰＣ１は，スキャナ２にて読み取りの終わった原稿の１枚分ごとに画像データを取得してもよいし，１つの読取ジョブが終了してから，１ジョブ分の画像データを纏めて取得してもよい。
In the thumbnail display process, the
そして，ＰＣ１のコントローラ３０は，取得した画像データに基づいて，画像のエッジを抽出する（Ｓ１０２）。これにより，コントローラ３０は，画像データ中の原稿の画像の範囲を取得する。Ｓ１０２にて抽出されたエッジは，原稿の辺に対応する画像である。そして，コントローラ３０は，抽出したエッジに基づいて，画像をトリミングする（Ｓ１０３）。これにより，コントローラ３０は，取得した画像データから対象画像の範囲を取り出すことができる。
Then, the
さらに，コントローラ３０は，Ｓ１０２にて抽出したエッジに基づいて，Ｓ１０３にてトリミングした画像の傾き補正を実行する（Ｓ１０４）。Ｓ１０４では，コントローラ３０は，画像の各辺が主走査方向または副走査方向に平行となるように，画像の傾きを補正する。特に，コントローラ３０は，画像の短辺が主走査方向に平行となるように傾きを補正する。つまり，コントローラ３０は，補正後の画像が縦長の画像になるように補正する。Ｓ１０４にて得られた画像が，サムネイル表示の対象であり，対象画像である。
Further, the
次に，コントローラ３０は，画像の縦横比を算出する（Ｓ１０５）。具体的に，コントローラ３０は，対象画像の長辺の長さと短辺の長さとをそれぞれ取得し，長辺の長さを短辺の長さで除して縦横比を得る。そして，コントローラ３０は，Ｓ１０５にて算出した縦横比が，前述した所定値よりも大きいか否かを判断する（Ｓ１０６）。Ｓ１０６は，判断処理の一例である。
Next, the
画像の縦横比が，所定値よりも大きいと判断した場合（Ｓ１０６：ＹＥＳ），コントローラ３０は，画像データにレイアウト情報が付加されているか否かを判断する（Ｓ１０８）。レイアウト情報は，画像が複数のコンテンツを含む場合に用いられる情報である。画像データのフォーマットによっては，コンテンツごとに，内容とサイズと配置とを示す情報であるレイアウト情報が記憶される。レイアウト情報が付加されている画像データとしては，例えば，ＰＤＦファイルがある。
If it is determined that the aspect ratio of the image is greater than the predetermined value (S106: YES), the
前述したように，画像の縦横比が大きい場合，画像全体に基づくサムネイル画像を表示すると余白が大きく，縮小率が小さいために画像の内容が分かり難くなりがちであるため，ＰＣ１は，画像の一部である一部画像を抽出して表示する。そのために，コントローラ３０は，画像の縦横比が大きい場合，画像全体のうち，抽出する一部画像の範囲を決定する。
As described above, when the aspect ratio of an image is large, displaying a thumbnail image based on the entire image has a large margin, and the reduction ratio is small, so that the content of the image tends to be difficult to understand. A partial image that is a part is extracted and displayed. Therefore, when the aspect ratio of the image is large, the
そして，コントローラ３０は，取得した画像データにレイアウト情報が付加されていると判断した場合（Ｓ１０８：ＹＥＳ），レイアウト情報に基づいて，一部画像の範囲を決定し，決定した一部画像を抽出する（Ｓ１０９）。コントローラ３０は，例えば，画像データに含まれるコンテンツのうち最も大きい画像を含む領域を一部画像として抽出する。コンテンツ単位で抽出すれば，ユーザにわかりやすいサムネイル表示となる可能性が高い。特に，大きい画像部分は，特徴的な画像である可能性が高い。
When the
一方，コントローラ３０は，レイアウト情報が付加されていないと判断した場合（Ｓ１０８：ＮＯ），一部画像の範囲を決定して抽出する抽出処理を実行する（Ｓ１１１）。Ｓ１１１は，抽出処理の一例である。抽出処理としては，画素密度の分布に基づいて画像を抽出する第１抽出処理と，画像中の文字に着目して画像を抽出する第２抽出処理とがある。ＰＣ１は，まず第１抽出処理を実行し，適切な抽出結果が得られなかった場合に第２抽出処理を実行する。あるいは，ＰＣ１は，まず第２抽出処理を実行し，抽出結果が適切な抽出結果が得られなかった場合に第１抽出処理を実行するとしてもよい。また，ＰＣ１は，第１抽出処理と第２抽出処理とのうちいずれか一方のみを選択して実行してもよいし，いずれか一方のみを実行可能としてもよい。
On the other hand, when the
次に，サムネイル表示処理のＳ１１１にて実行される抽出処理の１つである第１抽出処理について，図５のフローチャートを参照して説明する。第１抽出処理では，コントローラ３０は，まず，対象画像データのデータサイズが所定のデータ閾値よりも大きいか否かを判断する（Ｓ２０１）。
Next, the first extraction process which is one of the extraction processes executed in S111 of the thumbnail display process will be described with reference to the flowchart of FIG. In the first extraction process, the
そして，データサイズが所定のデータ閾値よりも大きいと判断した場合（Ｓ２０１：ＹＥＳ），コントローラ３０は，画像のうちプレ画像領域の画像データに基づくサムネイル画像であるプレ表示画像を生成し（Ｓ２０３），生成したプレ表示画像を表示する（Ｓ２０４）。Ｓ２０３は，第３生成処理の一例であり，Ｓ２０４は，プレ表示処理の一例である。プレ画像領域はあらかじめ決められた領域であり，例えば，画像全体，画像の上端から所定範囲である。つまり，ＰＣ１は，一部画像の抽出を実行する前に，あらかじめ決められたプレ画像領域の画像に基づいて，サムネイルサイズに縮小したプレ表示画像を生成し，生成したプレ表示画像を，抽出結果に基づくサムネイル表示を行う前のプレ表示として，サムネイル画像の表示領域に表示する。
If it is determined that the data size is larger than the predetermined data threshold value (S201: YES), the
データサイズが大きい画像に対する画素密度の算出には，長時間が掛かる可能性がある。そのため，一部画像の抽出が終了するまでサムネイル画像の表示領域への表示を行わない場合，サムネイル画像が表示されるまでの時間が長く，ユーザが不審に感じるおそれがある。そこで，あらかじめ決められた範囲の画像に基づいて，とりあえずサムネイル表示をすることで，ユーザの不審を招かないことが期待できる。 It may take a long time to calculate the pixel density for an image having a large data size. Therefore, if the thumbnail image is not displayed in the display area until the extraction of the partial image is completed, the time until the thumbnail image is displayed is long, and the user may feel suspicious. Therefore, by displaying thumbnails for the time being based on a predetermined range of images, it can be expected that the user will not be suspicious.
一方，データサイズが所定のデータ閾値よりも大きくないと判断した場合（Ｓ２０１：ＮＯ），コントローラ３０は，Ｓ２０３とＳ２０４とをスキップして次のＳ２０６に進む。データサイズが大きくなければ，抽出結果に基づくサムネイル表示をしても長時間は掛からないと推定される。そこで，コントローラ３０は，データサイズが大きくないと判断した場合には，プレ表示を実行しない。
On the other hand, when determining that the data size is not larger than the predetermined data threshold (S201: NO), the
Ｓ２０１にてＮＯの場合，または，Ｓ２０４の後，コントローラ３０は，画像を所定の大きさのブロックに分割する（Ｓ２０６）。そして，コントローラ３０は，Ｓ２０６にて分割したブロックごとの画素密度を算出する（Ｓ２０７）。Ｓ２０７は，算出処理の一例である。画素密度は，ブロック内の有意な画素の密度であり，例えば，ブロック内の画素値が所定の画素閾値以上の画素の数を，ブロック内の全画素数で除した数である。なお，画素値が所定の画素閾値以上の画素とは，例えば，画像の地色とは異なる色の画素，画像の地色に対して所定以上の濃度差がある画素である。
In the case of NO in S201, or after S204, the
次に，コントローラ３０は，Ｓ２０７にて算出したブロックごとの画素密度の偏差が大きいか否かを判断する（Ｓ２０９）。画素密度の偏差が大きいとは，ブロックごとの有意な画像の多寡の差が大きいことであり，例えば，一部の領域にのみ有意な画像が含まれている場合が該当する。そこで，ブロックごとの画素密度の偏差が大きいと判断した場合（Ｓ２０９：ＹＥＳ），コントローラ３０は，画素密度の最も高いブロックを含む領域を一部画像として抽出し（Ｓ２１０），第１抽出処理を終了する。画素密度の最も高いブロックを含む領域は，有意な画像が多く含まれていると推定される領域である。
Next, the
一方，画素密度の偏差が大きくないと判断した場合（Ｓ２０９：ＮＯ），コントローラ３０は，この画像を非特定画像として（Ｓ２１１），第１抽出処理を終了する。非特定画像は，一部画像を抽出したサムネイル表示を実行することが好ましくないと推定される画像である。例えば，写真のように地色部分がほとんど無い画像では，一部画像を抽出してサムネイル表示を実行すると，全体の雰囲気が失われてかえって分かり難くなるおそれがある。そこで，ＰＣ１は，画素密度の偏差が大きくない画像では，縦横比が大きい画像であっても，全体の画像に基づくサムネイル表示を実行する。
On the other hand, if it is determined that the deviation in pixel density is not large (S209: NO), the
次に，サムネイル表示処理のＳ１１１にて実行される抽出処理の１つである第２抽出処理について，図６のフローチャートを参照して説明する。この第２抽出処理は，対象画像中の文字列の並び方向，または，特定のマーク画像の有無に着目して一部画像を抽出する処理である。このうち，文字列の並び方向の判断には，ＯＣＲ（光学文字認識）の実行が必要であり，長時間が掛かる可能性がある。そのため，第２抽出処理では，コントローラ３０は，まず，プレ表示を実行する。具体的に，コントローラ３０は，プレ表示画像を生成し（Ｓ２０３），生成したプレ表示画像を表示する（Ｓ２０４）。Ｓ２０３とＳ２０４とは，第１抽出処理のものと同じ内容である。
Next, the second extraction process that is one of the extraction processes executed in S111 of the thumbnail display process will be described with reference to the flowchart of FIG. This second extraction process is a process of extracting a partial image by paying attention to the arrangement direction of the character strings in the target image or the presence / absence of a specific mark image. Among these, the judgment of the direction of arrangement of character strings requires execution of OCR (optical character recognition), which may take a long time. Therefore, in the second extraction process, the
そして，コントローラ３０は，対象画像に含まれる文字列の並び方向を検出し，横書きの文字列を含む画像である可能性が高いか否かを判断する文字方向検出処理を実行する（Ｓ３０１）。文字方向検出処理について，図７のフローチャートを参照して説明する。文字方向検出処理は，文字列方向判断処理の一例である。
Then, the
文字方向検出処理では，コントローラ３０は，まず，対象画像に含まれる文字列が横書きであるとみなしてＯＣＲを実行する（Ｓ４０１）。そして，コントローラ３０は，Ｓ４０１によるＯＣＲの結果の精度を算出し，横精度αＨとする（Ｓ４０２）。横精度αＨは，文字列の並び方向が横書きであると仮定してＯＣＲを実行した結果，どの程度の意味のある単語または文章が得られたかを示す指標である。ＯＣＲの結果の精度は，ＯＣＲ処理の実行によって取得される。
In the character direction detection process, the
そして，コントローラ３０は，得られた横精度αＨが，所定の横閾値αよりも大きいか否かを判断する（Ｓ４０４）。横精度αＨが横閾値αよりも大きくないと判断した場合（Ｓ４０４：ＮＯ），コントローラ３０は，対象画像は横書きの文字列を含む画像ではないとして（Ｓ４０５），文字方向検出処理を終了する。なお，文字列として読み取ることができなかった場合も，横精度αＨは小さいので，コントローラ３０は，Ｓ４０４にてＮＯと判断する。
Then, the
一方，横精度αＨが横閾値αよりも大きいと判断した場合（Ｓ４０４：ＹＥＳ），コントローラ３０は，対象画像に含まれる文字列が縦書きであるとみなして，再びＯＣＲを実行する（Ｓ４０７）。そして，コントローラ３０は，Ｓ４０７によるＯＣＲの結果の精度を算出し，縦精度αＶとする（Ｓ４０８）。縦精度αＶは，文字列の並び方向が縦書きであると仮定してＯＣＲを実行した結果，どの程度の意味のある単語または文章が得られたかを示す指標である。
On the other hand, when it is determined that the horizontal accuracy αH is larger than the horizontal threshold value α (S404: YES), the
そして，コントローラ３０は，Ｓ４０２で得られた横精度αＨが，Ｓ４０８で得られた縦精度αＶよりも大きいか否かを判断する（Ｓ４１０）。そして，横精度αＨが縦精度αＶよりも大きくないと判断した場合（Ｓ４１０：ＮＯ），コントローラ３０は，横書きの文字列を含む画像ではないとして（Ｓ４０５），文字方向検出処理を終了する。Ｓ４１０にてＮＯの場合，この画像には縦書きの文字列が含まれている可能性を捨てきれないため，コントローラ３０は，横書きであるとはしない。
Then, the
一方，横精度αＨが縦精度αＶよりも大きいと判断した場合（Ｓ４１０：ＹＥＳ），コントローラ３０は，対象画像は横書きの文字列が含まれている画像であるとして（Ｓ４１１），文字方向検出処理を終了する。
On the other hand, if it is determined that the horizontal accuracy αH is greater than the vertical accuracy αV (S410: YES), the
図６の第２抽出処理に戻り，Ｓ３０１の文字方向検出処理の後，コントローラ３０は，文字方向検出処理の結果から，対象画像が横書きの文字列を含む画像であるとされたか否かを判断する（Ｓ３０３）。横書きの文字列を含む画像ではないと判断した場合（Ｓ３０３：ＮＯ），コントローラ３０は，この画像を非特定画像として（Ｓ３０５），第２抽出処理を終了する。非特定画像は，第１抽出処理のＳ２１１のものと同じである。
Returning to the second extraction process of FIG. 6, after the character direction detection process of S <b> 301, the
前述したように，対象画像は，縦長の画像であり，一部画像を抽出する場合には，少なくとも縦方向については対象画像のうち一部画像に含まれない範囲が生じる。そして，対象画像に横書きの文字列が含まれている場合には，少なくとも１行分がサムネイル画像に含まれる可能性が高いが，縦書きの文字列であれば，１行の文字列の一部分だけとなる可能性が高い。つまり，縦書きの文字列を含む対象画像から一部画像を抽出すると，意味のある文字列とならずに，ユーザにとって分かり難いサムネイル表示となる可能性が高い。 As described above, the target image is a vertically long image. When a partial image is extracted, a range that is not included in the partial image of the target image occurs at least in the vertical direction. If the target image includes a horizontally written character string, there is a high possibility that at least one line is included in the thumbnail image, but if it is a vertically written character string, a part of the character string in one line is included. There is a high possibility of becoming only. In other words, if a partial image is extracted from a target image including a vertically written character string, it is highly possible that the thumbnail display will be difficult for the user to understand without becoming a meaningful character string.
例えば，図８に示す短冊の原稿６１では，一部画像を抽出してサムネイル画像とすると，どの部分を抽出しても文字列としての意味が失われ，分かり難くなる可能性が高い。そのため，ＰＣ１は，短冊の原稿６１の画像のサムネイル表示を実行する場合には，余白部分が多くても，図９に示すように，画像全体に基づく全体サムネイル画像を表示する。
For example, in the case of a strip original 61 shown in FIG. 8, if a partial image is extracted to be a thumbnail image, the character string is lost in any part, and it is highly likely that it will be difficult to understand. Therefore, when the thumbnail display of the image of the strip original 61 is executed, the
一方，画像が横書きであると判断した場合（Ｓ３０３：ＹＥＳ），コントローラ３０は，画像中から，特定マークを検出する（Ｓ３０７）。Ｓ３０７は，検出処理の一例である。特定マークは，例えば，レシート中のショップマーク，ドルマークや円マークである。ＰＣ１は，例えば，スキャナ２にて読み取った画像やホームページの画像などから，ユーザの指示に基づいて特定マークの範囲を決定し，決定した特定マークの画像を，ＲＯＭ１２あるいはＨＤＤ１４に記憶している。つまり，ＰＣ１では，あらかじめ複数の特定マークが，ＲＯＭ１２あるいはＨＤＤ１４に記憶されている。
On the other hand, when it is determined that the image is horizontal writing (S303: YES), the
そして，コントローラ３０は，Ｓ３０７にて，画像中から，記憶している特定マークのいずれかと一致する画像部分を検出し，特定マークが検出されたか否かを判断する（Ｓ３０８）。特定マークがあると判断した場合（Ｓ３０８：ＹＥＳ），コントローラ３０は，見つかった特定マークを含む領域を一部画像として抽出して（Ｓ３０９），第２抽出処理を終了する。
In S307, the
なお，Ｓ３０７では，特定マークに限らず，特定文字との一致を検出し，Ｓ３０８では特定文字が検出されたか否かを判断してもよい。特定文字は，例えば，ショップ名，支店名，日時を示す文字列である。ＰＣ１は，例えば，特定文字として，文字列の入力を受け付け，受け付けた文字列をＲＯＭ１２あるいはＨＤＤ１４に記憶している。特定文字が有ると判断した場合，コントローラ３０は，Ｓ３０９にて，特定文字の画像を含む領域を一部画像として抽出するとよい。
In S307, not only the specific mark but also a match with a specific character may be detected, and in S308, it may be determined whether or not a specific character has been detected. The specific character is, for example, a character string indicating a shop name, a branch name, and a date and time. For example, the
また，コントローラ３０は，Ｓ３０８にて，１つの特定マークあるいは特定文字が見つかったら，ＹＥＳと判断して次へ進んでもよいし，所定数以上の特定マークや特定文字が見つかった場合にＹＥＳと判断してもよい。あるいは，コントローラ３０は，記憶されている全ての特定マークや特定文字の検索を画像全体に対して実行して，より多くの特定マークや特定文字を含む領域を抽出してもよい。
In S308, if one specific mark or specific character is found, the
一方，特定マークあるいは特定文字が検出されなかったと判断した場合（Ｓ３０８：ＮＯ），コントローラ３０は，一部画像として抽出すべき適切な箇所が見つからないことから，この画像を非特定画像として（Ｓ３０５），第２抽出処理を終了する。なお，Ｓ３０８にてＮＯの場合，対象画像には少なくとも横書きの文字列が含まれていることから，コントローラ３０は，非特定画像とする代わりに，例えば上端の所定範囲等を一部画像としてもよいし，プレ表示画像の領域を一部画像としてもよい。
On the other hand, if it is determined that a specific mark or a specific character has not been detected (S308: NO), the
図５の第１抽出処理，または，図６の第２抽出処理の終了後，図４のサムネイル表示処理に戻り，コントローラ３０は，非特定画像と決定したか否かを判断する（Ｓ１１３）。非特定画像と決定した場合（Ｓ１１３：ＹＥＳ），または，Ｓ１０５にて算出した縦横比が，所定値よりも大きくないと判断した場合（Ｓ１０６：ＮＯ），コントローラ３０は，画像全体に基づくサムネイル表示を実行する。
After the completion of the first extraction process of FIG. 5 or the second extraction process of FIG. 6, the process returns to the thumbnail display process of FIG. 4, and the
具体的には，コントローラ３０は，画像全体をサムネイルサイズに縮小して全体サムネイル画像を生成し（Ｓ１１５），生成した全体サムネイル画像をサムネイル画像の表示領域に表示する（Ｓ１１６）。Ｓ１１５は，第１生成処理の一例であり，Ｓ１１６は，表示処理の一例である。つまり，この場合には，ＰＣ１は，例えば，図９に示したように，対象画像の全体サムネイル画像を表示する。
Specifically, the
非特定画像ではないと決定した場合（Ｓ１１３：ＮＯ），コントローラ３０は，抽出サムネイル画像を生成する（Ｓ１１７）。Ｓ１１７は，第２生成処理の一例である。Ｓ１１１の抽出処理にて一部画像の抽出は終了しているので，コントローラ３０は，抽出した一部画像をサムネイルサイズに縮小して，抽出サムネイル画像を生成する。なお，ここでは，抽出した一部画像の縦幅と横幅とのいずれについても，抽出時に決定されたものとして説明する。つまり，抽出した一部画像の縦横比は，既に決まっているので，抽出した一部画像の縦横比とサムネイルサイズの縦横比とは，異なる場合がある。そこで，コントローラ３０は，一部画像の横幅がサムネイルサイズの横幅となる縮小率と，一部画像の縦幅がサムネイルサイズの縦幅となる縮小率とのうち，小さい方を選択して，一部画像の全体を縮小することにより抽出サムネイル画像を生成する。
When it is determined that the image is not a non-specific image (S113: NO), the
なお，コントローラ３０は，一部画像の抽出時に，一部画像の縦幅と横幅とがサムネイルサイズの縦横比となるように，一部画像の範囲を決定してもよい。すなわち，コントローラ３０は，一部画像の抽出範囲を決定する時に，一部画像の横方向の範囲を基準として，一部画像の横幅がサムネイルサイズの横幅となる縮小率で縮小した場合に，サムネイルサイズの縦幅となる範囲を一部画像の縦方向の範囲として抽出してもよい。あるいは，コントローラ３０は，一部画像の抽出範囲を決定する時に，一部画像の縦方向の範囲を基準として，一部画像の縦幅がサムネイルサイズの縦幅となる縮小率で縮小した場合に，サムネイルサイズの横幅となる範囲を一部画像の横方向の範囲として抽出してもよい。
Note that the
さらに，コントローラ３０は，生成した抽出サムネイル画像をサムネイル画像の表示領域に表示する（Ｓ１１８）。Ｓ１１８は，表示処理の一例である。
Further, the
次に，コントローラ３０は，スクロール表示を実行するか否かを判断する（Ｓ１２０）。スクロール表示は，Ｓ１１８にて一部画像を表示しているサムネイル画像に対し，ユーザのスクロール指示入力を受け付け，対象画像の未表示部分を表示させる表示方法である。つまり，スクロール表示を実行することで，ＰＣ１は，抽出した一部画像以外の範囲についてもサムネイル画像として表示できる。コントローラ３０は，スクロール表示を実行する条件を満たした場合に，スクロール表示を実行すると判断する。
Next, the
例えば，第２抽出処理のＳ３０７にて，複数の特定マークが検出された場合，コントローラ３０は，Ｓ３０９では，そのうちの１つの特定マークを含む範囲を一部画像として抽出した。この場合，スクロール表示を実行すれば，抽出した特定マーク以外の範囲を表示できる。複数の特定マークが検出されたことは，スクロール表示を実行する条件の１つである。なお，スクロール表示を行う条件は，ユーザによりスクロール表示を行うと設定されていることでもよい。
For example, when a plurality of specific marks are detected in S307 of the second extraction process, the
そして，スクロール表示を実行すると判断した場合（Ｓ１２０：ＹＥＳ），コントローラ３０は，図１０に示すようなスクロール表示のためのスクロール用画像５３を生成する（Ｓ１２２）。Ｓ１２２は，スクロール画像生成処理の一例である。スクロール用画像５３は，例えば，対象画像の短辺である横幅をサムネイルサイズの横幅とする縮小率で，対象画像全体を縮小した画像である。長辺も同じ縮小率で縮小するので，スクロール用画像５３の長辺方向の大きさは，サムネイルサイズを超えている。つまり，スクロール用画像５３の画像サイズは，サムネイルサイズよりも大きい。
When it is determined that scroll display is to be executed (S120: YES), the
そして，コントローラ３０は，生成したスクロール用画像５３をスクロール表示する（Ｓ１２３）。Ｓ１２３は，スクロール表示処理の一例である。スクロール表示を実行すると，ＰＣ１は，例えば，図１０に示すように，サムネイル画像の表示領域の横に，スクロールバー５４を表示する。サムネイル画像の表示領域には，例えば，スクロール用画像５３の上部５３Ａが表示される。上部５３Ａは，スクロール用画像５３のうち，サムネイルサイズの部分である。そして，スクロール用画像５３のうち，上部５３Ａ以外の部分である下部５３Ｂは，表示されない。なお，前述した一部画像５２に基づく抽出サムネイル画像の縮小率が，このスクロール用画像５３の縮小率と同じであれば，表示されるサムネイル画像は，抽出サムネイル画像と同じ範囲であってもよい。
Then, the
そして，ＰＣ１は，ユーザによるスクロールバー５４への移動指示を受け付け，サムネイル画像の表示領域に表示される画像の範囲を変更する。ＰＣ１は，スクロールバー５４を移動させるユーザの操作を受け付けると，その移動方向にスクロール用画像５３のうちの表示範囲を移動する。ＰＣ１は，例えば，下部５３Ｂの一部を表示し，上部５３Ａの一部を表示しないとすることで，表示領域に表示されるサムネイル画像を変更する。
Then, the
Ｓ１２３の後，Ｓ１１６の後，あるいは，スクロール表示を実行しないと判断した場合（Ｓ１２０：ＮＯ），コントローラ３０は，サムネイル表示の指示を受け付けた全画像について，処理を終了したか否かを判断する（Ｓ１２５）。全画像について終了していないと判断した場合（Ｓ１２５：ＮＯ），コントローラ３０は，Ｓ１０１に戻って，次の画像の処理を実行する。なお，ＰＣ１では，複数の画像について並行して実行できる処理については，並行して実行することで全体としての処理時間を短縮することができる。また，全画像について終了したと判断した場合（Ｓ１２５：ＹＥＳ），コントローラ３０は，サムネイル表示処理を終了する。
After S123, after S116, or when it is determined not to execute the scroll display (S120: NO), the
以上，詳細に説明したように，本形態のＰＣ１は，取得した画像データによって表される画像の縦横比を求め，縦横比が大きい場合には，画像の一部を抽出した一部画像をサムネイルサイズに縮小して，サムネイル画像の表示領域に表示させる。一方，画像の縦横比が大きくない場合には，ＰＣ１は，画像全体をサムネイルサイズに縮小して，サムネイル画像の表示領域に表示させる。従って，ＰＣ１は，余白が大きくなったり縮小率が小さくなったりして分かり難い可能性が高い画像については一部画像の抽出サムネイル画像を表示し，分かり難い可能性の低い画像については画像全体の全体サムネイル画像を表示する。これにより，処理負荷の増大の抑制と，サムネイル画像の視認性の向上と，の両立を図ることが期待できる。
As described above in detail, the
なお，ＰＣ１では，前述したサムネイル表示処理に代えて，画像の縦横比が大きい場合には，始めからスクロール表示を行うとしてもよい。このようにすれば，一部画像を抽出する時間が不要であり，ユーザの希望に基づいて，サムネイル画像として表示する範囲が変更される。次に，ＰＣ１にて始めからスクロール表示をする動作を実現する直接スクロール表示処理の手順について，図１１のフローチャートを参照して説明する。
Note that the
この直接スクロール表示処理は，ＰＣ１にて画像データのサムネイル表示を実行する条件を満たしたことを契機に，ＰＣ１のＣＰＵ１１によって実行される。サムネイル表示を実行する条件は，図４のサムネイル表示処理と同じである。なお，直接スクロール表示処理は，前述したサムネイル表示処理のうちの一部分を省略した処理であり，サムネイル表示処理と同じステップについては同じ符号を付して，説明を省略する。
This direct scroll display process is executed by the
直接スクロール表示処理では，まず，コントローラ３０は，画像データを取得し（Ｓ１０１），エッジを抽出し（Ｓ１０２），トリミングし（Ｓ１０３），傾き補正を実行する（Ｓ１０４）。さらに，コントローラ３０は，画像の縦横比を算出し（Ｓ１０５），縦横比が大きいか否かを判断する（Ｓ１０６）。
In the direct scroll display process, first, the
そして，コントローラ３０は，画像の縦横比が大きいと判断した場合には（Ｓ１０６：ＹＥＳ），スクロール用画像を生成し（Ｓ１２２），スクロール表示する（Ｓ１２３）。一方，コントローラ３０は，画像の縦横比が大きくないと判断した場合には（Ｓ１０６：ＮＯ），全体サムネイル画像を生成し（Ｓ１１５），全体サムネイル画像を表示する（Ｓ１１６）。Ｓ１１５は，サムネイル画像生成処理の一例であり，Ｓ１２３とＳ１１６とは，表示処理の一例である。
If the
さらに，コントローラ３０は，全画像について処理を終了したか否かを判断し（Ｓ１２５），終了していないと判断した場合には（Ｓ１２５：ＮＯ），次の画像の処理を実行する。全画像について終了したと判断した場合（Ｓ１２５：ＹＥＳ），コントローラ３０は，直接スクロール表示処理を終了する。
Furthermore, the
なお，ＰＣ１は，図４のサムネイル表示処理と図１１の直接スクロール表示処理とのいずれか一方のみを実行するものであってもよい。あるいは，ＰＣ１は，サムネイル表示処理と直接スクロール表示処理との両方を実行可能であって，いずれを実行するかを，ユーザの指示入力，初期設定等に基づいて決定してもよい。
Note that the
以上，詳細に説明したように，直接スクロール表示処理を備えるＰＣ１は，取得した画像データによって表される画像の縦横比を求め，縦横比が大きい場合には，スクロール表示を実行する。一方，画像の縦横比が大きくない場合には，ＰＣ１は，画像全体をサムネイルサイズに縮小して，サムネイル画像の表示領域に表示させる。これにより，処理負荷の増大の抑制と，サムネイル画像の視認性の向上と，の両立を図ることが期待できる。
As described above in detail, the
なお，本実施の形態は単なる例示にすぎず，本発明を何ら限定するものではない。したがって本発明は当然に，その要旨を逸脱しない範囲内で種々の改良，変形が可能である。例えば，画像読取装置としては，スキャナに限らず，複写機，複合機，ＦＡＸ機等，画像読取機能を備えるものであれば適用可能である。また，例えば，情報処理装置としては，ＰＣに限らず，サーバ，複合機，スマートフォン，タブレット等，画像を表示する機能を備えるものであれば適用可能である。 Note that this embodiment is merely an example, and does not limit the present invention. Therefore, the present invention can naturally be improved and modified in various ways without departing from the gist thereof. For example, the image reading apparatus is not limited to a scanner, but can be applied to any apparatus having an image reading function, such as a copying machine, a multifunction machine, and a FAX machine. In addition, for example, the information processing apparatus is not limited to a PC, but can be applied to any apparatus having a function of displaying an image, such as a server, a multifunction machine, a smartphone, and a tablet.
また，本形態では，短辺を主走査方向に傾き補正するとしたが，長辺を主走査方向としてもよいし，画像の縦横に応じていずれを主走査方向とするかを選択するとしてもよい。 In this embodiment, the inclination of the short side is corrected in the main scanning direction. However, the long side may be set as the main scanning direction, or may be selected as the main scanning direction according to the vertical and horizontal directions of the image. .
また，ＰＣ１にて取得する画像データは，スキャナ２を駆動して原稿を読み取らせた画像データに限らず，ＨＤＤ１４に記憶される画像データやネットワークインターフェース１８を介して接続される外部機器に記憶される画像データでもよい。その場合，エッジの抽出と傾き補正とが終了した画像データを取得できれば，Ｓ１０２とＳ１０３とをスキップする。つまり，Ｓ１０２とＳ１０３とは，スキャナ２や外部機器にて実行するとしてもよい。
The image data acquired by the
また，文字列方向の判断と特定マークの検索とは，いずれか一方のみとしてもよい。例えば，特定マークがあると判断した場合には，文字列方向の判断はしないとしてもよい。 Further, only one of the determination of the direction of the character string and the search for the specific mark may be performed. For example, when it is determined that there is a specific mark, the direction of the character string may not be determined.
また，スクロール表示はしなくてもよい。つまり，サムネイル表示処理にて，Ｓ１２０，Ｓ１２２，Ｓ１２３の各ステップはなくてもよい。 Further, the scroll display need not be performed. That is, each step of S120, S122, and S123 may be omitted in the thumbnail display process.
また，本形態は，スキャナ２と接続されたＰＣ１にてサムネイル表示を実行する例を説明したが，スキャナ２にてサムネイル表示を実行してもよい。つまり，図４のサムネイル表示処理をスキャナ２の制御部にて実行し，スキャナ２の備える表示部にサムネイル画像を表示するとしてもよい。その場合，Ｓ１０１では，スキャナ２にて原稿を読み取ることで，画像データを取得する。また，スキャナ２の表示部がタッチパネルであればスクロール表示も可能である。一方，スキャナ２の表示部がタッチパネルではなく，スクロール表示の指示を受け付けない場合には，Ｓ１２０，Ｓ１２２，Ｓ１２３を省略する。特に，表示部に設けられた表示パネルの大きさが小さいスキャナ２では，サムネイル画像の表示領域が小さいため，一部画像を抽出してサムネイル表示することによるサムネイル画像の視認性の向上の効果が高い。
Further, in this embodiment, an example in which thumbnail display is executed by the
また，実施の形態に開示されている処理は，単一のＣＰＵ，複数のＣＰＵ，ＡＳＩＣなどのハードウェア，またはそれらの組み合わせで実行されてもよい。また，実施の形態に開示されている処理は，その処理を実行するためのプログラムを記録した記録媒体，または方法等の種々の態様で実現することができる。 The processing disclosed in the embodiments may be executed by a single CPU, a plurality of CPUs, hardware such as an ASIC, or a combination thereof. Further, the processing disclosed in the embodiment can be realized in various modes such as a recording medium or a method recording a program for executing the processing.
１ ＰＣ
２ スキャナ
１１ ＣＰＵ
１６ 表示部
1 PC
2
16 Display section
Claims (13)
制御部と，
を備える情報処理装置において，
前記制御部は，
画像データを取得する取得処理と，
前記取得処理にて取得した画像データによって表される画像の，短辺の長さに対する長辺の長さの比である縦横比が，所定値より大きいか否かを判断する判断処理と，
前記画像全体を，所定の大きさに収まる縮小率で縮小したサムネイル画像を生成する第１生成処理と，
前記画像の一部を抽出する抽出処理と，
前記抽出処理にて抽出した前記画像の一部を，前記所定の大きさに収まる縮小率で縮小したサムネイル画像を生成する第２生成処理と，
前記判断処理にて前記画像の前記縦横比が前記所定値よりも大きいと判断された場合であって，前記画像に含まれる文字列が短辺方向に並ぶと判断された場合に，前記第２生成処理にて生成されたサムネイル画像を前記表示部に表示させ，前記判断処理にて前記画像の前記縦横比が前記所定値よりも大きくないと判断された場合，または，前記判断処理にて前記画像の前記縦横比が前記所定値よりも大きいと判断された場合であって，前記画像に含まれる文字列が短辺方向に並ばないと判断された場合に，前記第１生成処理にて生成されたサムネイル画像を前記表示部に表示させる表示処理と，
を実行することを特徴とする情報処理装置。 A display,
A control unit;
In an information processing apparatus comprising:
The controller is
Acquisition processing to acquire image data;
A determination process for determining whether an aspect ratio, which is a ratio of the length of the long side to the length of the short side, of the image represented by the image data acquired in the acquisition process is greater than a predetermined value;
A first generation process for generating a thumbnail image obtained by reducing the entire image at a reduction ratio that fits within a predetermined size;
An extraction process for extracting a part of the image;
A second generation process for generating a thumbnail image obtained by reducing a part of the image extracted by the extraction process at a reduction ratio that fits in the predetermined size;
When it is determined in the determination process that the aspect ratio of the image is greater than the predetermined value, and it is determined that the character strings included in the image are arranged in the short side direction, the second aspect When the thumbnail image generated in the generation process is displayed on the display unit and the aspect ratio of the image is determined not to be larger than the predetermined value in the determination process, or in the determination process When it is determined that the aspect ratio of the image is larger than the predetermined value, and it is determined that the character strings included in the image do not line up in the short side direction, the first generation process generates Display processing for displaying the thumbnail image on the display unit;
An information processing apparatus characterized by executing
前記制御部は，
前記画像の画像領域を複数のブロックに分割し，各ブロックについて，画素値が所定の画素閾値以上の画素の密度である画素密度を算出する算出処理を実行し，
前記抽出処理では，前記画像の画像領域のうち，画素密度が他のブロックより高いブロックを含む領域を，前記一部として抽出することを特徴とする情報処理装置。 The information processing apparatus according to claim 1,
The controller is
Dividing the image area of the image into a plurality of blocks, and for each block, executing a calculation process for calculating a pixel density that is a density of pixels having a pixel value equal to or greater than a predetermined pixel threshold;
In the extraction process, an information processing apparatus is characterized in that an area including a block having a higher pixel density than other blocks is extracted as the part of the image area of the image.
前記制御部は，
前記画像から特定の文字あるいは特定のマークを検出する検出処理を実行し，
前記抽出処理では，前記画像の画像領域のうち，前記特定の文字あるいは前記特定のマークを含む領域を，前記一部として抽出することを特徴とする情報処理装置。 The information processing apparatus according to claim 1,
The controller is
Performing a detection process for detecting a specific character or a specific mark from the image;
In the extraction processing, an information processing apparatus is characterized in that an area including the specific character or the specific mark is extracted as the part of the image area of the image.
前記制御部は，
前記抽出処理にて前記画像の一部を抽出する前に，前記画像の短辺が主走査方向に平行となるように傾きを補正することを特徴とする情報処理装置。 In the information processing apparatus according to any one of claims 1 to 3,
The controller is
An information processing apparatus that corrects an inclination so that a short side of the image is parallel to a main scanning direction before extracting a part of the image in the extraction process.
前記制御部は，
前記画像全体あるいは前記画像の上端から所定範囲の領域を，前記所定の大きさに収まる縮小率で縮小したサムネイル画像を生成する第３生成処理と，
前記第３生成処理にて生成されたサムネイル画像を，前記表示部に表示させるプレ表示処理と，
を実行し，さらに前記判断処理にて前記画像の前記縦横比が前記所定値よりも大きいと判断された場合，前記プレ表示処理と，前記抽出処理および前記第２生成処理とを同時に実行し，
前記第２生成処理が完了した後，前記プレ表示処理を終了し，前記表示処理を実行することを特徴とする情報処理装置。 In the information processing device according to any one of claims 1 to 4,
The controller is
A third generation process for generating a thumbnail image obtained by reducing the entire image or an area within a predetermined range from the upper end of the image at a reduction ratio that fits within the predetermined size;
A pre-display process for displaying the thumbnail image generated in the third generation process on the display unit;
And when the determination process determines that the aspect ratio of the image is greater than the predetermined value, the pre-display process, the extraction process, and the second generation process are performed simultaneously.
An information processing apparatus, wherein after the second generation process is completed, the pre-display process is terminated and the display process is executed.
前記制御部は，
前記判断処理にて前記画像の前記縦横比が前記所定値よりも大きいと判断された場合であって，前記画像から特定の文字あるいは特定のマークを検出する場合，あるいは前記画像のデータサイズが所定のデータ閾値よりも大きい場合に，前記第３生成処理および前記プレ表示処理を実行し，それ以外の場合に，前記第３生成処理および前記プレ表示処理を実行せず，前記表示処理を実行することを特徴とする情報処理装置。 The information processing apparatus according to claim 5,
The controller is
When it is determined in the determination process that the aspect ratio of the image is larger than the predetermined value, a specific character or a specific mark is detected from the image, or the data size of the image is predetermined The third generation process and the pre-display process are executed when the data threshold value is larger than the data threshold value, and the display process is executed without executing the third generation process and the pre-display process in other cases. An information processing apparatus characterized by that.
前記制御部は，
前記所定の大きさよりも画像サイズが大きく，前記画像全体を縮小した画像である全体縮小画像を生成するスクロール画像生成処理と，
前記スクロール画像生成処理にて生成された前記全体縮小画像のうち前記所定の大きさの領域を表示し，さらに所定方向への表示の切換指示に従って，前記全体縮小画像を，前記表示部に前記所定方向にスクロール表示させるスクロール表示処理と，
を実行し，
前記判断処理にて前記画像の前記縦横比が前記所定値よりも大きいと判断された場合，前記表示処理を実行した後，前記スクロール画像生成処理を実行し，前記スクロール画像生成処理が完了した後，前記表示処理を終了し，前記スクロール表示処理を実行することを特徴とする情報処理装置。 In the information processing apparatus according to any one of claims 1 to 6,
The controller is
A scroll image generation process for generating an overall reduced image that is an image having an image size larger than the predetermined size and reduced in size.
An area of the predetermined size is displayed in the entire reduced image generated by the scroll image generation process, and the entire reduced image is displayed on the display unit according to a display switching instruction in a predetermined direction. Scroll display processing that scrolls in the direction,
And
When it is determined in the determination process that the aspect ratio of the image is larger than the predetermined value, the display process is executed, the scroll image generation process is executed, and the scroll image generation process is completed. , Ending the display process and executing the scroll display process.
前記制御部は，
前記抽出処理では，複数のコンテンツが含まれる前記画像の画像データに，前記各コンテンツのレイアウトの情報であるレイアウト情報が含まれている場合，当該レイアウト情報に基づいて前記画像の一部を抽出することを特徴とする情報処理装置。 In the information processing apparatus according to any one of claims 1 to 7,
The controller is
In the extraction process, when the image data of the image including a plurality of contents includes layout information that is layout information of each content, a part of the image is extracted based on the layout information. An information processing apparatus characterized by that.
前記制御部は，
前記表示処理では，前記判断処理にて前記画像の前記縦横比が前記所定値よりも大きいと判断された場合であって，前記画像全体の画素密度の偏差が所定の偏差閾値よりも大きい場合には，前記第２生成処理にて生成されたサムネイル画像を，前記表示部に表示させ，前記画像全体の画素密度の偏差が前記所定の偏差閾値よりも大きくない場合には，前記第１生成処理にて生成されたサムネイル画像を，前記表示部に表示させることを特徴とする情報処理装置。 In the information processing apparatus according to any one of claims 1 to 8,
The controller is
In the display process, when it is determined in the determination process that the aspect ratio of the image is larger than the predetermined value, and a deviation in pixel density of the entire image is larger than a predetermined deviation threshold. Displays the thumbnail image generated in the second generation process on the display unit, and when the deviation of the pixel density of the entire image is not larger than the predetermined deviation threshold, the first generation process An information processing apparatus that displays the thumbnail image generated in step 1 on the display unit.
表示部と，
制御部と，
を備える画像読取装置において，
前記制御部は，
原稿の画像を前記読取部に読み取らせる読取処理と，
前記読取処理にて読み取らせた原稿の画像データによって表される画像の，短辺の長さに対する長辺の長さの比である縦横比が，所定値より大きいか否かを判断する判断処理と，
前記画像全体を，所定の大きさに収まる縮小率で縮小したサムネイル画像を生成する第１生成処理と，
前記画像の一部を抽出する抽出処理と，
前記抽出処理にて抽出した前記画像の一部を，前記所定の大きさに収まる縮小率で縮小したサムネイル画像を生成する第２生成処理と，
前記判断処理にて前記画像の前記縦横比が前記所定値よりも大きいと判断された場合であって，前記画像に含まれる文字列が短辺方向に並ぶと判断された場合に，前記第２生成処理にて生成されたサムネイル画像を前記表示部に表示させ，前記判断処理にて前記画像の前記縦横比が前記所定値よりも大きくないと判断された場合，または，前記判断処理にて前記画像の前記縦横比が前記所定値よりも大きいと判断された場合であって，前記画像に含まれる文字列が短辺方向に並ばないと判断された場合に，前記第１生成処理にて生成されたサムネイル画像を前記表示部に表示させる表示処理と，
を実行することを特徴とする画像読取装置。 A reading unit for reading an image of a document;
A display,
A control unit;
In an image reading apparatus comprising:
The controller is
A reading process for causing the reading unit to read an image of a document;
Determination processing for determining whether an aspect ratio, which is a ratio of the length of the long side to the length of the short side, of the image represented by the image data of the original read by the reading processing is greater than a predetermined value When,
A first generation process for generating a thumbnail image obtained by reducing the entire image at a reduction ratio that fits within a predetermined size;
An extraction process for extracting a part of the image;
A second generation process for generating a thumbnail image obtained by reducing a part of the image extracted by the extraction process at a reduction ratio that fits in the predetermined size;
When it is determined in the determination process that the aspect ratio of the image is greater than the predetermined value, and it is determined that the character strings included in the image are arranged in the short side direction, the second aspect When the thumbnail image generated in the generation process is displayed on the display unit and the aspect ratio of the image is determined not to be larger than the predetermined value in the determination process, or in the determination process When it is determined that the aspect ratio of the image is larger than the predetermined value, and it is determined that the character strings included in the image do not line up in the short side direction, the first generation process generates Display processing for displaying the thumbnail image on the display unit;
The image reading apparatus characterized by performing.
画像データを取得する取得ステップと，
前記取得ステップにて取得した画像データによって表される画像の，短辺の長さに対する長辺の長さの比である縦横比が，所定値より大きいか否かを判断する判断ステップと，
前記画像全体を，所定の大きさに収まる縮小率で縮小したサムネイル画像を生成する第１生成ステップと，
前記画像の一部を抽出する抽出ステップと，
前記抽出ステップにて抽出した前記画像の一部を，前記所定の大きさに収まる縮小率で縮小したサムネイル画像を生成する第２生成ステップと，
前記判断ステップにて前記画像の前記縦横比が前記所定値よりも大きいと判断された場合であって，前記画像に含まれる文字列が短辺方向に並ぶと判断された場合に，前記第２生成ステップにて生成されたサムネイル画像を前記表示装置に表示させ，前記判断ステップにて前記画像の前記縦横比が前記所定値よりも大きくないと判断された場合，または，前記判断ステップにて前記画像の前記縦横比が前記所定値よりも大きいと判断された場合であって，前記画像に含まれる文字列が短辺方向に並ばないと判断された場合に，前記第１生成ステップにて生成されたサムネイル画像を前記表示装置に表示させる表示ステップと，
を実行することを特徴とする画像表示方法。 An image display method for displaying thumbnail images on a display device,
An acquisition step for acquiring image data;
A determination step of determining whether an aspect ratio, which is a ratio of the length of the long side to the length of the short side, of the image represented by the image data acquired in the acquisition step is greater than a predetermined value;
A first generation step of generating a thumbnail image obtained by reducing the entire image at a reduction ratio that fits within a predetermined size;
An extraction step for extracting a part of the image;
A second generation step of generating a thumbnail image obtained by reducing a part of the image extracted in the extraction step at a reduction ratio that fits in the predetermined size;
If it is determined in the determining step that the aspect ratio of the image is greater than the predetermined value, and it is determined that the character strings included in the image are arranged in the short side direction, the second aspect The thumbnail image generated in the generation step is displayed on the display device, and when it is determined in the determination step that the aspect ratio of the image is not larger than the predetermined value, or in the determination step Generated in the first generation step when it is determined that the aspect ratio of the image is larger than the predetermined value, and it is determined that the character strings included in the image are not aligned in the short side direction A display step of causing the display device to display the thumbnail image that has been displayed;
The image display method characterized by performing.
制御部と，
を備える情報処理装置において，
前記制御部は，
画像データを取得する取得処理と，
前記取得処理にて取得した画像データによって表される画像の，短辺の長さに対する長辺の長さの比である縦横比が，所定値より大きいか否かを判断する判断処理と，
前記画像全体を，所定の大きさに収まる縮小率で縮小したサムネイル画像を生成する第１生成処理と，
前記画像の一部を抽出する抽出処理と，
前記抽出処理にて抽出した前記画像の一部を，前記所定の大きさに収まる縮小率で縮小したサムネイル画像を生成する第２生成処理と，
前記画像に含まれる文字列が長辺方向に並ぶか短辺方向に並ぶかを判断する文字列方向判断処理と，
前記判断処理にて前記画像の前記縦横比が前記所定値よりも大きいと判断された場合であって，前記文字列方向判断処理にて短辺方向に並ぶと判断された場合には，前記第２生成処理にて生成されたサムネイル画像を前記表示部に表示させ，前記判断処理にて前記画像の前記縦横比が前記所定値よりも大きくないと判断された場合，または，前記判断処理にて前記画像の前記縦横比が前記所定値よりも大きいと判断された場合であって，前記文字列方向判断処理にて長辺方向に並ぶと判断された場合には，前記第１生成処理にて生成されたサムネイル画像を前記表示部に表示させる表示処理と，
を実行することを特徴とする情報処理装置。 A display,
A control unit;
In an information processing apparatus comprising:
The controller is
Acquisition processing to acquire image data;
A determination process for determining whether an aspect ratio, which is a ratio of the length of the long side to the length of the short side, of the image represented by the image data acquired in the acquisition process is greater than a predetermined value;
A first generation process for generating a thumbnail image obtained by reducing the entire image at a reduction ratio that fits within a predetermined size;
An extraction process for extracting a part of the image;
A second generation process for generating a thumbnail image obtained by reducing a part of the image extracted by the extraction process at a reduction ratio that fits in the predetermined size;
A character string direction determination process for determining whether character strings included in the image are aligned in the long side direction or the short side direction;
If it is determined in the determination process that the aspect ratio of the image is larger than the predetermined value and the character string direction determination process determines that the images are arranged in the short side direction, 2 When the thumbnail image generated in the generation process is displayed on the display unit and the aspect ratio of the image is determined not to be larger than the predetermined value in the determination process, or in the determination process If it is determined that the aspect ratio of the image is greater than the predetermined value, and it is determined in the character string direction determination process that the images are arranged in the long side direction, the first generation process Display processing for displaying the generated thumbnail image on the display unit ;
An information processing apparatus characterized by executing
制御部と，
を備える情報処理装置において，
前記制御部は，
画像データを取得する取得処理と，
前記取得処理にて取得した画像データによって表される画像の，短辺の長さに対する長辺の長さの比である縦横比が，所定値より大きいか否かを判断する判断処理と，
前記画像全体を，所定の大きさに収まる縮小率で縮小したサムネイル画像を生成する第１生成処理と，
前記画像の一部を抽出する抽出処理と，
前記抽出処理にて抽出した前記画像の一部を，前記所定の大きさに収まる縮小率で縮小したサムネイル画像を生成する第２生成処理と，
前記判断処理にて前記画像の前記縦横比が前記所定値よりも大きいと判断された場合であって，前記画像全体の画素密度の偏差が所定の偏差閾値よりも大きい場合には，前記第２生成処理にて生成されたサムネイル画像を前記表示部に表示させ，前記判断処理にて前記画像の前記縦横比が前記所定値よりも大きくないと判断された場合，または，前記判断処理にて前記画像の前記縦横比が前記所定値よりも大きいと判断された場合であって，前記画像全体の画素密度の偏差が前記所定の偏差閾値よりも大きくない場合には，前記第１生成処理にて生成されたサムネイル画像を前記表示部に表示させる表示処理と，
を実行することを特徴とする情報処理装置。 A display,
A control unit;
In an information processing apparatus comprising:
The controller is
Acquisition processing to acquire image data;
A determination process for determining whether an aspect ratio, which is a ratio of the length of the long side to the length of the short side, of the image represented by the image data acquired in the acquisition process is greater than a predetermined value;
A first generation process for generating a thumbnail image obtained by reducing the entire image at a reduction ratio that fits within a predetermined size;
An extraction process for extracting a part of the image;
A second generation process for generating a thumbnail image obtained by reducing a part of the image extracted by the extraction process at a reduction ratio that fits in the predetermined size;
When it is determined in the determination process that the aspect ratio of the image is larger than the predetermined value, and the deviation of the pixel density of the entire image is larger than a predetermined deviation threshold, the second When the thumbnail image generated in the generation process is displayed on the display unit and the aspect ratio of the image is determined not to be larger than the predetermined value in the determination process, or in the determination process When it is determined that the aspect ratio of the image is larger than the predetermined value, and the deviation of the pixel density of the entire image is not larger than the predetermined deviation threshold, the first generation process Display processing for displaying the generated thumbnail image on the display unit ;
An information processing apparatus characterized by executing
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015046988A JP6589302B2 (en) | 2015-03-10 | 2015-03-10 | Information processing apparatus, image reading apparatus, and image display method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015046988A JP6589302B2 (en) | 2015-03-10 | 2015-03-10 | Information processing apparatus, image reading apparatus, and image display method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016167192A JP2016167192A (en) | 2016-09-15 |
| JP6589302B2 true JP6589302B2 (en) | 2019-10-16 |
Family
ID=56897673
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015046988A Active JP6589302B2 (en) | 2015-03-10 | 2015-03-10 | Information processing apparatus, image reading apparatus, and image display method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6589302B2 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7081179B2 (en) * | 2018-01-31 | 2022-06-07 | セイコーエプソン株式会社 | Image processing equipment and image processing program |
| JP7032692B2 (en) * | 2018-01-31 | 2022-03-09 | セイコーエプソン株式会社 | Image processing equipment and image processing program |
| CN115033154A (en) * | 2021-02-23 | 2022-09-09 | 北京小米移动软件有限公司 | Thumbnail generation method, thumbnail generation device and storage medium |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000152168A (en) * | 1998-11-13 | 2000-05-30 | Olympus Optical Co Ltd | Image reproducing device |
| JP2001186334A (en) * | 1999-12-27 | 2001-07-06 | Canon Inc | Device, system and method for picture processing, and storage medium |
| JP2004240750A (en) * | 2003-02-06 | 2004-08-26 | Canon Inc | Picture retrieval device |
| JP2005196563A (en) * | 2004-01-08 | 2005-07-21 | Ricoh Co Ltd | Inclination correcting device, inclination correcting method, program, and recording medium |
| JP5000781B1 (en) * | 2011-11-09 | 2012-08-15 | 楽天株式会社 | Image processing apparatus, image processing apparatus control method, program, and information storage medium |
-
2015
- 2015-03-10 JP JP2015046988A patent/JP6589302B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2016167192A (en) | 2016-09-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9013721B2 (en) | Image forming apparatus, non-transitory computer-readable recording medium for storing image forming program, and image forming method | |
| KR101763175B1 (en) | Mobile apparatus and method for controling print | |
| JP5789719B2 (en) | Method and apparatus for determining the display mode of an electronic document | |
| US11341733B2 (en) | Method and system for training and using a neural network for image-processing | |
| US10853010B2 (en) | Image processing apparatus, image processing method, and storage medium | |
| US9614984B2 (en) | Electronic document generation system and recording medium | |
| US8970860B2 (en) | Image processing device that displays process sequence, display device and non-transitory computer readable recording medium | |
| JP6589302B2 (en) | Information processing apparatus, image reading apparatus, and image display method | |
| US20120120099A1 (en) | Image processing apparatus, image processing method, and storage medium storing a program thereof | |
| JP5871606B2 (en) | Image forming apparatus, image display method, and program | |
| US11240399B2 (en) | Image processing apparatus | |
| EP3438930B1 (en) | Image processing apparatus | |
| US10789022B2 (en) | Image processing apparatus in which a process repeatedly arranges a target image on a sheet | |
| US11233911B2 (en) | Image processing apparatus and non-transitory computer readable medium for image processing | |
| JP2012039236A (en) | Image processing apparatus, image processing method and image processing program | |
| JP6658136B2 (en) | Drawing processing apparatus, image processing apparatus, drawing processing method, and drawing processing program | |
| US9692936B2 (en) | Image processing apparatus and image processing method for clipping, from a second image, an area at a position corresponding to designated position in a first image | |
| JP6617448B2 (en) | Mobile terminal and program | |
| JP6973524B2 (en) | program | |
| JP5650683B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| JP4735212B2 (en) | Image processing device | |
| JP6665575B2 (en) | program | |
| US20170279986A1 (en) | Electronic apparatus | |
| US20160366302A1 (en) | Image forming system that restrains increase of print data amount, image forming apparatus, and recording medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170907 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180530 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180605 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20180731 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181002 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190212 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190314 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190820 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190902 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6589302 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |