WO2015087383A1 - オーバーヘッド型画像読取装置、画像処理方法、および、プログラム - Google Patents

オーバーヘッド型画像読取装置、画像処理方法、および、プログラム Download PDF

Info

Publication number
WO2015087383A1
WO2015087383A1 PCT/JP2013/082994 JP2013082994W WO2015087383A1 WO 2015087383 A1 WO2015087383 A1 WO 2015087383A1 JP 2013082994 W JP2013082994 W JP 2013082994W WO 2015087383 A1 WO2015087383 A1 WO 2015087383A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
page
unit
reflection
detection
Prior art date
Application number
PCT/JP2013/082994
Other languages
English (en)
French (fr)
Inventor
暁 岩山
Original Assignee
株式会社Pfu
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Pfu filed Critical 株式会社Pfu
Priority to PCT/JP2013/082994 priority Critical patent/WO2015087383A1/ja
Priority to JP2015552220A priority patent/JP6120989B2/ja
Publication of WO2015087383A1 publication Critical patent/WO2015087383A1/ja
Priority to US15/098,161 priority patent/US10049264B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00352—Input means
    • H04N1/00381—Input by recognition or interpretation of visible user gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00795—Reading arrangements
    • H04N1/00827—Arrangements for reading an image from an unusual original, e.g. 3-dimensional objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/04—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa
    • H04N1/10—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using flat picture-bearing surfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/04—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa
    • H04N1/10—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using flat picture-bearing surfaces
    • H04N1/107—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using flat picture-bearing surfaces with manual scanning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/04—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa
    • H04N1/10—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using flat picture-bearing surfaces
    • H04N1/107—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using flat picture-bearing surfaces with manual scanning
    • H04N1/1078—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using flat picture-bearing surfaces with manual scanning by moving the scanned medium
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/04—Scanning arrangements
    • H04N2201/0402—Arrangements not specific to a particular one of the scanning methods covered by groups H04N1/04 - H04N1/207
    • H04N2201/0434—Arrangements not specific to a particular one of the scanning methods covered by groups H04N1/04 - H04N1/207 specially adapted for scanning pages of a book
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection

Definitions

  • the present invention relates to an overhead image reading apparatus, an image processing method, and a program.
  • an overhead scanner device that includes an area sensor and a linear sensor, the linear sensor extracts a velocity vector, and performs a reading start determination of the linear sensor (see Patent Document 1).
  • Patent Document 1 Patent Document 1
  • Patent Document 2 Patent Document 1
  • the present invention has been made in view of the above-described problems, and when a binding medium is continuously read, by determining which frame of the read image is effective, the binding medium is digitized only by flipping.
  • An object is to provide an overhead image reading apparatus, an image processing method, and a program.
  • the overhead image reading apparatus continuously reads the binding medium to be turned over by the image reading unit and obtains an image on the same page. From the corresponding images, detection determination means for determining whether there is the image without reflection of a foreign object, and when the detection determination means determines that there is an image without reflection of the foreign object, When the detection determination unit determines that there is no image without the reflection of the foreign object, the output image is combined with each image corresponding to the same page. Output image acquisition means for acquiring.
  • the image processing method is the same page as the image acquisition step that is executed by the overhead image reading apparatus and causes the image reading unit to continuously read the binding medium to be turned and to acquire the image. From each of the images corresponding to the detection determination step of determining whether there is the image without reflection of foreign matter, and when it is determined in the detection determination step that there is an image without reflection of the foreign matter, An image without reflection of the foreign matter is acquired as an output image, and when it is determined in the detection determination step that there is no image without reflection of the foreign matter, the images corresponding to the same page are combined and An output image acquisition step of acquiring an output image.
  • the program according to the present invention is the same page as the image acquisition step of causing the image reading unit to continuously read the bound medium to be executed by the overhead image reading apparatus and acquiring the image. From each of the corresponding images, a detection determination step for determining whether or not there is an image without foreign object reflection, and when it is determined at the detection determination step that there is an image without reflection of the foreign object, An image without foreign object reflection is acquired as an output image, and when it is determined in the detection determination step that there is no image without foreign object reflection, the images corresponding to the same page are combined and output An output image acquisition step of acquiring an image.
  • FIG. 1 is a diagram showing an outline of the present embodiment.
  • FIG. 2 is a hardware configuration diagram illustrating an example of a schematic configuration of the overhead image reading apparatus.
  • FIG. 3 is a hardware configuration diagram illustrating an example of the configuration of the overhead image reading apparatus.
  • FIG. 4 is a hardware configuration diagram illustrating an example of the configuration of the overhead image reading apparatus.
  • FIG. 5 is a flowchart showing an example of basic processing in the overhead image reading apparatus of the present embodiment.
  • FIG. 6 is a diagram illustrating an example of image processing in the present embodiment.
  • FIG. 7 is a diagram illustrating an example of image processing in the present embodiment.
  • FIG. 8 is a diagram illustrating an example of image processing in the present embodiment.
  • FIG. 1 is a diagram showing an outline of the present embodiment.
  • FIG. 2 is a hardware configuration diagram illustrating an example of a schematic configuration of the overhead image reading apparatus.
  • FIG. 3 is a hardware configuration diagram illustrating an example of the configuration of the overhead image reading apparatus.
  • FIG. 9A is a flowchart illustrating an example of specific processing in the overhead image reading apparatus of the present embodiment.
  • FIG. 9B is a flowchart illustrating an example of specific processing in the overhead image reading apparatus of the present embodiment.
  • FIG. 9C is a flowchart illustrating an example of specific processing in the overhead image reading apparatus of the present embodiment.
  • FIG. 10A is a diagram illustrating an example of a hand detection process in the present embodiment.
  • FIG. 10B is a diagram illustrating an example of a hand detection process in the present embodiment.
  • FIG. 10C is a diagram illustrating an example of a hand detection process in the present embodiment.
  • FIG. 10D is a diagram illustrating an example of a hand detection process in the present embodiment.
  • FIG. 10A is a diagram illustrating an example of a hand detection process in the present embodiment.
  • FIG. 10B is a diagram illustrating an example of a hand detection process in the present embodiment.
  • FIG. 10C is a diagram illustrating an example of
  • FIG. 10E is a diagram illustrating an example of a hand detection process in the present embodiment.
  • FIG. 11A is a diagram illustrating an example of a page motion recognition process in the present embodiment.
  • FIG. 11B is a diagram illustrating an example of a page motion recognition process in the present embodiment.
  • FIG. 11C is a diagram illustrating an example of a page motion recognition process in the present embodiment.
  • FIG. 11D is a diagram illustrating an example of a page motion recognition process in the present embodiment.
  • FIG. 11E is a diagram illustrating an example of a page motion recognition process in the present embodiment.
  • FIG. 12 is a diagram showing an example of a list in the present embodiment.
  • FIG. 13 is a diagram illustrating an example of a list in the present embodiment.
  • FIG. 14 is a flowchart illustrating an example of an extracted frame determination process in the present embodiment.
  • FIG. 15 is a flowchart illustrating an example of an image search process in which hand regions do not overlap in the present embodiment.
  • the binding medium to be read may be described as a book or the like.
  • the present invention is not limited to this, and a medium or the like bound with staples may be the reading target.
  • FIG. 1 is a diagram showing an outline of the present embodiment.
  • the present embodiment schematically has the following basic features.
  • the overhead image reading apparatus continuously reads the binding medium turned by the user by the image reading unit, and acquires an image.
  • the overhead image reading apparatus performs page turning detection by motion detection (turning operation detection), and detects foreign matter (hands, spins, bookmarks, etc.) included in the image. It is determined from each image corresponding to the page whether or not there is an image without reflection of fingers (step S-1).
  • the overhead image reading apparatus acquires, as an output image, an image without foreign object reflection such as page 1, page 2, and page 4. If it is determined that there is no image that does not contain foreign matter, such as page 3, foreign matter removal is performed by cropping the image, and an output image is obtained by combining the images corresponding to the same page (step S- 2) The process is terminated.
  • FIG. 2 is a hardware configuration diagram illustrating an example of a schematic configuration of the overhead image reading apparatus 100.
  • FIG. 3 is a hardware configuration diagram illustrating an example of the configuration of the overhead image reading apparatus 100.
  • FIG. 4 is a hardware configuration diagram illustrating an example of the configuration of the overhead image reading apparatus 100.
  • the overhead image reading apparatus 100 is generally configured to include an image reading unit 110 such as a camera and a control device (PC).
  • the control device (PC) includes at least a control unit (CPU) 102, and in the present embodiment, further includes a storage unit 106 including a memory and an input / output interface unit (I / O) 108. Further, these units are communicably connected via an arbitrary communication path.
  • the overhead image reading apparatus 100 includes an image reading unit 110 such as a camera and a control device (PC).
  • the control device (PC) performs an image acquisition unit 102a, a foreign matter detection unit 102b that performs hand detection, an operation detection unit 102c that performs turning detection, a detection determination unit 102e that performs scene detection, an image composition, and the like.
  • An output image acquisition unit 102f and a storage unit 106 are provided at least. Further, these units are communicably connected via an arbitrary communication path.
  • the overhead image reading apparatus 100 includes at least an image reading unit 110, a control unit 102, a disk 106-2, and an input / output unit (I / O unit) 112.
  • the control unit 102 includes a foreign matter detection unit 102b that performs hand detection, an operation detection unit 102c that performs page turning motion recognition and page turning detection, a detection determination unit 102e that performs extraction determination, and an output that performs image composition and the like.
  • the image acquisition unit 102f, the image output unit 102g, the storage unit 102h, the list management unit 106a, and the primary storage unit 106-1 are configured. Further, these units are communicably connected via an arbitrary communication path.
  • the overhead image reading apparatus 100 may further include a binding medium loading table.
  • the image reading unit 110 may be arranged on the top of the loading table and may image the loading table.
  • the control unit 102 may control the image reading unit 110.
  • the storage unit 106 (the primary storage unit 106-1, the disk 106-2, etc.) stores various databases, tables, and / or files (list management unit 106a) and the like.
  • the storage unit 106 is a storage unit, and for example, a memory such as a RAM / ROM, a fixed disk device such as a hard disk, a flexible disk, and / or an optical disk can be used.
  • the storage unit 106 stores computer programs and the like for giving instructions to a CPU (Central Processing Unit) and performing various processes.
  • FIG. 2 is a block diagram illustrating an example of a logical configuration of the storage unit 106 of the overhead image reading apparatus 100.
  • the list management unit 106a stores a list in which image numbers, information about reflection of foreign objects, and information about page turning operations are associated with each other.
  • the number of the image may be an order read by the image reading unit 110 or the like.
  • the foreign object may be a user's hand (finger), a spin (bookmark string), a pen, a ruler, and / or an arm of an automatic page turner, or an image corresponding to a shadow or another page ( Part) and / or image noise.
  • the information related to the reflection of the foreign matter may include information related to the number of foreign matters, the coordinates of the foreign matter, the size of the foreign matter, and / or the shape of the foreign matter.
  • the information related to the page turning operation may include information related to the presence / absence of turning and / or the presence / absence of page movement.
  • the input / output interface unit 108 connects the image reading unit 110 to the control unit 102.
  • the image reading unit 110 scans a document such as a binding medium installed upward from above to read an image of the document.
  • the image reading unit 110 may read an image of a document by scanning the document placed upward from above using a linear sensor.
  • the image reading unit 110 may include a controller, a motor, a linear sensor (line sensor), and an A / D converter.
  • the controller controls the motor, the linear sensor, and the A / D converter in response to a command from the control unit 102 via the input / output interface unit 108.
  • the linear sensor photoelectrically converts light reaching from the line in the main scanning direction of the document into an analog charge amount for each pixel on the line.
  • the A / D converter converts the analog charge amount output from the linear sensor into a digital signal and outputs a one-dimensional image (line image).
  • a one-dimensional image is output from the A / D converter for each line, and the control unit 102 generates a two-dimensional image by combining them.
  • a one-dimensional image of a line in the main scanning direction may be read by a linear sensor. Then, when the linear sensor is rotated in a predetermined rotation direction by driving the motor, the reading line of the linear sensor is accordingly moved in a predetermined sub-scanning direction (for example, a direction from the back side to the near side in the depth direction). Moving. As a result, the image of the two-dimensional document is read by the image reading unit 110.
  • the image reading unit 110 may read an image of a document by scanning an upwardly placed document from above using an area sensor.
  • the image reading unit 110 may include a controller, an area sensor, and an A / D converter.
  • the controller controls the area sensor and the A / D converter in response to a command from the control unit 102 via the input / output interface unit 108.
  • the area sensor photoelectrically converts light reaching from the original plane (two-dimensional plane in the main scanning direction and the sub-scanning direction) into an analog charge amount for each pixel.
  • the A / D converter converts the analog charge amount output from the area sensor into a digital signal, and outputs a two-dimensional image. As a result, a two-dimensional image is output from the A / D converter.
  • the image reading unit 110 may be a camera or the like.
  • the input / output unit 112 performs data input / output (I / O).
  • the input / output unit 112 may be, for example, a key input unit, a touch panel, a control pad (for example, a touch pad and a game pad), a mouse, a keyboard, and a microphone.
  • the input / output unit 112 may be a display unit that displays a display screen of an application or the like (for example, a display, a monitor, a touch panel, or the like including a liquid crystal or an organic EL).
  • the input / output unit 112 may be an audio output unit (for example, a speaker) that outputs audio information as audio.
  • the control unit 102 includes a CPU that controls the overhead image reading apparatus 100 in an integrated manner.
  • the control unit 102 has an internal memory (for example, the primary storage unit 106-1) for storing a control program, a program that defines various processing procedures, and necessary data, and performs various processes based on these programs.
  • control unit 102 is roughly divided into an image acquisition unit 102a, a foreign object detection unit 102b, an operation detection unit 102c, a list storage unit 102d, a detection determination unit 102e, an output image acquisition unit 102f, and an image output.
  • Unit 102g and storage unit 102h are roughly divided into an image acquisition unit 102a, a foreign object detection unit 102b, an operation detection unit 102c, a list storage unit 102d, a detection determination unit 102e, an output image acquisition unit 102f, and an image output.
  • Unit 102g and storage unit 102h storage unit 102h.
  • the image acquisition unit 102a causes the image reading unit 110 to continuously read the binding medium to be turned and acquires an image.
  • the image acquisition unit 102a may store the image read by the image reading unit 110 in the storage unit 106 (primary storage unit 106-1). That is, the image acquisition unit 102a may control the image reading unit 110 to acquire a plurality of images continuously.
  • the image acquisition unit 102a controls the controller of the image reading unit 110 to rotate the motor, and synthesizes a one-dimensional image for each line photoelectrically converted by a linear sensor and analog-digital converted by an A / D converter. Accordingly, the process of acquiring a two-dimensional image and storing it in the storage unit 106 (primary storage unit 106-1) may be repeated.
  • the image acquisition unit 102a controls the controller of the image reading unit 110 to acquire an image photoelectrically converted by the area sensor and analog-digital converted by the A / D converter, and the storage unit 106 (primary storage unit 106).
  • the process of storing in -1) may be repeated. That is, the image acquisition unit 102a may have a function of acquiring a continuous image (moving image) by performing motion shooting with an area sensor. Further, the image acquisition unit 102a may perform projective transformation (for example, projective transformation as if taken from the front direction) on the image read by the image reading unit 110.
  • the foreign object detection unit 102b detects the reflection of foreign objects in each image acquired by the image acquisition unit 102a. That is, the foreign object detection unit 102b may detect reflection of a hand in each image acquired by the image acquisition unit 102a.
  • the motion detection unit 102c detects a page turning operation of the binding medium from the image acquired by the image acquisition unit 102a, and specifies a page corresponding to each image. That is, the motion detection unit 102c may recognize the page motion from the image acquired by the image acquisition unit 102a and detect the page turning. Here, the motion detection unit 102c detects the page turning operation of the binding medium when the moving direction of the foreign matter matches a preset page turning direction in the image acquired by the image acquisition unit 102a. Then, a page corresponding to each image may be specified. In addition, when the motion vector of the foreign object matches the motion vector of the page in the image acquired by the image acquisition unit 102a, the motion detection unit 102c detects the page turning motion of the binding medium, and The corresponding page may be specified.
  • the list storage unit 102d stores the list in the list management unit 106a.
  • the list storage unit 102d stores the list in the list management unit 106a when the operation detection unit 102c detects completion of each turning operation. That is, the list storage unit 102d may manage the list.
  • the detection determination unit 102e determines whether there is an image without a foreign object reflection from each image corresponding to the same page. That is, the detection determination unit 102e may determine whether or not an image without a foreign object is extracted from each image corresponding to the same page. Here, the detection determination unit 102e determines whether or not there is an image in which no foreign object reflection is detected by the foreign object detection unit 102b, from each image corresponding to the same page specified by the motion detection unit 102c. Also good. In addition, the detection determination unit 102e may determine whether there is an image without foreign object reflection from each image corresponding to the same page, based on the list stored in the list management unit 106a. Further, the detection determination unit 102e may determine whether or not only (a plurality of) images with foreign object reflections are extracted from the images corresponding to the same page.
  • the output image acquisition unit 102f acquires an image without foreign object reflection as an output image, and the detection determination unit 102e displays the foreign object reflection.
  • an output image is acquired by combining the images corresponding to the same page.
  • the output image acquisition unit 102f acquires the output image by cutting out and synthesizing each image corresponding to the same page when the detection determination unit 102e determines that there is no image without the reflection of a foreign object. May be.
  • the output image acquisition unit 102f may acquire an image without foreign object reflection as an output image based on the list stored in the list management unit 106a.
  • the image output unit 102g outputs an output image via the input / output unit 112.
  • the image output unit 102g may display the output image on the input / output unit 112.
  • the image output unit 102g may display the image read by the image reading unit 110 on the input / output unit 112.
  • the storage unit 102h stores the output image in the storage unit 106.
  • the storage unit 102 h may store the image read by the image reading unit 110 in the storage unit 106.
  • the storage unit 102h may store the image acquired by the image acquisition unit 102a in the storage unit 106.
  • FIG. 5 is a flowchart showing an example of basic processing in the overhead image reading apparatus 100 of the present embodiment.
  • the image acquisition unit 102a causes the image reading unit 110 to continuously read the binding medium turned by the user, acquires the image, and stores the image in the primary storage unit 106-1.
  • Step SA-1 the image reading unit 110 may continuously perform image reading by non-contact type image input (one or more). Further, the image reading by the image reading unit 110 may not be at regular intervals.
  • the storage unit 102h stores the image read by the image reading unit 110 in the storage unit 106 (step SA-2).
  • the foreign object detection unit 102b detects the reflection of the user's hand in each image acquired by the image acquisition unit 102a, and stores the reflection result of the hand in the primary storage unit 106-1 (step SA- 3). As described above, the foreign object detection unit 102b may detect the hand from the input image.
  • the motion detection unit 102c recognizes the page operation of the binding medium from the image acquired by the image acquisition unit 102a, and detects the page turning operation of the binding medium (step SA-4).
  • the movement detection unit 102c moves the user's hand in the moving direction of the image acquired by the image acquisition unit 102a based on the image stored in the primary storage unit 106-1 and the reflection result of the hand.
  • the page turning direction set in advance may recognize the page operation of the binding medium and detect the page turning operation of the binding medium. That is, the motion detection unit 102c may determine the page turning by moving the hand by setting a turning direction in advance.
  • the motion detection unit 102c may divide the binding medium into left and right and determine that the page is turned when the direction of the hand when the hand moves from one side to the other and the turning direction match.
  • the motion detection unit 102c may perform matching processing later and delete it when it is determined that they are the same.
  • the motion detection unit 102c detects the motion vector of the user's hand in the image acquired by the image acquisition unit 102a based on the image stored in the primary storage unit 106-1 and the reflection detection result of the hand. If the page motion vectors match, the page movement of the binding medium may be recognized and the page turning action of the binding medium may be detected. As described above, the motion detection unit 102c may detect not only the hand movement but also other movements linked to the hand movement. That is, the motion detection unit 102c may determine the page turning based on the movement of the hand and the page. For example, the motion detection unit 102c may determine that there is a turning motion when the hand motion vector matches the page motion vector.
  • the motion detection unit 102c may determine that there is a turning motion when the direction of the motion vector continuously occurs.
  • the hand motion vector may be generated from a vector of the current hand coordinates and the previous hand coordinates. Further, the motion detection unit 102c may perform page number determination for all images stored in the storage unit 106 to determine page turning.
  • the operation detection unit 102c determines whether or not the completion of the page turning operation of the binding medium is detected (step SA-5), and specifies the page corresponding to each image. As described above, the motion detection unit 102c may determine page turning.
  • the list storage unit 102d stores, in the list management unit 106a, a list in which the image number acquired by the image acquisition unit 102a, the information about the reflection of the user's hand, and the information about the page turning operation are associated with each other. Store (step SA-6).
  • step SA-5 when it is determined that the completion of the page turning operation of the binding medium has not been detected (step SA-5: No), the operation detection unit 102c shifts the processing to step SA-11.
  • the detection determination unit 102e has no reflection of the user's hand from each image corresponding to the same page. It is determined whether an image has been extracted (step SA-7).
  • the number of the image may be an order read by the image reading unit 110 or the like.
  • the information regarding the reflection of the user's hand may include information regarding the number of the user's hands, the coordinates of the user's hand, the size of the user's hand, and / or the shape of the user's hand.
  • the information related to the page turning operation may include information related to the presence / absence of turning and / or the presence / absence of page movement.
  • the detection determination unit 102e may determine whether or not there is an image without reflection of the user's hand from each image corresponding to the same page. In addition, the detection determination unit 102e determines whether there is an image in which the reflection of the user's hand is not detected by the foreign object detection unit 102b from each image corresponding to the same page specified by the motion detection unit 102c. May be. Further, the detection determination unit 102e may determine whether there is an image without reflection of the user's hand from each image corresponding to the same page, based on the list stored in the list management unit 106a. .
  • Step SA-8 the control unit 102 determines whether or not a plurality of images optimal for the page are extracted from the images corresponding to the same page by the detection determination unit 102e.
  • the output image acquisition unit 102f is extracted when it is determined by the control unit 102 that a plurality of images optimal for the page are extracted from the images corresponding to the same page (step SA-8: Yes).
  • An output image is obtained by cutting out and synthesizing a plurality of images (step SA-9).
  • the output image acquisition unit 102f combines and outputs the plurality of extracted images when the control unit 102 determines that a plurality of images optimal for the page are extracted from the images corresponding to the same page.
  • An image may be acquired.
  • the output image acquisition unit 102f may form a page by combining portions having no hand in an image in which the page is not turned.
  • the output image acquisition unit 102f extracts, when the control unit 102 determines that a plurality of images optimal for the page are not extracted from the images corresponding to the same page (step SA-8: No).
  • the image output unit 102g acquires the output image acquired by the output image acquisition unit 102f via the input / output unit 112. (Step SA-10).
  • the binding medium may be digitized by combining pages acquired (formed) by the output image acquisition unit 102f.
  • FIG. 6 is a diagram illustrating an example of image processing in the present embodiment.
  • the output image acquisition unit 102 f corresponds to each page in which the reflection of the user's hand is not detected.
  • An image may be acquired as an output image (for example, the right page (second page) in step SB-1, the left page (first page) in step SB-2, the right page (fourth page) in step SB-4 ) And the left page of step SB-5 (third page)).
  • the foreign object detection unit 102b may detect reflection of the user's hand in each image acquired by the image acquisition unit 102a (for example, step SB-2 to step SB-). 5). Then, the motion detection unit 102c may determine the page turning direction based on the image acquired by the image acquisition unit 102a and the reflection detection result of the hand detected by the foreign object detection unit 102b (for example, Step SB-2 to Step SB-4).
  • FIG. 7 and 8 are diagrams illustrating an example of image processing in the present embodiment.
  • the output image acquisition unit 102 f corresponds to each page in which the reflection of the user's hand is not detected.
  • An image may be acquired as an output image (for example, the right page (fourth page) of step SC-4).
  • the output image acquisition unit 102f when the detection determination unit 102e determines from the images corresponding to the same page that there is no image without a foreign object (for example, the first page to the third page).
  • An output image may be acquired by combining images corresponding to the same page.
  • the output image acquisition unit 102f displays each image corresponding to the first page (for example, step SC-2).
  • the left page of (and the left page of step SC-3) may be obtained by dividing the left and right portions where the reflection of the hand is detected and cutting out and combining them.
  • control unit 102 determines whether or not the binding medium has been read by the image reading unit 110 (step SA-11).
  • step SA-11 If the image reading unit 110 determines that the binding medium has not been read (step SA-11: No), the control unit 102 shifts the processing to step SA-1.
  • step SA-11: Yes when it is determined by the image reading unit 110 that the binding medium has been read (step SA-11: Yes), the control unit 102 ends the processing.
  • digitization can be performed by a natural motion of a person who flips. Further, in the present embodiment, it is possible to provide an image with no missing content by combining images of portions without hands.
  • a page turning operation is detected based on the movement of a hand and a book from images continuously read by an area sensor, and an optimum frame for reading is selected. . Thereafter, in the overhead image reading apparatus 100 according to the present embodiment, the selected frame is subjected to image analysis, and when a foreign object such as a hand does not appear, the frame is output.
  • the overhead type image reading apparatus 100 when a foreign object such as a hand is reflected, a frame in which the foreign object of the previously selected image is not reflected is searched from the preceding and following images. By synthesizing the frame, an image that does not include foreign objects such as hands is generated and output. In the overhead image reading apparatus 100 according to the present embodiment, by repeating this control, it is possible to perform digitization simply by flipping.
  • FIG. 9 is a flowchart showing an example of specific processing in the overhead image reading apparatus 100 of the present embodiment.
  • control unit 102 recognizes the size and position of a book placed upward on the loading platform (step SD-1).
  • the image acquisition unit 102a causes the image reading unit 110 to continuously read books turned by the user and acquires images (step SD-2).
  • the image acquisition unit 102a acquires an image (divided image) divided as a two-page spread (step SD-3).
  • the storage unit 102h stores (stores) the image (divided image) acquired by the image acquisition unit 102a in the storage unit 106 (step SD-4).
  • the foreign object detection unit 102b detects the reflection of the user's hand in the image stored in the storage unit 106, and calculates the center of gravity of the hand (step SD-5).
  • FIG. 10 is a figure which shows an example of the hand detection process in this embodiment.
  • the image acquisition unit 102a acquires an RGB image in which the hand is reflected (step SE-1).
  • the foreign object detection unit 102b converts the pixels constituting the RGB image acquired by the image acquisition unit 102a from RGB values to HSV values (projects to the HSV space) (step SE-2). .
  • the foreign object detection unit 102b obtains a binary image by performing binarization processing with the skin color hue value (0 ⁇ H ⁇ 30) using the converted HSV value ( Step SE-3). In this way, the foreign object detection unit 102b may perform hand detection based on hue.
  • the list storage unit 102d may store the binarized hand image (binary image) in the list management unit 106a together with the list.
  • the foreign object detection unit 102b detects the reflection of the user's hand by extracting the contour of the hand based on the acquired binary image (step SE-4), and performs processing Exit.
  • the motion detection unit 102c detects the hand from the previous image (one time before) of the image (current image) in which reflection of the hand is detected by the foreign object detection unit 102b in step SD-5. Is calculated (step SD-6).
  • the motion detection unit 102c calculates the motion of the image from the previous one (step SD-7).
  • the motion detection unit 102c detects a page turning operation of a book from the calculated hand movement and image movement (step SD-8).
  • FIG. 11 is a diagram illustrating an example of a page motion recognition process in the present embodiment.
  • the foreign matter detection unit 102b performs preprocessing to acquire book images (frames) continuously read by the image reading unit 110 (step SF-1).
  • the foreign object detection unit 102b performs feature point extraction on the acquired image (frame) using a Harris corner detector (step SF-2).
  • the foreign object detection unit 102b calculates the structure tensor M based on the following Equation 1, where the pixel of the image I is (x, y), the structure tensor is M, the feature point discriminant is R, and the slice is T. May be.
  • k is preferably 0.04 to 0.15.
  • the foreign object detection unit 102b performs feature point movement tracking between frames using the Lucas-Kanade method for the extracted feature points (step SF-3).
  • the foreign object detection unit 102b extracts a movement vector only in the horizontal direction using the motion vector filter for the feature point movement between the frames (step SF-4).
  • the pixel is (x, y)
  • the time is t
  • the angle of the movement vector is ⁇
  • T L and T U are slices (vector scalars).
  • the current coordinates are (X t , Y t )
  • the next time coordinates are (X t + 1 , Y t + 1 )
  • the movement angle of the two coordinates is ⁇ .
  • the foreign matter detection unit 102b may calculate tan ⁇ based on the following mathematical formula 4.
  • the foreign object detection unit 102b may determine and store the vector in the horizontal direction.
  • the foreign object detection unit 102b determines the page movement (movement direction) from the direction of the entire extracted movement vector (moving body determination), and detects the page turning operation of the book (step SF-5), the process is terminated.
  • the list storage unit 102d adds the current page number, image storage destination, hand position, and size to the list of the list management unit 106a (step SD-9).
  • FIG. 12 and FIG. 12 and 13 are diagrams showing examples of lists in the present embodiment.
  • FIG. 12 shows a specific example of the right list (image list) obtained by dividing the image corresponding to the book spread into left and right.
  • the image list includes an image number of each image, whether or not the page is turned, whether or not the page is moved, the number of reflected hands, the coordinates of each reflected hand, the size of the hand, Information on the shape (image) of the hand may be included.
  • the images of image numbers 8 to 10 are images that have no reflection of the hand and do not move the page.
  • the output image acquisition unit 102f is the top of the list ( The image with the image number 8 (the oldest in time series) may be acquired as the output image.
  • the output image acquisition unit 102f may acquire the image with the image number 8 as the output image.
  • FIG. 13 shows a specific example of the left list (image list) obtained by dividing the image corresponding to the book spread into left and right.
  • the output image acquisition unit 102f cuts out and combines the images corresponding to the same page.
  • An output image may be acquired. That is, the output image acquisition unit 102f searches for a portion (image) where the reflection of the hand does not overlap from each image based on the list, and acquires the output image by cutting out and combining the images. Good.
  • the numbers on the left and right of the list may be images at the same time.
  • the motion detection unit 102c determines whether or not the completion of the page turning operation of the binding medium has been detected (step SD-10), and specifies the page corresponding to each image.
  • step SD-10 determines that the completion of the page turning operation of the binding medium has not been detected (step SD-10: No). Then, when the operation detecting unit 102c determines that the completion of the page turning operation of the binding medium has not been detected (step SD-10: No), the operation is transferred to step SD-22.
  • step SD-10 determines that the completion of the page turning operation of the binding medium has been detected (step SD-10: Yes)
  • the list storage unit 102d adds a management unit turning flag to the list of the list management unit 106a (step SD). -11).
  • the detection determination unit 102e searches (images) from the position of the management unit turning flag of the previous list to the current position (step SD-12). When there is no previous list management section turning flag, the detection determination unit 102e may search from the beginning to the current position (image) based on the list stored in the list management unit 106a.
  • the detection determination unit 102e recognizes the position of the book and the position of the hand in the searched image, and searches for the position where the book and the hand are most separated (step SD-13).
  • the detection determination unit 102e determines whether or not the searched image is an image with hand reflection (hand overlap) (step SD-14).
  • step SD-14 determines that the image is not an image with overlapping hands.
  • step SD-14 when the detection determining unit 102e determines that the image is an image with overlapping hands (step SD-14: Yes), the detection determining unit 102e searches for an image in which the overlapped portion does not overlap (step SD-15).
  • the detection determination unit 102e determines whether or not there is an image in which the portion where the hands overlap is not overlapped (step SD-16).
  • step SD-16 Yes
  • step SD-16 determines that there is no image in which the part where the hands overlap is not overlapped.
  • step SD-17 determines that the image is a reflection of the hand (there is a remaining hand).
  • control unit 102 determines whether or not a plurality of images optimal for the page are extracted from the images corresponding to the same page by the detection determination unit 102e. (Step SD-18).
  • step SD-18 determines that a plurality of images optimal for the page are not extracted from the images corresponding to the same page (step SD-18: No), the output image is output.
  • the image is acquired as an image, and the process proceeds to step SD-21.
  • the output image acquisition unit 102f is extracted when it is determined by the control unit 102 that a plurality of images optimal for the page are extracted from the images corresponding to the same page (step SD-18: Yes).
  • An output image is obtained by synthesizing from a plurality of images using an image that does not include a hand (step SD-19).
  • the output image acquisition unit 102f performs a hand deletion process (complementation from around) when there is a remainder, and acquires it as an output image (step SD-20). That is, if there is an area (partial image) where hand movement is detected in each image corresponding to the same page, the output image acquisition unit 102f deletes the hand movement from the image, and others (for example, , Before and after) may be supplemented using images corresponding to the pages.
  • the image output unit 102g outputs the image (output image) acquired by the output image acquisition unit 102f as a page via the input / output unit 112 (step SD-21).
  • control unit 102 determines whether or not the reading of the book has been completed by the image reading unit 110 (step SD-22).
  • step SD-22 No
  • the control unit 102 shifts the processing to step SD-2.
  • step SD-22 when it is determined by the image reading unit 110 that the reading of the book has ended (step SD-22: Yes), the control unit 102 determines whether or not the process is the first time (step SD-23).
  • step SD-23 When the control unit 102 determines that the process is the first time (step SD-23: Yes), the control unit 102 shifts the process to step SD-11.
  • step SD-23 when determining that the process is not the first time (step SD-23: No), the control unit 102 ends the process.
  • image reading is continuously performed, and a hand is detected for each image. Then, the movement of the hand is determined from the movement of the image and the preceding and following images, the page movement is determined from the movement of the image, and the page turning is determined from the movement of the hand (and the movement of the page synchronized therewith).
  • candidate frame images are extracted based on these determination results, and when there are a plurality of extraction results, a part of the image having no hand is synthesized to generate one page. And in this embodiment, an image can be continuously produced
  • FIG. 14 is a flowchart illustrating an example of an extracted frame determination process in the present embodiment.
  • the detection determination unit 102e searches for the first turning place from the left and right lists stored in the list management unit 106a (step SG-1). That is, in the case of turning left, the first turning place is in the right list, and in the case of turning right, the first turning place is in the left list.
  • the detection determination unit 102e searches for the previous event (start, end, or page turning start) based on the list stored in the list management unit 106a (step SG-2).
  • the detection determination unit 102e determines whether there is an image with no page movement from each image corresponding to the same page (step SG-3). .
  • the image output unit 102g inputs / outputs an error notification when the detection determination unit 102e determines from the images corresponding to the same page that there is no image with no page movement (No in step SG-3).
  • the data is output via the unit 112 (step SG-4), and the process ends.
  • step SG-3 when it is determined from the images corresponding to the same page that there is no page movement (step SG-3: Yes), the detection determination unit 102e displays the list stored in the list management unit 106a. Based on this, it is determined whether there is an image without reflection of the user's hand (step SG-5).
  • the output image acquisition unit 102f When the detection determination unit 102e determines that there is an image without the user's hand reflection (step SG-5: Yes), the output image acquisition unit 102f outputs the image without the hand reflection as an output image. And the process proceeds to step SG-9.
  • the output image acquisition unit 102f selects the optimal frame image from the time axis up to the previous page turning (one or more), and when there are a plurality of candidates, the one with less page movement is selected. You may choose. That is, the output image acquisition unit 102f may acquire, as an output image, an image with a larger image number or an image with less movement in the images adjacent to both numbers.
  • step SG-5 when it is determined by the detection determination unit 102e that there is no image without reflection of the user's hand (step SG-5: No), the control unit 102, based on the list stored in the list management unit 106a, An image in which the hand regions do not overlap is searched (step SG-6).
  • FIG. 15 is a flowchart illustrating an example of an image search process in which hand regions do not overlap in the present embodiment.
  • control unit 102 selects a reference frame (image number) as reference data (A) based on the list stored in the list management unit 106a (step SH-1).
  • control unit 102 sets the comparison target as the previous frame and sets it as target data (B) (step SH-3).
  • control unit 102 determines whether or not the target data (B) is a previous event (for example, a different page) of the reference data (A) (step SH-4).
  • step SH-4 When determining that the target data (B) is the previous event of the reference data (A) (step SH-4: Yes), the control unit 102 determines that there is no comparison target (step SH-5). The process is terminated.
  • step SH-4 No
  • information on the hand shape of the target data (B) is displayed.
  • Product ( ⁇ A (x, y) B (x, y)) is searched to determine whether all the data having the hand of the target data is the background portion of the reference data (step SH-6).
  • step SH-7 No
  • the control unit 102 shifts the processing to step SH-3.
  • step SH-7 Yes
  • step SH-8 the control unit 102 determines that there is a target and selects the frame of the target data (B) as an image in which the hand region does not overlap
  • control unit 102 determines whether there is an image in which the hand region does not overlap (step SG-7).
  • step SG-7 determines that there is no image in which the hand region does not overlap.
  • step SG-7 when the control unit 102 determines that there is an image in which the hand region does not overlap (step SG-7: Yes), the output image acquisition unit 102f cuts out and combines the image in which the selected hand region does not overlap. As a result, an output image is obtained (step SG-8).
  • the image output unit 102g outputs the output image acquired by the output image acquisition unit 102f in the page order in the turning direction via the input / output unit 112 (step SG-9). Note that the processing of steps SG-2 to SG-9 may be performed on each of the left and right sides.
  • control unit 102 proceeds to processing of the next event based on the list stored in the list management unit 106a (step SG-10).
  • control unit 102 determines whether or not the event is ended based on the list stored in the list management unit 106a (step SG-11).
  • control unit 102 determines that the event is not finished (step SG-11: No), the control unit 102 shifts the processing to step SG-2.
  • control unit 102 determines that the event is finished (step SG-11: Yes), the process is finished.
  • the overhead image reading apparatus 100 may perform processing in a stand-alone form, and performs processing in response to a request from a client terminal (which is a separate housing from the overhead image reading apparatus 100).
  • the processing result may be returned to the client terminal.
  • all or a part of the processes described as being automatically performed can be manually performed, or all of the processes described as being manually performed can be performed.
  • a part can be automatically performed by a known method.
  • processing procedure, control procedure, specific name, information including parameters such as registration data or search conditions for each processing, screen examples, or database configuration shown in the description and drawings are specially noted. It can be changed arbitrarily except for.
  • each illustrated component is functionally conceptual and does not necessarily need to be physically configured as illustrated.
  • each apparatus of the overhead image reading apparatus 100 is performed by a CPU (Central Processing Unit) and the CPU. It may be realized by a program to be interpreted and executed as hardware by wired logic.
  • the program is recorded on a non-transitory computer-readable recording medium including a programmed instruction for causing a computer to execute the method according to the present invention, which will be described later, and an overhead image as necessary. It is mechanically read by the reading device 100. That is, in the storage unit 106 such as a ROM or an HDD (Hard Disk Drive), a computer program for giving instructions to the CPU in cooperation with an OS (Operating System) and performing various processes is recorded. This computer program is executed by being loaded into the RAM, and constitutes a control unit in cooperation with the CPU.
  • OS Operating System
  • the computer program may be stored in an application program server connected to the overhead image reading apparatus 100 via an arbitrary network, and may be downloaded in whole or in part as necessary. Is possible.
  • the program according to the present invention may be stored in a computer-readable recording medium, or may be configured as a program product.
  • the “recording medium” includes a memory card, USB memory, SD card, flexible disk, magneto-optical disk, ROM, EPROM, EEPROM, CD-ROM, MO, DVD, and Blu-ray (registered trademark). It includes any “portable physical medium” such as Disc.
  • program is a data processing method described in an arbitrary language or description method, and may be in any form such as source code or binary code. Note that the “program” is not necessarily limited to a single configuration, but is distributed in the form of a plurality of modules and libraries, or in cooperation with a separate program typified by an OS (Operating System). Including those that achieve the function.
  • OS Operating System
  • a well-known structure and procedure can be used about the specific structure for reading a recording medium in each apparatus shown in embodiment, a reading procedure, or the installation procedure after reading.
  • list management unit 106a stored in the storage unit 106 are storage means such as a memory device such as a RAM or a ROM, a fixed disk device such as a hard disk, a flexible disk, and / or an optical disk.
  • Various programs, tables, databases, and / or web page files used for processing and website provision may be stored.
  • the overhead image reading apparatus 100 may be configured as an information processing apparatus such as a known personal computer or workstation, or may be configured by connecting an arbitrary peripheral device to the information processing apparatus.
  • the overhead image reading apparatus 100 may be realized by installing software (including programs, data, and the like) that realizes the method of the present invention in the information processing apparatus.
  • the specific form of distribution / integration of the devices is not limited to that shown in the figure, and all or a part of them may be functional or physical in arbitrary units according to various additions or according to functional loads. Can be distributed and integrated. That is, the above-described embodiments may be arbitrarily combined and may be selectively implemented.
  • the overhead image reading apparatus, the image processing method, and the program according to the present invention can be implemented in many industrial fields, particularly in the image processing field that handles images read by a scanner. Useful.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Facsimile Scanning Arrangements (AREA)
  • Image Input (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

　本発明は、めくられる綴じ媒体を連続して読取らせ、画像を取得し、同一のページに対応する各画像から、異物の映り込みのない画像があるか否か判定し、異物の映り込みのない画像があると判定された場合、異物の映り込みのない画像を出力画像として取得し、異物の映り込みのない画像がないと判定された場合、同一のページに対応する各画像を組み合わせて出力画像を取得する。

Description

オーバーヘッド型画像読取装置、画像処理方法、および、プログラム
　本発明は、オーバーヘッド型画像読取装置、画像処理方法、および、プログラムに関する。
　従来から、オーバヘッドスキャナに関する技術が開示されている。
　ここで、エリアセンサとリニアセンサを備え、リニアセンサが速度ベクトルを抽出し、リニアセンサの読み取り開始判定を行うオーバヘッドスキャナ装置が開示されている（特許文献１を参照）。
　また、手による文章動作からページ捲り判定し、読み取った画像の中の指の影に隠れたコンテンツを消さずに指と影を消去する画像読み取り装置が開示されている（特許文献２を参照）。
　また、一定時間間隔で画像を入力し、入力画像が静止した時に表示される画像から、手の動作特徴に基づいて画像に含まれる手の領域を検出し、文書画像を切り出して取得する文章画像取得装置が開示されている（特許文献３を参照）。
特開２０１１－２５４３６６号公報 特開平１１－１０３３８０号公報 特開２０００－３０８０４５号公報
　しかしながら、従来のオーバヘッドスキャナ（特許文献１等）においては、連続して画像読み取りを行う場合、どのフレームが有効なのか判断することができないという問題点を有していた。
　本発明は、上記問題点に鑑みてなされたもので、綴じ媒体を連続して読取った場合に、読取画像のどのフレームが有効なのか判断することで、ペラペラめくるだけで綴じ媒体を電子化することができる、オーバーヘッド型画像読取装置、画像処理方法、および、プログラムを提供することを目的とする。
　このような目的を達成するため、本発明に係るオーバーヘッド型画像読取装置は、めくられる綴じ媒体を連続して画像読取部にて読取らせ、画像を取得する画像取得手段と、同一のページに対応する前記各画像から、異物の映り込みのない前記画像があるか否か判定する検出判定手段と、前記検出判定手段により前記異物の映り込みのない画像があると判定された場合、前記異物の映り込みのない画像を出力画像として取得し、前記検出判定手段により前記異物の映り込みのない画像がないと判定された場合、前記同一のページに対応する各画像を組み合わせて前記出力画像を取得する出力画像取得手段と、を備える。
　また、本発明に係る画像処理方法は、オーバーヘッド型画像読取装置で実行される、めくられる綴じ媒体を連続して画像読取部にて読取らせ、画像を取得する画像取得ステップと、同一のページに対応する前記各画像から、異物の映り込みのない前記画像があるか否か判定する検出判定ステップと、前記検出判定ステップにて前記異物の映り込みのない画像があると判定された場合、前記異物の映り込みのない画像を出力画像として取得し、前記検出判定ステップにて前記異物の映り込みのない画像がないと判定された場合、前記同一のページに対応する各画像を組み合わせて前記出力画像を取得する出力画像取得ステップと、を含む。
　また、本発明に係るプログラムは、オーバーヘッド型画像読取装置に実行させるための、めくられる綴じ媒体を連続して画像読取部にて読取らせ、画像を取得する画像取得ステップと、同一のページに対応する前記各画像から、異物の映り込みのない前記画像があるか否か判定する検出判定ステップと、前記検出判定ステップにて前記異物の映り込みのない画像があると判定された場合、前記異物の映り込みのない画像を出力画像として取得し、前記検出判定ステップにて前記異物の映り込みのない画像がないと判定された場合、前記同一のページに対応する各画像を組み合わせて前記出力画像を取得する出力画像取得ステップと、を含む。
　この発明によれば、人がめくる動作により電子化が行われるため、生産性が高い。
図１は、本実施形態の概要を示す図である。 図２は、オーバーヘッド型画像読取装置の概略構成の一例を示すハードウェア構成図である。 図３は、オーバーヘッド型画像読取装置の構成の一例を示すハードウェア構成図である。 図４は、オーバーヘッド型画像読取装置の構成の一例を示すハードウェア構成図である。 図５は、本実施形態のオーバーヘッド型画像読取装置における基本処理の一例を示すフローチャートである。 図６は、本実施形態における画像処理の一例を示す図である。 図７は、本実施形態における画像処理の一例を示す図である。 図８は、本実施形態における画像処理の一例を示す図である。 図９Ａは、本実施形態のオーバーヘッド型画像読取装置における具体的処理の一例を示すフローチャートである。 図９Ｂは、本実施形態のオーバーヘッド型画像読取装置における具体的処理の一例を示すフローチャートである。 図９Ｃは、本実施形態のオーバーヘッド型画像読取装置における具体的処理の一例を示すフローチャートである。 図１０Ａは、本実施形態における手検出処理の一例を示す図である。 図１０Ｂは、本実施形態における手検出処理の一例を示す図である。 図１０Ｃは、本実施形態における手検出処理の一例を示す図である。 図１０Ｄは、本実施形態における手検出処理の一例を示す図である。 図１０Ｅは、本実施形態における手検出処理の一例を示す図である。 図１１Ａは、本実施形態におけるページ動作認識処理の一例を示す図である。 図１１Ｂは、本実施形態におけるページ動作認識処理の一例を示す図である。 図１１Ｃは、本実施形態におけるページ動作認識処理の一例を示す図である。 図１１Ｄは、本実施形態におけるページ動作認識処理の一例を示す図である。 図１１Ｅは、本実施形態におけるページ動作認識処理の一例を示す図である。 図１２は、本実施形態におけるリストの一例を示す図である。 図１３は、本実施形態におけるリストの一例を示す図である。 図１４は、本実施形態における抽出フレーム判定処理の一例を示すフローチャートである。 図１５は、本実施形態における手の領域が重ならない画像探索処理の一例を示すフローチャートである。
　以下に、本発明に係るオーバーヘッド型画像読取装置、画像処理方法、および、プログラムの実施形態を図面に基づいて詳細に説明する。なお、この実施形態により本発明が限定されるものではない。特に、本実施形態においては、読み取り対象の綴じ媒体を本などとして説明することがあるが、これに限られず、ステープルで綴じられた媒体等を読み取り対象としてもよい。
［１．本発明の実施形態の概要］
　以下、本発明の実施形態の概要について図１を参照して説明し、その後、本実施形態の構成および処理等について詳細に説明する。図１は、本実施形態の概要を示す図である。本実施形態は、概略的に、以下の基本的特徴を有する。
　すなわち、本実施形態のオーバーヘッド型画像読取装置は、図１に示すように、ユーザによりめくられる綴じ媒体を連続して画像読取部にて読取らせ、画像を取得する。
　そして、オーバーヘッド型画像読取装置は、モーション検出（めくり動作検出）により、ページめくり検出を行い、画像に含まれる異物（手指、および、スピン（しおりひも）等）の検出を行うことで、同一のページに対応する各画像から、手指の映り込みのない画像があるか否か判定する（ステップＳ－１）。
　そして、オーバーヘッド型画像読取装置は、異物の映り込みのない画像があると判定された場合、１ページ、２ページ、および、４ページのように異物の映り込みのない画像を出力画像として取得し、３ページのように異物の映り込みのない画像がないと判定された場合、画像のクロッピングによる異物除去を行い、同一のページに対応する各画像を組み合わせて出力画像を取得し（ステップＳ－２）、処理を終了する。
［２．本実施形態の構成］
　本実施形態に係るオーバーヘッド型画像読取装置１００の構成の一例について図２乃至図４を参照して説明する。図２は、オーバーヘッド型画像読取装置１００の概略構成の一例を示すハードウェア構成図である。図３は、オーバーヘッド型画像読取装置１００の構成の一例を示すハードウェア構成図である。図４は、オーバーヘッド型画像読取装置１００の構成の一例を示すハードウェア構成図である。
　図２に示すように、オーバーヘッド型画像読取装置１００は、概略的に、カメラ等の画像読取部１１０と制御装置（ＰＣ）とを備えて構成される。ここで、制御装置（ＰＣ）は、制御部（ＣＰＵ）１０２を少なくとも備えており、本実施形態において、メモリ等を含む記憶部１０６と入出力インターフェース部（Ｉ／Ｏ）１０８とを更に備える。また、これら各部は任意の通信路を介して通信可能に接続されている。
　また、図３に示すように、オーバーヘッド型画像読取装置１００は、カメラ等の画像読取部１１０と制御装置（ＰＣ）とを備えて構成される。ここで、制御装置（ＰＣ）は、画像取得部１０２ａ、手検出等を行う異物検出部１０２ｂ、めくり検出等を行う動作検出部１０２ｃ、シーン検出等を行う検出判定部１０２ｅ、画像合成等を行う出力画像取得部１０２ｆ、および、記憶部１０６を少なくとも備えて構成される。また、これら各部は任意の通信路を介して通信可能に接続されている。
　また、図４に示すように、オーバーヘッド型画像読取装置１００は、画像読取部１１０と制御部１０２とディスク１０６－２と入出力部（Ｉ／Ｏ部）１１２とを少なくとも備えて構成される。ここで、制御部１０２は、手検出等を行う異物検出部１０２ｂ、ページめくり動作認識およびページめくり検出等を行う動作検出部１０２ｃ、抽出判定等を行う検出判定部１０２ｅ、画像合成等を行う出力画像取得部１０２ｆ、画像出力部１０２ｇ、保管部１０２ｈ、リスト管理部１０６ａ、および、一次記憶部１０６－１を備えて構成される。また、これら各部は任意の通信路を介して通信可能に接続されている。
　なお、本実施形態におけるオーバーヘッド型画像読取装置１００は、更に、綴じ媒体の積載台を備えていてもよい。また、画像読取部１１０は、積載台の上部に配置され、積載台を撮像してもよい。また、制御部１０２は、画像読取部１１０を制御してもよい。
　ここで、記憶部１０６（一次記憶部１０６－１、および、ディスク１０６－２等）は、各種のデータベース、テーブル、および／または、ファイル（リスト管理部１０６ａ）などを格納する。記憶部１０６は、ストレージ手段であり、例えばＲＡＭ・ＲＯＭ等のメモリ、ハードディスクのような固定ディスク装置、フレキシブルディスク、および／または、光ディスク等を用いることができる。記憶部１０６には、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）に命令を与え各種処理を行うためのコンピュータプログラム等が記録されている。ここで、図２は、オーバーヘッド型画像読取装置１００の記憶部１０６の論理構成の一例を示すブロック図である。
　これら記憶部１０６の各構成要素のうち、リスト管理部１０６ａは、画像の番号と、異物の映り込みに関する情報と、ページのめくり動作に関する情報と、を対応付けたリストを記憶する。ここで、画像の番号は、画像読取部１１０にて読取られた順番等であってもよい。また、異物は、ユーザの手（指）、スピン（しおりひも）、ペン、定規、および／または、自動ページめくり器のアーム等であってもよいし、影、他のページに対応する画像（部分）、および／または、画像のノイズ等であってもよい。また、異物の映り込みに関する情報は、異物の数、異物の座標、異物の大きさ、および／または、異物の形等に関する情報を含んでいてもよい。また、ページのめくり動作に関する情報は、めくり有無、および／または、ページの動き有無等に関する情報を含んでいてもよい。
　また、入出力インターフェース部１０８は、画像読取部１１０を、制御部１０２と接続する。
　また、画像読取部１１０は、上向きに設置された綴じ媒体等の原稿を、上方よりスキャンして原稿の画像を読み取る。ここで、画像読取部１１０は、上向きに設置された原稿を、リニアセンサを用いて上方よりスキャンして原稿の画像を読み取ってもよい。ここで、本実施形態において、画像読取部１１０は、コントローラと、モータと、リニアセンサ（ラインセンサ）と、Ａ／Ｄコンバータとを備えてもよい。コントローラは、入出力インターフェース部１０８を介した制御部１０２からの指令に応じて、モータ、リニアセンサ、および、Ａ／Ｄコンバータを制御する。リニアセンサは、原稿の主走査方向のラインから届く光を、ライン上の画素ごとにアナログ電荷量に光電変換する。そして、Ａ／Ｄコンバータは、リニアセンサから出力されたアナログ電荷量をデジタル信号に変換し、一次元の画像（ライン画像）を出力する。モータが回転駆動すると、リニアセンサの読み取り対象の原稿ラインが副走査方向に移動する。これにより、ラインごとに一次元の画像がＡ／Ｄコンバータから出力され、制御部１０２は、これらを合成することにより二次元の画像を生成する。
　また、原稿を上向きに設置して、上方より画像読取部１１０にて原稿を撮像する場合、主走査方向のラインの一次元画像が、リニアセンサにより読み取られてもよい。そして、モータの駆動によりリニアセンサが所定の回転方向に回転すると、それに伴って、リニアセンサの読み取りラインは、所定の副走査方向（例えば、奥行方向の奥側から手前側への方向等）に移動する。これにより、二次元の原稿の画像が、画像読取部１１０によって読み取られることとなる。
　また、画像読取部１１０は、上向きに設置された原稿を、エリアセンサを用いて上方よりスキャンして原稿の画像を読み取ってもよい。ここで、本実施形態において、画像読取部１１０は、コントローラと、エリアセンサと、Ａ／Ｄコンバータとを備えていてもよい。コントローラは、入出力インターフェース部１０８を介した制御部１０２からの指令に応じて、エリアセンサ、および、Ａ／Ｄコンバータを制御する。エリアセンサは、原稿平面（主走査方向と副走査方向の２次元平面）から届く光を、画素ごとにアナログ電荷量に光電変換する。そして、Ａ／Ｄコンバータは、エリアセンサから出力されたアナログ電荷量をデジタル信号に変換し、二次元の画像を出力する。これにより、二次元の画像がＡ／Ｄコンバータから出力される。なお、画像読取部１１０は、カメラ等であってもよい。
　また、入出力部１１２は、データの入出力（Ｉ／Ｏ）を行う。ここで、入出力部１１２は、例えば、キー入力部、タッチパネル、コントロールパッド（例えば、タッチパッド、および、ゲームパッド等）、マウス、キーボード、および、マイク等であってもよい。また、入出力部１１２は、アプリケーション等の表示画面を表示する表示手段（例えば、液晶または有機ＥＬ等から構成されるディスプレイ、モニタ、および、タッチパネル等）であってもよい。また、入出力部１１２は、音声情報を音声として出力する音声出力手段（例えば、スピーカ等）であってもよい。
　また、制御部１０２は、オーバーヘッド型画像読取装置１００を統括的に制御するＣＰＵ等からなる。制御部１０２は、制御プログラムと各種の処理手順等を規定したプログラムと所要データとを格納するための内部メモリ（例えば、一次記憶部１０６－１）を有し、これらプログラムに基づいて種々の処理を実行するための情報処理を行う。
　ここで、制御部１０２は、大別して、画像取得部１０２ａと、異物検出部１０２ｂと、動作検出部１０２ｃと、リスト格納部１０２ｄと、検出判定部１０２ｅと、出力画像取得部１０２ｆと、画像出力部１０２ｇと、保管部１０２ｈとを備える。
　画像取得部１０２ａは、めくられる綴じ媒体を連続して画像読取部１１０にて読取らせ、画像を取得する。ここで、画像取得部１０２ａは、画像読取部１１０にて読取られた画像等を記憶部１０６（一次記憶部１０６－１）に格納してもよい。すなわち、画像取得部１０２ａは、画像読取部１１０を制御して、複数の画像を連続して取得してもよい。例えば、画像取得部１０２ａは、画像読取部１１０のコントローラを制御して、モータを回転駆動させ、リニアセンサにより光電変換されＡ／Ｄコンバータによりアナログデジタル変換されたラインごとの一次元画像を合成することにより、二次元の画像を取得して記憶部１０６（一次記憶部１０６－１）に格納する処理を繰り返してもよい。
　また、例えば、画像取得部１０２ａは、画像読取部１１０のコントローラを制御して、エリアセンサにより光電変換されＡ／Ｄコンバータによりアナログデジタル変換された画像を取得して記憶部１０６（一次記憶部１０６－１）に格納する処理を繰り返してもよい。すなわち、画像取得部１０２ａは、エリアセンサでモーション撮影を行って連続画像（動画像）を取得する機能を有していてもよい。また、画像取得部１０２ａは、画像読取部１１０にて読取られた画像を、射影変換（例えば、正面方向から撮影したように射影変換）してもよい。
　異物検出部１０２ｂは、画像取得部１０２ａにより取得された各画像における、異物の映り込みを検出する。すなわち、異物検出部１０２ｂは、画像取得部１０２ａにより取得された各画像における、手の映り込みを検出してもよい。
　動作検出部１０２ｃは、画像取得部１０２ａにより取得された画像から、綴じ媒体のページのめくり動作を検出し、各画像に対応するページを特定する。すなわち、動作検出部１０２ｃは、画像取得部１０２ａにより取得された画像から、ページ動作を認識し、ページめくりを検出してもよい。ここで、動作検出部１０２ｃは、画像取得部１０２ａにより取得された画像において、異物の移動方向と、予め設定されたページのめくり方向と、が一致した場合、綴じ媒体のページのめくり動作を検出し、各画像に対応するページを特定してもよい。また、動作検出部１０２ｃは、画像取得部１０２ａにより取得された画像において、異物の動きベクトルと、ページの動きベクトルと、が一致した場合、綴じ媒体のページのめくり動作を検出し、各画像に対応するページを特定してもよい。
　リスト格納部１０２ｄは、リストをリスト管理部１０６ａに格納する。ここで、リスト格納部１０２ｄは、動作検出部１０２ｃにより各めくり動作の完了が検出された場合、リストをリスト管理部１０６ａに格納する。すなわち、リスト格納部１０２ｄは、リストの管理を行ってもよい。
　検出判定部１０２ｅは、同一のページに対応する各画像から、異物の映り込みのない画像があるか否か判定する。すなわち、検出判定部１０２ｅは、同一のページに対応する各画像から、異物の映り込みのない画像が抽出されたか否か判定してもよい。ここで、検出判定部１０２ｅは、動作検出部１０２ｃによる特定された同一のページに対応する各画像から、異物検出部１０２ｂにより異物の映り込みが検出されなかった画像があるか否か判定してもよい。また、検出判定部１０２ｅは、リスト管理部１０６ａに記憶されたリストに基づいて、同一のページに対応する各画像から、異物の映り込みのない画像があるか否か判定してもよい。また、検出判定部１０２ｅは、同一のページに対応する各画像から、異物の映り込みのある画像だけが（複数）抽出されたか否か判定してもよい。
　出力画像取得部１０２ｆは、検出判定部１０２ｅにより異物の映り込みのない画像があると判定された場合、異物の映り込みのない画像を出力画像として取得し、検出判定部１０２ｅにより異物の映り込みのない画像がないと判定された場合、同一のページに対応する各画像を組み合わせて出力画像を取得する。ここで、出力画像取得部１０２ｆは、検出判定部１０２ｅにより異物の映り込みのない画像がないと判定された場合、同一のページに対応する各画像を切り出し、合成することにより出力画像を取得してもよい。また、出力画像取得部１０２ｆは、リスト管理部１０６ａに記憶されたリストに基づいて、異物の映り込みのない画像を出力画像として取得してもよい。
　画像出力部１０２ｇは、出力画像を入出力部１１２を介して出力する。ここで、画像出力部１０２ｇは、出力画像を入出力部１１２に表示してもよい。また、画像出力部１０２ｇは、画像読取部１１０にて読取られた画像等を入出力部１１２に表示してもよい。
　保管部１０２ｈは、出力画像を記憶部１０６に格納する。ここで、保管部１０２ｈは、画像読取部１１０にて読取られた画像等を記憶部１０６に格納してもよい。また、保管部１０２ｈは、画像取得部１０２ａにより取得された画像等を記憶部１０６に格納してもよい。
［３．本実施形態の処理］
　上述した構成のオーバーヘッド型画像読取装置１００で実行される処理の一例について、図５乃至図１５を参照して説明する。
［３－１．基本処理］
　本実施形態のオーバーヘッド型画像読取装置１００における基本処理の一例について図５乃至図８を参照して説明する。図５は、本実施形態のオーバーヘッド型画像読取装置１００における基本処理の一例を示すフローチャートである。
　図５に示すように、まず、画像取得部１０２ａは、ユーザによりめくられる綴じ媒体を連続して画像読取部１１０にて読取らせ、画像を取得し、画像を一次記憶部１０６－１に格納する（ステップＳＡ－１）。このように、画像読取部１１０は、非接触型の画像入力（１個以上）により連続して画像読み取りを行ってもよい。また、画像読取部１１０による画像読み取りは、一定間隔でなくてもよい。
　そして、保管部１０２ｈは、画像読取部１１０にて読取られた画像を記憶部１０６に格納する（ステップＳＡ－２）。
　そして、異物検出部１０２ｂは、画像取得部１０２ａにより取得された各画像における、ユーザの手の映り込みを検出し、手の映り込み検出結果を一次記憶部１０６－１に格納する（ステップＳＡ－３）。このように、異物検出部１０２ｂは、入力された画像から手を検出してもよい。
　そして、動作検出部１０２ｃは、画像取得部１０２ａにより取得された画像から、綴じ媒体のページ動作を認識し、綴じ媒体のページのめくり動作を検出する（ステップＳＡ－４）。ここで、動作検出部１０２ｃは、一次記憶部１０６－１に記憶された画像、および、手の映り込み検出結果に基づいて、画像取得部１０２ａにより取得された画像において、ユーザの手の移動方向と、予め設定されたページのめくり方向と、が一致した場合、綴じ媒体のページ動作を認識し、綴じ媒体のページのめくり動作を検出してもよい。すなわち、動作検出部１０２ｃは、予めめくる方向を設定することにより、手の動きでページめくりを判定してもよい。例えば、動作検出部１０２ｃは、綴じ媒体を左右に分割して手が片側から、もう一方へ移動した時の手の方向とめくり方向とが一致した時にページめくりありと判断してもよい。ここで、動作検出部１０２ｃは、ページめくり検出で失敗した場合、後でマッチング処理を行い、同一と判断した場合削除してもよい。
　また、動作検出部１０２ｃは、一次記憶部１０６－１に記憶された画像、および、手の映り込み検出結果に基づいて、画像取得部１０２ａにより取得された画像において、ユーザの手の動きベクトルと、ページの動きベクトルと、が一致した場合、綴じ媒体のページ動作を認識し、綴じ媒体のページのめくり動作を検出してもよい。このように、動作検出部１０２ｃは、手の動きを検出するだけでなく、手の動きと連動する他の動きを検出してもよい。すなわち、動作検出部１０２ｃは、手とページとの動きでページめくりを判定してもよい。例えば、動作検出部１０２ｃは、手の動きベクトルとページの動きベクトルとが一致した場合、めくり動作ありと判断してもよい。ここで、動作検出部１０２ｃは、動きベクトルの方向が連続的に発生した場合に、めくり動作ありと判断してもよい。また、手の動きベクトルは、現在の手の座標と前回の手の座標とのベクトルから生成されてもよい。また、動作検出部１０２ｃは、記憶部１０６に記憶された全画像についてページ番号判定を行い、ページめくりを判定してもよい。
　そして、動作検出部１０２ｃは、綴じ媒体のページのめくり動作の完了を検出したか否か判定し（ステップＳＡ－５）、各画像に対応するページを特定する。このように、動作検出部１０２ｃは、ページめくりを判定してもよい。
　そして、リスト格納部１０２ｄは、画像取得部１０２ａにより取得された画像の番号と、ユーザの手の映り込みに関する情報と、ページのめくり動作に関する情報と、を対応付けたリストをリスト管理部１０６ａに格納する（ステップＳＡ－６）。
　そして、動作検出部１０２ｃは、綴じ媒体のページのめくり動作の完了を検出していないと判定した場合（ステップＳＡ－５：Ｎｏ）、処理をステップＳＡ－１１に移行させる。
　一方、検出判定部１０２ｅは、動作検出部１０２ｃにより各めくり動作の完了が検出された場合（ステップＳＡ－５：Ｙｅｓ）、同一のページに対応する各画像から、ユーザの手の映り込みのない画像が抽出されたか否か判定する（ステップＳＡ－７）。ここで、画像の番号は、画像読取部１１０にて読取られた順番等であってもよい。また、ユーザの手の映り込みに関する情報は、ユーザの手の数、ユーザの手の座標、ユーザの手の大きさ、および／または、ユーザの手の形等に関する情報を含んでいてもよい。また、ページのめくり動作に関する情報は、めくり有無、および／または、ページの動き有無等に関する情報を含んでいてもよい。また、検出判定部１０２ｅは、同一のページに対応する各画像から、ユーザの手の映り込みのない画像があるか否か判定してもよい。また、検出判定部１０２ｅは、動作検出部１０２ｃによる特定された同一のページに対応する各画像から、異物検出部１０２ｂによりユーザの手の映り込みが検出されなかった画像があるか否か判定してもよい。また、検出判定部１０２ｅは、リスト管理部１０６ａに記憶されたリストに基づいて、同一のページに対応する各画像から、ユーザの手の映り込みのない画像があるか否か判定してもよい。
　そして、制御部１０２は、リスト管理部１０６ａに記憶されたリストに基づいて、検出判定部１０２ｅにより同一のページに対応する各画像から、当該ページに最適な画像が複数抽出されたか否か判定する（ステップＳＡ－８）。
　そして、出力画像取得部１０２ｆは、制御部１０２により同一のページに対応する各画像から、当該ページに最適な画像が複数抽出されたと判定された場合（ステップＳＡ－８：Ｙｅｓ）、抽出された複数の画像を切り出し、合成することにより出力画像を取得する（ステップＳＡ－９）。ここで、出力画像取得部１０２ｆは、制御部１０２により同一のページに対応する各画像から、当該ページに最適な画像が複数抽出されたと判定された場合、抽出された複数の画像を組み合わせて出力画像を取得してもよい。このように、出力画像取得部１０２ｆは、ページがめくられていない画像中の手がない部分を組合せてページを形成してもよい。
　そして、出力画像取得部１０２ｆは、制御部１０２により同一のページに対応する各画像から、当該ページに最適な画像が複数抽出されていないと判定された場合（ステップＳＡ－８：Ｎｏ）、抽出された画像（例えば、ページの動きがない手の映り込みのない画像等）を出力画像として取得し、画像出力部１０２ｇは、出力画像取得部１０２ｆにより取得された出力画像を入出力部１１２を介して出力する（ステップＳＡ－１０）。このように、本実施形態においては、出力画像取得部１０２ｆにより取得（形成）されたページを組合せて綴じ媒体を電子化してもよい。
　ここで、図６を参照して、本実施形態における異物として検出される手が一つの場合の画像処理の一例について説明する。図６は、本実施形態における画像処理の一例を示す図である。
　図６に示すように、ユーザにより片手でめくられる綴じ媒体が連続して画像読取部１１０にて読取られる場合、出力画像取得部１０２ｆは、ユーザの手の映り込みが検出されない各ページに対応する画像を出力画像として取得してもよい（例えば、ステップＳＢ－１の右ページ（２ページ目）、ステップＳＢ－２の左ページ（１ページ目）、ステップＳＢ－４の右ページ（４ページ目）、および、ステップＳＢ－５の左ページ（３ページ目））。また、図６に示すように、異物検出部１０２ｂは、画像取得部１０２ａにより取得された各画像における、ユーザの手の映り込みを検出してもよい（例えば、ステップＳＢ－２乃至ステップＳＢ－５）。そして、動作検出部１０２ｃは、画像取得部１０２ａにより取得された画像、および、異物検出部１０２ｂにより検出された手の映り込み検出結果に基づいて、ページめくり方向を判定してもよい（例えば、ステップＳＢ－２乃至ステップＳＢ－４）。
　次に、図７および図８を参照して、本実施形態における異物として検出される手が二つの場合の画像処理の一例について説明する。図７および図８は、本実施形態における画像処理の一例を示す図である。
　図７に示すように、ユーザにより両手でめくられる綴じ媒体が連続して画像読取部１１０にて読取られる場合、出力画像取得部１０２ｆは、ユーザの手の映り込みが検出されない各ページに対応する画像を出力画像として取得してもよい（例えば、ステップＳＣ－４の右ページ（４ページ目））。一方、出力画像取得部１０２ｆは、検出判定部１０２ｅにより同一のページに対応する各画像から、異物の映り込みのない画像がないと判定された場合（例えば、１ページ目乃至３ページ目）、同一のページに対応する各画像を組み合わせて出力画像を取得してもよい。
　例えば、図８に示すように、図７の綴じ媒体の１ページ目に対応する出力画像を取得する場合、出力画像取得部１０２ｆは、１ページ目に対応する各画像（例えば、ステップＳＣ－２の左ページ、および、ステップＳＣ－３の左ページ）の手の映り込みが検出される部分を左右に分割して切り出し、合成することにより出力画像を取得してもよい。
　図５に戻り、制御部１０２は、画像読取部１１０にて綴じ媒体の読み取りが終了したか否か判定する（ステップＳＡ－１１）。
　そして、制御部１０２は、画像読取部１１０にて綴じ媒体の読み取りが終了していないと判定した場合（ステップＳＡ－１１：Ｎｏ）、処理をステップＳＡ－１に移行させる。
　一方、制御部１０２は、画像読取部１１０にて綴じ媒体の読み取りが終了したと判定した場合（ステップＳＡ－１１：Ｙｅｓ）、処理を終了する。
　このように、本実施形態においては、ペラペラめくる人の自然な動作で電子化を行うことができる。また、本実施形態においては、手がない部分の画像を組み合わせる事で、コンテンツの抜けのない画像を提供することができる。例えば、本実施形態におけるオーバーヘッド型画像読取装置１００においては、連続にエリアセンサで読み取った画像の中から、手と本の動きに基づいてページめくり動作を検出し、読み取りに最適なフレームを選定する。その後、本実施形態におけるオーバーヘッド型画像読取装置１００においては、選定したフレームを画像解析し、手などの異物が写り込まない場合、そのフレームを出力する。一方、本実施形態におけるオーバーヘッド型画像読取装置１００においては、手などの異物が写り込んだ場合に、前後の画像の中から先ほど選んだ画像の異物が写り込んでいないフレームを探索し、２つのフレームを合成することで、手などの異物が写り込まない画像を生成して出力する。そして、本実施形態におけるオーバーヘッド型画像読取装置１００においては、この制御を繰り返すことで、ペラペラめくるだけで電子化を行うことができる。
［３－２．具体的処理］
　つづいて、本実施形態のオーバーヘッド型画像読取装置１００における具体的処理の一例について図９乃至図１５を参照して説明する。図９（図９Ａ乃至図９Ｃ）は、本実施形態のオーバーヘッド型画像読取装置１００における具体的処理の一例を示すフローチャートである。
　図９に示すように、まず、制御部１０２は、積載台に上向きに設置された本の大きさと位置とを認識する（ステップＳＤ－１）。
　そして、画像取得部１０２ａは、ユーザによりめくられる本を連続して画像読取部１１０にて読取らせ、画像を取得する（ステップＳＤ－２）。
　そして、画像取得部１０２ａは、取得された画像を見開きとして分割した画像（分割画像）を取得する（ステップＳＤ－３）。
　そして、保管部１０２ｈは、画像取得部１０２ａにより取得された画像（分割画像）を記憶部１０６に格納（保管）する（ステップＳＤ－４）。
　そして、異物検出部１０２ｂは、記憶部１０６に記憶された画像における、ユーザの手の映り込みを検出し、手の重心を算出する（ステップＳＤ－５）。
　ここで、図１０を参照して、本実施形態における手検出処理の一例について説明する。図１０（図１０Ａ乃至図１０Ｅ）は、本実施形態における手検出処理の一例を示す図である。
　図１０（図１０Ｂ）に示すように、画像取得部１０２ａは、手の映り込んだＲＧＢ画像を取得する（ステップＳＥ－１）。
　そして、図１０Ｃに示すように、異物検出部１０２ｂは、画像取得部１０２ａにより取得されたＲＧＢ画像を構成する画素をＲＧＢ値からＨＳＶ値に変換（ＨＳＶ空間に投射）する（ステップＳＥ－２）。
　そして、図１０Ｄに示すように、異物検出部１０２ｂは、変換したＨＳＶ値を用いて、肌色の色相の値（０＜Ｈ＜３０）で二値化処理することで二値画像を取得する（ステップＳＥ－３）。このように、異物検出部１０２ｂは、色相による手検出を行ってもよい。また、リスト格納部１０２ｄは、二値化した手の画像（二値画像）をリストと共にリスト管理部１０６ａに格納してもよい。
　そして、図１０Ｅに示すように、異物検出部１０２ｂは、取得した二値画像に基づいて、手の輪郭を抽出することで、ユーザの手の映り込みを検出し（ステップＳＥ－４）、処理を終了する。
　図９に戻り、動作検出部１０２ｃは、ステップＳＤ－５にて異物検出部１０２ｂにより手の映り込みが検出された画像（今の画像）の１コマ前の画像（１回前）からの手の動きを算出する（ステップＳＤ－６）。
　そして、動作検出部１０２ｃは、今の画像の１回前からの画像の動きを算出する（ステップＳＤ－７）。
　そして、動作検出部１０２ｃは、算出した手の動き、および、画像の動きより、本のページのめくり動作を検出する（ステップＳＤ－８）。
　ここで、図１１を参照して、本実施形態におけるページ動作認識処理の一例について説明する。図１１（図１１Ａ乃至図１１Ｅ）は、本実施形態におけるページ動作認識処理の一例を示す図である。
　図１１に示すように、異物検出部１０２ｂは、画像読取部１１０にて連続して読取られた本の画像（フレーム）を取得する前処理を行う（ステップＳＦ－１）。
　そして、図１１Ｂに示すように、異物検出部１０２ｂは、取得した画像（フレーム）に対してＨａｒｒｉｓ　ｃｏｒｎｅｒ　ｄｅｔｅｃｔｏｒを用いて、特徴点の抽出を行う（ステップＳＦ－２）。ここで、異物検出部１０２ｂは、画像Ｉの画素を（ｘ，ｙ）、構造テンソルをＭ、特徴点判別式をＲ、および、スライスをＴとして、下記数式１に基づいて構造テンソルＭを算出してもよい。
Figure JPOXMLDOC01-appb-M000001
　このＭの固有値を分析する事により、以下の様に分析できる。すなわち、下記数式２であれば、Ｉ（ｘ，ｙ）は特徴点を持たない。また、下記数式３であれば、エッジが存在する。また、λ１およびλ２が正の大きな値であれば、コーナーが存在する。
Figure JPOXMLDOC01-appb-M000002
Figure JPOXMLDOC01-appb-M000003
　ここで、この固有値を簡略的に表す特徴量Ｒは、Ｒ＝ｄｅｔ（Ｍ）－ｋ（ｔｒ（Ｍ））２と算出してもよい。このとき、ｄｅｔ（Ｍ）＝λ１λ２＝ＡＢ－Ｃ２、および、ｔｒ（Ｍ）＝Ａ＋Ｂと算出してもよい。また、ｋは一般的に０．０４～０．１５が良いとされている。この、Ｒ＞Ｔが成り立つときに、Ｒの座標をコーナーと判定してもよい。
　そして、図１１Ｃに示すように、異物検出部１０２ｂは、抽出された特徴点に対して、Ｌｕｃａｓ－Ｋａｎａｄｅ　ｍｅｔｈｏｄを用いて、フレーム間での特徴点移動追跡を行う（ステップＳＦ－３）。
　そして、図１１Ｄに示すように、異物検出部１０２ｂは、フレーム間での特徴点移動について、Ｍｏｔｉｏｎ　ｖｅｃｔｏｒ　ｆｉｌｔｅｒを用いて、水平方向のみの移動ベクトルの抽出を行う（ステップＳＦ－４）。ここで、画素を（ｘ，ｙ）、時間をｔ、移動ベクトルの角度をθ、ならびに、ＴＬおよびＴＵをスライス（ベクトルのスカラ）とする。そして、めくり動作の動きは水平方向と仮定し、現在の座標を（Ｘｔ，Ｙｔ）、次の時間の座標を（Ｘｔ＋１，Ｙｔ＋１）、および、２つの座標の移動角度をωとして、異物検出部１０２ｂは、下記数式４に基づいてｔａｎωを算出してもよい。
Figure JPOXMLDOC01-appb-M000004
　ここで、許容する水平方向の角度をθとすると、判定条件の一つは下記数式５となる。
Figure JPOXMLDOC01-appb-M000005
 　また、ＴＬおよびＴＵを、移動量の上限値および下限値とすると、二点間の距離より判定条件の一つは下記数式６となる。
Figure JPOXMLDOC01-appb-M000006
 　この、数式５および数式６が同時に成立するときに、異物検出部１０２ｂは、水平方向のベクトルと判断して保存してもよい。
　そして、図１１Ｅに示すように、異物検出部１０２ｂは、抽出された移動ベクトル全体の方向よりページの動き（移動方向）を判定（動体判定）し、本のページのめくり動作を検出し（ステップＳＦ－５）、処理を終了する。
　図９に戻り、リスト格納部１０２ｄは、リスト管理部１０６ａのリストに現在のページ番号、画像の保存先、手の位置、および、サイズを追加する（ステップＳＤ－９）。
　ここで、図１２および図１３を参照して、本実施形態におけるリストの一例について説明する。図１２および図１３は、本実施形態におけるリストの一例を示す図である。
　図１２には、本の見開きに対応する画像を左右に分割した、右側のリスト（画像リスト）の具体例が示されている。図１２に示すように、画像リストには、各画像の画像番号、ページのめくり有無、ページの動き有無、映り込んだ手の数、ならびに、映り込んだ各手の座標、手の大きさ、および、手の形（画像）に関する情報が含まれていてもよい。例えば、図１２においては、画像番号８乃至１０の画像が、手の映り込みが無く、ページの動きも無い画像であるが、本実施形態において、出力画像取得部１０２ｆは、リストの最上部（時系列的に最も古い）画像番号８の画像を出力画像として取得してもよい。すなわち、画像番号１１の画像においては、手の映り込みが検出されているが、画像処理上、異物検出部１０２ｂによる画像番号９および１０の画像における、手の検出が完全では無い可能性があるため、出力画像取得部１０２ｆは、画像番号８の画像を出力画像として取得してもよい。
　また、図１３には、本の見開きに対応する画像を左右に分割した、左側のリスト（画像リスト）の具体例が示されている。例えば、図１３においては、画像番号１および２の画像以外に、手の映り込みが無い画像は無いため、出力画像取得部１０２ｆは、同一のページに対応する各画像を切り出し、合成することにより出力画像を取得してもよい。すなわち、出力画像取得部１０２ｆは、リストに基づいて、各画像から手の映り込みが重ならない部分（画像）を探索することで、各画像を切り出し、合成することにより出力画像を取得してもよい。ここで、リストの左右の番号は、同じ時間での画像であってもよい。
　図９に戻り、動作検出部１０２ｃは、綴じ媒体のページのめくり動作の完了を検出したか否か判定し（ステップＳＤ－１０）、各画像に対応するページを特定する。
　そして、動作検出部１０２ｃは、綴じ媒体のページのめくり動作の完了を検出していないと判定した場合（ステップＳＤ－１０：Ｎｏ）、処理をステップＳＤ－２２に移行させる。
　一方、リスト格納部１０２ｄは、綴じ媒体のページのめくり動作の完了を検出したと判定した場合（ステップＳＤ－１０：Ｙｅｓ）、リスト管理部１０６ａのリストに管理部めくりフラグを追加する（ステップＳＤ－１１）。
　そして、検出判定部１０２ｅは、リスト管理部１０６ａに記憶されたリストに基づいて、前回のリストの管理部めくりフラグの位置から現在の位置まで（画像を）探索する（ステップＳＤ－１２）。なお、前回のリストの管理部めくりフラグがない場合、検出判定部１０２ｅは、リスト管理部１０６ａに記憶されたリストに基づいて、最初から現在の位置まで（画像を）探索してもよい。
　そして、検出判定部１０２ｅは、探索された画像における、本の位置と手の位置とを認識し、本と手とが最も分離される位置を探す（ステップＳＤ－１３）。
　そして、検出判定部１０２ｅは、探索された画像が手の映り込み（手の重なり）のある画像であるか否か判定する（ステップＳＤ－１４）。
　そして、検出判定部１０２ｅは、画像が手の重なりのある画像ではないと判定した場合（ステップＳＤ－１４：Ｎｏ）、処理をステップＳＤ－１８に移行させる。
　一方、検出判定部１０２ｅは、画像が手の重なりのある画像であると判定した場合（ステップＳＤ－１４：Ｙｅｓ）、重なった部分が重ならない画像を探す（ステップＳＤ－１５）。
　そして、検出判定部１０２ｅは、手が重なった部分が重ならない画像があるか否か判定する（ステップＳＤ－１６）。
　そして、検出判定部１０２ｅは、手が重なった部分が重ならない画像があると判定した場合（ステップＳＤ－１６：Ｙｅｓ）、処理をステップＳＤ－１４に移行させる。
　一方、検出判定部１０２ｅは、手が重なった部分が重ならない画像がないと判定した場合（ステップＳＤ－１６：Ｎｏ）、その画像を手の映り込みのある（手残りあり）画像と判定する（ステップＳＤ－１７）。
　そして、制御部１０２は、リスト管理部１０６ａに記憶されたリストに基づいて、検出判定部１０２ｅにより同一のページに対応する各画像から、当該ページに最適な画像が複数抽出されたか否か判定する（ステップＳＤ－１８）。
　そして、出力画像取得部１０２ｆは、同一のページに対応する各画像から、当該ページに最適な画像が複数抽出されていないと判定した場合（ステップＳＤ－１８：Ｎｏ）、抽出された画像を出力画像として取得し、処理をステップＳＤ－２１に移行させる。
　そして、出力画像取得部１０２ｆは、制御部１０２により同一のページに対応する各画像から、当該ページに最適な画像が複数抽出されたと判定された場合（ステップＳＤ－１８：Ｙｅｓ）、抽出された複数の画像から手の写り込まない画像を用いて合成することにより出力画像を取得する（ステップＳＤ－１９）。
　そして、出力画像取得部１０２ｆは、手残りありの場合、手の削除処理（周りから補完）を行い、出力画像として取得する（ステップＳＤ－２０）。すなわち、出力画像取得部１０２ｆは、同一のページに対応する各画像において、手の移り込みが検出される領域（部分画像）が存在する場合、画像から手の移り込みを削除し、他（例えば、前後など）のページに対応する画像を用いて当該部分を補完してもよい。
　そして、画像出力部１０２ｇは、出力画像取得部１０２ｆにより取得された画像（出力画像）をページとして入出力部１１２を介して出力する（ステップＳＤ－２１）。
　そして、制御部１０２は、画像読取部１１０にて本の読み取りが終了したか否か判定する（ステップＳＤ－２２）。
　そして、制御部１０２は、画像読取部１１０にて本の読み取りが終了していないと判定した場合（ステップＳＤ－２２：Ｎｏ）、処理をステップＳＤ－２に移行させる。
　一方、制御部１０２は、画像読取部１１０にて本の読み取りが終了したと判定した場合（ステップＳＤ－２２：Ｙｅｓ）、処理が１回目であるか否か判定する（ステップＳＤ－２３）。
　そして、制御部１０２は、処理が１回目であると判定した場合（ステップＳＤ－２３：Ｙｅｓ）、処理をステップＳＤ－１１に移行させる。
　一方、制御部１０２は、処理が１回目でないと判定した場合（ステップＳＤ－２３：Ｎｏ）、処理を終了する。
　すなわち、本実施形態においては、連続して画像読み取りを行い、各々の画像に対して手の検出を行う。そして、画像と前後の画像の動きより、手の動作を判定し、画像の動きによりページ動作を判定し、手の動作（と、それに同期したページの動き）によりページめくりを判定する。そして、本実施形態においては、これらの判定結果を元に、候補となるフレーム画像の抽出し、抽出結果が複数の場合、手がない部分の画像を合成して一つのページを生成する。そして、本実施形態においては、これらを繰り返すことで、連続して画像を生成することができる。
　ここで、図１４を参照して、本実施形態における抽出フレーム判定処理の一例について説明する。図１４は、本実施形態における抽出フレーム判定処理の一例を示すフローチャートである。
　図１４において、検出判定部１０２ｅは、リスト管理部１０６ａに記憶された左右のリストから、最初のめくり場所を探索する（ステップＳＧ－１）。すなわち、左めくりの場合、最初のめくり場所は、右リストにあり、右めくりの場合、最初のめくり場所は、左リストにあることになる。
　そして、検出判定部１０２ｅは、リスト管理部１０６ａに記憶されたリストに基づいて、前回のイベント（開始、終了、または、ページめくり開始）まで探索する（ステップＳＧ－２）。
　そして、検出判定部１０２ｅは、リスト管理部１０６ａに記憶されたリストに基づいて、同一のページに対応する各画像から、ページの動きが無い画像があるか否か判定する（ステップＳＧ－３）。
　そして、画像出力部１０２ｇは、検出判定部１０２ｅにより同一のページに対応する各画像から、ページの動きが無い画像が無いと判定された場合（ステップＳＧ－３：Ｎｏ）、エラー通知を入出力部１１２を介して出力し（ステップＳＧ－４）、処理を終了する。
　一方、検出判定部１０２ｅは、同一のページに対応する各画像から、ページの動きが無い画像があると判定された場合（ステップＳＧ－３：Ｙｅｓ）、リスト管理部１０６ａに記憶されたリストに基づいて、ユーザの手の映り込みのない画像があるか否か判定する（ステップＳＧ－５）。
　そして、出力画像取得部１０２ｆは、検出判定部１０２ｅによりユーザの手の映り込みのない画像があると判定された場合（ステップＳＧ－５：Ｙｅｓ）、当該手の映り込みのない画像を出力画像として取得し、処理をステップＳＧ－９に移行させる。ここで、出力画像取得部１０２ｆは、前のページめくりまでの時間軸の中から最適なフレーム画像を選択（１枚、または、複数）し、候補が複数ある場合、ページの動きが少ない方を選択してもよい。すなわち、出力画像取得部１０２ｆは、画像番号が大きい方、または、番号両隣の画像に動きがより少ない方の画像を出力画像として取得してもよい。
　一方、制御部１０２は、検出判定部１０２ｅによりユーザの手の映り込みのない画像が無いと判定された場合（ステップＳＧ－５：Ｎｏ）、リスト管理部１０６ａに記憶されたリストに基づいて、手の領域が重ならない画像を探索する（ステップＳＧ－６）。
　ここで、図１５を参照して、本実施形態における手の領域が重ならない画像探索の一例について説明する。図１５は、本実施形態における手の領域が重ならない画像探索処理の一例を示すフローチャートである。
　図１５に示すように、制御部１０２は、リスト管理部１０６ａに記憶されたリストに基づいて、基準となるフレーム（画像番号）を基準データ（Ａ）として選定する（ステップＳＨ－１）。
　そして、制御部１０２は、基準データ（Ａ）の手の形に関する情報を抽出し、手の形に関する情報に基づいて、基準データ（Ａ）の各画素Ａ（ｘ，ｙ）に二値データ（１＝手、および、０＝背景）を付与する（ステップＳＨ－２）。
　そして、制御部１０２は、比較対象を一つ前のフレームとし、対象データ（Ｂ）として設定する（ステップＳＨ－３）。
　そして、制御部１０２は、対象データ（Ｂ）が、基準データ（Ａ）の前回のイベント（例えば、異なるページ等）であるか否か判定する（ステップＳＨ－４）。
　そして、制御部１０２は、対象データ（Ｂ）が、基準データ（Ａ）の前回のイベントであると判定した場合（ステップＳＨ－４：Ｙｅｓ）、比較対象なしと判定し（ステップＳＨ－５）、処理を終了する。
　一方、制御部１０２は、対象データ（Ｂ）が、基準データ（Ａ）の前回のイベントではないと判定した場合（ステップＳＨ－４：Ｎｏ）、対象データ（Ｂ）の手の形に関する情報を抽出し、対象データ（Ｂ）の各画素Ｂ（ｘ，ｙ）に二値データ（１＝手、および、０＝背景）を付与し、両データの各画素（例えば、同一座標にある画素等）の積（ΣＡ（ｘ，ｙ）Ｂ（ｘ，ｙ））を算出することにより、対象データの手があるデータ全てが、基準データの背景部分かを探索する（ステップＳＨ－６）。
　そして、制御部１０２は、算出した結果、すなわち、積（ΣＡ（ｘ，ｙ）Ｂ（ｘ，ｙ））＝０であるか否か判定する（ステップＳＨ－７）。
　そして、制御部１０２は、算出した結果＝０ではないと判定した場合（ステップＳＨ－７：Ｎｏ）、処理をステップＳＨ－３に移行させる。
　一方、制御部１０２は、算出した結果＝０であると判定した場合（ステップＳＨ－７：Ｙｅｓ）、対象ありとし、対象データ（Ｂ）のフレームを手の領域が重ならない画像に選定し（ステップＳＨ－８）、処理を終了する。
　図１４に戻り、制御部１０２は、手の領域が重ならない画像があるか否か判定する（ステップＳＧ－７）。
　そして、制御部１０２は、手の領域が重ならない画像が無いと判定した場合（ステップＳＧ－７：Ｎｏ）、処理をステップＳＧ－４に移行させる。
　そして、出力画像取得部１０２ｆは、制御部１０２により手の領域が重ならない画像があると判定された場合（ステップＳＧ－７：Ｙｅｓ）、選定した手の領域が重ならない画像を切り出し、合成することにより出力画像を取得する（ステップＳＧ－８）。
　そして、画像出力部１０２ｇは、出力画像取得部１０２ｆにより取得された出力画像を入出力部１１２を介して、めくり方向のページ順番で出力する（ステップＳＧ－９）。なお、ステップＳＧ－２乃至ＳＧ－９の処理は、左右各々実施してもよい。
　そして、制御部１０２は、リスト管理部１０６ａに記憶されたリストに基づいて、次のイベントの処理に移行する（ステップＳＧ－１０）。
　そして、制御部１０２は、リスト管理部１０６ａに記憶されたリストに基づいて、イベントが終了であるか否か判定する（ステップＳＧ－１１）。
　そして、制御部１０２は、イベントが終了ではないと判定した場合（ステップＳＧ－１１：Ｎｏ）、処理をステップＳＧ－２に移行させる。
　一方、制御部１０２は、イベントが終了であると判定した場合（ステップＳＧ－１１：Ｙｅｓ）、処理を終了する。
［４．他の実施形態］
　さて、これまで本発明の実施形態について説明したが、本発明は、上述した実施形態以外にも、特許請求の範囲に記載した技術的思想の範囲内において種々の異なる実施形態にて実施されてよいものである。
　例えば、オーバーヘッド型画像読取装置１００は、スタンドアローンの形態で処理を行ってもよく、クライアント端末（オーバーヘッド型画像読取装置１００とは別筐体である）からの要求に応じて処理を行い、その処理結果を当該クライアント端末に返却するようにしてもよい。
　また、実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。
　このほか、明細書中および図面中で示した処理手順、制御手順、具体的名称、各処理の登録データもしくは検索条件等のパラメータを含む情報、画面例、または、データベース構成については、特記する場合を除いて任意に変更することができる。
　また、オーバーヘッド型画像読取装置１００に関して、図示の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。
　例えば、オーバーヘッド型画像読取装置１００の各装置が備える処理機能、特に制御部１０２にて行われる各処理機能については、その全部または任意の一部を、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）および当該ＣＰＵにて解釈実行されるプログラムにて実現してもよく、また、ワイヤードロジックによるハードウェアとして実現してもよい。尚、プログラムは、後述する、コンピュータに本発明に係る方法を実行させるためのプログラム化された命令を含む、一時的でないコンピュータ読み取り可能な記録媒体に記録されており、必要に応じてオーバーヘッド型画像読取装置１００に機械的に読み取られる。すなわち、ＲＯＭまたはＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）などの記憶部１０６などには、ＯＳ（Ｏｐｅｒａｔｉｎｇ　Ｓｙｓｔｅｍ）と協働してＣＰＵに命令を与え、各種処理を行うためのコンピュータプログラムが記録されている。このコンピュータプログラムは、ＲＡＭにロードされることによって実行され、ＣＰＵと協働して制御部を構成する。
　また、このコンピュータプログラムは、オーバーヘッド型画像読取装置１００に対して任意のネットワークを介して接続されたアプリケーションプログラムサーバに記憶されていてもよく、必要に応じてその全部または一部をダウンロードすることも可能である。
　また、本発明に係るプログラムを、コンピュータ読み取り可能な記録媒体に格納してもよく、また、プログラム製品として構成することもできる。ここで、この「記録媒体」とは、メモリーカード、ＵＳＢメモリ、ＳＤカード、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤ、および、Ｂｌｕ－ｒａｙ（登録商標）　Ｄｉｓｃ等の任意の「可搬用の物理媒体」を含むものとする。
　また、「プログラム」とは、任意の言語や記述方法にて記述されたデータ処理方法であり、ソースコードやバイナリコード等の形式を問わない。なお、「プログラム」は必ずしも単一的に構成されるものに限られず、複数のモジュールやライブラリとして分散構成されるものや、ＯＳ（Ｏｐｅｒａｔｉｎｇ　Ｓｙｓｔｅｍ）に代表される別個のプログラムと協働してその機能を達成するものをも含む。なお、実施形態に示した各装置において記録媒体を読み取るための具体的な構成、読み取り手順、あるいは、読み取り後のインストール手順等については、周知の構成や手順を用いることができる。
　記憶部１０６に格納される各種のデータベース等（リスト管理部１０６ａ）は、ＲＡＭもしくはＲＯＭ等のメモリ装置、ハードディスク等の固定ディスク装置、フレキシブルディスク、および／または、光ディスク等のストレージ手段であり、各種処理やウェブサイト提供に用いる各種のプログラム、テーブル、データベース、および／または、ウェブページ用ファイル等を格納してもよい。
　また、オーバーヘッド型画像読取装置１００は、既知のパーソナルコンピュータ、ワークステーション等の情報処理装置として構成してもよく、また、該情報処理装置に任意の周辺装置を接続して構成してもよい。また、オーバーヘッド型画像読取装置１００は、該情報処理装置に本発明の方法を実現させるソフトウェア（プログラム、データ等を含む）を実装することにより実現してもよい。
　更に、装置の分散・統合の具体的形態は図示するものに限られず、その全部または一部を、各種の付加等に応じて、または、機能負荷に応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。すなわち、上述した実施形態を任意に組み合わせて実施してもよく、実施形態を選択的に実施してもよい。
　以上のように、本発明に係るオーバーヘッド型画像読取装置、画像処理方法、および、プログラムは、産業上の多くの分野、特にスキャナで読み取った画像を扱う画像処理分野で実施することができ、極めて有用である。
　１００　オーバーヘッド型画像読取装置
　１０２　制御部
　１０２ａ　画像取得部
　１０２ｂ　異物検出部
　１０２ｃ　動作検出部
　１０２ｄ　リスト格納部
　１０２ｅ　検出判定部
　１０２ｆ　出力画像取得部
　１０２ｇ　画像出力部
　１０２ｈ　保管部
　１０６　記憶部
　１０６ａ　リスト管理部
　１０８　入出力インターフェース部
　１１０　画像読取部
　１１２　入出力部

Claims (17)

  1. 　めくられる綴じ媒体を連続して画像読取部にて読取らせ、画像を取得する画像取得手段と、
    　同一のページに対応する前記各画像から、異物の映り込みのない前記画像があるか否か判定する検出判定手段と、
    　前記検出判定手段により前記異物の映り込みのない画像があると判定された場合、前記異物の映り込みのない画像を出力画像として取得し、前記検出判定手段により前記異物の映り込みのない画像がないと判定された場合、前記同一のページに対応する各画像を組み合わせて前記出力画像を取得する出力画像取得手段と、
    　を備えたことを特徴とする、オーバーヘッド型画像読取装置。
  2. 　前記画像取得手段により取得された前記各画像における、前記異物の映り込みを検出する異物検出手段と、
    　前記画像取得手段により取得された前記画像から、前記綴じ媒体の前記ページのめくり動作を検出し、前記各画像に対応する前記ページを特定する動作検出手段と、
    　を更に備え、
    　前記検出判定手段は、
    　前記動作検出手段により特定された同一の前記ページに対応する前記各画像から、前記異物検出手段により前記異物の映り込みが検出されなかった前記画像があるか否か判定する、請求項１に記載のオーバーヘッド型画像読取装置。
  3. 　前記画像の番号と、前記異物の映り込みに関する情報と、前記ページの前記めくり動作に関する情報と、を対応付けたリストを記憶するリスト記憶手段、
    　を更に備え、
    　前記検出判定手段は、
    　前記リスト記憶手段に記憶された前記リストに基づいて、前記同一のページに対応する前記各画像から、前記異物の映り込みのない画像があるか否か判定する、請求項２に記載のオーバーヘッド型画像読取装置。
  4. 　前記動作検出手段により前記各めくり動作の完了が検出された場合、前記リストを前記リスト記憶手段に格納するリスト格納手段、
    　を更に備えた、請求項３に記載のオーバーヘッド型画像読取装置。
  5. 　前記動作検出手段は、
    　前記画像取得手段により取得された前記画像において、前記異物の移動方向と、予め設定された前記ページのめくり方向と、が一致した場合、前記綴じ媒体の前記ページの前記めくり動作を検出し、前記各画像に対応する前記ページを特定する、請求項２乃至４のいずれか一つに記載のオーバーヘッド型画像読取装置。
  6. 　前記動作検出手段は、
    　前記画像取得手段により取得された前記画像において、前記異物の動きベクトルと、前記ページの動きベクトルと、が一致した場合、前記綴じ媒体の前記ページの前記めくり動作を検出し、前記各画像に対応する前記ページを特定する、請求項２乃至４のいずれか一つに記載のオーバーヘッド型画像読取装置。
  7. 　前記出力画像取得手段は、
    　前記検出判定手段により前記異物の映り込みのない画像がないと判定された場合、前記同一のページに対応する各画像を切り出し、合成することにより前記出力画像を取得する、請求項１乃至６のいずれか一つに記載のオーバーヘッド型画像読取装置。
  8. 　前記異物は、
    　ユーザの手である、請求項１乃至７のいずれか一つに記載のオーバーヘッド型画像読取装置。
  9. 　オーバーヘッド型画像読取装置で実行される、
    　めくられる綴じ媒体を連続して画像読取部にて読取らせ、画像を取得する画像取得ステップと、
    　同一のページに対応する前記各画像から、異物の映り込みのない前記画像があるか否か判定する検出判定ステップと、
    　前記検出判定ステップにて前記異物の映り込みのない画像があると判定された場合、前記異物の映り込みのない画像を出力画像として取得し、前記検出判定ステップにて前記異物の映り込みのない画像がないと判定された場合、前記同一のページに対応する各画像を組み合わせて前記出力画像を取得する出力画像取得ステップと、
    　を含むことを特徴とする画像処理方法。
  10. 　前記画像取得ステップにて取得された前記各画像における、前記異物の映り込みを検出する異物検出ステップと、
    　前記画像取得ステップにて取得された前記画像から、前記綴じ媒体の前記ページのめくり動作を検出し、前記各画像に対応する前記ページを特定する動作検出ステップと、
    　を更に含み、
    　前記検出判定ステップにて、
    　前記動作検出ステップにて特定された同一の前記ページに対応する前記各画像から、前記異物検出ステップにて前記異物の映り込みが検出されなかった前記画像があるか否か判定する、請求項９に記載の画像処理方法。
  11. 　前記検出判定ステップにて、
    　前記オーバーヘッド型画像読取装置に記憶された前記画像の番号と、前記異物の映り込みに関する情報と、前記ページの前記めくり動作に関する情報と、を対応付けたリストに基づいて、前記同一のページに対応する前記各画像から、前記異物の映り込みのない画像があるか否か判定する、請求項１０に記載の画像処理方法。
  12. 　前記動作検出ステップにて前記各めくり動作の完了が検出された場合、前記リストを前記オーバーヘッド型画像読取装置に格納するリスト格納ステップ、
    　を更に含む、請求項１１に記載の画像処理方法。
  13. 　前記動作検出ステップにて、
    　前記画像取得ステップにて取得された前記画像において、前記異物の移動方向と、予め設定された前記ページのめくり方向と、が一致した場合、前記綴じ媒体の前記ページの前記めくり動作を検出し、前記各画像に対応する前記ページを特定する、請求項１０乃至１２のいずれか一つに記載の画像処理方法。
  14. 　前記動作検出ステップにて、
    　前記画像取得ステップにて取得された前記画像において、前記異物の動きベクトルと、前記ページの動きベクトルと、が一致した場合、前記綴じ媒体の前記ページの前記めくり動作を検出し、前記各画像に対応する前記ページを特定する、請求項１０乃至１２のいずれか一つに記載の画像処理方法。
  15. 　前記出力画像取得ステップにて、
    　前記検出判定ステップにて前記異物の映り込みのない画像がないと判定された場合、前記同一のページに対応する各画像を切り出し、合成することにより前記出力画像を取得する、請求項９乃至１４のいずれか一つに記載の画像処理方法。
  16. 　前記異物は、
    　ユーザの手である、請求項９乃至１５のいずれか一つに記載の画像処理方法。
  17. 　オーバーヘッド型画像読取装置に実行させるための、
    　めくられる綴じ媒体を連続して画像読取部にて読取らせ、画像を取得する画像取得ステップと、
    　同一のページに対応する前記各画像から、異物の映り込みのない前記画像があるか否か判定する検出判定ステップと、
    　前記検出判定ステップにて前記異物の映り込みのない画像があると判定された場合、前記異物の映り込みのない画像を出力画像として取得し、前記検出判定ステップにて前記異物の映り込みのない画像がないと判定された場合、前記同一のページに対応する各画像を組み合わせて前記出力画像を取得する出力画像取得ステップと、
    　を含むことを特徴とするプログラム。
PCT/JP2013/082994 2013-12-09 2013-12-09 オーバーヘッド型画像読取装置、画像処理方法、および、プログラム WO2015087383A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2013/082994 WO2015087383A1 (ja) 2013-12-09 2013-12-09 オーバーヘッド型画像読取装置、画像処理方法、および、プログラム
JP2015552220A JP6120989B2 (ja) 2013-12-09 2013-12-09 オーバーヘッド型画像読取装置、画像処理方法、および、プログラム
US15/098,161 US10049264B2 (en) 2013-12-09 2016-04-13 Overhead image-reading apparatus, image-processing method, and computer program product

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2013/082994 WO2015087383A1 (ja) 2013-12-09 2013-12-09 オーバーヘッド型画像読取装置、画像処理方法、および、プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/098,161 Continuation US10049264B2 (en) 2013-12-09 2016-04-13 Overhead image-reading apparatus, image-processing method, and computer program product

Publications (1)

Publication Number Publication Date
WO2015087383A1 true WO2015087383A1 (ja) 2015-06-18

Family

ID=53370732

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/082994 WO2015087383A1 (ja) 2013-12-09 2013-12-09 オーバーヘッド型画像読取装置、画像処理方法、および、プログラム

Country Status (3)

Country Link
US (1) US10049264B2 (ja)
JP (1) JP6120989B2 (ja)
WO (1) WO2015087383A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017057690A1 (ja) * 2015-09-30 2017-04-06 ヤマハ株式会社 画像処理装置

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10310675B2 (en) * 2014-08-25 2019-06-04 Canon Kabushiki Kaisha User interface apparatus and control method
CN108513664B (zh) * 2017-02-06 2019-11-29 华为技术有限公司 图像处理的方法和设备
US20240029213A1 (en) * 2020-10-12 2024-01-25 Hewlett-Packard Development Company, L.P. Document-occluding artifact removal
US20230360420A1 (en) * 2020-10-14 2023-11-09 Hewlett-Packard Development Company, L.P. Document image capture

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000354152A (ja) * 1999-06-11 2000-12-19 Minolta Co Ltd 画像読み取り装置
JP2010056771A (ja) * 2008-08-27 2010-03-11 Ricoh Co Ltd 画像読み取り装置、画像読み取り方法、プログラム、記憶媒体

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5377019A (en) * 1991-12-02 1994-12-27 Minolta Co., Ltd. Document reading apparatus having a function of determining effective document region based on a detected data
KR100324989B1 (ko) * 1993-11-08 2002-06-24 마츠시타 덴끼 산교 가부시키가이샤 입력표시일체형정보처리장치
JPH10210266A (ja) * 1997-01-22 1998-08-07 Minolta Co Ltd 画像読み取り装置
JP3773011B2 (ja) * 1997-06-20 2006-05-10 シャープ株式会社 画像合成処理方法
JPH11103380A (ja) * 1997-09-26 1999-04-13 Minolta Co Ltd 画像読み取り装置
JP3475849B2 (ja) * 1999-04-16 2003-12-10 日本電気株式会社 文書画像取得装置および文書画像取得方法
US6947609B2 (en) * 2002-03-04 2005-09-20 Xerox Corporation System with motion triggered processing
US7751608B2 (en) * 2004-06-30 2010-07-06 Ecole Polytechnique Federale De Lausanne (Epfl) Model-based synthesis of band moire images for authenticating security documents and valuable products
JP2004153691A (ja) * 2002-10-31 2004-05-27 Casio Comput Co Ltd 撮像装置、撮像方法及びプログラム
JP2011254366A (ja) 2010-06-03 2011-12-15 Pfu Ltd オーバーヘッドスキャナ装置、画像取得方法、および、プログラム
CN103377462B (zh) * 2012-04-16 2016-05-04 富士通株式会社 对扫描图像进行处理的方法和装置
JP6052997B2 (ja) * 2013-02-28 2016-12-27 株式会社Pfu オーバヘッドスキャナ装置、画像取得方法、および、プログラム
JP5981876B2 (ja) * 2013-04-24 2016-08-31 株式会社Pfu 情報処理装置、方法およびプログラム
JP6327931B2 (ja) * 2014-05-02 2018-05-23 キヤノン株式会社 画像処理装置、情報処理方法及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000354152A (ja) * 1999-06-11 2000-12-19 Minolta Co Ltd 画像読み取り装置
JP2010056771A (ja) * 2008-08-27 2010-03-11 Ricoh Co Ltd 画像読み取り装置、画像読み取り方法、プログラム、記憶媒体

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017057690A1 (ja) * 2015-09-30 2017-04-06 ヤマハ株式会社 画像処理装置
US10699390B2 (en) 2015-09-30 2020-06-30 Yamaha Corporation Image processing apparatus and image processing method

Also Published As

Publication number Publication date
JPWO2015087383A1 (ja) 2017-03-16
JP6120989B2 (ja) 2017-04-26
US10049264B2 (en) 2018-08-14
US20160232405A1 (en) 2016-08-11

Similar Documents

Publication Publication Date Title
JP6120989B2 (ja) オーバーヘッド型画像読取装置、画像処理方法、および、プログラム
CN102918828B (zh) 上置型扫描仪装置及图像处理方法
JP4873787B2 (ja) 文書を認識及びインデックスする方法
US8644621B2 (en) Image processing apparatus and image retrieval method
EP2364011B1 (en) Fine-grained visual document fingerprinting for accurate document comparison and retrieval
JP2001109895A (ja) 複数のディジタル画像の処理方法
JPH06282588A (ja) フルテキスト索引の生成、調査、検索および表示方法
JP2004234228A (ja) 画像検索装置、画像検索装置におけるキーワード付与方法、及びプログラム
JP5749367B1 (ja) 画像読取装置、画像処理方法、および、プログラム
JP2011191928A (ja) 画像処理方法および画像処理装置
KR101035990B1 (ko) 이미지 세분화 방법 및 컴퓨터 판독가능 수단
EP3438851A1 (en) Vehicle model identification device, vehicle model identification system, and vehicle model identification method
JP6052997B2 (ja) オーバヘッドスキャナ装置、画像取得方法、および、プログラム
JP2001101426A (ja) ディジタル画像処理方法
JP6261443B2 (ja) 分光情報を処理する情報処理装置及び情報処理方法
JP2013127809A (ja) 画像処理装置、画像処理方法及びプログラム
JP2006330872A (ja) 指紋照合装置、方法およびプログラム
JP4188342B2 (ja) 指紋照合装置、方法およびプログラム
JP6181778B2 (ja) オーバーヘッド型画像読取装置、画像処理方法、および、プログラム
JP6890849B2 (ja) 情報処理システム
JPH08180068A (ja) 電子ファイリング装置
WO2015121981A1 (ja) オーバヘッドスキャナ装置、画像取得方法、および、プログラム
US20230205820A1 (en) Geometry-based design data search tool
JP5083060B2 (ja) 画像表示装置、画像表示方法及びプログラム
JP2021144673A (ja) 画像処理装置、画像処理方法、およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13899174

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015552220

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13899174

Country of ref document: EP

Kind code of ref document: A1