EP3158543A1 - Verfahren zum detektieren eines blickwinkelabhängigen merkmals eines dokumentes - Google Patents

Verfahren zum detektieren eines blickwinkelabhängigen merkmals eines dokumentes

Info

Publication number
EP3158543A1
EP3158543A1 EP15728835.8A EP15728835A EP3158543A1 EP 3158543 A1 EP3158543 A1 EP 3158543A1 EP 15728835 A EP15728835 A EP 15728835A EP 3158543 A1 EP3158543 A1 EP 3158543A1
Authority
EP
European Patent Office
Prior art keywords
image
document
camera
document image
spatial position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP15728835.8A
Other languages
English (en)
French (fr)
Other versions
EP3158543B1 (de
Inventor
Andreas Hartl
Dieter Schmalstieg
Olaf Dressel
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bundesdruckerei GmbH
Original Assignee
Bundesdruckerei GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bundesdruckerei GmbH filed Critical Bundesdruckerei GmbH
Publication of EP3158543A1 publication Critical patent/EP3158543A1/de
Application granted granted Critical
Publication of EP3158543B1 publication Critical patent/EP3158543B1/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07D—HANDLING OF COINS OR VALUABLE PAPERS, e.g. TESTING, SORTING BY DENOMINATIONS, COUNTING, DISPENSING, CHANGING OR DEPOSITING
    • G07D7/00—Testing specially adapted to determine the identity or genuineness of valuable papers or for segregating those which are unacceptable, e.g. banknotes that are alien to a currency
    • G07D7/20—Testing patterns thereon
    • G07D7/2008—Testing patterns thereon using pre-processing, e.g. de-blurring, averaging, normalisation or rotation
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07D—HANDLING OF COINS OR VALUABLE PAPERS, e.g. TESTING, SORTING BY DENOMINATIONS, COUNTING, DISPENSING, CHANGING OR DEPOSITING
    • G07D7/00—Testing specially adapted to determine the identity or genuineness of valuable papers or for segregating those which are unacceptable, e.g. banknotes that are alien to a currency
    • G07D7/003—Testing specially adapted to determine the identity or genuineness of valuable papers or for segregating those which are unacceptable, e.g. banknotes that are alien to a currency using security elements
    • G07D7/0032—Testing specially adapted to determine the identity or genuineness of valuable papers or for segregating those which are unacceptable, e.g. banknotes that are alien to a currency using security elements using holograms

Definitions

  • the present invention relates to the field of detection of viewing-angle-dependent features, in particular of holograms, on documents.
  • Viewing angle dependent features such as holograms
  • viewing-angle dependent features are applied to identification documents or banknotes to make it difficult to copy the documents.
  • Viewpoint-dependent features can have viewing angle-dependent representations.
  • a verification of a viewing-angle-dependent feature for checking the authenticity or authenticity of a document can be performed manually by a person.
  • the detection of the viewing angle-dependent feature of the document is done visually by the person.
  • the viewing angle-dependent feature can be visually verified by the person, for example by a visual comparison of the representations of the viewing angle-dependent feature with previously known reference representations. Detection and verification of a viewing-angle-dependent feature by a person is usually very time-consuming.
  • the use of electronic assistance systems is of particular interest for the verification of a viewing-angle-dependent feature of a document.
  • the invention is based on the finding that the above object can be achieved by capturing images of the document in different spatial positions relative to the document and by determining an image difference between the captured images.
  • the viewing angle-dependent feature in the images of the document has different viewing angle-dependent representations.
  • image differences between the captured images image areas with strong optical changes can be efficiently assigned to the viewing-angle dependent feature.
  • the invention relates to a method for detecting a viewing-angle-dependent feature of a document using an image camera, wherein the viewing angle-dependent feature comprises viewing angle-dependent representations, with a capture of a first image of the document by the image camera in a first spatial position of the document relative to the image camera to obtain a first document image, capturing a second image of the document by the image camera in a second spatial position of the document relative to the image camera to obtain a second document image, and detecting an image difference between the first document image and the second document image, to detect the viewing angle dependent feature of the document.
  • the advantage is achieved that an efficient concept for detecting a viewing angle-dependent feature of a document can be realized.
  • the viewing angle-dependent feature may have viewing angle-dependent representations and / or lighting angle-dependent representations.
  • the document may be one of the following documents: an identity document such as an identity card, a passport, an access control card Permission card, business card, tax stamp, ticket, birth certificate, driver's license, car pass, or a form of payment, such as a bank card or credit card.
  • the document may further comprise an electronically readable circuit, such as an RFID chip.
  • the document may be single-layer or multi-layered as well as paper and / or plastic-based.
  • the document may be constructed of plastic-based films which are joined together to form a card body by means of gluing and / or lamination, the films preferably having similar material properties.
  • the first spatial position of the document relative to the image camera may include an arrangement and / or inclination of the document relative to the image camera.
  • the first spatial position may comprise a six degree of freedom pose, where three degrees of freedom may be associated with the assembly, and wherein three degrees of freedom may be associated with the inclination, including, for example, translation and rotation.
  • the second spatial position of the document relative to the image camera may include an arrangement and / or inclination of the document, for example comprising a translation and a rotation, relative to the image camera.
  • the second spatial position may include a six-degree of freedom pose, where three degrees of freedom may be associated with the assembly, and wherein three degrees of freedom may be associated with the inclination, including, for example, translation and rotation.
  • the first document image may be a color image or a grayscale image.
  • the first document image may include a plurality of pixels.
  • the second document image may be a color image or a grayscale image.
  • the second document image may include a plurality of pixels.
  • the first document image and the second document image can form a picture stack.
  • the image difference between the first document image and the second document image may be detected based on the plurality of pixels of the first document image and the plurality of pixels of the second document image.
  • the method comprises capturing a plurality of images of the document by the image camera in different spatial locations of the document relative to the image camera, wherein capturing the first image of the document comprises selecting the first image from the plurality of images in the first Spatial location, and wherein capturing the second image of the document comprises selecting the second image from the plurality of images in the second spatial location.
  • the capturing of the plurality of images of the document may include determining a respective spatial location based on a respective image.
  • the respective spatial locations may be compared to the first spatial location to select the first image from the plurality of images.
  • the respective spatial locations may be compared to the second spatial location to select the second image from the plurality of images.
  • the first spatial position and the second spatial position can be predetermined.
  • detecting the first image of the document further comprises perspective equalization of the first document image based on the first spatial position
  • detecting the second image of the document further comprises perspective equalizing the second document image based on the second spatial position.
  • a rectangular-shaped first document image By the perspective equalization of the first document image, a rectangular-shaped first document image can be provided.
  • a rectangular second document image By the perspective equalization of the second document image, a rectangular second document image can be provided.
  • the perspective equalization of the first document image may include scaling the first document image.
  • the perspective equalization of the second document image may include scaling the second document image.
  • the method further comprises determining the first spatial position of the document relative to the image camera on the basis of the first document image and / or determining the second spatial position of the document relative to the image camera on the basis of the second document image.
  • Determining the first spatial position and determining the second spatial position may include determining a respective homography.
  • the respective spatial position is determined by means of edge detection.
  • the edge detection may comprise a detection of lines, rectangles, parallelograms or trapezoids in the first document image and / or in the second document image.
  • the edge detection can be performed using a Hough transform.
  • the respective document image is low-pass filtered for noise reduction. This achieves the advantage that the image difference can be detected efficiently.
  • the low-pass filtering can be performed by means of a windowed average filter or a windowed Gaussian filter.
  • the low-pass filtering may further comprise determining a respective integral image of the respective document image, wherein the low-pass filtering may be performed using the respective integral image.
  • the first document image is compared to the second document image to determine an orientation of the first document image relative to the second document image, wherein the first document image and the second document image are aligned with respect to each other based on the particular orientation. This provides the advantage that the image difference can be efficiently determined.
  • the comparing the first document image with the second document image may include extracting and comparing image features of the first document image and the second document image.
  • the image features may be, for example, BRISK image features or SURF image features.
  • determining the image difference between the first document image and the second document image comprises determining a difference image based on the first document image and the second document image, the difference image indicating an image difference between the first document image and the second document image. This provides the advantage that the image difference can be displayed efficiently based on the difference image.
  • the difference image can be a grayscale image.
  • the difference image may include a plurality of pixels.
  • the difference image can also be assigned to a picture stack.
  • an average is determined from a first pixel value of a pixel of the first document image and a second pixel value of a pixel of the second document image, wherein a first deviation of the first pixel value from the average value is determined, wherein a second deviation of the second pixel value from the average value and wherein the image difference is detected based on the first deviation and the second deviation.
  • the first pixel value and / or the second pixel value may be gray level values.
  • the mean can be an arithmetic mean or a median.
  • the deviation may be a quadratic deviation or an absolute deviation.
  • a first document image mask is determined based on the first document image, wherein a second document image mask is determined based on the second document image, and wherein the image difference is detected based on the first document image mask and the second document image mask.
  • the first document image mask may include pixels having binary-valued pixel values to indicate valid and invalid pixels of the first document image.
  • the second document image mask may include pixels having binary-valued pixel values to indicate valid and invalid pixels of the second document image.
  • the respective document image mask displays pixels of the respective document image which are usable for detecting the image difference. As a result, the advantage is achieved that only valid pixels of the respective document image are used to detect the image difference.
  • a pixel of a respective document image may be invalid if the pixel is associated with a portion of the document that has been incompletely captured.
  • the image difference is segmented into a plurality of image segments, wherein the viewing angle dependent feature of the document is detected based on at least one image segment of the plurality of image segments.
  • image segments can be used to detect the viewing angle-dependent feature.
  • the image difference may be displayed by a difference image, with the difference image being segmented into the plurality of image segments.
  • the segmentation may be performed by means of a pixel-oriented image segmentation method, an edge-oriented image segmentation method, a region-oriented image segmentation method, a model-oriented image segmentation method, or a texture-oriented image segmentation method.
  • the image segmentation method may include, for example, a maximally stable extremal region (MSER) method or a mean-shift method.
  • MSER maximally stable extremal region
  • the image segments can be contiguous image segments.
  • an image segment measure is determined for an image segment of the plurality of image segments, wherein the determined image segment measure is compared to a predetermined image segment measure to qualify the image segment for the detection of the viewing angle dependent feature. This achieves the advantage that an image segment which has the predetermined image segment size can be used for the detection of the viewing angle-dependent feature.
  • the image segment measure may be an area of the image segment, a aspect ratio of the image segment, a compactness of the image segment, a pixel value of a pixel of the image segment, or a homogeneity measure of the image segment.
  • an image segment of the plurality of image segments is associated with a first document image segment of the first document image and a second document image segment of the second document image, wherein the first document image segment is compared with the second document image segment to qualify the image segment for the detection of the viewing angle dependent feature.
  • the comparison of the first document image segment with the second document image segment can be carried out by means of a normalized cross-correlation.
  • the image segment can be qualified, for example, for the detection of the viewing angle-dependent feature if the first document image segment and the second document image segment are different.
  • the viewing-angle-dependent feature comprises a hologram or a printing ink with viewing angle-dependent reflection properties or absorption properties.
  • the invention relates to a mobile device for detecting a viewing-angle-dependent feature of a document, wherein the viewing-angle-dependent feature has viewing angle-dependent representations, with an image camera, which is designed to capture a first image of the document in a first spatial position of the document relative to the image camera to obtain a first document image, and to acquire a second image of the document in a second spatial position of the document relative to the image camera to obtain a second document image, and a processor which is adapted to make a difference in image between the first document image and the image second document image to detect the viewing angle-dependent feature of the document.
  • the mobile device may be a mobile phone or a smartphone.
  • the image camera can be a digital image camera.
  • the processor can execute a computer program.
  • the mobile device may further comprise a lighting device for illuminating the document.
  • the illumination device may be an LED illumination device.
  • the method can be carried out by means of the mobile device. Other features of the mobile device result directly from the functionality of the method.
  • the invention relates to a computer program with a program code for carrying out the method when the computer program is executed on a computer. This provides the advantage that the process can be automated and repeatable.
  • the computer program may be in machine readable form.
  • the program code may comprise a sequence of instructions for a processor.
  • the computer program can be executed by the processor of the mobile device.
  • the invention can be implemented in hardware and / or software.
  • FIG. 1 is a diagram of a method for detecting a viewing-angle-dependent feature of a document according to an embodiment
  • FIG. 2 is a diagram of a mobile device for detecting a viewing-angle-dependent feature of a document according to an embodiment
  • 3 is a diagram of a method for detecting a viewing-angle-dependent feature of a document according to an embodiment
  • 4 is a diagram of a detection scenario for detecting a perspective-dependent feature of a document according to an embodiment
  • 5 is a diagram of a plurality of captured images of the document according to an embodiment
  • 6 is a surface diagram of a difference image according to an embodiment
  • FIG. 7 shows a diagram of a difference image and a contour diagram of a segmented difference image according to an embodiment
  • FIG. 8 shows contour diagrams with image segments for a plurality of captured images of a document according to an embodiment
  • FIG. 9 is a diagram of a plurality of spatial locations for acquiring a plurality of images of the document according to one embodiment.
  • FIG. 1 shows a diagram of a method 100 for detecting a viewing-angle-dependent feature of a document according to an embodiment.
  • the method 100 is performed using an image camera.
  • the viewing angle-dependent feature has viewing angle-dependent representations.
  • the method 100 comprises capturing 101 a first image of the document by the image camera in a first spatial position of the document relative to the image camera to obtain a first document image, capturing 103 a second image of the document by the image camera in a second spatial position of the document relative to the image camera to obtain a second document image, and detecting 105 an image difference between the first document image and the second document image to detect the viewing-angle dependent feature of the document.
  • the viewing angle-dependent feature may have viewing angle-dependent representations and / or lighting angle-dependent representations.
  • the document may be one of the following: an identity document such as a passport, a passport, an access control card, a passport, a business card, a tax stamp, a ticket, a birth certificate, a driver's license, a vehicle pass, or a means of payment such as a Bank card or a credit card.
  • the document may further comprise an electronically readable circuit, such as an RFID chip.
  • the document may be single-layer or multi-layered as well as paper and / or plastic-based.
  • the document can be constructed of plastic-based films, which can be used for a Card body are joined together by means of gluing and / or lamination, wherein the films preferably have similar material properties.
  • the first spatial position of the document relative to the image camera may include an arrangement and / or inclination of the document, for example comprising a translation and a rotation, relative to the image camera.
  • the first spatial location may include a six degree of freedom pose, where three degrees of freedom may be associated with the array, and where three degrees of freedom may be associated with the slope.
  • the second spatial position of the document relative to the image camera may include an arrangement and / or inclination of the document relative to the image camera.
  • the second spatial position may comprise a six-degree-of-freedom pose, where three degrees of freedom may be associated with the assembly, and where three degrees of freedom may be associated with the inclination.
  • the first document image may be a color image or a grayscale image.
  • the first document image may include a plurality of pixels.
  • the second document image may be a color image or a grayscale image.
  • the second document image may include a plurality of pixels.
  • the first document image and the second document image can form a picture stack.
  • FIG. 2 shows a diagram of a mobile device 200 for detecting a viewing-angle-dependent feature of a document according to one embodiment.
  • the viewing angle-dependent feature has viewing angle-dependent representations.
  • the mobile device 200 includes an image camera 201 that is configured to capture a first image of the document in a first spatial position of the document relative to the image camera to obtain a first document image, and a second image of the document in a second spatial location of the document relative to capture the image camera to obtain a second document image, and a processor 203, which is formed, an image difference between the first document image and the second document image to detect the viewing angle-dependent feature of the document.
  • the mobile device 200 may be a mobile phone or a smartphone.
  • the image camera 201 may be a digital image camera.
  • the processor 203 may execute a computer program.
  • the image camera 201 may be connected to the processor 203.
  • the mobile device 200 may further include a lighting device for illuminating the document.
  • the illumination device may be an LED illumination device.
  • FIG. 3 shows a diagram of a method 100 for detecting a viewing-angle-dependent feature of a document according to an embodiment.
  • the method 100 includes a step sequence 301 and a step sequence 303.
  • the step sequence 301 is performed for each captured image.
  • the step sequence 303 is performed once per document.
  • the step sequence 301 includes a step 305 of image selection, a step 307 of registering an image, and a step 309 of spatially filtering the image.
  • a plurality of acquired images and a plurality of specific spatial locations are processed by the step sequence 301 to provide an image stack.
  • the step sequence 303 comprises a step 31 1 of a difference image generation and a step 313 of a segmentation and filtering.
  • the image stack is processed by the step sequence 303 to provide the location of the features.
  • the diagram therefore shows step sequences 301, 303 which can be carried out for a detection of a viewing angle-dependent feature, for example a hologram, per image and per document, as well as an evaluation of the image stack.
  • a mobile device such as a standard smartphone.
  • an image stack of images of the document can be constructed and evaluated to automatically determine the location and size of viewing-angle-dependent features of the document determine.
  • Automatic detection of both the existence and location of viewing-angle dependent features on a document can be accomplished using a mobile augmented reality (AR) arrangement.
  • AR augmented reality
  • Documents are usually made of paper or cardboard and have a rectangular shape. For reasons of robustness and efficiency, the focus is on flat areas of documents. Detecting such documents with a mobile device can be a challenging task due to varying personal data on the document, due to changes in the viewing angle, due to lighting, due to unexpected user behavior, and / or due to limitations of the image camera. Consequently, multiple captured images should be evaluated for robustness, which can be achieved using a mobile augmented reality (AR) device.
  • AR augmented reality
  • a suitable document template can be generated which can be used for a picture-to-picture tracking or for a dedicated registration step. This can be based on an algorithm for the detection of perspective distorted rectangles, and be executed in real time on a mobile device, and thus serve as a basic building block.
  • the user may be asked to place an image camera of the mobile device in front of a document or object and to trigger the detection.
  • an edge image may be calculated using, for example, a Canny edge detector with automatic threshold selection.
  • Image areas with textual structures can be filtered to remove noise, followed by detection of lines, for example, using a Hough transform.
  • the detected lines can be grouped according to their coarse direction.
  • An initial hypothesis for a rectangular area may be formed by considering pairs of line bundles, which may comprise a total of four lines, for example.
  • a final ordered list of rectangular hypotheses can be generated by computing a support function on an extended edge image.
  • the top candidate of the list can be selected and a homography can be computed to produce an equalized representation.
  • the dimensions of the rectified image may be determined by averaging the pixel width and / or height of the chosen hypothesis.
  • the equalized image may be used to generate a planar tracking template, which may be displayed as an image pyramid at run time, and which may be tracked using natural image features.
  • a Harris corner detector and a normalized cross correlation (NCC) may be used to align image areas over subsequent images and to provide homography between the current image and the rectified image or tracking template.
  • a motion model can be used to estimate and predict the motion of the image camera, thus saving computational resources.
  • the algorithm can be executed in real time on mobile devices, such as standard smartphones, and can provide a full six-degree-of-freedom (6DOF) attitude or pose for each captured image.
  • 6DOF six-degree-of-freedom
  • the arrangement has the advantage of allowing interaction with previously unknown documents with any personal data.
  • CV computer vision
  • the algorithm comprises three main parts to generate an image stack: the image selection step 305, the equalization and / or the registration step 307, and the spatial filtering step 309.
  • the image selection in step 305 may be performed as follows.
  • the image stack should comprise a plurality of images with spatial locations that best utilize the variability of the viewing-angle dependent feature. For inexperienced users, this task can be challenging. Therefore, the task of image selection, in favor of repeatability and reduced cognitive burden, should not be performed by the user.
  • the particular poses can be used to automatically select images based on a 2D orientation map.
  • the visibility and similarity to the template can be taken into account to select suitable images.
  • the equalization or registration in step 307 may be performed as follows. For each image passing the selection step, an estimated homography from the tracking space location may be used to produce an equalized image. A complete set of images can thus form a stack of images of equal size. Basically, the document tracking algorithm can be robust and can successfully track the document over a wide range of viewing angles. However, portions of the document may move out of the current camera image and the images may have perspective distortions. The rectified images may therefore be incomplete and / or not ideally aligned.
  • alignment adjustment may be performed using image feature extraction, windowed matching and / or homography estimation. However, this can reduce the frame rate, which may not be desirable. Since images are continuously captured and provided by the image camera, inappropriate equalized or registered images can be discarded using NCC rating, which can be computationally more efficient. Due to real-time tracking, this can be an efficient way to automatically select images.
  • Spatial filtering in step 309 may be performed as follows. Any new layer that is dropped onto the stack of equalized images can be spatially filtered to better deal with noise and remaining registration inaccuracies.
  • a windowed mean value filter can be used, which can be based on an integral image calculation. Incomplete image information, such as undefined and / or black areas on equalization, may be taken into account by detecting valid image areas used in filtering using a second mask.
  • Spatial filtering in step 309 may be performed using a predetermined window size, for example, 3x3 pixels.
  • a predetermined window size for example, 3x3 pixels.
  • the algorithm for processing the image batch comprises two main parts: the step 31 1 of generating a difference image by statistically based evaluation and the step 313 of segmenting and searching a mode for producing a final detection result.
  • an optional verification step may be performed which may use NCC calculations on the estimated location of the viewing-angle dependent feature between equalized or registered images of the image stack to discard false-positive detections.
  • the generation of the difference image in step 31 1 can be performed as follows.
  • the image stack can be understood as a temporal sequence for each layer (x, y).
  • the degree of change may be evaluated by calculating an appropriate amount of deviation of a model m at the location (x, y) over the entire image stack, with respect to document image masks that may be determined in the previous step.
  • an intermediate representation may be provided for signs of viewing angle dependency, which may also be referred to as a difference image.
  • the viewing angle dependent feature is a hologram and the difference image is a hologram map.
  • ⁇ i ( ⁇ y) - ⁇ v d x > y) - m ( 2 )
  • L (x, y) may denote the number of image stack layers comprising valid pixel values for the layer (x, y) corresponding to the document image masks, where vi (x, y) may designate a pixel value in layer I.
  • vi (x, y) may designate a pixel value in layer I.
  • the model generation and deviation calculation can be done directly, and require only a small amount of computational resources.
  • the segmentation and filtering in step 313 may be performed as follows. Dominant spatial peaks within the image difference or the difference image and adjacent image areas with large changes of comparable value or amount are to be localized. Consequently, this provides one Image segmentation task, wherein the choice of the image segmentation method can affect both the quality and the runtime.
  • a global threshold may not be sufficient in some cases. Then locally calculated thresholds can be used, which can be additionally adjusted using global information. To save runtime, integral images can be used for filtering.
  • the calculated ranges can then be filtered to reduce the number of false positive detections. Criteria regarding a minimum area, a aspect ratio, and a compactness together with a minimum pixel value and / or a homogeneity for the obtained area may be used.
  • the process of detecting a perspective-dependent feature may include detecting the document and moving a mobile device with an image camera or moving the document, and capturing images of the document and associated spatial locations. These data can then be processed and analyzed by the algorithm. In this case, a lighting device of the mobile device can be switched on or off. The illumination device can be advantageous in order to capture all relevant representations of the viewing angle-dependent feature.
  • the generation and updating of the image stack can be performed per image.
  • the generation and evaluation of the difference image with an optional validation step can then be carried out.
  • the viewing angle dependent feature in an image may be highlighted using a surrounding frame or box at the appropriate location.
  • Real-time tracking of the document can be used to obtain registered images from a plurality of viewing angles.
  • only the difference image can be segmented in order to obtain possible image areas, which can then be validated.
  • a method can be realized which can be easily integrated into existing document verification applications.
  • FIG. 4 shows a diagram of a detection scenario for detecting a perspective-dependent feature 402 of a document 401 according to an embodiment.
  • the diagram shows the detection of a plurality of images of the document 401 from different spatial positions.
  • a first document image 403 in a first spatial position a second document image 405 in a second spatial position, a third document image 407 in a third spatial position, and an Nth document image 409 in an Nth spatial position are detected.
  • FIG. 5 shows a diagram of a plurality of captured images of the document according to an embodiment.
  • a first document image 403 from a first spatial position, a second document image 405 from a second spatial position, a third document image 407 from a third spatial position, and an Nth document image 409 from an Nth spatial position are shown one above the other in the form of an image stack.
  • the first document image 403, the second document image 405, the third document image 407, and the Nth document image 409 are shown together with respective document image masks.
  • the document can be tracked, whereby a plurality of images of the document can be captured from different spatial positions. Based on an estimated spatial position or homography, each document image can be equalized and placed on the image stack.
  • the captured document images may be equalized and may have a predetermined resolution.
  • the surface diagram 600 shows pixel values of the difference image as a function of a position (x, y) for a document.
  • the surface plot 600 has high pixel values.
  • an image segment may be determined in the difference image associated with that region.
  • FIG. 7 shows a diagram 701 of a difference image and a contour diagram 703 of a segmented difference image according to an embodiment.
  • the diagram 701 shows pixel values of the difference image as a function of a position (x, y) for a document.
  • the diagram 701 corresponds to a scaled intensity image.
  • the plurality of captured images include a first document image 403, a second document image 405, a third document image 407, and an N-th document image 409.
  • the first document image 403 is assigned the contour diagrams 801.
  • the second document image 405 is assigned the contour diagrams 803.
  • the third document image 407 is assigned the contour diagrams 805.
  • the Nth document image 409 is assigned the contour charts 807.
  • Various segmentation techniques can be used, such as a Maximally Stable Extremal Regions (MSER) method or a mean-shift method.
  • MSER Maximally Stable Extremal Regions
  • a highlight detector can be used, and further, inpainting can be performed.
  • the plurality of captured images or the image stacks can be further analyzed.
  • the contour diagrams 801, 803, 805, 807 show a segmentation of a picture stack, for example with a layer.
  • the document images 403, 405, 407, 409 are shown in the upper row.
  • the middle row shows image segments, which for example be determined by means of an MSER method.
  • the lower row shows image segments which are determined, for example, by the MSER method, using modified images of the document, for example using highlight detection and / or inpainting.
  • FIG. 9 shows a diagram 900 of a plurality of spatial positions for capturing a plurality of images of the document according to one embodiment.
  • the chart 900 includes a 2D orientation map for capturing the images of the document and / or monitoring the capture of the images of the document from various angles.
  • Predetermined spatial positions for capturing images of the document are highlighted by dots.
  • the predetermined spatial positions may correspond to an azimuth and elevation of the document relative to an image camera.
  • the predetermined spatial positions can be defined in quantized and / or discretized form.
  • Viewpoint-dependent features such as holograms
  • Viewpoint-dependent features can change their representations depending on the viewing direction and direction of illumination of existing light sources in the environment.
  • Viewpoint-dependent features can be delimited from the environment in the document and / or have a limited extent in the document.
  • a local change in the appearance with respect to the viewing angle can be used.
  • the document should be taken from different angles. Therefore for example, a Mobile Augmented Reality (AR) device can be used for image acquisition.
  • AR Mobile Augmented Reality
  • the area of the document should first be detected. Thereafter, a document image or an equalized document image may be passed to a tracking algorithm.
  • information about the spatial position can be available in every single document image. Disregarding rotation around a line of sight, the acquisition of the images may be controlled with an orientation map which may indicate an angle to the x-axis and the y-axis. This can be filled according to the current spatial position or pose and ensure that the document is viewed from different angles.
  • the extraction of the document can then be carried out by an equalization by means of the determined spatial position of the tracker.
  • an image stack with equalized and / or registered images can be formed.
  • an additional check can be carried out by means of a normalized cross-correlation.
  • a model can be formed from the image stack (mo, ⁇ ).
  • the deviations can be fused by using each layer of the image stack by means of a deviation measure (eo, ei) to form a difference image, for example in the form of a hologram map.
  • This difference image characterizes the document with regard to the position and extent of viewing angle-dependent features.
  • it can be segmented to obtain a set of image segments.
  • the filtered and validated image segments can represent the result of the detection.
  • the verification and / or validation of the image segments may reduce the number of false-positive detected viewing-angle dependent features.
  • a respective image segment can be extracted from each layer of the image stack.
  • Each image segment or patch can then be compared to the remaining image segments or patches by a normalized cross correlation (NCC) and classified as a match or a deviation using a threshold th nC c. If the relative proportion above a threshold value th va iidation is, it can be assumed that the current image segment having sufficient visual changes with a change of the viewing angle.
  • NCC normalized cross correlation
  • th va iidation it can be assumed that the current image segment having sufficient visual changes with a change of the viewing angle.
  • the illustrated approach can be extended as follows. A more detailed analysis of the registered image batch can be performed. First, highlights that are caused by, for example, a lighting device or an LED light can be detected and removed.
  • each layer of the image stack can be segmented individually using, for example, the Maximally Stable Extremal Region (MSER) method. From the obtained image segments sequences of image segments can be extracted, which can be approximately locally constant. Each sequence can then be viewed, segmented, filtered, and validated as a single difference image, such as a hologram map.
  • MSER Maximally Stable Extremal Region
  • segmentation of the difference image using local adaptive thresholding with automatic selection of a suitable window size can be used to improve the scaling invariance.
  • the determined image segment may be used in the filtering instead of a respective bounding rectangle.
  • a characterization of the peaks detected in the previous step in the difference image can be realized by a comparison with the immediate environment in the difference image. This eliminates the verification or validation step using normalized cross-correlation (NCC) depending on the application.
  • NCC normalized cross-correlation
  • a detection of viewing-angle-dependent features, for example of holograms, on unknown documents without existing reference information by means of a mobile device can be carried out. It is thus achieved that a detection of a viewing angle-dependent feature can also be carried out without knowledge of the document type or the document layout.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Image Analysis (AREA)

Abstract

Die Erfindung betrifft ein Verfahren (100) zum Detektieren eines blickwinkelabhängigen Merkmals eines Dokumentes unter Verwendung einer Bildkamera, wobei das blickwinkelabhängige Merkmal blickwinkelabhängige Darstellungen aufweist, mit einem Erfassen (101) eines ersten Bildes des Dokumentes durch die Bildkamera in einer ersten Raumlage des Dokumentes relativ zu der Bildkamera, um ein erstes Dokumentenbild zu erhalten, einem Erfassen (103) eines zweiten Bildes des Dokumentes durch die Bildkamera in einer zweiten Raumlage des Dokumentes relativ zu der Bildkamera, um ein zweites Dokumentenbild zu erhalten, und einem Erfassen (105) eines Bildunterschieds zwischen dem ersten Dokumentenbild und dem zweiten Dokumentenbild, um das blickwinkelabhängige Merkmal des Dokumentes zu detektieren.

Description

VERFAHREN ZUM DETEKTIEREN EINES BLICKWINKELABHÄNGIGEN MERKMALS
EINES DOKUMENTES
Die vorliegende Erfindung betrifft das Gebiet der Detektion blickwinkelabhängiger Merkmale, insbesondere von Hologrammen, auf Dokumenten.
Blickwinkelabhängige Merkmale, beispielsweise Hologramme, werden für eine Vielzahl von Anwendungen eingesetzt, um eine Prüfung einer Echtheit oder Authentizität von Dokumenten zu ermöglichen. Beispielsweise werden blickwinkelabhängige Merkmale auf Identifikationsdokumenten oder Banknoten aufgebracht, um ein Kopieren der Dokumente zu erschweren. Blickwinkelabhängige Merkmale können dabei blickwinkelabhängige Darstellungen aufweisen.
Eine Verifikation eines blickwinkelabhängigen Merkmals zur Prüfung der Echtheit oder Authentizität eines Dokumentes kann manuell durch eine Person durchgeführt werden. Die Detektion des blickwinkelabhängigen Merkmals des Dokumentes erfolgt dabei visuell durch die Person. Anschließend kann das blickwinkelabhängige Merkmal visuell durch die Person verifiziert werden, beispielsweise durch einen visuellen Vergleich der Darstellungen des blickwinkelabhängigen Merkmals mit vorbekannten Referenzdarstellungen. Eine Detektion und Verifikation eines blickwinkelabhängigen Merkmals durch eine Person ist üblicherweise sehr zeitintensiv.
Zur Verifikation eines blickwinkelabhängigen Merkmals eines Dokumentes ist daher ein Einsatz elektronischer Assistenzsysteme von besonderem Interesse. Hierfür ist es wünschenswert, eine Detektion des blickwinkelabhängigen Merkmals des Dokumentes in automatisierter Weise durchzuführen. Es existieren jedoch keine Verfahren, welche eine Detektion des blickwinkelabhängigen Merkmals des Dokumentes in automatisierter Weise ermöglichen.
In A. Hartl, J. Grubert, D. Schmalstieg, und G. Reitmayr, „Mobile interactive hologram verification", in ISMAR, Seiten 75 - 82, 2013, ist ein Ansatz zur mobilen Verifikation von Hologrammen beschrieben.
In A. Hartl, und G. Reitmayr,„Rectangular target extraction for mobile augmented reality applications", in Proceedings of the International Conference on Pattern Recognition, Seiten 81 - 84, 2012, ist ein Ansatz zur Extraktion rechteckförmiger Objekte beschrieben. Es ist daher die Aufgabe der vorliegenden Erfindung, ein effizientes Konzept zum Detektieren eines blickwinkelabhängigen Merkmals eines Dokumentes zu schaffen.
Diese Aufgabe wird durch die Merkmale der unabhängigen Ansprüche gelöst. Vorteilhafte Weiterbildungsformen sind Gegenstand der abhängigen Patentansprüche, der Beschreibung sowie der Zeichnungen.
Die Erfindung basiert auf der Erkenntnis, dass die obige Aufgabe durch ein Erfassen von Bildern des Dokumentes in unterschiedlichen Raumlagen relativ zu dem Dokument und durch ein Bestimmen eines Bildunterschiedes zwischen den erfassten Bildern gelöst werden kann. Durch das Erfassen der Bilder des Dokumentes in unterschiedlichen Raumlagen wird erreicht, dass das blickwinkelabhängige Merkmal in den Bildern des Dokumentes unterschiedliche blickwinkelabhängige Darstellungen aufweist. Durch das Bestimmen des Bildunterschieds zwischen den erfassten Bildern, können Bildbereich mit starken optischen Veränderungen effizient dem blickwinkelabhängigen Merkmal zugeordnet werden.
Gemäß einem ersten Aspekt betrifft die Erfindung ein Verfahren zum Detektieren eines blickwinkelabhängigen Merkmals eines Dokumentes unter Verwendung einer Bildkamera, wobei das blickwinkelabhängige Merkmal blickwinkelabhängige Darstellungen aufweist, mit einem Erfassen eines ersten Bildes des Dokumentes durch die Bildkamera in einer ersten Raumlage des Dokumentes relativ zu der Bildkamera, um ein erstes Dokumentenbild zu erhalten, einem Erfassen eines zweiten Bildes des Dokumentes durch die Bildkamera in einer zweiten Raumlage des Dokumentes relativ zu der Bildkamera, um ein zweites Dokumentenbild zu erhalten, und einem Erfassen eines Bildunterschieds zwischen dem ersten Dokumentenbild und dem zweiten Dokumentenbild, um das blickwinkelabhängige Merkmal des Dokumentes zu detektieren. Dadurch wird der Vorteil erreicht, dass ein effizientes Konzept zum Detektieren eines blickwinkelabhängigen Merkmals eines Dokumentes realisiert werden kann.
Das blickwinkelabhängige Merkmal kann blickwinkelabhängige Darstellungen und/oder beleuchtungswinkelabhängige Darstellungen aufweisen.
Das Dokument kann eines der folgenden Dokumente sein: ein Identitätsdokument, wie beispielsweise ein Personalausweis, ein Reisepass, ein Zugangskontrollausweis, ein Berechtigungsausweis, ein Unternehmensausweis, ein Steuerzeichen, ein Ticket, eine Geburtsurkunde, ein Führerschein, ein Kraftfahrzeugausweis, oder ein Zahlungsmittel, beispielsweise eine Bankkarte oder eine Kreditkarte. Das Dokument kann ferner einen elektronisch auslesbaren Schaltkreis, beispielsweise einen RFID-Chip umfassen. Das Dokument kann ein- oder mehrlagig sowie papier- und/oder kunststoffbasiert sein. Das Dokument kann aus kunststoffbasierten Folien aufgebaut sein, welche zu einem Kartenkörper mittels Verkleben und/oder Laminieren zusammengefügt werden, wobei die Folien bevorzugt ähnliche stoffliche Eigenschaften aufweisen.
Die erste Raumlage des Dokumentes relativ zu der Bildkamera kann eine Anordnung und/oder Neigung des Dokumentes relativ zu der Bildkamera umfassen. Die erste Raumlage kann eine Pose mit sechs Freiheitsgraden umfassen, wobei drei Freiheitsgrade der Anordnung zugeordnet sein können, und wobei drei Freiheitsgrade der Neigung, beispielsweise umfassend eine Translation und eine Rotation, zugeordnet sein können. Die zweite Raumlage des Dokumentes relativ zu der Bildkamera kann eine Anordnung und/oder Neigung des Dokumentes, beispielsweise umfassend eine Translation und eine Rotation, relativ zu der Bildkamera umfassen. Die zweite Raumlage kann eine Pose mit sechs Freiheitsgraden umfassen, wobei drei Freiheitsgrade der Anordnung zugeordnet sein können, und wobei drei Freiheitsgrade der Neigung, beispielsweise umfassend eine Translation und eine Rotation, zugeordnet sein können.
Das erste Dokumentenbild kann ein Farbbild oder ein Graustufenbild sein. Das erste Dokumentenbild kann eine Mehrzahl von Pixeln umfassen. Das zweite Dokumentenbild kann ein Farbbild oder ein Graustufenbild sein. Das zweite Dokumentenbild kann eine Mehrzahl von Pixeln umfassen. Das erste Dokumentenbild und das zweite Dokumentenbild können einen Bildstapel bilden.
Der Bildunterschied zwischen dem ersten Dokumentenbild und dem zweiten Dokumentenbild kann auf Basis der Mehrzahl von Pixeln des ersten Dokumentenbildes und der Mehrzahl von Pixeln des zweiten Dokumentenbildes erfasst werden.
Gemäß einer Ausführungsform umfasst das Verfahren ein Erfassen einer Mehrzahl von Bildern des Dokumentes durch die Bildkamera in unterschiedlichen Raumlagen des Dokumentes relativ zu der Bildkamera, wobei das Erfassen des ersten Bildes des Dokumentes ein Auswählen des ersten Bildes aus der Mehrzahl von Bildern in der ersten Raumlage umfasst, und wobei das Erfassen des zweiten Bildes des Dokumentes ein Auswählen des zweiten Bildes aus der Mehrzahl von Bildern in der zweiten Raumlage umfasst. Dadurch wird der Vorteil erreicht, dass das erste Dokumentenbild und das zweite Dokumentenbild in unterschiedlichen Raumlagen erfasst werden können. Das Erfassen der Mehrzahl von Bildern des Dokumentes kann ein Bestimmen einer jeweiligen Raumlage auf Basis eines jeweiligen Bildes umfassen. Die jeweiligen Raumlagen können mit der ersten Raumlage verglichen werden, um das erste Bild aus der Mehrzahl von Bildern auszuwählen. Die jeweiligen Raumlagen können mit der zweiten Raumlage verglichen werden, um das zweite Bild aus der Mehrzahl von Bildern auszuwählen. Die erste Raumlage und die zweite Raumlage können vorbestimmt sein.
Gemäß einer Ausführungsform umfasst das Erfassen des ersten Bildes des Dokumentes ferner ein perspektivisches Entzerren des ersten Dokumentenbildes auf Basis der ersten Raumlage, und umfasst das Erfassen des zweiten Bildes des Dokumentes ferner ein perspektivisches Entzerren des zweiten Dokumentenbildes auf Basis der zweiten Raumlage. Dadurch wird der Vorteil erreicht, dass der Bildunterschied effizient erfasst werden kann.
Durch das perspektivische Entzerren des ersten Dokumentenbildes kann ein rechteckförmiges erstes Dokumentenbild bereitgestellt werden. Durch das perspektivische Entzerren des zweiten Dokumentenbildes kann ein rechteckförmiges zweites Dokumentenbild bereitgestellt werden.
Das perspektivische Entzerren des ersten Dokumentenbildes kann ein Skalieren des ersten Dokumentenbildes umfassen. Das perspektivische Entzerren des zweiten Dokumentenbildes kann ein Skalieren des zweiten Dokumentenbildes umfassen.
Gemäß einer Ausführungsform umfasst das Verfahren ferner ein Bestimmen der ersten Raumlage des Dokumentes relativ zu der Bildkamera auf Basis des ersten Dokumentenbildes und/oder ein Bestimmen der zweiten Raumlage des Dokumentes relativ zu der Bildkamera auf Basis des zweiten Dokumentenbildes. Dadurch wird der Vorteil erreicht, dass die erste Raumlage und/oder die zweite Raumlage zum Auswählen des ersten Bildes und/oder des zweiten Bildes aus der Mehrzahl von Bildern verwendet werden kann. Die erste Raumlage und/oder die zweite Raumlage können ferner zum perspektivischen Entzerren des ersten Dokumentenbildes und/oder des zweiten Dokumentenbildes verwendet werden.
Das Bestimmen der ersten Raumlage und das Bestimmen der zweiten Raumlage kann ein Bestimmen einer jeweiligen Homographie umfassen.
Gemäß einer Ausführungsform wird die jeweilige Raumlage mittels einer Kantendetektion bestimmt. Dadurch wird der Vorteil erreicht, dass die jeweilige Raumlage relativ zu rechteckförmigen Dokumenten effizient bestimmt werden kann. Die Kantendetektion kann eine Detektion von Linien, Rechtecken, Parallelogrammen oder Trapezen im ersten Dokumentenbild und/oder im zweiten Dokumentenbild umfassen. Die Kantendetektion kann unter Verwendung einer Hough-Transformation durchgeführt werden. Gemäß einer Ausführungsform wird das jeweilige Dokumentenbild zur Rauschreduktion tiefpassgefiltert. Dadurch wird der Vorteil erreicht, dass der Bildunterschied effizient erfasst werden kann.
Die Tiefpassfilterung kann mittels eines gefensterten Mittelwertfilters oder eines gefensterten Gaußfilters durchgeführt werden. Die Tiefpassfilterung kann ferner ein Bestimmen eines jeweiligen Integralbildes des jeweiligen Dokumentenbildes umfassen, wobei die Tiefpassfilterung unter Verwendung des jeweiligen Integralbildes durchgeführt werden kann. Gemäß einer Ausführungsform wird das erste Dokumentenbild mit dem zweiten Dokumentenbild verglichen, um eine Ausrichtung des ersten Dokumentenbildes in Bezug zu dem zweiten Dokumentenbild zu bestimmen, wobei das erste Dokumentenbild und das zweite Dokumentenbild auf Basis der bestimmten Ausrichtung in Bezug aufeinander ausgerichtet werden. Dadurch wird der Vorteil erreicht, dass der Bildunterschied effizient bestimmt werden kann.
Das Vergleichen des ersten Dokumentenbildes mit dem zweiten Dokumentenbild kann ein Extrahieren und Vergleichen von Bildmerkmalen des ersten Dokumentenbildes und des zweiten Dokumentenbildes umfassen. Die Bildmerkmale können beispielsweise BRISK- Bildmerkmale oder SURF-Bildmerkmale sein. Gemäß einer Ausführungsform umfasst das Bestimmen des Bildunterschieds zwischen dem ersten Dokumentenbild und dem zweiten Dokumentenbild ein Bestimmen eines Unterschiedsbildes auf Basis des ersten Dokumentenbildes und des zweiten Dokumentenbildes, wobei das Unterschiedsbild einen Bildunterschied zwischen dem ersten Dokumentenbild und dem zweiten Dokumentenbild anzeigt. Dadurch wird der Vorteil erreicht, dass der Bildunterschied anhand des Unterschiedsbildes effizient angezeigt werden kann.
Das Unterschiedsbild kann ein Graustufenbild sein. Das Unterschiedsbild kann eine Mehrzahl von Pixeln umfassen. Das Unterschiedsbild kann ferner einem Bildstapel zugeordnet sein.
Gemäß einer Ausführungsform wird ein Mittelwert aus einem ersten Pixelwert eines Pixels des ersten Dokumentenbildes und einem zweiten Pixelwert eines Pixels des zweiten Dokumentenbildes bestimmt, wobei eine erste Abweichung des ersten Pixelwertes von dem Mittelwert bestimmt wird, wobei eine zweite Abweichung des zweiten Pixelwertes von dem Mittelwert bestimmt wird, und wobei der Bildunterschied auf Basis der ersten Abweichung und der zweiten Abweichung erfasst wird. Dadurch wird der Vorteil erreicht, dass der Bildunterschied effizient erfasst werden kann.
Der erste Pixelwert und/oder der zweite Pixelwert können Graustufenwerte sein. Der Mittelwert kann ein arithmetischer Mittelwert oder ein Median sein. Die Abweichung kann eine quadratische Abweichung oder eine absolute Abweichung sein. Gemäß einer Ausführungsform wird eine erste Dokumentenbildmaske auf Basis des ersten Dokumentenbildes bestimmt, wobei eine zweite Dokumentenbildmaske auf Basis des zweiten Dokumentenbildes bestimmt wird, und wobei der Bildunterschied auf Basis der ersten Dokumentenbildmaske und der zweiten Dokumentenbildmaske erfasst wird. Dadurch wird der Vorteil erreicht, dass der Bildunterschied effizient bestimmt werden kann.
Die erste Dokumentenbildmaske kann Pixel mit binärwertigen Pixelwerten aufweisen, um gültige und ungültige Pixel des ersten Dokumentenbildes anzuzeigen. Die zweite Dokumentenbildmaske kann Pixel mit binärwertigen Pixelwerten aufweisen, um gültige und ungültige Pixel des zweiten Dokumentenbildes anzuzeigen. Gemäß einer Ausführungsform zeigt die jeweilige Dokumentenbildmaske Pixel des jeweiligen Dokumentenbildes an, welche zur Erfassung des Bildunterschieds verwendbar sind. Dadurch wird der Vorteil erreicht, dass nur gültige Pixel des jeweiligen Dokumentenbildes zur Erfassung des Bildunterschieds verwendet werden.
Ein Pixel eines jeweiligen Dokumentenbildes kann beispielsweise ungültig sein, wenn der Pixel einem Bereich des Dokumentes zugeordnet ist, welcher unvollständig erfasst wurde.
Gemäß einer Ausführungsform wird der Bildunterschied in eine Mehrzahl von Bildsegmenten segmentiert, wobei das blickwinkelabhängige Merkmal des Dokumentes auf Basis zumindest eines Bildsegmentes der Mehrzahl von Bildsegmenten detektiert wird. Dadurch wird der Vorteil erreicht, dass Bildsegmente zur Detektion des blickwinkelabhängigen Merkmals verwendet werden können. Der Bildunterschied kann durch ein Unterschiedsbild angezeigt werden, wobei das Unterschiedsbild in die Mehrzahl von Bildsegmenten segmentiert wird.
Die Segmentierung kann mittels eines pixelorientierten Bildsegmentierungsverfahrens, eines kantenorientierten Bildsegmentierungsverfahrens, eines bereichsorientierten Bildsegmentierungsverfahrens, eines modellorientierten Bildsegmentierungsverfahrens, oder eines texturorientierten Bildsegmentierungsverfahrens durchgeführt werden. Das Bildsegmentierungsverfahren kann beispielsweise ein Maximally-Stable-Extremal- Regions (MSER) Verfahren oder ein Mean-Shift Verfahren umfassen. Die Bildsegmente können zusammenhängende Bildsegmente sein. Gemäß einer Ausführungsform wird für ein Bildsegment der Mehrzahl von Bildsegmenten ein Bildsegmentmaß bestimmt, wobei das bestimmte Bildsegmentmaß mit einem vorbestimmten Bildsegmentmaß verglichen wird, um das Bildsegment für die Detektion des blickwinkelabhängigen Merkmals zu qualifizieren. Dadurch wird der Vorteil erreicht, dass ein Bildsegment, welches das vorbestimmte Bildsegmentmaß aufweist, für die Detektion des blickwinkelabhängigen Merkmals verwendet werden kann.
Das Bildsegmentmaß kann eine Fläche des Bildsegmentes, ein Seitenlängenverhältnis des Bildsegmentes, eine Kompaktheit des Bildsegmentes, ein Pixelwert eines Pixels des Bildsegmentes, oder ein Homogenitätsmaß des Bildsegmentes sein. Gemäß einer Ausführungsform ist einem Bildsegment der Mehrzahl von Bildsegmenten ein erstes Dokumentenbildsegment des ersten Dokumentenbildes und ein zweites Dokumentenbildsegment des zweiten Dokumentenbildes zugeordnet, wobei das erste Dokumentenbildsegment mit dem zweiten Dokumentenbildsegment verglichen wird, um das Bildsegment für die Detektion des blickwinkelabhängigen Merkmals zu qualifizieren. Dadurch wird der Vorteil erreicht, dass ein geeignetes Bildsegment für die Detektion des blickwinkelabhängigen Merkmals verwendet werden kann.
Der Vergleich des ersten Dokumentenbildsegmentes mit dem zweiten Dokumentenbildsegment kann mittels einer normalisierten Kreuzkorrelation durchgeführt werden. Das Bildsegment kann beispielsweise für die Detektion des blickwinkelabhängigen Merkmals qualifiziert werden, wenn das erste Dokumentenbildsegment und das zweite Dokumentenbildsegment unterschiedlich sind.
Gemäß einer Ausführungsform umfasst das blickwinkelabhängige Merkmal ein Hologramm oder eine Drucktinte mit blickwinkelabhängigen Reflexionseigenschaften oder Absorptionseigenschaften. Dadurch wird der Vorteil erreicht, dass das blickwinkelabhängige Merkmal mit blickwinkelabhängigen Darstellungen einfach realisiert werden kann. Gemäß einem zweiten Aspekt betrifft die Erfindung ein Mobilgerät zum Detektieren eines blickwinkelabhängigen Merkmals eines Dokumentes, wobei das blickwinkelabhängige Merkmal blickwinkelabhängige Darstellungen aufweist, mit einer Bildkamera, welche ausgebildet ist, ein erstes Bild des Dokumentes in einer ersten Raumlage des Dokumentes relativ zu der Bildkamera zu erfassen, um ein erstes Dokumentenbild zu erhalten, und ein zweites Bild des Dokumentes in einer zweiten Raumlage des Dokumentes relativ zu der Bildkamera zu erfassen, um ein zweites Dokumentenbild zu erhalten, und einem Prozessor, welcher ausgebildet ist, einen Bildunterschied zwischen dem ersten Dokumentenbild und dem zweiten Dokumentenbild zu erfassen, um das blickwinkelabhängige Merkmal des Dokumentes zu detektieren. Dadurch wird der Vorteil erreicht, dass ein effizientes Konzept zum Detektieren eines blickwinkelabhängigen Merkmals eines Dokumentes realisiert werden kann.
Das Mobilgerät kann ein Mobiltelefon oder ein Smartphone sein. Die Bildkamera kann eine digitale Bildkamera sein. Der Prozessor kann ein Computerprogramm ausführen. Das Mobilgerät kann ferner eine Beleuchtungseinrichtung zum Beleuchten des Dokumentes aufweisen. Die Beleuchtungseinrichtung kann eine LED- Beleuchtungseinrichtung sein.
Das Verfahren kann mittels des Mobilgerätes ausgeführt werden. Weitere Merkmale des Mobilgerätes resultieren unmittelbar aus der Funktionalität des Verfahrens.
Gemäß einem dritten Aspekt betrifft die Erfindung ein Computerprogramm mit einem Programmcode zum Ausführen des Verfahrens, wenn das Computerprogramm auf einem Computer ausgeführt wird. Dadurch wird der Vorteil erreicht, dass das Verfahren automatisiert und wiederholbar ausgeführt werden kann.
Das Computerprogramm kann in maschinen-lesbarer Form vorliegen. Der Programmcode kann eine Folge von Befehlen für einen Prozessor umfassen. Das Computerprogramm kann durch den Prozessor des Mobilgerätes ausgeführt werden.
Die Erfindung kann in Hardware und/oder Software realisiert werden.
Weitere Ausführungsbeispiele werden Bezug nehmend auf die beiliegenden Figuren näher erläutert. Es zeigen:
Fig. 1 ein Diagramm eines Verfahrens zum Detektieren eines blickwinkelabhängigen Merkmals eines Dokumentes gemäß einer Ausführungsform;
Fig. 2 ein Diagramm eines Mobilgerätes zum Detektieren eines blickwinkelabhängigen Merkmals eines Dokumentes gemäß einer Ausführungsform;
Fig. 3 ein Diagramm eines Verfahrens zum Detektieren eines blickwinkelabhängigen Merkmals eines Dokumentes gemäß einer Ausführungsform; Fig. 4 ein Diagramm eines Detektionsszenarios zum Detektieren eines blickwinkelabhängigen Merkmals eines Dokumentes gemäß einer Ausführungsform;
Fig. 5 ein Diagramm einer Mehrzahl von erfassten Bildern des Dokumentes gemäß einer Ausführungsform; Fig. 6 ein Oberflächendiagramm eines Unterschiedsbildes gemäß einer Ausführungsform;
Fig. 7 ein Diagramm eines Unterschiedsbildes und ein Konturdiagramm eines segmentierten Unterschiedsbildes gemäß einer Ausführungsform;
Fig. 8 Konturdiagramme mit Bildsegmenten für eine Mehrzahl von erfassten Bildern eines Dokumentes gemäß einer Ausführungsform; und
Fig. 9 ein Diagramm einer Mehrzahl von Raumlagen zum Erfassen einer Mehrzahl von Bildern des Dokumentes gemäß einer Ausführungsform.
Fig. 1 zeigt ein Diagramm eines Verfahrens 100 zum Detektieren eines blickwinkelabhängigen Merkmals eines Dokumentes gemäß einer Ausführungsform. Das Verfahren 100 wird unter Verwendung einer Bildkamera durchgeführt. Das blickwinkelabhängige Merkmal weist blickwinkelabhängige Darstellungen auf.
Das Verfahren 100 umfasst ein Erfassen 101 eines ersten Bildes des Dokumentes durch die Bildkamera in einer ersten Raumlage des Dokumentes relativ zu der Bildkamera, um ein erstes Dokumentenbild zu erhalten, ein Erfassen 103 eines zweiten Bildes des Dokumentes durch die Bildkamera in einer zweiten Raumlage des Dokumentes relativ zu der Bildkamera, um ein zweites Dokumentenbild zu erhalten, und ein Erfassen 105 eines Bildunterschieds zwischen dem ersten Dokumentenbild und dem zweiten Dokumentenbild, um das blickwinkelabhängige Merkmal des Dokumentes zu detektieren. Das blickwinkelabhängige Merkmal kann blickwinkelabhängige Darstellungen und/oder beleuchtungswinkelabhängige Darstellungen aufweisen.
Das Dokument kann eines der folgenden Dokumente sein: ein Identitätsdokument, wie beispielsweise ein Personalausweis, ein Reisepass, ein Zugangskontrollausweis, ein Berechtigungsausweis, ein Unternehmensausweis, ein Steuerzeichen, ein Ticket, eine Geburtsurkunde, ein Führerschein, ein Kraftfahrzeugausweis, oder ein Zahlungsmittel, beispielsweise eine Bankkarte oder eine Kreditkarte. Das Dokument kann ferner einen elektronisch auslesbaren Schaltkreis, beispielsweise einen RFID-Chip umfassen. Das Dokument kann ein- oder mehrlagig sowie papier- und/oder kunststoffbasiert sein. Das Dokument kann aus kunststoffbasierten Folien aufgebaut sein, welche zu einem Kartenkörper mittels Verkleben und/oder Laminieren zusammengefügt werden, wobei die Folien bevorzugt ähnliche stoffliche Eigenschaften aufweisen.
Die erste Raumlage des Dokumentes relativ zu der Bildkamera kann eine Anordnung und/oder Neigung des Dokumentes, beispielsweise umfassend eine Translation und eine Rotation, relativ zu der Bildkamera umfassen. Die erste Raumlage kann eine Pose mit sechs Freiheitsgraden umfassen, wobei drei Freiheitsgrade der Anordnung zugeordnet sein können, und wobei drei Freiheitsgrade der Neigung zugeordnet sein können.
Die zweite Raumlage des Dokumentes relativ zu der Bildkamera kann eine Anordnung und/oder Neigung des Dokumentes relativ zu der Bildkamera umfassen. Die zweite Raumlage kann eine Pose mit sechs Freiheitsgraden umfassen, wobei drei Freiheitsgrade der Anordnung zugeordnet sein können, und wobei drei Freiheitsgrade der Neigung zugeordnet sein können. Das erste Dokumentenbild kann ein Farbbild oder ein Graustufenbild sein. Das erste Dokumentenbild kann eine Mehrzahl von Pixeln umfassen. Das zweite Dokumentenbild kann ein Farbbild oder ein Graustufenbild sein. Das zweite Dokumentenbild kann eine Mehrzahl von Pixeln umfassen. Das erste Dokumentenbild und das zweite Dokumentenbild können einen Bildstapel bilden.
Der Bildunterschied zwischen dem ersten Dokumentenbild und dem zweiten Dokumentenbild kann auf Basis der Mehrzahl von Pixeln des ersten Dokumentenbildes und der Mehrzahl von Pixeln des zweiten Dokumentenbildes erfasst werden. Fig. 2 zeigt ein Diagramm eines Mobilgerätes 200 zum Detektieren eines blickwinkelabhängigen Merkmals eines Dokumentes gemäß einer Ausführungsform. Das blickwinkelabhängige Merkmal weist blickwinkelabhängige Darstellungen auf.
Das Mobilgerät 200 umfasst eine Bildkamera 201 , welche ausgebildet ist, ein erstes Bild des Dokumentes in einer ersten Raumlage des Dokumentes relativ zu der Bildkamera zu erfassen, um ein erstes Dokumentenbild zu erhalten, und ein zweites Bild des Dokumentes in einer zweiten Raumlage des Dokumentes relativ zu der Bildkamera zu erfassen, um ein zweites Dokumentenbild zu erhalten, und einen Prozessor 203, welcher ausgebildet ist, einen Bildunterschied zwischen dem ersten Dokumentenbild und dem zweiten Dokumentenbild zu erfassen, um das blickwinkelabhängige Merkmal des Dokumentes zu detektieren.
Das Mobilgerät 200 kann ein Mobiltelefon oder ein Smartphone sein. Die Bildkamera 201 kann eine digitale Bildkamera sein. Der Prozessor 203 kann ein Computerprogramm ausführen. Die Bildkamera 201 kann mit dem Prozessor 203 verbunden sein.
Das Mobilgerät 200 kann ferner eine Beleuchtungseinrichtung zum Beleuchten des Dokumentes aufweisen. Die Beleuchtungseinrichtung kann eine LED- Beleuchtungseinrichtung sein.
Das Verfahren 100 kann mittels des Mobilgerätes 200 ausgeführt werden. Weitere Merkmale des Mobilgerätes 200 resultieren unmittelbar aus der Funktionalität des Verfahrens 100. Fig. 3 zeigt ein Diagramm eines Verfahrens 100 zum Detektieren eines blickwinkelabhängigen Merkmals eines Dokumentes gemäß einer Ausführungsform. Das Verfahren 100 umfasst eine Schrittfolge 301 und eine Schrittfolge 303. Die Schrittfolge 301 wird für jedes erfasste Bild durchgeführt. Die Schrittfolge 303 wird einmal pro Dokument durchgeführt.
Die Schrittfolge 301 umfasst einen Schritt 305 einer Bildauswahl, einen Schritt 307 einer Registrierung eines Bildes, und einen Schritt 309 eines räumlichen Filterns des Bildes. Eine Mehrzahl erfasster Bilder und eine Mehrzahl bestimmter Raumlagen werden durch die Schrittfolge 301 verarbeitet, um einen Bildstapel bereitzustellen.
Die Schrittfolge 303 umfasst einen Schritt 31 1 einer Unterschiedsbilderzeugung und einen Schritt 313 einer Segmentierung und Filterung. Der Bildstapel wird durch die Schrittfolge 303 verarbeitet, um die Lage der Merkmale bereitzustellen. Das Diagramm zeigt folglich Schrittfolgen 301 , 303, welche für eine Detektion eines blickwinkelabhängigen Merkmals, beispielsweise eines Hologramms, pro Bild und pro Dokument durchgeführt werden können, sowie eine Auswertung des Bildstapels.
Gemäß einer Ausführungsform wird eine automatische Detektion von blickwinkelabhängigen Merkmalen eines Dokumentes in Echtzeit unter Verwendung von Bildern durchgeführt, welche mittels eines Mobilgerätes, beispielsweise eines Standard- Smartphones, erfasst werden. Unter Verwendung eines robusten Algorithmus zum Erfassen des Dokumentes in den Bildern, beispielsweise durch eine Verfolgung (engl, tracking) des Dokumentes, kann ein Bildstapel mit Bildern des Dokumentes aufgebaut und ausgewertet werden, um automatisch die Lage und die Größe von blickwinkelabhängigen Merkmalen des Dokumentes zu bestimmen. Eine automatische Detektion sowohl der Existenz als auch der Lage von blickwinkelabhängigen Merkmalen auf einem Dokument kann unter Verwendung einer mobilen Augmented Reality (AR) Anordnung durchgeführt werden. Dadurch wird eine Vielzahl von Anwendungsfeldern eröffnet, beispielsweise eine Detektion von Dokumentenlayouts für einen nachfolgenden Klassifizierungsschritt oder eine automatische Modellbildung mit Verifikation. Aufgrund der Effizienz des Ansatzes, kann diese Aufgabe in Echtzeit auf einem Mobilgerät, beispielsweise einem Standard- Smartphone, durchgeführt werden. Durch die Verwendung von Mobilgeräten und durch die Robustheit des Ansatzes können Hilfsmittel bereitgestellt werden, welche jedermann eine Verifikation der Echtheit oder Authentizität von Dokumenten, auch ohne fortgeschrittenes Training, ermöglichen.
Im Folgenden wird ein Ansatz zur Erfassung und Verfolgung des Dokumentes erläutert.
Dokumente bestehen üblicherweise aus Papier oder Pappe und weisen eine rechteckförmige Form auf. Aus Gründen der Robustheit und Effizienz, werden schwerpunktmäßig ebene Bereiche von Dokumenten betrachtet. Eine Erfassung derartiger Dokumente mit einem Mobilgerät kann eine herausfordernde Aufgabe sein aufgrund von variierenden persönlichen Daten auf dem Dokument, aufgrund von Veränderungen des Blickwinkels, aufgrund der Beleuchtung, aufgrund eines unerwarteten Nutzerverhaltens, und/oder aufgrund von Begrenzungen der Bildkamera. Folglich sollten mehrere erfasste Bilder im Hinblick auf die Robustheit ausgewertet werden, was unter Verwendung einer mobilen Augmented Reality (AR) Anordnung erreicht werden kann.
Zunächst kann eine geeignete Dokumentenvorlage (engl, document template) erzeugt werden, welche für eine Bild-zu-Bild Verfolgung oder für einen dedizierten Registrierungsschritt verwendet werden kann. Diese kann auf einem Algorithmus zur Detektion von perspektivisch verzerrten Rechtecken basieren, und in Echtzeit auf einem Mobilgerät ausgeführt werden, und somit als grundlegender Aufbaublock dienen. Der Nutzer kann aufgefordert werden, eine Bildkamera des Mobilgerätes vor einem Dokument oder Objekt anzuordnen und die Detektion auszulösen. Innerhalb eines vorbestimmten Interessenbereiches (engl, region of interest, ROI) in einem erfassten Bild, kann ein Kantenbild, beispielsweise unter Verwendung eines Canny-Kantendetektors mit einer automatischen Schwellwertauswahl, berechnet werden. Bildbereiche mit textartigen Strukturen können gefiltert werden, um Rauschen zu entfernen, gefolgt von einer Detektion von Linien, beispielsweise unter Verwendung einer Hough-Transformation. Die detektierten Linien können gemäß ihrer groben Richtung gruppiert werden. Eine Anfangshypothese für einen rechteckformigen Bereich kann gebildet werden durch eine Betrachtung von Paaren von Linienbündeln, welche beispielsweise insgesamt vier Linien umfassen können.
Durch Überschneidung der Linien und Gewährleistung, dass die Schnittpunkte in dem Interessenbereich liegen, kann die Anzahl der Hypothesen deutlich reduziert werden. Eine endgültige geordnete Liste von Rechteck-Hypothesen kann durch eine Berechnung einer Stützfunktion auf einem erweiterten Kantenbild erzeugt werden. Der oberste Kandidat der Liste kann ausgewählt werden und eine Homographie kann berechnet werden, um eine entzerrte Darstellung zu erzeugen. Die Dimensionen des entzerrten Bildes können durch eine Mittelwertbildung der Pixelbreite und/oder -höhe der gewählten Hypothese bestimmt werden.
Das entzerrte Bild kann zum Erzeugen einer ebenen Verfolgungsvorlage verwendet werden, welche als eine Bildpyramide zur Laufzeit dargestellt werden kann, und welche unter Verwendung natürlicher Bildmerkmale verfolgt werden kann. Ein Harris- Eckendetektor und eine normalisierte Kreuzkorrelation (engl, normalized cross correlation, NCC) können verwendet werden, um Bildbereiche über nachfolgende Bilder hinweg abzugleichen und um eine Homographie zwischen der gegenwärtigen Bild und dem entzerrten Bild oder der Verfolgungsvorlage herzustellen. Ein Bewegungsmodell kann verwendet werden, um die Bildkamerabewegung zu schätzen und zu prädizieren, und um somit Rechenressourcen einzusparen. Folglich kann der Algorithmus in Echtzeit auf Mobilgeräten, beispielsweise Standard-Smartphones, ausgeführt werden und kann eine vollständige Raumlage oder Pose mit sechs Freiheitsgraden (engl, six degrees of freedom, 6DOF) für jedes erfasste Bild bereitstellen. Die Anordnung hat den Vorteil, dass sie eine Interaktion mit zuvor unbekannten Dokumenten mit beliebigen persönlichen Daten erlaubt. Im Zusammenhang mit den nachfolgenden Algorithmen zum maschinellen Sehen (engl. Computer vision, CV), kann eine Kenntnis eines gegenwärtigen Blickwinkels vorteilhaft sein, da sie erlauben kann, mit entzerrten Bildern zu arbeiten und die Bilderfassung zu steuern.
Im Folgenden wird ein Ansatz zur Erzeugung eines Bildstapels erläutert. Um über die Existenz von blickwinkelabhängigen Merkmalen auf dem Dokument zu urteilen, sollte das Dokument von mehreren Blickwinkeln erfasst werden. Eine minimale Anzahl von n = 2 Bildern, welche aus geeigneten Blickwinkeln erfasst werden, kann verwendet werden, um auf die Existenz derartiger Merkmale zu schließen. Aus Gründen der Robustheit, sollten jedoch generell mehr Blickwinkel verwendet werden. Basierend auf den Ergebnissen der Dokumentverfolgung, umfasst der Algorithmus drei Hauptteil, um einen Bildstapel zu erzeugen: den Schritt 305 der Bildauswahl, den Schritt 307 der Entzerrung und/oder der Registrierung, und den Schritt 309 des räumlichen Filterns.
Die Bildauswahl in Schritt 305 kann folgendermaßen durchgeführt werden. Idealerweise sollte der Bildstapel eine Mehrzahl von Bildern mit Raumlagen umfassen, welche die Veränderlichkeit des blickwinkelabhängigen Merkmales auf die bestmögliche Weise nutzen. Für unerfahrene Nutzer kann diese Aufgabe herausfordernd sein. Daher sollte die Aufgabe der Bildauswahl, zugunsten der Wiederholbarkeit und einer reduzierten kognitiven Belastung, nicht durch den Nutzer durchgeführt werden. Die bestimmten Posen können verwendet werden, um Bilder automatisch auf Basis einer 2D-Orientierungskarte auszuwählen. Zudem kann die Sichtbarkeit und die Ähnlichkeit zur Vorlage berücksichtigt werden, um geeignete Bilder auszuwählen.
Die Entzerrung oder Registrierung in Schritt 307 kann folgendermaßen durchgeführt werden. Für jedes Bild, welches den Auswahlschritt passiert, kann eine geschätzte Homographie aus der Verfolgungsraumlage verwendet werden, um ein entzerrtes Bild zu erzeugen. Ein vollständiger Satz von Bildern kann somit einen Stapel aus gleichgroßen Bildern bilden. Grundsätzlich kann der Dokumentenverfolgungsalgorithmus robust sein und kann das Dokument erfolgreich über einen weiten Bereich von Blickwinkeln verfolgen. Teile des Dokumentes können sich jedoch aus dem gegenwärtigen Kamerabild herausbewegen und die Bilder können perspektivische Verzerrungen aufweisen. Die entzerrten Bilder können daher unvollständig sein und/oder nicht ideal ausgerichtet sein. In einem zusätzlichen Schritt können eine Anpassung der Ausrichtung unter Verwendung einer Bildmerkmalsextraktion, ein gefenstertes Abgleichen und/oder eine Homographie- Schätzung durchgeführt werden. Dies kann jedoch die Bildrate reduzieren, was möglicherweise nicht wünschenswert ist. Da Bilder kontinuierlich durch die Bildkamera erfasst und bereitgestellt werden, können ungeeignete entzerrte oder registrierte Bilder unter Verwendung einer NCC-Bewertung verworfen werden, was rechnerisch effizienter sein kann. Aufgrund der Echtzeitverfolgung, kann dies einen effizienten Weg zum automatischen Auswählen von Bildern darstellen.
Das räumliche Filtern in Schritt 309 kann folgendermaßen durchgeführt werden. Jede neue Schicht, welche auf den Stapel entzerrter Bilder abgelegt wird, kann räumlich gefiltert werden, um besser mit Rauschen und verbliebenen Ungenauigkeiten bei der Registrierung umzugehen. Für diese Aufgabe kann ein gefensterter Mittelwertfilter eingesetzt werden, welcher auf einer Integralbildberechnung basieren kann. Unvollständige Bildinformationen, beispielsweise Undefinierte und/oder schwarze Flächen beim Entzerren, können durch ein Erfassen gültiger Bildbereiche, welche beim Filtern verwendet werden, unter Verwendung einer zweiten Maske berücksichtigt werden. Das räumliche Filtern in Schritt 309 kann unter Verwendung einer vorbestimmten Fenstergröße, beispielsweise von 3x3 Pixeln, durchgeführt werden. Im Folgenden wird ein Ansatz zur Detektion des blickwinkelabhängigen Merkmals erläutert. Im Gegensatz zu weiteren Effekten, wie beispielsweise Glanzlichtern, verbleiben visuelle Veränderungen, welche durch blickwinkelabhängige Merkmale verursacht werden, räumlichen konstant. Der Ansatz basiert auf dem Konzept, Veränderungen der Darstellungen über der Zeit zu verfolgen, wobei der entzerrte Bildstapel als Ausgangspunkt verwendet werden kann.
Der Algorithmus zum Verarbeiten des Bildstapels umfasst zwei Hauptteile: den Schritt 31 1 eines Erzeugen eines Unterschiedsbildes durch statistisch-basiertes Bewerten und den Schritt 313 eines Segmentierens und Suchens eines Modus (engl, mode) zum Erzeugen eines endgültigen Detektionsergebnisses. Zudem kann ein optionaler Verifikationsschritt durchgeführt werden, welcher NCC-Berechnungen an der geschätzten Lage des blickwinkelabhängigen Merkmals zwischen entzerrten oder registrierten Bildern des Bildstapels einsetzen kann, um falsch-positive Detektionen zu verwerfen. Die Erzeugung des Unterschiedsbildes in Schritt 31 1 kann folgendermaßen durchgeführt werden. Der Bildstapel kann für jede Lage (x, y) als eine zeitliche Folge aufgefasst werden. Der Grad der Veränderung kann durch eine Berechnung eines geeigneten Abweichungsmaßes bezüglichen eines Modells m bei der Lage (x, y) über den gesamten Bildstapel bewertet werden, wobei Dokumentenbildmasken, welche in dem vorherigen Schritt bestimmt werden können, beachtet werden können. Somit kann eine Zwischendarstellung für Anzeichen von Blickwinkelabhängigkeit bereitgestellt werden, welche auch als Unterschiedsbild bezeichnet werden kann. Gemäß einer Ausführungsform ist das blickwinkelabhängige Merkmal ein Hologramm und das Unterschiedsbild eine Hologrammkarte (engl. Hologram Map).
Zum Erfassen eines Bildunterschiedes, welcher durch ein Unterschiedsbild angezeigt werden kann, kann ein Mittelwert m0 oder ein Median ΓΤΗ in Verbindung mit einer mittleren quadratischen Abweichung im Bildraum gemäß
e0 (x, y) ^ (^ (a::, ^) ^ m.)2 (1)
1 = 1 oder einer mittleren absoluten Abweichung gemäß
L(x,y)
^ i ( ··. y) = -— \vdx> y) - m (2)
mit m £ imo, mi } in verschiedenen Kombinationen eingesetzt werden. Dabei kann L(x, y) die Anzahl von Bildstapelschichten bezeichnen, welche gültige Pixelwerte für die Lage (x, y) entsprechend der Dokumentenbildmasken umfassen, wobei vi(x, y) einen Pixelwert in Schicht I bezeichnen kann. Im Falle des Paares mo, eo kann die Modellerzeugung und Abweichungsberechnung direkt erfolgen, und nur geringe Rechenressourcen beanspruchen.
Die Segmentierung und Filterung in Schritt 313 kann folgendermaßen durchgeführt werden. Dominante räumliche Spitzen innerhalb des Bildunterschiedes oder des Unterschiedsbildes und benachbarte Bildbereiche mit großen Veränderungen vergleichbaren Wertes oder Betrages sollen lokalisiert werden. Folglich stellt dies eine Bildsegmentierungsaufgabe dar, wobei die Wahl des Bildsegmentierungsverfahrens sowohl die Qualität als auch die Laufzeit beeinflussen kann.
Da der Inhalt des Unterschiedsbildes von der Art des Dokumentes abhängen kann, kann eine Verwendung eines globalen Schwellwertes in bestimmten Fällen nicht ausreichend sein. Dann können lokal berechnete Schwellwerte verwendet werden, welche zusätzlich unter Verwendung von globaler Information angepasst werden können. Um Laufzeit zu sparen, können Integralbilder für die Filterung verwendet werden.
Die berechneten Bereiche können dann gefiltert werden, um die Anzahl von falsch- positiven Detektionen zu reduzieren. Es können Kriterien bezüglich einer minimalen Fläche, eines Seitenlängenverhältnisses, und einer Kompaktheit zusammen mit einem minimalen Pixelwert und/oder einer Homogenität für den erhaltenen Bereich verwendet werden. Der Ablauf des Detektierens eines blickwinkelabhängigen Merkmals kann ein Detektieren des Dokumentes und ein Bewegen eines Mobilgerätes mit einer Bildkamera oder ein Bewegen des Dokumentes, und ein Erfassen von Bildern des Dokumentes und zugehöriger Raumlagen umfassen. Diese Daten können dann durch den Algorithmus verarbeitet und analysiert werden. Dabei kann eine Beleuchtungseinrichtung des Mobilgerätes eingeschaltet oder ausgeschaltet sein. Die Beleuchtungseinrichtung kann vorteilhaft sein, um alle relevanten Darstellungen des blickwinkelabhängigen Merkmals zu erfassen.
Das Erzeugen und Aktualisieren des Bildstapels kann jeweils pro Bild durchgeführt werden. Die Erzeugung und Auswertung des Unterschiedsbildes mit einem optionalen Validierungsschritt kann anschließend durchgeführt werden. Nach erfolgreicher Detektion des blickwinkelabhängigen Merkmals des Dokumentes, kann das blickwinkelabhängige Merkmal in einem Bild unter Verwendung eines umgebenden Rahmens oder einer umgebenden Box bei der entsprechenden Lage hervorgehoben werden.
Eine Echtzeitverfolgung des Dokumentes kann verwendet werden, um registrierte Bilder aus einer Mehrzahl von Blickwinkeln zu erhalten. Dabei kann lediglich das Unterschiedsbild segmentiert werden, um mögliche Bildbereiche zu erhalten, welche anschließend validiert werden können. Dadurch kann ein Verfahren realisiert werden, welches einfach in bestehende Anwendungen zur Verifikation von Dokumenten integriert werden kann.
Fig. 4 zeigt ein Diagramm eines Detektionsszenarios zum Detektieren eines blickwinkelabhängigen Merkmals 402 eines Dokumentes 401 gemäß einer Ausführungsform.
Das Diagramm zeigt die Erfassung einer Mehrzahl von Bildern des Dokumentes 401 aus unterschiedlichen Raumlagen. Dabei wird ein erstes Dokumentenbild 403 in einer ersten Raumlage, ein zweites Dokumentenbild 405 in einer zweiten Raumlage, ein drittes Dokumentenbild 407 in einer dritten Raumlage, und ein N-tes Dokumentenbild 409 in einer N-ten Raumlage erfasst.
Fig. 5 zeigt ein Diagramm einer Mehrzahl von erfassten Bildern des Dokumentes gemäß einer Ausführungsform.
Ein erstes Dokumentenbild 403 aus einer ersten Raumlage, ein zweites Dokumentenbild 405 aus einer zweiten Raumlage, ein drittes Dokumentenbild 407 aus einer dritten Raumlage, und ein N-tes Dokumentenbild 409 aus einer N-ten Raumlage sind übereinander in Form eines Bildstapels dargestellt. Das erste Dokumentenbild 403, das zweite Dokumentenbild 405, das dritte Dokumentenbild 407, und das N-te Dokumentenbild 409 sind zusammen mit jeweiligen Dokumentenbildmasken dargestellt.
Das Dokument kann verfolgt werden, wobei eine Mehrzahl von Bildern des Dokumentes aus unterschiedlichen Raumlagen erfasst werden kann. Auf Grundlage einer geschätzten Raumlage oder Homographie kann jedes Dokumentenbild entzerrt und auf den Bildstapel gelegt werden. Die erfassten Dokumentenbilder können entzerrt werden und können eine vorbestimmte Auflösung aufweisen.
Fig. 6 zeigt ein Oberflächendiagramm 600 eines Unterschiedsbildes gemäß einer Ausführungsform. Das Oberflächendiagramm 600 zeigt dabei Pixelwerte des Unterschiedsbildes in Abhängigkeit von einer Lage (x, y) für ein Dokument.
Für eine Lage von x = 130 bis x = 140 sowie von y = 10 bis y = 20 weist das Oberflächendiagramm 600 hohe Pixelwerte auf. Unter Verwendung eines Bildsegmentierungsverfahrens kann ein Bildsegment in dem Unterschiedsbild bestimmt werden, welches diesem Bereich zugeordnet ist.
Fig. 7 zeigt ein Diagramm 701 eines Unterschiedsbildes und ein Konturdiagramm 703 eines segmentierten Unterschiedsbildes gemäß einer Ausführungsform.
Das Diagramm 701 zeigt Pixelwerte des Unterschiedsbildes in Abhängigkeit von einer Lage (x, y) für ein Dokument. Das Diagramm 701 entspricht dabei einem skalierten Intensitätsbild. Das Konturdiagramm 703 zeigt ein Segmentierungsergebnis auf Basis des Unterschiedsbildes unter Verwendung eines adaptiven Schwellwertvergleichs. Ein Bildsegment für eine Lage von x = 130 bis x = 140 sowie von y = 10 bis y = 20 ist hell hervorgehoben. Das blickwinkelabhängige Merkmal des Dokumentes kann auf Basis des Bildsegmentes detektiert werden.
Fig. 8 zeigt Konturdiagramme 801 , 803, 805, 807 mit Bildsegmenten für eine Mehrzahl von erfassten Bildern eines Dokumentes gemäß einer Ausführungsform. Die Mehrzahl von erfassten Bildern umfasst ein erstes Dokumentenbild 403, ein zweites Dokumentenbild 405, ein drittes Dokumentenbild 407, und ein N-tes Dokumentenbild 409.
Dem ersten Dokumentenbild 403 sind die Konturdiagramme 801 zugeordnet. Dem zweiten Dokumentenbild 405 sind die Konturdiagramme 803 zugeordnet. Dem dritten Dokumentenbild 407 sind die Konturdiagramme 805 zugeordnet. Dem N-ten Dokumentenbild 409 sind die Konturdiagramme 807 zugeordnet.
Es können verschiedene Segmentierungsverfahren, wie beispielsweise ein Maximally Stable Extremal Regions (MSER) Verfahren oder ein Mean-Shift Verfahren, eingesetzt werden. Um den Einfluss von Reflektionen auf dem Dokument zu reduzieren, kann ferner ein Glanzlichtdetektor eingesetzt werden und kann ferner ein Inpainting durchgeführt werden. Darüber hinaus kann die Mehrzahl der erfassten Bilder oder der Bildstapel weitergehender analysiert werden.
Die Konturdiagramme 801 , 803, 805, 807 zeigen eine Segmentierung eines Bildstapels beispielsweise mit einer Schicht. Die Dokumentenbilder 403, 405, 407, 409 sind in der oberen Reihe dargestellt. Die mittlere Reihe zeigt Bildsegmente, welche beispielsweise mittels eines MSER Verfahrens bestimmt werden. Die untere Reihe zeigt Bildsegmente, welche beispielsweise mittels des MSER Verfahrens bestimmt werden, wobei modifizierte Bilder des Dokumentes, beispielsweise unter Verwendung einer Glanzlichtdetektion und/oder eines Inpainting, zugrunde gelegt werden. Somit kann ein Ansatz zur automatischen Detektion eines blickwinkelabhängigen Merkmals eines Dokumentes unter Verwendung eines Mobilgerätes realisiert werden. Es können zuvor unbekannte Dokumente detektiert und verfolgt werden. Zudem kann automatisch die Lage eines oder mehrerer blickwinkelabhängiger Merkmale, sofern vorhanden, bestimmt werden. Die Detektion blickwinkelabhängiger Merkmale kann einen ersten Schritt zum automatisierten Testen und Verifizieren blickwinkelabhängiger Merkmale darstellen. Die blickwinkelabhängigen Merkmale können eingebettete Merkmale sein.
Fig. 9 zeigt ein Diagramm 900 einer Mehrzahl von Raumlagen zum Erfassen einer Mehrzahl von Bildern des Dokumentes gemäß einer Ausführungsform.
Das Diagramm 900 umfasst eine 2D-Orientierungskarte (engl, orientation map) zum Erfassen der Bilder des Dokumentes und/oder zum Überwachen der Erfassung der Bilder des Dokuments aus verschiedenen Blickwinkeln.
Vorbestimmte Raumlagen zum Erfassen von Bildern des Dokumentes sind dabei durch Punkte hervorgehoben. Die vorbestimmten Raumlagen können einem Azimut und einer Elevation des Dokumentes relativ zu einer Bildkamera entsprechen. Die vorbestimmten Raumlagen können quantisiert und/oder diskretisiert definiert sein.
Im Folgenden wird das Gesamtkonzept zusammengefasst.
Blickwinkelabhängige Merkmale, wie beispielsweise Hologramme, können ihre Darstellungen je nach Blickrichtung und Beleuchtungsrichtung vorhandener Lichtquellen in der Umgebung verändern. Blickwinkelabhängige Merkmale können dabei von der Umgebung im Dokument abgegrenzt sein und/oder eine begrenzte Ausdehnung im Dokument aufweisen. Zur Detektion von blickwinkelabhängigen Merkmalen kann eine lokale Veränderung des Aussehens bezüglich des Blickwinkels herangezogen werden. Dabei sollte das Dokument aus verschiedenen Blickwinkeln aufgenommen werden. Daher kann eine Mobile Augmented Reality (AR) Anordnung zur Bilderfassung verwendet werden.
Da keine Referenzinformationen, beispielsweise der Dokumententyp, vorliegen, sollte zunächst der Bereich des Dokumentes detektiert werden. Danach kann ein Dokumentenbild oder ein entzerrtes Dokumentenbild einem Verfolgungsalgorithmus (engl, tracking) übergeben werden. Somit können in jedem einzelnen Dokumentenbild Informationen zur Raumlage zur Verfügung stehen. Unter Vernachlässigung einer Rotation um einen Sehstrahl, kann die Erfassung der Bilder mit einer Orientierungskarte gesteuert werden, welche einen Winkel zur x-Achse und zur y-Achse angeben kann. Diese kann je nach aktueller Raumlage oder Pose befüllt werden und gewährleisten, dass das Dokument aus verschiedenen Blickwinkeln betrachtet wird. Die Extraktion des Dokumentes kann dann durch eine Entzerrung mittels der bestimmten Raumlage des Verfolgers durchgeführt werden. Somit kann ein Bildstapel mit entzerrten und/oder registrierten Bildern gebildet werden.
Zur Erkennung und Abtrennung von ungeeigneten entzerrten und/oder registrierten Bildern kann zusätzlich eine Prüfung mittels einer normalisierten Kreuzkorrelation durchgeführt werden. Nach Abschluss des Erfassungsvorganges kann aus dem Bildstapel ein Modell gebildet werden (mo, ΓΤΗ). Die Abweichungen können unter Verwendung jeder Schicht des Bildstapels mittels eines Abweichungsmaßes (eo, ei) zu einem Unterschiedsbild, beispielsweise in Form einer Hologrammkarte, fusioniert werden. Dieses Unterschiedsbild charakterisiert das Dokument bezüglich der Lage und Ausdehnung blickwinkelabhängiger Merkmale. Anschließend kann segmentiert werden, um eine Menge von Bildsegmenten zu erhalten. Die gefilterten und validierten Bildsegmente können das Ergebnis der Detektion darstellen.
Die Verifikation und/oder Validierung der Bildsegmente kann die Anzahl von falsch-positiv detektierten blickwinkelabhängigen Merkmalen verringern. Dabei kann ein jeweiliges Bildsegment aus jeder Schicht des Bildstapels extrahiert werden. Jedes Bildsegment oder Patch kann dann mittels einer normalisierten Kreuzkorrelation (engl, normalized cross correlation, NCC) mit den übrigen Bildsegmenten oder Patches verglichen werden und unter Verwendung eines Schwellwertes thnCc als Übereinstimmung oder Abweichung klassifiziert werden. Wenn der relative Anteil über einem Schwellwert thvaiidation liegt, kann angenommen werden, dass das aktuelle Bildsegment genügend visuelle Veränderungen bei einer Veränderung des Blickwinkels aufweist. Der erläuterte Ansatz kann folgendermaßen erweitert werden. Eine detailliertere Analyse des registrierten Bildstapels kann durchgeführt werden. Zunächst können Glanzlichter, welche beispielsweise durch eine Beleuchtungseinrichtung oder eine LED-Leuchte verursacht werden, detektiert und entfernt werden. Zudem kann jede Schicht des Bildstapels einzeln segmentiert werden, beispielsweise unter Verwendung des Maximally Stable Extremal Regions (MSER) Verfahrens. Aus den erhaltenen Bildsegmenten können Folgen von Bildsegmenten extrahiert werden, welche näherungsweise örtlich konstant sein können. Jede Folge kann danach als ein einzelnes Unterschiedsbild, beispielsweise in Form einer Hologrammkarte, betrachtet, segmentiert, gefiltert und validiert werden.
Eine Weiterentwicklung des Ansatzes wird im Folgenden beschrieben. Es kann eine Segmentierung des Unterschiedsbildes unter Verwendung einer lokalen adaptiven Schwellwertbildung mit automatischer Selektion einer geeigneten Fenstergröße zur Verbesserung der Skalierungsinvarianz eingesetzt werden. Zur Filterung von Bildsegmenten kann das ermittelte Bildsegment in der Filterung verwendet werden anstatt eines jeweiligen begrenzenden Rechtecks. Eine Charakterisierung der im vorherigen Schritt ermittelten Spitzen im Unterschiedsbild kann durch einen Vergleich mit der unmittelbaren Umgebung in dem Unterschiedsbild realisiert werden. Dadurch kann der Verifizierungs- oder Validierungsschritt unter Verwendung einer normalisierten Kreuzkorrelation (NCC) je nach Anwendung entfallen.
Es kann eine Detektion von blickwinkelabhängigen Merkmalen, beispielsweise von Hologrammen, auf unbekannten Dokumenten ohne vorhandene Referenzinformation mittels eines Mobilgerätes durchgeführt werden. Somit wird erreicht, dass eine Detektion eines blickwinkelabhängigen Merkmals auch ohne Kenntnis des Dokumententyps oder des Dokumentenlayouts durchgeführt werden kann.
BEZUGSZEICHENLISTE
100 Verfahren zum Detektieren eines blickwinkelabhängigen Merkmals
101 Erfassen eines ersten Bildes des Dokumentes
103 Erfassen eines zweiten Bildes des Dokumentes
105 Erfassen eines Bildunterschieds
200 Mobilgerät zum Detektieren eines blickwinkelabhängigen Merkmals
201 Bildkamera
203 Prozessor
301 -303 Schrittfolgen
305-313 Schritte
401 Dokument
402 Blickwinkelabhängiges Merkmal
403 Erstes Dokumentenbild
405 Zweites Dokumentenbild
407 Drittes Dokumentenbild
409 N-tes Dokumentenbild
600 Oberflächendiagramm
701 Diagramm
703 Konturdiagramm
801 -807 Konturdiagramme
900 Diagramm

Claims

PATENTANSPRÜCHE
1 . Verfahren (100) zum Detektieren eines blickwinkelabhängigen Merkmals (402) eines Dokumentes (401 ) unter Verwendung einer Bildkamera (201 ), wobei das blickwinkelabhängige Merkmal (402) blickwinkelabhängige Darstellungen aufweist, mit:
Erfassen (101 ) eines ersten Bildes des Dokumentes (401 ) durch die Bildkamera (201 ) in einer ersten Raumlage des Dokumentes (401 ) relativ zu der Bildkamera (201 ), um ein erstes Dokumentenbild (403) zu erhalten; Erfassen (103) eines zweiten Bildes des Dokumentes (401 ) durch die Bildkamera (201 ) in einer zweiten Raumlage des Dokumentes (401 ) relativ zu der Bildkamera (201 ), um ein zweites Dokumentenbild (405) zu erhalten; und
Erfassen (105) eines Bildunterschieds zwischen dem ersten Dokumentenbild (403) und dem zweiten Dokumentenbild (405), um das blickwinkelabhängige Merkmal (402) des Dokumentes (401 ) zu detektieren.
2. Verfahren (100) nach Anspruch 1 , wobei das Verfahren (100) ein Erfassen einer Mehrzahl von Bildern des Dokumentes (401 ) durch die Bildkamera (201 ) in unterschiedlichen Raumlagen des Dokumentes (401 ) relativ zu der Bildkamera (201 ) umfasst, wobei das Erfassen (101 ) des ersten Bildes des Dokumentes (401 ) ein Auswählen des ersten Bildes aus der Mehrzahl von Bildern in der ersten Raumlage umfasst, und wobei das Erfassen (103) des zweiten Bildes des Dokumentes (401 ) ein Auswählen des zweiten Bildes aus der Mehrzahl von Bildern in der zweiten Raumlage umfasst.
3. Verfahren (100) nach Anspruch 1 oder 2, wobei das Erfassen (101 ) des ersten Bildes des Dokumentes (401 ) ferner ein perspektivisches Entzerren des ersten Dokumentenbildes (403) auf Basis der ersten Raumlage umfasst, und wobei das Erfassen (103) des zweiten Bildes des Dokumentes (401 ) ferner ein perspektivisches Entzerren des zweiten Dokumentenbildes (405) auf Basis der zweiten Raumlage umfasst.
4. Verfahren (100) nach einem der vorstehenden Ansprüche, das ferner ein Bestimmen der ersten Raumlage des Dokumentes (401 ) relativ zu der Bildkamera (201 ) auf Basis des ersten Dokumentenbildes (403) und/oder ein Bestimmen der zweiten Raumlage des Dokumentes (401 ) relativ zu der Bildkamera (201 ) auf Basis des zweiten Dokumentenbildes (405) umfasst.
5. Verfahren (100) nach Anspruch 4, wobei die jeweilige Raumlage mittels einer Kantendetektion bestimmt wird.
6. Verfahren (100) nach einem der vorstehenden Ansprüche, wobei das jeweilige Dokumentenbild (403, 405) zur Rauschreduktion tiefpassgefiltert wird.
7. Verfahren (100) nach einem der vorstehenden Ansprüche, wobei das erste Dokumentenbild (403) mit dem zweiten Dokumentenbild (405) verglichen wird, um eine
Ausrichtung des ersten Dokumentenbildes (403) in Bezug zu dem zweiten Dokumentenbild (405) zu bestimmen, und wobei das erste Dokumentenbild (403) und das zweite Dokumentenbild (405) auf Basis der bestimmten Ausrichtung in Bezug aufeinander ausgerichtet werden.
8. Verfahren (100) nach einem der vorstehenden Ansprüche, wobei ein Mittelwert aus einem ersten Pixelwert eines Pixels des ersten Dokumentenbildes (403) und einem zweiten Pixelwert eines Pixels des zweiten Dokumentenbildes (405) bestimmt wird, wobei eine erste Abweichung des ersten Pixelwertes von dem Mittelwert bestimmt wird, wobei eine zweite Abweichung des zweiten Pixelwertes von dem Mittelwert bestimmt wird, und wobei der Bildunterschied auf Basis der ersten Abweichung und der zweiten Abweichung erfasst wird.
9. Verfahren (100) nach einem der vorstehenden Ansprüche, wobei eine erste Dokumentenbildmaske auf Basis des ersten Dokumentenbildes (403) bestimmt wird, wobei eine zweite Dokumentenbildmaske auf Basis des zweiten Dokumentenbildes (405) bestimmt wird, und wobei der Bildunterschied auf Basis der ersten Dokumentenbildmaske und der zweiten Dokumentenbildmaske erfasst wird.
10. Verfahren (100) nach Anspruch 9, wobei die jeweilige Dokumentenbildmaske Pixel des jeweiligen Dokumentenbildes (403, 405) anzeigt, welche zur Erfassung (105) des Bildunterschieds verwendbar sind.
1 1 . Verfahren (100) nach einem der vorstehenden Ansprüche, wobei der Bildunterschied in eine Mehrzahl von Bildsegmenten segmentiert wird, und wobei das blickwinkelabhängige Merkmal (402) des Dokumentes (401 ) auf Basis zumindest eines Bildsegmentes der Mehrzahl von Bildsegmenten detektiert wird.
12. Verfahren (100) nach Anspruch 1 1 , wobei für ein Bildsegment der Mehrzahl von Bildsegmenten ein Bildsegmentmaß bestimmt wird, und wobei das bestimmte Bildsegmentmaß mit einem vorbestimmten Bildsegmentmaß verglichen wird, um das Bildsegment für die Detektion des blickwinkelabhängigen Merkmals (402) zu qualifizieren.
13. Verfahren (100) nach einem der vorstehenden Ansprüche, wobei das blickwinkelabhängige Merkmal (402) ein Hologramm oder eine Drucktinte mit blickwinkelabhängigen Reflexionseigenschaften oder Absorptionseigenschaften umfasst.
14. Mobilgerät (200) zum Detektieren eines blickwinkelabhängigen Merkmals (402) eines Dokumentes (401 ), wobei das blickwinkelabhängige Merkmal (402) blickwinkelabhängige Darstellungen aufweist, mit: einer Bildkamera (201 ), welche ausgebildet ist, ein erstes Bild des Dokumentes (401 ) in einer ersten Raumlage des Dokumentes (401 ) relativ zu der Bildkamera (201 ) zu erfassen, um ein erstes Dokumentenbild (403) zu erhalten, und ein zweites Bild des Dokumentes (401 ) in einer zweiten Raumlage des Dokumentes (401 ) relativ zu der Bildkamera (201 ) zu erfassen, um ein zweites Dokumentenbild (405) zu erhalten; und einem Prozessor (203), welcher ausgebildet ist, einen Bildunterschied zwischen dem ersten Dokumentenbild (403) und dem zweiten Dokumentenbild (405) zu erfassen, um das blickwinkelabhängige Merkmal (402) des Dokumentes (401 ) zu detektieren.
15. Computerprogramm mit einem Programmcode zum Ausführen des Verfahrens (100) nach einem der Ansprüche 1 bis 13, wenn das Computerprogramm auf einem Computer ausgeführt wird.
EP15728835.8A 2014-06-17 2015-06-10 Verfahren zum detektieren eines blickwinkelabhängigen merkmals eines dokumentes Active EP3158543B1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102014108492.6A DE102014108492A1 (de) 2014-06-17 2014-06-17 Verfahren zum Detektieren eines blickwinkelabhängigen Merkmals eines Dokumentes
PCT/EP2015/062943 WO2015193152A1 (de) 2014-06-17 2015-06-10 Verfahren zum detektieren eines blickwinkelabhängigen merkmals eines dokumentes

Publications (2)

Publication Number Publication Date
EP3158543A1 true EP3158543A1 (de) 2017-04-26
EP3158543B1 EP3158543B1 (de) 2021-10-13

Family

ID=53396483

Family Applications (1)

Application Number Title Priority Date Filing Date
EP15728835.8A Active EP3158543B1 (de) 2014-06-17 2015-06-10 Verfahren zum detektieren eines blickwinkelabhängigen merkmals eines dokumentes

Country Status (3)

Country Link
EP (1) EP3158543B1 (de)
DE (1) DE102014108492A1 (de)
WO (1) WO2015193152A1 (de)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201602198D0 (en) * 2016-02-08 2016-03-23 Idscan Biometrics Ltd Method computer program and system for hologram extraction
RU2644513C1 (ru) 2017-02-27 2018-02-12 Общество с ограниченной ответственностью "СМАРТ ЭНДЖИНС СЕРВИС" Способ детектирования голографических элементов в видеопотоке
KR20210132703A (ko) 2019-02-28 2021-11-04 시크파 홀딩 에스에이 휴대용 디바이스로 자기 유도 마크를 인증하는 방법
AR123354A1 (es) 2020-09-02 2022-11-23 Sicpa Holding Sa Marca de seguridad, método y dispositivo para leer la marca de seguridad, documento de seguridad marcado con la marca de seguridad y método y sistema para verificar dicho documento de seguridad

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL9001616A (nl) * 1990-07-16 1992-02-17 Stichting Daht Foundation Werkwijze voor het identificeren van een hologram en inrichting voor het uitvoeren van deze werkwijze.
US6473165B1 (en) * 2000-01-21 2002-10-29 Flex Products, Inc. Automated verification systems and methods for use with optical interference devices
US7672475B2 (en) * 2003-12-11 2010-03-02 Fraudhalt Limited Method and apparatus for verifying a hologram and a credit card
DE202005018964U1 (de) * 2005-12-02 2006-03-16 Basler Ag Vorrichtung zum Prüfen der Echtheit von Dokumenten
US7949148B2 (en) * 2006-01-23 2011-05-24 Digimarc Corporation Object processing employing movement
US7925096B2 (en) * 2007-12-12 2011-04-12 Xerox Corporation Method and apparatus for validating holograms
US20100253782A1 (en) * 2009-04-07 2010-10-07 Latent Image Technology Ltd. Device and method for automated verification of polarization-variant images
US8953037B2 (en) * 2011-10-14 2015-02-10 Microsoft Corporation Obtaining spatially varying bidirectional reflectance distribution function
DE102013101587A1 (de) * 2013-02-18 2014-08-21 Bundesdruckerei Gmbh Verfahren zum überprüfen der echtheit eines identifikationsdokumentes

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
None *
See also references of WO2015193152A1 *

Also Published As

Publication number Publication date
WO2015193152A1 (de) 2015-12-23
EP3158543B1 (de) 2021-10-13
DE102014108492A1 (de) 2015-12-17

Similar Documents

Publication Publication Date Title
DE102011106050B4 (de) Schattenentfernung in einem durch eine fahrzeugbasierte Kamera erfassten Bild zur Detektion eines freien Pfads
DE102017220307B4 (de) Vorrichtung und Verfahren zum Erkennen von Verkehrszeichen
DE60038158T2 (de) Zielerfassungsvorrichtung und verfahren zur schätzung des azimuts von radarzielen mittels radon transformation
Bu et al. Crack detection using a texture analysis-based technique for visual bridge inspection
Papari et al. A biologically motivated multiresolution approach to contour detection
DE102016120775A1 (de) System und Verfahren zum Erkennen von Linien in einem Bild mit einem Sichtsystem
DE102015209822A1 (de) Erfassungseinrichtung, Erfassungsprogramm, Erfassungsverfahren, mit Erfassungseinrichtung ausgerüstetes Fahrzeug, Parameterberechnungseinrichtung, Parameter berechnende Parameter, Parameterberechnungsprogramm, und Verfahren zum Berechnen von Parametern
DE102014117102B4 (de) Spurwechselwarnsystem und Verfahren zum Steuern des Spurwechselwarnsystems
DE112020005932T5 (de) Systeme und verfahren zur segmentierung von transparenten objekten mittels polarisationsmerkmalen
DE102009038364A1 (de) Verfahren und System zur automatischen Objekterkennung und anschließenden Objektverfolgung nach Maßgabe der Objektform
EP3158543B1 (de) Verfahren zum detektieren eines blickwinkelabhängigen merkmals eines dokumentes
DE102017220752A1 (de) Bildverarbeitungsvorrichtung, Bildbverarbeitungsverfahren und Bildverarbeitungsprogramm
DE112020005864T5 (de) Verfahren und Einrichtung zur Verifizierung der Authentizität eines Produkts
DE102015207903A1 (de) Vorrichtung und Verfahren zum Erfassen eines Verkehrszeichens vom Balkentyp in einem Verkehrszeichen-Erkennungssystem
EP3053098A1 (de) Positionierverfahren für die positionierung eines mobilgerätes relativ zu einem sicherheitsmerkmal eines dokumentes
DE102015122116A1 (de) System und Verfahren zur Ermittlung von Clutter in einem aufgenommenen Bild
EP2549408A1 (de) Verfahren zur Detektion und Klassifikation von Objekten
DE102019105293A1 (de) Schätzung der Bewegung einer Bildposition
CN111275687B (zh) 一种基于连通区域标记的细粒度图像拼接检测方法
Vaishnav et al. An integrated automatic number plate recognition for recognizing multi language fonts
CN106096650B (zh) 基于收缩自编码器的sar图像分类方法
EP3259703B1 (de) Mobilgerät zum erfassen eines textbereiches auf einem identifikationsdokument
Anagnostopoulos et al. Using sliding concentric windows for license plate segmentation and processing
DE102015200434A1 (de) Verfahren und Vorrichtung zur Verbesserung der Objekterkennung bei unterschiedlichenBeleuchtungssituationen
EP2831806A1 (de) Verfahren zum detektieren einer perspektivisch verzerrten mehreckstruktur in einem bild eines identifikationsdokumentes

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20170109

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20181009

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

REG Reference to a national code

Ref country code: DE

Ref legal event code: R079

Ref document number: 502015015293

Country of ref document: DE

Free format text: PREVIOUS MAIN CLASS: G07D0007120000

Ipc: G07D0007000000

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

RIC1 Information provided on ipc code assigned before grant

Ipc: G07D 7/20 20160101ALI20210617BHEP

Ipc: G07D 7/00 20160101AFI20210617BHEP

INTG Intention to grant announced

Effective date: 20210713

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE PATENT HAS BEEN GRANTED

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 502015015293

Country of ref document: DE

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

REG Reference to a national code

Ref country code: AT

Ref legal event code: REF

Ref document number: 1438744

Country of ref document: AT

Kind code of ref document: T

Effective date: 20211115

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG9D

REG Reference to a national code

Ref country code: NL

Ref legal event code: MP

Effective date: 20211013

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: RS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211013

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211013

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211013

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220113

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220213

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211013

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220214

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211013

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220113

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211013

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211013

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211013

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220114

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211013

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 502015015293

Country of ref document: DE

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211013

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211013

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211013

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211013

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211013

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211013

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

26N No opposition filed

Effective date: 20220714

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211013

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211013

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211013

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

REG Reference to a national code

Ref country code: BE

Ref legal event code: MM

Effective date: 20220630

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20220610

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20220630

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20220610

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20220630

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211013

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20220630

P01 Opt-out of the competence of the unified patent court (upc) registered

Effective date: 20230526

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20230621

Year of fee payment: 9

Ref country code: DE

Payment date: 20230620

Year of fee payment: 9

REG Reference to a national code

Ref country code: AT

Ref legal event code: MM01

Ref document number: 1438744

Country of ref document: AT

Kind code of ref document: T

Effective date: 20220610

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20220610

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO

Effective date: 20150610

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211013

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211013

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20240620

Year of fee payment: 10