EP4127670A1 - Method for recognizing surfaces - Google Patents

Method for recognizing surfaces

Info

Publication number
EP4127670A1
EP4127670A1 EP21710597.2A EP21710597A EP4127670A1 EP 4127670 A1 EP4127670 A1 EP 4127670A1 EP 21710597 A EP21710597 A EP 21710597A EP 4127670 A1 EP4127670 A1 EP 4127670A1
Authority
EP
European Patent Office
Prior art keywords
image
camera
detail
prominent
video stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP21710597.2A
Other languages
German (de)
French (fr)
Inventor
Kai Zeh
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
4Art Holding AG
Original Assignee
4Art Holding AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 4Art Holding AG filed Critical 4Art Holding AG
Publication of EP4127670A1 publication Critical patent/EP4127670A1/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G01N21/95607—Inspecting patterns on the surface of objects using a comparative method
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/48—Matching video sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/018—Certifying business or products
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/80—Recognising image objects characterised by unique random patterns
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07D—HANDLING OF COINS OR VALUABLE PAPERS, e.g. TESTING, SORTING BY DENOMINATIONS, COUNTING, DISPENSING, CHANGING OR DEPOSITING
    • G07D7/00—Testing specially adapted to determine the identity or genuineness of valuable papers or for segregating those which are unacceptable, e.g. banknotes that are alien to a currency
    • G07D7/06—Testing specially adapted to determine the identity or genuineness of valuable papers or for segregating those which are unacceptable, e.g. banknotes that are alien to a currency using wave or particle radiation
    • G07D7/12—Visible light, infrared or ultraviolet radiation
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07D—HANDLING OF COINS OR VALUABLE PAPERS, e.g. TESTING, SORTING BY DENOMINATIONS, COUNTING, DISPENSING, CHANGING OR DEPOSITING
    • G07D7/00—Testing specially adapted to determine the identity or genuineness of valuable papers or for segregating those which are unacceptable, e.g. banknotes that are alien to a currency
    • G07D7/20—Testing patterns thereon
    • G07D7/202—Testing patterns thereon using pattern matching
    • G07D7/2033—Matching unique patterns, i.e. patterns that are unique to each individual paper
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07D—HANDLING OF COINS OR VALUABLE PAPERS, e.g. TESTING, SORTING BY DENOMINATIONS, COUNTING, DISPENSING, CHANGING OR DEPOSITING
    • G07D7/00—Testing specially adapted to determine the identity or genuineness of valuable papers or for segregating those which are unacceptable, e.g. banknotes that are alien to a currency
    • G07D7/20—Testing patterns thereon
    • G07D7/202—Testing patterns thereon using pattern matching
    • G07D7/206—Matching template patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G01N21/95607—Inspecting patterns on the surface of objects using a comparative method
    • G01N2021/95615—Inspecting patterns on the surface of objects using a comparative method with stored comparision signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/02—Mechanical
    • G01N2201/022—Casings
    • G01N2201/0221—Portable; cableless; compact; hand-held
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/06—Illumination; Optics
    • G01N2201/061—Sources
    • G01N2201/0616—Ambient light is used
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/95—Pattern authentication; Markers therefor; Forgery detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region

Definitions

  • the invention relates to a method for the recognition of surfaces, in particular for the optical detection of structured and / or pictorial surfaces, for example of paintings or sculptures.
  • Another stationary optical device for detecting surfaces of a component is described in DE 102008018586 A1.
  • Two light sources and a camera device are provided, the camera receiving the light beams of the light sources reflected on the surfaces of the component in order to generate an image of the surfaces.
  • FIG. 2 the camera according to FIG. 1 with a glare protection.
  • the camera 5 is focused if, for example, there is no refocusing of the lens of the camera 5 within approx. 0.5 seconds.
  • the physical position of the lens of the objective is continuously monitored. As far as the average of the obtained lens positions of the lens of the camera 5 from the last approx. 0.5 seconds corresponds to the next obtained lens position, the camera 5 is classified as focused and triggered by the software of the mobile device 4.
  • Each individual image of the live video stream is sent to a subroutine in the control electronics for processing (individual frames can be left unprocessed, to the detriment of accuracy).
  • High-contrast image points 3 are identified in each image to be processed. Colors, contrasts, distances and / or depths of structures are automatically determined. These image points 3 are surrounded by significantly more or less intense image points.
  • Geometric shapes are then projected using the high-contrast image points 3 identified. These pixels 3 form the corners of the projected geometric figures.
  • the number, the positions and the sizes of the geometric figures are stored in a data record for each image.
  • the target image or target image that is to be found in the video stream is processed.
  • the data records of the target image and the single image with the highest level of detail are compared with one another. If the target image is found in the individual image of the video, this can be determined by comparing the data sets.
  • the number of projected geometric figures indicates the depth of detail in an image.
  • the image with the highest level of detail, ie the greatest number of details, is selected for further processing and saved or saved as a reference (target image). was created and saved at an earlier point in time.
  • step 9 To ensure that the saved image is suitable as a reference for a fingerprint, another image of the selected area is created as described above and saved as a secondary reference image. 10. The reference image from step 8 and the secondary reference image from step 9 are used for future comparisons of the selected area.
  • the user wants to determine whether a work of art / object available to him corresponds to the object originally recorded in the registration process or is identical to it.
  • step 8 of the registration process is now used to obtain the best possible image in accordance with steps 6 and / or 7 of the registration

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Toxicology (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Development Economics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Analytical Chemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Accounting & Taxation (AREA)
  • Biochemistry (AREA)
  • Economics (AREA)
  • Finance (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Chemical & Material Sciences (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

The invention relates to a method for recognizing surfaces (2), in particular for optically recognizing or identifying structured and/or pictorial surfaces (2), said method involving the steps of - focusing a camera (5) onto a prominent image dot (3) on the surface (2), - creating at least one live video stream of a recognizable, high-contrast area of the image dot (3), and - guiding the camera (5) to the image frame of the video having the greatest depth of detail by focusing a camera (5) onto a prominent image dot (3) on the surface (2) to be sensed, - creating at least two images of a recognizable, high-contrast area of the image dot (3), - storing the image having the greatest depth of detail as a reference image, - analyzing each image frame of the live video stream, - comparing the image frame having the greatest depth of detail with a target image or reference image.

Description

Verfahren zur Wiedererkennung von Oberflächen Process for the recognition of surfaces
Die Erfindung betrifft ein Verfahren zur Wiedererkennung von Oberflächen, insbesondere zur optischen Erfassung von strukturierten und/oder bildhaften Oberflächen, zum Beispiel von Gemälden oder Skulpturen. The invention relates to a method for the recognition of surfaces, in particular for the optical detection of structured and / or pictorial surfaces, for example of paintings or sculptures.
In der DE 102014018940 A1 ist ein Verfahren zur Begutachtung von Färb- oder Lackoberflächen unter Verwendung einer Leuchte offenbart. Die Leuchte, eine LED- oder Halogenleuchte, soll ein tageslichtähnliches Lichtspektrum erzeugen können, das Steuer- oder regelbar ist. Insbesondere soll ein umschalten zwischen Tageslicht und dem zur Beurteilung der Oberfläche besser geeigneten Farbspektrum möglich sein. DE 102014018940 A1 discloses a method for assessing colored or lacquered surfaces using a lamp. The lamp, an LED or halogen lamp, should be able to generate a light spectrum similar to daylight that can be controlled or regulated. In particular, it should be possible to switch between daylight and the color spectrum that is more suitable for assessing the surface.
Eine stationäre optische Abtastvorrichtung für ebene Oberflächen ist in der DE 3737631 C1 offenbart. Sie weist eine Laserlichtquelle, eine vom Laserlichtstrahl beaufschlagte Lichtablenkvorrichtung, ein Abbildungselement, einen abbildenden Retroreflektor sowie eine Lichtempfangsvorrichtung auf. Sie dient der Fehlersuche an reflektierenden Oberflächen, wobei ein Flattern der Oberfläche Messungen nicht beeinträchtigen soll. A stationary optical scanning device for flat surfaces is disclosed in DE 3737631 C1. It has a laser light source, a light deflection device acted upon by the laser light beam, an imaging element, an imaging retroreflector and a light receiving device. It is used for troubleshooting on reflective surfaces, whereby fluttering of the surface should not affect measurements.
Eine weitere stationäre optische Vorrichtung zur Erfassung von Oberflächen eines Bauteils ist in der DE 102008018586 A1 beschrieben. Vorgesehen sind zwei Lichtquellen und eine Kameraeinrichtung, wobei die Kamera die an den Oberflächen des Bauteils reflektierten Lichtstrahlen der Lichtquellen zur Erzeugung eines Bildes der Oberflächen empfängt. Another stationary optical device for detecting surfaces of a component is described in DE 102008018586 A1. Two light sources and a camera device are provided, the camera receiving the light beams of the light sources reflected on the surfaces of the component in order to generate an image of the surfaces.
Eine ähnliche optische Untersuchungseinrichtung zur Erfassung der Eigenschaften von rechteckigen Halbleitern zeigt die DE 102016011497 B4. DE 102016011497 B4 shows a similar optical examination device for detecting the properties of rectangular semiconductors.
Eine optische Abtastvorrichtung zur Aufzeichnung und Wiedergabe von Informationen, bei der Lichtstrahlen mit zumindest drei Wellenlängen benutzt werden, eine optische Pickupvorrichtung, zeigt die EP 1381035 B1. Ein stationäres Messsystem zur Erfassung von Oberflächen und zur hyperspektralen Bildgebung ist in der DE 102017000296 A1 beschrieben. Es wird ein Beleuchtungsmuster eines ersten Messlichts mit einer Vielzahl von Wellenlängen erzeugt und das Beleuchtungsmuster auf der zu untersuchenden Oberfläche abgebildet, so dass es von einem chromatischen Objektiv in verschiedenen Abständen scharf abgebildet werden kann. Die Intensitätsverteilung des aufgespaltenen ersten Messlichts wird mittels eines Detektors erfasst und daraus topografische Eigenschaften der zu untersuchenden Oberfläche ermittelt. Die Oberfläche wird zudem mit einem zweiten Messlicht homogen beleuchtet. Ein multifokales chromatisch codiertes 3D-Messverfahren wird mit einem nichtkonfokalen zweiten Messlicht kombiniert. Struktur und Zusammensetzung der Oberflächen sollen schnell und genau bestimmbar sein. An optical scanning device for recording and reproducing information using light beams with at least three wavelengths, an optical pick-up device, is shown in EP 1381035 B1. A stationary measuring system for detecting surfaces and for hyperspectral imaging is described in DE 102017000296 A1. An illumination pattern of a first measuring light with a multitude of wavelengths is generated and the illumination pattern is imaged on the surface to be examined so that it can be imaged sharply by a chromatic objective at different distances. The intensity distribution of the split first measurement light is recorded by means of a detector and topographical properties of the surface to be examined are determined therefrom. The surface is also homogeneously illuminated with a second measuring light. A multifocal, chromatically coded 3D measuring method is combined with a non-confocal second measuring light. The structure and composition of the surfaces should be able to be determined quickly and precisely.
In der WO 2017089736 A1 und der WO 2017198950 A1 sind Verfahren zur Authentifizierung bzw. zur erweiterten Authentifizierung von Objekten offenbart. In WO 2017089736 A1 and WO 2017198950 A1, methods for authentication or for extended authentication of objects are disclosed.
Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren zur Wiedererkennung von Oberflächen zu entwickeln, das einfach und ortsunabhängig anwendbar und sicher ist. The invention is based on the object of developing a method for recognizing surfaces, which can be used easily and safely, regardless of location.
Die Lösung der Aufgabe erfolgt mit den Merkmalen des unabhängigen Patentanspruchs 1. Das erfindungsgemässe Verfahren umfasst die Schritte The object is achieved with the features of independent claim 1. The method according to the invention comprises the steps
- Fokussierung einer Kamera auf einem markanten Bildpunkt der Oberfläche - Focusing a camera on a prominent image point on the surface
- Erstellung von mindestens einem Live-Videostream von einem wieder zu erkennenden, kontrastreichen Bereich des Bildpunktes und - Creation of at least one live video stream from a recognizable, high-contrast area of the pixel and
Führung der Kamera zum Einzelbild des Videos mit der höchsten Detailtiefe durch Fokussierung der Kamera auf einem markanten Bildpunkt der zu erfassenden Oberfläche Guiding the camera to the single image of the video with the highest level of detail by focusing the camera on a prominent pixel of the surface to be captured
Erstellung von mindestens zwei Bildern von einem wieder zu erkennenden, kontrastreichen Bereich des Bildpunktes Creation of at least two images of a recognizable, high-contrast area of the image point
Speicherung der Aufnahme mit der höchsten Detailtiefe als Referenzbild - Analyse jedes Einzelbildes des Live-Videostreams Storage of the recording with the highest level of detail as a reference image - Analysis of every single image of the live video stream
- Vergleich des Einzelbildes mit der höchsten Detailtiefe mit einem Ziel- bzw. Referenzbild. - Comparison of the single image with the highest level of detail with a target or reference image.
Bevorzugte Ausgestaltungen der Erfindung sind in den abhängigen Ansprüchen offenbart. Preferred embodiments of the invention are disclosed in the dependent claims.
Das erfindungsgemässe Verfahren ermöglicht eine, automatische, Erstellung scharfer und hochwertiger Bilder von einer Oberfläche aus einer vorgebenen Entfernung mittels eines Endgerätes, bevorzugt eines mobilen Endgerätes (Mobilgerät), das mit einer Kamera ausgestattet ist. The method according to the invention enables the automatic creation of sharp and high-quality images of a surface from a predetermined distance by means of a terminal device, preferably a mobile terminal device (mobile device), which is equipped with a camera.
Die Erfindung wird nachfolgend in einem Ausführungsbeispiel anhand einer Zeichnung näher beschrieben. The invention is described in more detail below in an exemplary embodiment with reference to a drawing.
In der Zeichnung zeigen die In the drawing they show
Fig. 1 : eine erfindungsgemässe Anordnung einer Kamera über der zu erfassenden Oberfläche, 1: an arrangement according to the invention of a camera above the surface to be recorded,
Fig. 2: die Kamera nach Fig. 1 mit einem Blendschutz. FIG. 2: the camera according to FIG. 1 with a glare protection.
Eine zu erfassende Oberfläche 2, im Beispiel eines Gemäldes 1 wird zunächst horizontal oder vertikal ausgerichtet (Fig. 1) und optimal und schattenfrei mittels Tageslicht und/oder Kunstlicht ausgeleuchtet. A surface 2 to be detected, in the example a painting 1, is first aligned horizontally or vertically (FIG. 1) and illuminated optimally and without shadows by means of daylight and / or artificial light.
Anschliessend wird der Autofokus einer Kamera 5 eines Mobilgeräts 4, zum Beispiel ein Tablet oder ein Smartphone, aktiviert und das Mobilgerät wird mit einem Abstand 6 von beispielsweise 9-10cm etwa parallel (horizontal oder vertikal) zur Oberfläche 2 über einem markanten Bildpunkt ausgerichtet. Die Kamera 5 ist fokussiert, wenn zum Beispiel innerhalb von ca. 0,5 Sekunden keine Neufokussierung des Objektivs der Kamera 5 erfolgt. Hierzu wird die physische Position der Linse des Objektivs kontinuierlich überwacht. Soweit der Durchschnitt der erhaltenen Linsenpositionen des Objektivs der Kamera 5 aus den jeweils letzten ca. 0,5 Sekunden der nächsten erhaltenen Linsenposition entspricht, wird die Kamera 5 von der Software des Mobilgeräts 4 als fokussiert klassifiziert und ausgelöst. The autofocus of a camera 5 of a mobile device 4, for example a tablet or a smartphone, is then activated and the mobile device is aligned approximately parallel (horizontally or vertically) to the surface 2 over a prominent image point at a distance 6 of, for example, 9-10 cm. The camera 5 is focused if, for example, there is no refocusing of the lens of the camera 5 within approx. 0.5 seconds. For this purpose, the physical position of the lens of the objective is continuously monitored. As far as the average of the obtained lens positions of the lens of the camera 5 from the last approx. 0.5 seconds corresponds to the next obtained lens position, the camera 5 is classified as focused and triggered by the software of the mobile device 4.
Mittels der zuletzt festgestellten physischen Linsenposition kann die tatsächliche Entfernung zum fokussierten Objekt (Bildpunkt 3 der Oberfläche 2) von der vorbezeichneten Software berechnet werden, unter der Voraussetzung, dass die Kamera 5 bereits ausgemessen ist. Using the last determined physical lens position, the actual distance to the focused object (image point 3 of the surface 2) can be calculated by the aforementioned software, provided that the camera 5 has already been measured.
Basierend auf den gemessenen Referenz-Entfernungen und der entsprechenden Linsenpositionen, wird von der Steuerungselektronik des Mobilgeräts 4 die momentane Distanz zum fokussierten Objekt errechnet. Sofern die Entfernung einer definierten Vorgabe entspricht, wird automatisch eine Videoaufnahme von einem wieder zu erkennenden Bereich erstellt. Based on the measured reference distances and the corresponding lens positions, the control electronics of the mobile device 4 calculate the current distance to the focused object. If the distance corresponds to a defined specification, a video recording of an area to be recognized is automatically created.
Jedes einzelne Bild des Live-Videostreams wird zur Verarbeitung an eine Unterroutine der Steuerelektronik gesendet (bei Bedarf können zulasten der Genauigkeit einzelne Frames unbearbeitet bleiben). In jedem zu verarbeitenden Bild werden kontrastreiche Bildpunkte 3 identifiziert. Hierbei werden automatisch Farben, Kontraste, Abstände und/oder Tiefen von Strukturen ermittelt. Diese Bildpunkte 3 sind von signifikant stärker oder schwächer intensiven Bildpunkten umgeben. Each individual image of the live video stream is sent to a subroutine in the control electronics for processing (individual frames can be left unprocessed, to the detriment of accuracy). High-contrast image points 3 are identified in each image to be processed. Colors, contrasts, distances and / or depths of structures are automatically determined. These image points 3 are surrounded by significantly more or less intense image points.
Danach werden geometrische Formen anhand der identifizierten kontrastreichen Bildpunkte 3 projiziert. Diese Bildpunkte 3 bilden die Ecken der projizierten geometrischen Figuren. Die Anzahl, die Positionen, und die Grössen der geometrischen Figuren, werden in einem Datensatz für jedes Bild abgelegt. Das Zielbild bzw. Sollbild, welches im Videostream gefunden werden soll, wird aufbereitet. Die Datensätze des Zielbildes und des Einzelbildes mit der höchsten Detailtiefe werden miteinander verglichen. Findet sich das Zielbild im Einzelbild des Videos, kann dies durch den Vergleich der Datensätze festgestellt werden. Die Anzahl der projizierten geometrischen Figuren indiziert die Detailtiefe eines Bildes. Das Bild mit der höchsten Detailtiefe, d. h. grösste Anzahl an Details, wird zur Weiterverarbeitung ausgewählt und als Referenz (Zielbild) gespeichert resp. wurde bereits zu einem früheren Zeitpunkt erstellt und gespeichert. Geometric shapes are then projected using the high-contrast image points 3 identified. These pixels 3 form the corners of the projected geometric figures. The number, the positions and the sizes of the geometric figures are stored in a data record for each image. The target image or target image that is to be found in the video stream is processed. The data records of the target image and the single image with the highest level of detail are compared with one another. If the target image is found in the individual image of the video, this can be determined by comparing the data sets. The number of projected geometric figures indicates the depth of detail in an image. The image with the highest level of detail, ie the greatest number of details, is selected for further processing and saved or saved as a reference (target image). was created and saved at an earlier point in time.
Aufgrund der so ermittelten Koordinaten des Bildpunktes 3 kann eine Markierung für das Zielbild im Einzelbild mit der höchsten Detailtiefe eingezeichnet werden, die Position des Zielbildes kann im Einzelbild des Videos ermittelt werden. On the basis of the coordinates of the image point 3 determined in this way, a marking for the target image can be drawn in in the single image with the greatest depth of detail, the position of the target image can be determined in the single image of the video.
Durch nachfolgende Einspielung des modifizierten Einzelbildes in den Videostream kann der Nutzer zur gewünschten Position (Zielbild) geführt werden bzw. bekommt die Position des Zielbildes angezeigt. By subsequently importing the modified individual image into the video stream, the user can be guided to the desired position (target image) or the position of the target image is displayed.
Falls die zu erfassende Oberfläche 2 spiegelt und/oder hinter einer spiegelnden, durchsichtigen Abdeckung angeordnet ist, kann das Mobilgerät 4 mit einem reversiblen Blendschutz 7 versehen werden. Dieser Blendschutz 7 ist im Beispiel ein flacher viereckiger Rahmen mit einem Ausschnitt 8 für die Kamera 5. Der Blendschutz 7 kann zum Beispiel magnetisch oder mittels Führungsschiene oder Klickverbindung auf dem Mobilgerät 4 angebracht und positioniert sein (Fig. 2). If the surface 2 to be detected is reflective and / or is arranged behind a reflective, transparent cover, the mobile device 4 can be provided with a reversible glare shield 7. In the example, this anti-glare shield 7 is a flat, square frame with a cutout 8 for the camera 5. The anti-glare shield 7 can, for example, be attached and positioned magnetically or by means of a guide rail or click connection on the mobile device 4 (FIG. 2).
Für eine erstmalige Erfassung einer Oberfläche muss vorgängig die vorbezeichnete Software/App auf dem Mobilgerät 4 installiert werden und dieses muss registriert und authentifiziert werden. For a first-time acquisition of a surface, the aforementioned software / app must first be installed on the mobile device 4 and this must be registered and authenticated.
Ablauf einer Registrierung: Registration process:
1.. Erfassung der persönlichen Daten des Eigentümers des zu erfassenden Objekts (Kunstwerk) 1 .. Collection of the personal data of the owner of the object to be recorded (work of art)
2. Erfassung der Eckdaten des Objektes, wie z. B. Name, Ersteller, Jahr der Erstellung, Abmasse in Zentimeter 3. Fotografie der Vorderseite des gesamten Objektes 2. Acquisition of the key data of the property, such as B. Name, creator, year of creation, dimensions in centimeters 3. Photograph of the front of the entire object
4. Optionale Fotografie der Rückseite/übrigen Seiten des Objektes 4. Optional photography of the back / other sides of the object
5. Auswahl eines Bereiches auf dem Objekt, der als wiedererkennbarer Bereich (resp. Fingerabdruck) genutzt werden soll 6. Erfassung der Oberfläche des Objekts mittels Mobilgerät 4 entsprechend der vorgenannten Beschreibung (Erstellung eines Bildes mit höchster Detailtiefe des ausgewählten Bereiches). 5. Selection of an area on the object that is to be used as a recognizable area (or fingerprint) 6. Detection of the surface of the object using mobile device 4 in accordance with the above description (creation of an image with the highest level of detail of the selected area).
7. Um die Qualität des gewählten Referenz-Bildes (Zielbild) weiter zu erhöhen, wird der vorbeschriebene Live Videostream mit derselben Kamera 5 erstellt und ggf. werden weitere Einzelbilder des gewählten Bereiches erstellt 7. In order to further increase the quality of the selected reference image (target image), the above-described live video stream is created with the same camera 5 and, if necessary, additional individual images of the selected area are created
8. Das letztlich beste Bild aus den Schritten 5-7 wird gespeichert 8. The ultimately best image from steps 5-7 is saved
9. Zur Sicherstellung, dass das gespeicherte Bild als Referenz für einen Fingerabdruck geeignet ist, wird ein weiteres Bild des gewählten Bereichs gemäss vorstehender Beschreibung erstellt und als sekundäres Referenz-Bild gespeichert. 10. Das Referenzbild aus Schritt 8, sowie das sekundäre Referenzbild aus Schritt 9 werden für zukünftige Vergleiche des ausgewählten Bereichs genutzt. 9. To ensure that the saved image is suitable as a reference for a fingerprint, another image of the selected area is created as described above and saved as a secondary reference image. 10. The reference image from step 8 and the secondary reference image from step 9 are used for future comparisons of the selected area.
Ablauf Authentifikation: Authentication process:
Der Nutzer will feststellen, ob ein ihm vorliegendes Kunstwerk / Objekt dem ursprünglich im Ablauf der Registrierung aufgenommenem Objekt entspricht bzw. mit diesem identisch ist. The user wants to determine whether a work of art / object available to him corresponds to the object originally recorded in the registration process or is identical to it.
A1. Der Nutzer wählt das zu authentifizierende Kunstwerk/Objekt aus seiner Sammlung aus A1. The user selects the work of art / object to be authenticated from their collection
A2. Das Referenzbild aus Schritt 8 des Ablaufs der Registrierung wird nun genutzt, um entsprechend der Schritte 6 und/oder 7 der Registrierung ein bestmöglichesA2. The reference image from step 8 of the registration process is now used to obtain the best possible image in accordance with steps 6 and / or 7 of the registration
Abbild des gleichen Bereiches (Bildpunkt 3) aus einem Abstand 6 von beispielsweise 9- 10cm zu erstellen A3. Das beste Bild aus Schritt A2 wird als Authentifikations-Bild zur Weiterverarbeitung gespeichert To create an image of the same area (image point 3) from a distance 6 of, for example, 9-10 cm A3. The best image from step A2 is saved as an authentication image for further processing
A4. Das gespeicherte Authentifikations-Bild wird nun von der Steuerungselektronik/App des Mobilgeräts 4 mit dem Referenz-Bild aus dem Registrationsablauf verglichen A4. The stored authentication image is now compared by the control electronics / app of the mobile device 4 with the reference image from the registration process
A5. Anhand von Übereinstimmungen zwischen dem Authentifikations-Bild und dem Referenz-Bild erhält der Nutzer eine Aussage, ob es sich bei dem Kunstwerk/Objekt um dasselbe handelt, bzw. ob es nicht das ursprünglich unter Ablauf der Registrierung aufgenommene Kunstwerk/ Objekt ist. A5. On the basis of matches between the authentication image and the reference image, the user receives a statement as to whether the work of art / object is the same or whether it is not the work of art / object originally recorded during the registration process.
Auflistung der Bezugszeichen List of reference symbols
1 Gemälde 1 painting
2 Oberfläche 3 Bildpunkt 2 surface 3 pixel
4 Mobilgerät 4 mobile device
5 Kamera 5 camera
6 Abstand 6 spacing
7 Blendschutz 8 Ausschnitt 7 Anti-glare protection 8 Cut-out

Claims

Patentansprüche Claims
1. Verfahren zur Wiedererkennung von Oberflächen, insbesondere zur optischen Wiedererkennung resp. Erfassung von strukturierten und/oder bildhaften Oberflächen, umfassend die Schritte 1. Method for the recognition of surfaces, in particular for optical recognition, respectively. Acquisition of structured and / or pictorial surfaces, comprising the steps
- Fokussierung einer Kamera (5) auf einem markanten Bildpunkt (3) der Oberfläche- Focusing a camera (5) on a prominent image point (3) on the surface
(2) (2)
- Erstellung von mindestens einem Live-Videostream von einem wieder zu erkennenden, kontrastreichen Bereich des Bildpunktes (3) und - Creation of at least one live video stream from a recognizable, high-contrast area of the image point (3) and
Führung der Kamera zum Einzelbild des Videos mit der höchsten Detailtiefe durch Fokussierung einer Kamera auf einem markanten Bildpunkt der zu erfassenden Oberfläche Guiding the camera to the single image of the video with the highest level of detail by focusing a camera on a prominent pixel of the surface to be captured
Erstellung von mindestens zwei Bildern von einem wieder zu erkennenden, kontrastreichen Bereich des Bildpunktes Creation of at least two images of a recognizable, high-contrast area of the image point
Speicherung der Aufnahme mit der höchsten Detailtiefe als Referenzbild Storage of the recording with the highest level of detail as a reference image
- Analyse jedes Einzelbildes des Live-Videostreams - Analysis of every single image of the live video stream
- Vergleich des Einzelbildes mit der höchsten Detailtiefe mit einem Ziel- bzw. Referenzbild . - Comparison of the single image with the highest level of detail with a target or reference image.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Position des Zielbildes im Einzelbild des Videos ermittelt wird. 2. The method according to claim 1, characterized in that the position of the target image is determined in the single image of the video.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass der Abstand (6) der Kamera (5) von der Oberfläche (2) 9-10cm beträgt. 3. The method according to claim 1 or 2, characterized in that the distance (6) of the camera (5) from the surface (2) is 9-10 cm.
4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass das Referenzbild mit einer, zu irgendeinem späteren Zeitpunkt erstellten Aufnahme des markanten Bildpunktes (3) der Oberfläche (2) verglichen wird. 4. The method according to any one of claims 1 to 3, characterized in that the reference image is compared with a recording of the prominent image point (3) of the surface (2) made at any later point in time.
EP21710597.2A 2020-03-23 2021-03-03 Method for recognizing surfaces Pending EP4127670A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CH00344/20A CH717252A2 (en) 2020-03-23 2020-03-23 Process for the recognition of surfaces.
PCT/IB2021/051754 WO2021191708A1 (en) 2020-03-23 2021-03-03 Method for recognizing surfaces

Publications (1)

Publication Number Publication Date
EP4127670A1 true EP4127670A1 (en) 2023-02-08

Family

ID=77887811

Family Applications (1)

Application Number Title Priority Date Filing Date
EP21710597.2A Pending EP4127670A1 (en) 2020-03-23 2021-03-03 Method for recognizing surfaces

Country Status (4)

Country Link
US (1) US20230206637A1 (en)
EP (1) EP4127670A1 (en)
CH (1) CH717252A2 (en)
WO (1) WO2021191708A1 (en)

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3737631C1 (en) 1987-11-05 1989-03-02 Sick Optik Elektronik Erwin Optical scanning device for flat surfaces
US5521984A (en) * 1993-06-10 1996-05-28 Verification Technologies, Inc. System for registration, identification and verification of items utilizing unique intrinsic features
ATE441183T1 (en) 1999-01-22 2009-09-15 Konica Minolta Opto Inc OPTICAL SCANNING DEVICE, RECORDING/RECORDING DEVICE EQUIPPED WITH THE OPTICAL SCANNING DEVICE, OPTICAL ELEMENT AND METHOD FOR DATA RECORDING/REPRODUCTION
DE102008018586A1 (en) 2008-04-12 2009-11-05 Mühlbauer Ag Optical detection device and method for detecting surfaces of components
DE102014018940A1 (en) 2014-12-22 2016-06-23 Sata Gmbh & Co. Kg Apparatus and method for assessing surfaces, in particular of paint or lacquer surfaces
WO2017089736A1 (en) 2015-11-27 2017-06-01 Kerquest Method for authenticating and/or checking the integrity of a subject
WO2017198950A1 (en) 2016-05-17 2017-11-23 Kerquest Method of augmented authentification of a material subject
DE102016011497B4 (en) 2016-09-21 2019-01-24 Mühlbauer Gmbh & Co. Kg Optical inspection device and optical inspection method with visible and infrared light for semiconductor devices
DE102017000296B4 (en) 2017-01-15 2021-02-11 Baden-Württemberg Stiftung Ggmbh Measurement system and method for the combined acquisition of surface topography and hyperspectral imaging
CN113888761A (en) * 2017-05-19 2022-01-04 谷歌有限责任公司 Efficient image analysis using environmental sensor data
CN108898597B (en) * 2018-06-28 2021-10-15 广东创图文化传媒有限公司 Method for identifying painting and calligraphy based on smart phone

Also Published As

Publication number Publication date
WO2021191708A1 (en) 2021-09-30
CH717252A2 (en) 2021-09-30
US20230206637A1 (en) 2023-06-29

Similar Documents

Publication Publication Date Title
EP1386141B1 (en) Method and device for examining an object in a contactless manner, especially for examining the surface form of the same
EP3014569B1 (en) Inspection of the contoured surface of the underbody of a motor vehicle
EP2619525B1 (en) Method for optically scanning an edge in or on a surface region
DE112019003985T5 (en) WAFER INSPECTION METHOD AND INSPECTION DEVICE
DE102013108722B4 (en) Method and device for detecting defects of a flat surface
EP0805996A1 (en) Process and device for imaging an object
DE19848243A1 (en) Bending angle detector for workpieces such as metal plate
WO2016107722A1 (en) Method for determining particles
DE102014108789A1 (en) Multi-stage process for the examination of surfaces and corresponding device
EP4127670A1 (en) Method for recognizing surfaces
DE102008062589A1 (en) Method for non-contact dynamic detection of the diameter of a rail vehicle wheel
EP4127672A1 (en) Method for assessing contrasts on surfaces
DE102013211286A1 (en) Method for measuring a workpiece with an optical sensor
EP0955538A1 (en) Method and apparatus for the detection and/or visualization of flaws on the surface of objects
DE69719984T2 (en) STRIP PATTERN DISCRIMINATOR FOR DIFFERENTIAL GRID INTERFEROMETER
EP3049757B1 (en) Chassis measurement under ambient light
DE19700318A1 (en) Method for determining the geometry data of scanning templates
EP0417625A2 (en) Data pick-up method using a detector array comprising at least one detector line, and apparatus carrying out the method
DE102016109027A1 (en) Method for checking the position of characteristic points in light distributions
DE102016109131B4 (en) Method for the three-dimensional detection of an object
EP3540507A1 (en) Imaging apparatus and method for taking an image of a document and use thereof
DE102015222393A1 (en) Measuring method for the evaluation of light distributions of motor vehicle headlights
EP2917897B1 (en) Testing the quality of a flip image of a lens structure
DE102016107675A1 (en) Apparatus and method for automatically counting persons in a vehicle
EP3798570B1 (en) Optical measuring system and method for calibrating an optical measuring system, and calibration object for an optical measuring system

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20221010

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20240508