RU2718483C2 - System and/or method of identifying coating for glass - Google Patents
System and/or method of identifying coating for glass Download PDFInfo
- Publication number
- RU2718483C2 RU2718483C2 RU2016138012A RU2016138012A RU2718483C2 RU 2718483 C2 RU2718483 C2 RU 2718483C2 RU 2016138012 A RU2016138012 A RU 2016138012A RU 2016138012 A RU2016138012 A RU 2016138012A RU 2718483 C2 RU2718483 C2 RU 2718483C2
- Authority
- RU
- Russia
- Prior art keywords
- coatings
- video
- detected
- recognition
- color coordinates
- Prior art date
Links
- 238000000576 coating method Methods 0.000 title claims abstract description 170
- 239000011248 coating agent Substances 0.000 title claims abstract description 68
- 238000000034 method Methods 0.000 title claims description 29
- 239000011521 glass Substances 0.000 title description 18
- 238000001514 detection method Methods 0.000 claims abstract description 49
- 238000012545 processing Methods 0.000 claims abstract description 30
- 230000004044 response Effects 0.000 claims description 16
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000000691 measurement method Methods 0.000 abstract 1
- 239000000126 substance Substances 0.000 abstract 1
- 239000000758 substrate Substances 0.000 description 19
- 238000010191 image analysis Methods 0.000 description 16
- 230000008859 change Effects 0.000 description 6
- 238000012800 visualization Methods 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 5
- 238000010186 staining Methods 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000007935 neutral effect Effects 0.000 description 4
- 230000005855 radiation Effects 0.000 description 4
- 239000010409 thin film Substances 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 238000009501 film coating Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000010438 heat treatment Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 125000006850 spacer group Chemical group 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- XKRFYHLGVUSROY-UHFFFAOYSA-N Argon Chemical compound [Ar] XKRFYHLGVUSROY-UHFFFAOYSA-N 0.000 description 2
- RTAQQCXQSZGOHL-UHFFFAOYSA-N Titanium Chemical compound [Ti] RTAQQCXQSZGOHL-UHFFFAOYSA-N 0.000 description 2
- 230000000844 anti-bacterial effect Effects 0.000 description 2
- 238000005229 chemical vapour deposition Methods 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 239000005329 float glass Substances 0.000 description 2
- 239000007789 gas Substances 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 239000011261 inert gas Substances 0.000 description 2
- 238000001755 magnetron sputter deposition Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000005496 tempering Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 229910052786 argon Inorganic materials 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000001354 calcination Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000009833 condensation Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 230000008021 deposition Effects 0.000 description 1
- 238000003618 dip coating Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- -1 for example Substances 0.000 description 1
- 229910052734 helium Inorganic materials 0.000 description 1
- 239000001307 helium Substances 0.000 description 1
- SWQJXJOGLNCZEY-UHFFFAOYSA-N helium atom Chemical compound [He] SWQJXJOGLNCZEY-UHFFFAOYSA-N 0.000 description 1
- 229910052743 krypton Inorganic materials 0.000 description 1
- DNNSSWSSYDEUBZ-UHFFFAOYSA-N krypton atom Chemical compound [Kr] DNNSSWSSYDEUBZ-UHFFFAOYSA-N 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 229910052724 xenon Inorganic materials 0.000 description 1
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/8422—Investigating thin films, e.g. matrix isolation method
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
- G01J3/50—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/27—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/55—Specular reflectivity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
- H04B10/11—Arrangements specific to free-space transmission, i.e. transmission through air or vacuum
- H04B10/114—Indoor or close-range type systems
- H04B10/116—Visible light communication
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
- H04B10/50—Transmitters
- H04B10/501—Structural aspects
- H04B10/502—LED transmitters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/02—Constructional features of telephone sets
- H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/8422—Investigating thin films, e.g. matrix isolation method
- G01N2021/8427—Coatings
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Chemical & Material Sciences (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Physics (AREA)
- Multimedia (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Electromagnetism (AREA)
- Computer Networks & Wireless Communication (AREA)
- Human Computer Interaction (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
Description
ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕFIELD OF THE INVENTION
[0001] Некоторые примерные варианты осуществления этого изобретения относятся к системе и/или способу распознавания покрытия для стекла. Более конкретно, некоторые примерные варианты осуществления этого изобретения относятся к методикам для идентификации того, имеется ли какое-либо тонкопленочное покрытие, сформированное на какой-либо из главных поверхностей покрытого изделия или компоновки, содержащей покрытое изделие (такой как, например, блок изолирующего стекла), и если покрытие имеется, то что собой могут представлять эти покрытия.[0001] Some exemplary embodiments of this invention relate to a system and / or method for recognizing a coating for glass. More specifically, some exemplary embodiments of this invention relate to techniques for identifying whether there is any thin film coating formed on any of the main surfaces of the coated article or an assembly containing the coated article (such as, for example, an insulating glass unit) , and if there is a coating, then what can these coatings be.
УРОВЕНЬ ТЕХНИКИ И СУЩНОСТЬ ИЗОБРЕТЕНИЯBACKGROUND AND SUMMARY OF THE INVENTION
[0002] Покрытые изделия включают в себя прозрачные подложки (например, стеклянные подложки), которые содержат покрытия на одной или более из своих главных поверхностей. Покрытия, используемые в таких изделиях, могут быть функциональными покрытиями, предусматриваемыми по любому количеству различных причин. Например, покрытия, снижающие излучение, управляющие пропусканием солнечных лучей, снижающие эксплуатационные расходы, обладающие антибактериальным действием, антиотражающие (AR), антибликовые и другие типы покрытий становятся все более распространенными во множестве областей - в жилом секторе, в коммерции, для транспортных средств, в электронике, а также в других приложениях. Эти покрытия могут быть сформированы с использованием множества различных методик, таких как, например, магнетронное напыление, химическое парофазное осаждение (CVD), обжиговое осаждение, методики влажного покрытия (такие как нанесение покрытия методом центрифугирования, нанесение покрытия методом погружения или другие методики покрытия), и т.д.[0002] Coated articles include transparent substrates (eg, glass substrates) that contain coatings on one or more of their main surfaces. The coatings used in such products may be functional coatings provided for any number of different reasons. For example, coatings that reduce radiation, control the transmission of sunlight, reduce operating costs, have an antibacterial effect, antireflection (AR), antiglare and other types of coatings are becoming more common in many areas - in the residential sector, in commerce, for vehicles, in electronics, as well as in other applications. These coatings can be formed using a variety of different techniques, such as, for example, magnetron sputtering, chemical vapor deposition (CVD), calcination deposition, wet coating techniques (such as centrifugal coating, dip coating, or other coating techniques), etc.
[0003] Существует растущая потребность в покрытых изделиях со стороны конечных потребителей. Например, покрытия, снижающие излучение, управляющие пропусканием солнечных лучей, снижающие эксплуатационные расходы, а также другие типы напыляемых или других покрытий могут быть очень эффективными, способствовать тому, чтобы здания и сооружения соответствовали энергетическим и/или другим стандартам, и т.д.[0003] There is a growing demand for coated products from end users. For example, coatings that reduce radiation, control the transmission of sunlight, reduce operating costs, and other types of sprayed or other coatings can be very effective, to ensure that buildings and structures comply with energy and / or other standards, etc.
[0004] К сожалению, однако, конечным потребителям зачастую трудно быть в достаточной степени уверенными, что «специальное» покрытие на самом деле нанесено на одну или более поверхностей покрытого изделия. Например, домовладелец может быть не в состоянии проверить, что снижающее излучение покрытие сформировано на купленном и установленном окне, что антибактериальное покрытие сформировано на дверце душевой кабины и т.д. В большинстве случаев покрытие для стекла является настолько тонким (например, имеет толщину меньше микрона и зачастую меньше чем несколько сотен нанометров) и прозрачным, что конечным потребителям очень трудно его обнаружить. Даже отраслевым специалистам может быть сложно определить, существует ли покрытие, без использования дополнительных инструментов (таких как «детектор покрытия» или «спектрофотометры»). Такие инструменты являются довольно дорогими и навряд ли будут использоваться конечными потребителями. Кроме того, хотя некоторые отраслевые специалисты могут иметь такие инструменты, бригады установщиков их обычно не имеют.[0004] Unfortunately, however, it is often difficult for end-users to be sufficiently sure that a “special” coating is actually applied to one or more surfaces of the coated article. For example, the homeowner may not be able to verify that the radiation-reducing coating is formed on the purchased and installed window, that the antibacterial coating is formed on the shower door, etc. In most cases, the glass coating is so thin (for example, has a thickness of less than a micron and often less than a few hundred nanometers) and transparent that it is very difficult for end-users to detect it. Even industry experts may find it difficult to determine if a coating exists without the use of additional tools (such as a “coating detector” or “spectrophotometers”). Such tools are quite expensive and are unlikely to be used by end users. In addition, although some industry professionals may have such tools, installer teams usually do not.
[0005] Таким образом, было бы желательно иметь методику достоверного обнаружения и распознавания покрытия, которая не требовала бы значительных инвестиций в оборудование и была бы доступна широкому спектру пользователей (включая конечных потребителей) во всем мире.[0005] Thus, it would be desirable to have a reliable coverage detection and recognition technique that would not require significant investment in equipment and would be accessible to a wide range of users (including end-users) worldwide.
[0006] Некоторые примерные варианты осуществления относятся к электронной системе обнаружения и распознавания покрытия, содержащей камеру. Обрабатывающие ресурсы включают в себя по меньшей мере один процессор и соединенную с ним память, реально хранящую инструкции, которые при их выполнении обрабатывающими ресурсами осуществляют, по меньшей мере: захват с использованием камеры изображения и/или видео изделия, на которое направлен исходный свет, причем захваченное изображение и/или видео включает в себя отражения исходного света, связанные с каждой из главных поверхностей изделия; идентификацию области для каждого из отражений исходного света; вычисление характеристик цветовых координат для каждого из идентифицированных отражений исходного света; обнаружение и распознавание любых покрытий, сформированных на главных поверхностях изделия, путем сравнения (a) расчетных характеристик цветовых координат и/или изменений между расчетными характеристиками цветовых координат с (b) информацией, хранящейся в базе данных, которая поддерживается машиночитаемым носителем данных и которая включает в себя записи об известных характеристиках цветовых координат и/или известных изменениях между характеристиками цветовых координат для каждого из множества различных известных покрытий; а также в ответ на обнаружение и распознавание одного или более покрытий, генерирование выходных данных, указывающий главную поверхность (поверхности), на которой расположено каждое упомянутое обнаруженное и распознанное покрытие, и идентификатор каждого упомянутого обнаруженного и распознанного покрытия.[0006] Some exemplary embodiments relate to an electronic coating detection and recognition system comprising a camera. Processing resources include at least one processor and memory connected to it, which actually stores instructions that, when executed by processing resources, carry out at least: capturing, using a camera, an image and / or video of the product that the source light is directed to, the captured image and / or video includes source light reflections associated with each of the main surfaces of the product; identification of the area for each of the reflections of the source light; calculating color coordinate characteristics for each of the identified reflections of the source light; detection and recognition of any coatings formed on the main surfaces of the product, by comparing (a) the estimated characteristics of the color coordinates and / or changes between the calculated characteristics of the color coordinates with (b) information stored in a database that is supported by a computer-readable storage medium and which includes records of known characteristics of color coordinates and / or known changes between characteristics of color coordinates for each of a plurality of different known coatings; as well as in response to the detection and recognition of one or more coatings, generating an output indicating the main surface (s) on which each said detected and recognized coating is located, and the identifier of each of the detected and recognized coatings.
[0007] Некоторые примерные варианты осуществления относятся к электронной системе обнаружения и распознавания покрытия, содержащей камеру. Обрабатывающие ресурсы включают в себя по меньшей мере один процессор и соединенную с ним память, реально хранящую инструкции, которые при их выполнении обрабатывающими ресурсами осуществляют, по меньшей мере: захват с использованием камеры изображения и/или видео изделия, на которое направлен исходный свет, причем захваченное изображение и/или видео включает в себя отражения исходного света, связанные с каждой из главных поверхностей изделия; а также передачу захваченного изображения и/или видео по сетевому соединению к удаленной вычислительной системе. Эта передача заставляет удаленную вычислительную систему: получить захваченное изображение и/или видео; вычислить характеристики цветовых координат для каждого из отражений исходного света в полученном захваченном изображении и/или видео; обнаружить и распознать любые покрытия, сформированные на главных поверхностях изделия, путем сравнения (a) расчетных характеристик цветовых координат и/или изменений между расчетными характеристиками цветовых координат с (b) информацией, хранящейся в хранилище данных удаленной вычислительной системы, которое включает в себя записи об известных характеристик цветовых координат и/или известных изменениях между характеристиками цветовых координат для каждого из множества различных известных покрытий; а также ответить на обнаружение и распознавание одного или более покрытий путем генерирования вывода, указывающего главную поверхность (поверхности), на которой расположено каждое упомянутое обнаруженное и распознанное покрытие, и идентификатор каждого упомянутого обнаруженного и распознанного покрытия.[0007] Some exemplary embodiments relate to an electronic coating detection and recognition system comprising a camera. Processing resources include at least one processor and memory connected to it, which actually stores instructions that, when executed by processing resources, carry out at least: capturing, using a camera, an image and / or video of the product that the source light is directed to, the captured image and / or video includes source light reflections associated with each of the main surfaces of the product; as well as transmitting the captured image and / or video over a network connection to a remote computing system. This transfer forces the remote computing system to: capture the captured image and / or video; calculate the characteristics of the color coordinates for each of the reflections of the source light in the captured image and / or video; detect and recognize any coatings formed on the main surfaces of the product by comparing (a) the estimated characteristics of the color coordinates and / or changes between the calculated characteristics of the color coordinates with (b) information stored in the data warehouse of a remote computing system, which includes records about known characteristics of color coordinates and / or known changes between characteristics of color coordinates for each of a plurality of different known coatings; and also respond to the detection and recognition of one or more coatings by generating an output indicating the main surface (s) on which each of the detected and recognized coatings are located, and the identifier of each of the detected and recognized coatings.
[0008] Некоторые примерные варианты осуществления относятся к электронной системе обнаружения и распознавания покрытия, содержащей камеру. Обрабатывающие ресурсы включают в себя по меньшей мере один процессор и соединенную с ним память, реально хранящую инструкции, которые при их выполнении обрабатывающими ресурсами осуществляют, по меньшей мере: прием захваченного изображения и/или видео изделия, на которое направлен исходный свет, причем захваченное изображение и/или видео включает в себя отражения исходного света, связанные с каждой из главных поверхностей изделия; вычисление характеристик цветовых координат для каждого из отражений исходного света в полученном захваченном изображении и/или видео; обнаружение и распознавание любых покрытий, сформированных на главных поверхностях изделия, путем сравнения (a) расчетных характеристик цветовых координат и/или изменений между расчетными характеристиками цветовых координат с (b) информацией, хранящейся в хранилище данных, которое включает в себя записи об известных характеристиках цветовых координат и/или известных изменениях между характеристиками цветовых координат для каждого из множества различных известных покрытий; а также в ответ на обнаружение и распознавание одного или более покрытий генерирование выходных данных, указывающих главную поверхность (поверхности), на которой расположено каждое упомянутое обнаруженное и распознанное покрытие, идентификатор каждого упомянутого обнаруженного и распознанного покрытия, вероятность, связанную с обнаружением и распознаванием каждого упомянутого обнаруженного и распознанного покрытия, а также содержащих указание на любые вероятно непокрытые поверхности.[0008] Some exemplary embodiments relate to an electronic coating detection and recognition system comprising a camera. Processing resources include at least one processor and memory connected to it, which actually stores instructions that, when executed by processing resources, carry out at least: receiving the captured image and / or video of the product that the source light is directed to, and the captured image and / or video includes source light reflections associated with each of the main surfaces of the article; the calculation of the characteristics of the color coordinates for each of the reflections of the source light in the captured image and / or video; detection and recognition of any coatings formed on the main surfaces of the product by comparing (a) the estimated characteristics of the color coordinates and / or changes between the estimated characteristics of the color coordinates with (b) information stored in a data warehouse that includes records of known color characteristics coordinates and / or known changes between color coordinate characteristics for each of a plurality of different known coatings; as well as in response to the detection and recognition of one or more coatings, the generation of output data indicating the main surface (s) on which each mentioned detected and recognized coating is located, the identifier of each of the detected and recognized coatings, the probability associated with the detection and recognition of each mentioned detected and recognized coatings, as well as containing an indication of any likely uncovered surfaces.
[0009] Также в настоящем документе рассматриваются способы для использования и/или конфигурирования этих и/или других систем. Аналогичным образом в настоящем документе рассматриваются энергонезависимые машиночитаемые носители данных, реально хранящие инструкции, которые при их выполнении аппаратным процессором выполняют эти и/или другие способы.[0009] Also provided herein are methods for using and / or configuring these and / or other systems. Similarly, this document describes non-volatile computer-readable storage media that actually store instructions that, when executed by a hardware processor, perform these and / or other methods.
[0010] Особенности, аспекты, преимущества, и примерные варианты осуществления, описанные в настоящем документе, могут комбинироваться для того, чтобы реализовать дополнительные варианты осуществления.[0010] The features, aspects, advantages, and exemplary embodiments described herein may be combined in order to implement additional embodiments.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙBRIEF DESCRIPTION OF THE DRAWINGS
[0011] Файл патента или заявки содержит по меньшей мере один чертеж, выполненный в цвете. Копии публикации этого патента или патентной заявки с цветным чертежом (чертежами) будут предоставлены патентным офисом по запросу при соответствующей оплате.[0011] The file of the patent or application contains at least one drawing made in color. Copies of the publication of this patent or patent application with a color drawing (s) will be provided by the patent office upon request with appropriate payment.
[0012] Эти и другие особенности и преимущества могут быть лучше и более полно поняты после изучения следующего подробного описания примерных иллюстративных вариантов осуществления в совокупности с чертежами, на которых:[0012] These and other features and advantages can be better and more fully understood after studying the following detailed description of exemplary illustrative embodiments in conjunction with the drawings, in which:
[0013] Фиг.1 представляет собой схематическое изображение блока изолирующего стекла (IG), который может быть предметом некоторых примерных вариантов осуществления;[0013] Figure 1 is a schematic illustration of an insulating glass (IG) block, which may be the subject of some exemplary embodiments;
[0014] Фиг.2-4 помогают продемонстрировать, как отличаются цвета отражения источника света в зависимости от присутствия/отсутствия покрытия на подложке, и таким образом могут быть обнаружены и распознаны в соответствии с некоторыми примерными вариантами осуществления;[0014] FIGS. 2-4 help to demonstrate how reflection colors of a light source differ depending on the presence / absence of a coating on a substrate, and thus can be detected and recognized in accordance with some exemplary embodiments;
[0015] Фиг.5 представляет собой матрицу, показывающую окрашивание различных типов покрытий, получаемую и используемую некоторыми примерными вариантами осуществления;[0015] FIG. 5 is a matrix showing the staining of various types of coatings obtained and used by some exemplary embodiments;
[0016] Фиг.6 представляет собой блок-схему электронного устройства, которое включает в себя модуль анализа изображения для обнаружения и распознавания покрытия в соответствии с некоторыми примерными вариантами осуществления;[0016] FIG. 6 is a block diagram of an electronic device that includes an image analysis module for detecting and recognizing a coating in accordance with some exemplary embodiments;
[0017] Фиг.7 представляет собой блок-схему системы, которая включает в себя модули анализа изображения, которые взаимодействуют друг с другом для обнаружения и распознавания покрытия в соответствии с некоторыми примерными вариантами осуществления;[0017] FIG. 7 is a block diagram of a system that includes image analysis modules that cooperate with each other to detect and recognize coverage in accordance with some exemplary embodiments;
[0018] Фиг.8A-8B демонстрируют, как угол, под которым отображается отражение, влияет на распознавание изображения для покрытия, нанесенного на вторую поверхность блока IG, в некоторых примерных вариантах осуществления;[0018] FIGS. 8A-8B illustrate how the angle at which reflection is displayed affects image recognition for a coating applied to a second surface of an IG block, in some exemplary embodiments;
[0019] Фиг.9A-9C демонстрируют, как угол, под которым отображается отражение, влияет на распознавание изображения для покрытия, нанесенного на третью поверхность блока IG, в некоторых примерных вариантах осуществления;[0019] Figs. 9A-9C show how the angle at which reflection is displayed affects image recognition for a coating applied to the third surface of the IG block, in some exemplary embodiments;
[0020] Фиг.10 представляет собой матрицу, показывающую отражения источника света для различных типов покрытий, нанесенных на вторую поверхность блока IG, получаемую и используемую в связи с некоторыми примерными вариантами осуществления;[0020] FIG. 10 is a matrix showing light source reflections for various types of coatings deposited on a second surface of an IG block obtained and used in connection with some exemplary embodiments;
[0021] Фиг.11-13 представляют собой снимки экрана программного приложения, обнаруживающего и распознающего различные покрытия на поверхностях различных блоков изолирующего стекла (IG), в соответствии с некоторыми примерными вариантами осуществления; и[0021] FIGS. 11-13 are screen shots of a software application that detects and recognizes various coatings on the surfaces of various blocks of insulating glass (IG), in accordance with some exemplary embodiments; and
[0022] Фиг.14 представляет собой блок-схему, показывающую, как функционирует система распознавания покрытия некоторых примерных вариантов осуществления.[0022] FIG. 14 is a flowchart showing how a coverage recognition system of some exemplary embodiments functions.
ПОДРОБНОЕ ОПИСАНИЕ ПРИМЕРНЫХ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ НАСТОЯЩЕГО ИЗОБРЕТЕНИЯDETAILED DESCRIPTION OF EXEMPLARY EMBODIMENTS OF THE PRESENT INVENTION
[0023] Некоторые примерные варианты осуществления относятся к методикам для обнаружения и распознавания тонких покрытий (например, тонкопленочных покрытий), сформированных на главных поверхностях покрытых изделий и компоновок, включающих в себя покрытые изделия. В некоторых примерных вариантах осуществления источник света (который в некоторых случаях может быть единообразным или по существу единообразным источником света, таким как, например, свет от газовой зажигалки, свечи, светоизлучающего диода и т.п.) направляется на изделие, и спектр его отражения (от стекла с покрытием и/или других поверхностей) захватывается с использованием цифрового фотоаппарата или других средств визуализации, и анализируется. Этот подход выгодно позволяет обнаруживать присутствие покрытия на поверхности, а также позволяет распознавать тип покрытия с высокой точностью. Для того, чтобы улучшить точность, некоторые примерные варианты осуществления могут включать в себя учебные методики, например, для распознавания различных типов покрытий, исследования различных типов изделий, использования различных типов источников света и т.д.[0023] Some exemplary embodiments relate to techniques for detecting and recognizing thin coatings (eg, thin film coatings) formed on the main surfaces of coated articles and arrangements including coated articles. In some exemplary embodiments, the implementation of the light source (which in some cases can be a uniform or essentially uniform light source, such as, for example, light from a gas lighter, a candle, a light emitting diode, etc.) is directed to the product, and its reflection spectrum (from coated glass and / or other surfaces) is captured using a digital camera or other visualization means and analyzed. This approach makes it possible to detect the presence of the coating on the surface, and also allows you to recognize the type of coating with high accuracy. In order to improve accuracy, some exemplary embodiments may include training techniques, for example, for recognizing various types of coatings, examining various types of products, using various types of light sources, etc.
[0024] В некоторых примерных вариантах осуществления коммерчески доступный смартфон, планшет или другое электронное устройство может иметь установленное на нем приложение. Это приложение в некоторых примерных вариантах осуществления использует встроенную в электронное устройство или присоединяемую камеру для того, чтобы получить изображение отражений, создаваемых при направлении источника света на изделие. Источник света может быть встроенным в электронное устройство или присоединяемым светоизлучающим диодом, светом от газовой зажигалки и т.п. Конечные потребители и т.п. могут легко обнаруживать и распознавать тип покрытия (покрытий), сформированного на поверхности (поверхностях) изделия. В некоторых примерных вариантах осуществления может использоваться дешевое специализированное устройство. В некоторых примерных вариантах осуществления это специализированное устройство может быть встроено и/или иным образом помещено в упаковку, в которой поставляется изделие. Включение специализированного устройства в упаковку может быть выгодным в некоторых примерных случаях, поскольку устройство может быть ориентировано под углом, подходящим для визуализации, известный источник света может использоваться под хорошим углом и на подходящем расстоянии от визуализируемого изделия, упаковка может помочь создать желаемые условия окружающего освещения (например, очень темный фон), и т.д. В дополнение к этому, включение в упаковку источника света и/или электронного устройства может помочь уменьшить вероятность падения и/или повреждения устройства, источника света и/или визуализируемого изделия во время операций обнаружения и распознавания покрытия.[0024] In some example embodiments, a commercially available smartphone, tablet, or other electronic device may have an application installed on it. This application, in some exemplary embodiments, utilizes a built-in electronic device or attachable camera in order to image reflections generated when the light source is directed toward the product. The light source may be integrated in an electronic device or connected by a light emitting diode, light from a gas lighter, and the like. End users, etc. can easily detect and recognize the type of coating (s) formed on the surface (s) of the product. In some exemplary embodiments, a cheap, specialized device may be used. In some exemplary embodiments, this specialized device may be integrated and / or otherwise placed in the package in which the product is delivered. The inclusion of a specialized device in the package may be beneficial in some exemplary cases, since the device can be oriented at an angle suitable for visualization, the known light source can be used at a good angle and at a suitable distance from the product being visualized, the package can help create the desired ambient lighting conditions ( e.g. a very dark background), etc. In addition, the inclusion of a light source and / or electronic device in the package can help reduce the likelihood of a fall and / or damage to the device, light source, and / or imaging product during coating detection and recognition operations.
[0025] Поскольку многие наносимые магнетронным напылением покрытия осаждаются на «воздушной стороне» поверхности флоат-стекла (например, при использовании так называемого «офлайнового способа») и работают на основе отражения определенных длин волн (например, в случае низкоизлучающих покрытий) первоначального видимого света/инфракрасного излучения, было экспериментально подтверждено, что отраженный свет (так же, как и проходящий свет) изменяет свою первоначальную длину волны. Это изменение соответствует типу покрытия, нанесенного на стеклянную поверхность. Изменение длины отраженной волны зачастую трудно обнаружить человеческим глазом. Фактически, одна из целей конструктивного решения покрытия зачастую состоит в том, чтобы минимизировать изменение цвета проходящих и/или отраженных лучей, особенно внутри видимой области. Следовательно, эта цель по самой своей природе делает обнаружение изменения длины волны отраженного света более трудным. Однако компьютеризированное зрение (например, с использованием современных камер, установленных в смартфонах, или используемых отдельно для офлайнового анализа изображения) может облегчить это обнаружение и обеспечить последующее распознавание.[0025] Since many coatings applied by magnetron sputtering are deposited on the "air side" of the surface of the float glass (for example, using the so-called "offline method") and operate based on the reflection of certain wavelengths (for example, in the case of low-emitting coatings) of the initial visible light / infrared radiation, it has been experimentally confirmed that reflected light (just like transmitted light) changes its original wavelength. This change corresponds to the type of coating applied to the glass surface. Changing the reflected wavelength is often difficult to detect with the human eye. In fact, one of the goals of constructive coating solutions is often to minimize the color change of transmitted and / or reflected rays, especially within the visible region. Therefore, this goal by its very nature makes the detection of changes in the wavelength of reflected light more difficult. However, computerized vision (for example, using modern cameras installed in smartphones, or used separately for offline image analysis) can facilitate this detection and provide subsequent recognition.
[0026] Обратимся теперь более конкретно к чертежам, на которых одинаковые ссылочные цифры обозначают одинаковые части на различных чертежах, и этот принцип демонстрируется на Фиг.1-5. Фиг.1 представляет собой схематическое изображение блока изолирующего стекла (IG), который может быть предметом некоторых примерных вариантов осуществления, а Фиг.2-4 помогают продемонстрировать, как отличаются цвета отражения источника света в зависимости от присутствия/отсутствия покрытия на подложке, и таким образом могут быть обнаружены и распознаны в соответствии с некоторыми примерными вариантами осуществления.[0026] Turning now more specifically to the drawings, in which like reference numerals indicate like parts in different drawings, and this principle is illustrated in FIGS. 1-5. FIG. 1 is a schematic illustration of an insulating glass (IG) block, which may be the subject of some exemplary embodiments, and FIGS. 2-4 help to demonstrate how the reflection colors of a light source differ depending on the presence / absence of coating on a substrate, and such can be detected and recognized in accordance with some exemplary embodiments.
[0027] Блок IG, проиллюстрированный на Фиг.1, включает в себя первую и вторую подложки 100a и 100b, расположенные на некотором расстоянии друг от друга по существу параллельно друг другу. Первая и вторая подложки 100a и 100b могут быть стеклянными, пластмассовыми и т.п. Первая и вторая подложки 100a и 100b поддерживаются на некотором расстоянии друг от друга по существу параллельно друг другу посредством распорной системы 102. Первая и вторая подложки 100a и 100b, вместе с распорной системой 102, определяют зазор или полость 104 между ними. Зазор или полость 104 может быть заполнен, по меньшей мере частично, инертным газом, таким как, например, аргон, гелий, криптон, ксенон и т.п. В некоторых случаях зазор или полость 104 может быть заполнен смесью воздуха и инертного газа. Одна или более тонких пленок или других покрытий могут быть сформированы на одной или более главных поверхностях первой подложки 100a и/или второй подложки 100b. Например, как показано на Фиг.1, покрытие 106 из тонкой пленки формируется на внутренней поверхности первой подложки 100a (то есть на той поверхности 2 блока IG, проиллюстрированного на Фиг.1, которая обращена ко второй подложке 100b).[0027] The IG block illustrated in FIG. 1 includes first and
[0028] Фиг.2-4 показывают блок IG, имеющий покрытие ClimaGuard N, нанесенное на его вторую поверхность. Покрытие ClimaGuard N является коммерчески доступным у представителей компании. Пламя от коммерчески доступной зажигалки зажигается сразу за поверхностью 1 блока IG. Поскольку пламя и блок IG, показанные на Фиг.2-4, находятся в относительно темной среде, получаются четыре отражения пламени, по одному отражению на каждую главную поверхность блока IG. Эти поверхности пронумерованы как #1, #2, #3 и #4. Что касается Фиг.2, спектр самого пламени (в «Области 1») может быть проанализирован и классифицирован в соответствии с известной системой координат, такой как, например, HSB, RGB, CMYK или другой системой координат, либо может быть классифицирован с использованием шестнадцатеричного или другого представления. В примере, проиллюстрированном на Фиг.2, пламя имеет ядро, которое является в основном белым, и представление этого цвета в координатах HSB определяется как H=0, S=0, B=100.[0028] FIGS. 2-4 show an IG block having a ClimaGuard N coating applied to its second surface. ClimaGuard N is commercially available from company representatives. The flame from a commercially available lighter ignites just beyond the
[0029] Что касается Фиг.3, можно заметить, что каждая из непокрытых поверхностей («Область 2») имеет отражение пламени с тем же самым или очень похожим цветом, обычно желтым. Здесь пламя, отраженное на непокрытых поверхностях, имеет представление координат цвета HSB, определяемое как H=60, S=1, B=100. В отличие от этого, на Фиг.4 можно увидеть, что покрытая поверхность («Область 3») имеет отражение пламени с совсем другой окраской. Таким образом, представление координат цвета HSB для Области 2 определяется как H=300, S=1, B=100.[0029] Regarding FIG. 3, it can be seen that each of the uncovered surfaces (“
[0030] Пламя в этом случае является исходным источником света, который может использоваться непосредственно для калибровочных целей. Непокрытые поверхности имеют один и тот же или очень похожий цвет в соответствующем отражении ядра пламени. В отличие от этого, поверхность с покрытием имеет цвет, который отличается от отражений пламени, а также от самого ядра пламени.[0030] The flame in this case is the original light source, which can be used directly for calibration purposes. Uncoated surfaces have the same or very similar color in the corresponding reflection of the flame core. In contrast, a coated surface has a color that differs from flame reflections, as well as from the flame core itself.
[0031] Хотя различные покрытия могут иметь свои собственные различные отражательные спектры, при наличии базы данных изображений, сделанных с помощью различных камер и в различных условиях освещения, возможно обучить систему распознавать такие покрытия по одному или более изображениям, и/или путем анализа видео, которое захватывает отражения с помощью смартфона, планшета или другого электронного устройства. Дополнительные подробности этих примерных методик приведены ниже. В дополнение к этому, следует понимать, что некоторые покрытия могут быть очень близкими по цвету отражения. Следовательно, вероятность успешного распознавания может быть вычислена и выведена на экран пользователю приложения.[0031] Although different coatings may have their own different reflective spectra, if there is a database of images taken with different cameras and in different lighting conditions, it is possible to train the system to recognize such coatings from one or more images, and / or by analyzing the video, which captures reflections using a smartphone, tablet or other electronic device. Further details of these exemplary techniques are provided below. In addition to this, it should be understood that some coatings may be very similar in reflection color. Therefore, the probability of successful recognition can be calculated and displayed to the user of the application.
[0032] Фиг.5 представляет собой матрицу, показывающую окрашивание различных типов покрытий, получаемую и используемую некоторыми примерными вариантами осуществления; Фиг.5 показывает цвета для 20 различных образцов различных коммерчески доступных покрытий. Информация об этом окрашивании может храниться в базе данных для консультации. Например, эта информация может включать в себя диапазон HSB или других характеристик цветовых координат, среднее значение HSB или других цветовых координат, медианное значение HSB или других цветовых координат и т.п. Эта информация может быть связана с идентификатором покрытия, поверхностью, на которую это покрытие обычно наносится, и т.д. Примерные записи приведены ниже:[0032] FIG. 5 is a matrix showing the staining of various types of coatings obtained and used by some exemplary embodiments; 5 shows colors for 20 different samples of various commercially available coatings. Information about this staining can be stored in a database for consultation. For example, this information may include a range of HSB or other characteristics of color coordinates, an average value of HSB or other color coordinates, a median value of HSB or other color coordinates, and the like. This information may be related to the identifier of the coating, the surface on which this coating is usually applied, etc. Sample entries are shown below:
[0033] Эти методики могут быть воплощены в вычислительной системе, такой как, например, электронное устройство, вычислительная система, включающая в себя электронное устройство, и т.п. Например, Фиг.6 представляет собой блок-схему электронного устройства 200, которое включает в себя модуль 208 анализа изображения для обнаружения и распознавания покрытия в соответствии с некоторыми примерными вариантами осуществления. Электронное устройство 200, изображенное на Фиг.6, включает в себя обрабатывающие ресурсы, содержащие по меньшей мере один процессор 202, оперативно соединенный с памятью 204. Память 204 может представлять собой любую подходящую комбинацию энергозависимой и/или энергонезависимой памяти, такой как, например, RAM, ROM, флэш-память, память на жестком диске и т.п. Память 204 может включать в себя сохраненные инструкции, которые при их выполнении процессором (процессорами) 202 заставляют электронное устройство 200 выполнять автоматизированную функциональность. В этой связи память 204 включает в себя операционную систему 206, подходящую для электронного устройства 200. Если устройство 200 является смартфоном, планшетом, и т.п., операционная система 206 может представлять собой систему Android, iOS или другую операционную систему, которая может быть встроена в устройство 200. Если устройство 200 является персональным компьютером, ноутбуком и т.п., операционная система 206 может представлять собой систему Windows, MAC или другую операционную систему. В некоторых случаях операционная система 206 может быть специализированной, облегченной встроенной операционной системой.[0033] These techniques may be implemented in a computing system, such as, for example, an electronic device, a computing system including an electronic device, and the like. For example, FIG. 6 is a block diagram of an
[0034] Операционная система 206 может поддерживать выполнение модуля 208 анализа изображения и обеспечивать или иным образом предоставлять доступ к базе данных 210 покрытий. База данных 210 покрытий может включать в себя информацию описанного выше типа, и она может храниться локально на устройстве 200 (например, в памяти 204), или быть внешней по отношению к устройству 200 (например, может находиться на внешнем сервере или другой вычислительной системе, как более подробно объясняется ниже).[0034]
[0035] Модуль 208 анализа изображения может быть выполнен с возможностью управления устройством 200 для того, чтобы использовать устройство 212 формирования изображения для получения фотоснимков, видео и т.п. Аналогичным образом модуль 208 анализа изображения может быть выполнен с возможностью выполнения операций балансировки белого, приведения в действие вспышки с использованием источника света электронного устройства 200 или иного, и т.д. Модуль 208 анализа изображения также может быть выполнен с возможностью взаимодействия или получения информации от акселерометра, гироскопа или другого блока устройства 200 или соединенного с ним. Эта информация может быть полезной при вычислении наклона или положения устройства, например, относительно поверхности изделия, визуализируемого с использованием устройства 212 формирования изображения. В некоторых примерных вариантах осуществления устройство 212 формирования изображения представляет собой просто камеру, встроенную в смартфон, планшет, и т.п. Модуль 208 анализа изображения может выполнять функции обнаружения и/или распознавания типа покрытия, более подробно описываемые ниже, например, для захваченных изображений и/или видео, и/или он может обмениваться информацией с внешней системой таким образом, чтобы обработка изображений могла быть выполнена на удалении от устройства 200.[0035] The
[0036] После того, как изображение и/или видео будет обработано, модуль 208 анализа изображения может представить полученную в итоге информацию пользователю с помощью дисплея электронного устройства 200 или соединенного с ним. Далее более подробно описываются примерные экраны пользовательского интерфейса. Дополнительно или альтернативно в некоторых примерных вариантах осуществления полученная в результате анализа информация может быть передана по электронной почте пользователю, отправлена посредством SMS или MMS на телефон или другое пользовательское устройство (например, если информация о нем была предварительно обеспечена), представлена в напечатанном отчете, который позже отправляется обычной почтой пользователю, и т.д.[0036] After the image and / or video has been processed, the
[0037] В некоторых примерных вариантах осуществления электронное устройство 200 включает в себя встроенный динамик 214. Этот динамик может использоваться для того, чтобы обеспечить акустическую обратную связь, например, когда электронное устройство оказывается в правильной ориентации относительно визуализируемого изделия, когда захватывается изображение и/или видео, когда начинается и/или завершается обработка, и т.д.[0037] In some exemplary embodiments, the implementation of the
[0038] Как уже было упомянуто выше, электронное устройство 200 может быть встроено или иным образом соединено с упаковкой изделия или с самим визуализируемым изделием.[0038] As already mentioned above, the
[0039] Фиг.7 представляет собой блок-схему системы, которая включает в себя модули 204ʹ и 308 анализа изображения, которые взаимодействуют друг с другом для обнаружения и распознавания покрытия в соответствии с некоторыми примерными вариантами осуществления. Фиг.7 является аналогичной Фиг.6 за исключением того, что по меньшей мере часть обнаружения и распознавания покрытия выполняется удаленно. В этой связи портативное или другое электронное устройство 200ʹ включает в себя обрабатывающие ресурсы, содержащие один или более процессоров 202 и оперативно соединенную с ними память 204ʹ. Эта память включает в себя операционную систему 206, и потенциально упрощенный модуль 208ʹ анализа изображения. В некоторых примерных вариантах осуществления потенциально упрощенный модуль 208ʹ анализа изображения взаимодействует с устройством 212 формирования изображения для того, чтобы получить неподвижные изображения и/или видео, и взаимодействует с сетевым интерфейсом 310a для того, чтобы отправить эту информацию удаленному узлу сети для обработки. Как показано в примере, проиллюстрированном на Фиг.7, сетевой интерфейс 310 портативного или другого электронного устройства 200ʹ передает информацию удаленной вычислительной системе 300 по сети 312. Эта сеть может быть локальной сетью (LAN), глобальной сетью (WAN), беспроводной сетью (например, 3G, 4G/LTE или другой сетью) и т.п. В некоторых примерных вариантах осуществления сетевой интерфейс 310a может включать в себя интерфейсы для взаимодействия с сетью 312 по стандарту беспроводной связи 802,11 или по другому стандарту, по сотовому стандарту, по Bluetooth или другому подходящему протоколу. В некоторых примерных вариантах осуществления портативное или другое электронное устройство 200ʹ обменивается информацией с удаленной вычислительной системой 300 напрямую, например, на одноранговой основе, потенциально обходя сеть 312.[0039] FIG. 7 is a block diagram of a system that includes image analysis modules 204ʹ and 308 that interact with each other to detect and recognize coverage in accordance with some exemplary embodiments. FIG. 7 is similar to FIG. 6 except that at least part of the detection and recognition of coverage is performed remotely. In this regard, a portable or other electronic device 200ʹ includes processing resources comprising one or
[0040] Вычислительная система 300 также включает в себя обрабатывающие ресурсы. Эти обрабатывающие ресурсы аналогичным образом содержат по меньшей мере один процессор 302 и оперативно соединенную с ним память 304. Память 304 хранит операционную систему 306, отдельный модуль 308 анализа изображения, а также базу данных 210 покрытий. Информация может быть получена вычислительной системой 300 посредством ее сетевого интерфейса 310b.[0040]
[0041] Информация, которая может быть получена вычислительной системой 300, включает в себя фото- и/или видеоизображения, захваченные с использованием устройства формирования изображения 212 портативного или другого электронного устройства 200ʹ, передаваемые через модуль 208ʹ анализа изображения портативного или другого электронного устройства 200ʹ. Здесь вычислительная система 300 может быть более мощной, чем портативное или другое электронное устройство 200ʹ, и таким образом может обрабатывать фото- и/или видеоизображения, захваченные с использованием устройства формирования изображения 212 портативного или другого электронного устройства 200ʹ, сравнивать данные с информацией, хранящейся в базе данных 210 покрытий, и определять, имеются ли какие-либо покрытия на визуализированном изделии, и если они имеются, то где именно и какими именно они могут быть. Когда обработка в вычислительной системе 300 выполнена, эта информация может быть передана обратно портативному или другому электронному устройству 200ʹ через сетевой интерфейс 310b. После ее получения модуль 208ʹ анализа изображения может представить итоговую информацию пользователю с помощью дисплея портативного или другого электронного устройства 200ʹ или соединенного с ним. Как уже было отмечено выше, дополнительно или альтернативно в некоторых примерных вариантах осуществления полученная в результате анализа информация может быть передана по электронной почте пользователю, отправлена посредством SMS или MMS на телефон или другое пользовательское устройство (например, если информация о нем была предварительно обеспечена), представлена в напечатанном отчете, который позже отправляется обычной почтой пользователю, и т.д.[0041] Information that can be obtained by the
[0042] Было найдено, что цвет отражения зависит от угла визуализации. Таким образом, отражения различаются, когда источник света перпендикулярен поверхности изделия, и когда он отклоняется от нормали к поверхности изделия. Было найдено, что тип и степень этой разности зависит от покрытия. Например, некоторые покрытия дают только изменения насыщенности, в то время как другие могут давать изменения как в насыщенности, так и в цветовом тоне. Наличие знаний об изменениях, которые происходят под различными углами освещения, может помочь более точному обнаружению и распознаванию. Фиг.8A-8B демонстрируют, как угол, под которым отображается отражение, влияет на распознавание изображения покрытия, нанесенного на вторую поверхность блока IG, в некоторых примерных вариантах осуществления, а Фиг.9A-9C демонстрируют, как угол, под которым отображается отражение, влияет на распознавание изображения покрытия, нанесенного на третью поверхность блока IG, в некоторых примерных вариантах осуществления.[0042] It was found that the color of reflection depends on the angle of visualization. Thus, reflections differ when the light source is perpendicular to the surface of the product, and when it deviates from the normal to the surface of the product. It was found that the type and extent of this difference depends on the coating. For example, some coatings give only changes in saturation, while others can give changes in both saturation and color tone. Having knowledge of the changes that occur at different angles of illumination can help more accurate detection and recognition. Figs. 8A-8B show how the angle at which reflection is displayed affects recognition of the image of the coating deposited on the second surface of the IG block, in some exemplary embodiments, and Figs. 9A-9C show how the angle at which reflection is displayed, affects the recognition of the image of the coating deposited on the third surface of the IG block, in some exemplary embodiments.
[0043] Более конкретно, на Фиг.8A-8B изображено покрытие Neutral 80/58 (ClimaGuard Premium T+) на второй поверхности блока IG, доступное у представителей компании. На Фиг.8A-8B источником света является пламя свечи, расположенное под углом 40 и 60 градусов к поверхности изделия, соответственно. Фиг.9A-9C также относятся к покрытию Neutral 80/58 (ClimaGuard Premium T+), но здесь покрытие расположено на третьей поверхности блока IG. На Фиг.9A-9C источником света является пламя свечи, расположенное под углом 40, 50 и 60 градусов к поверхности изделия, соответственно. Можно заметить, что имеется хорошее разделение отраженного пламени, и что изменение цвета для поверхности с покрытием является явным. Некоторые примерные варианты осуществления таким образом могут включать в себя визуализацию под углами от 30 до 75 градусов к поверхности визуализируемого изделия, более предпочтительно под углами от 40 до 60 градусов и, например, под углом 45 градусов. Было найдено, что угол в 45 градусов работает особенно хорошо с различными покрытиями, обеспечивая, например, хорошее разделение отраженного пламени (способствуя тем самым легкому и точному обнаружению отражений) и хорошие изменения цвета для поверхностей с покрытием (способствуя тем самым легкому и точному распознаванию отражений). В некоторых примерных вариантах осуществления база данных может быть построена на основе общего угла, и этот «тренируемый угол» или угол, близкий к нему (например, в пределах приблизительно 5-10 градусов), может использоваться в некоторых примерных вариантах осуществления.[0043] More specifically, FIGS. 8A-8B show a Neutral 80/58 coating (ClimaGuard Premium T +) on the second surface of the IG block, available from company representatives. On Figa-8B, the light source is a candle flame, located at an angle of 40 and 60 degrees to the surface of the product, respectively. 9A-9C also refer to a Neutral 80/58 coating (ClimaGuard Premium T +), but here the coating is located on the third surface of the IG block. 9A-9C, the light source is a candle flame located at an angle of 40, 50 and 60 degrees to the surface of the product, respectively. You may notice that there is a good separation of the reflected flame, and that the color change for the coated surface is obvious. Some exemplary embodiments of the implementation thus may include visualization at angles from 30 to 75 degrees to the surface of the imaged product, more preferably at angles from 40 to 60 degrees and, for example, at an angle of 45 degrees. It has been found that an angle of 45 degrees works particularly well with various coatings, providing, for example, good separation of the reflected flame (thereby facilitating easy and accurate reflection detection) and good color changes for coated surfaces (thereby facilitating easy and accurate reflection recognition ) In some exemplary embodiments, the implementation of the database can be built on the basis of a common angle, and this "training angle" or an angle close to it (for example, within about 5-10 degrees), can be used in some exemplary embodiments.
[0044] Фиг.10 представляет собой матрицу, показывающую отражения источника света для различных типов покрытий, нанесенных на вторую поверхность блока IG, получаемую и используемую в связи с некоторыми примерными вариантами осуществления. Эта матрица показывает различные образцы блоков IG, имеющих нанесенные на них покрытия. Эти образцы были взяты в лабораторных условиях. Используя эту информацию об образцах, можно обучить некоторые примерные варианты осуществления работать с различными балансами белого. Это становится возможным, потому что некоторые примерные варианты осуществления могут рассматривать изменение цвета от одного отражения к другому вместо или в дополнение к единственным отражениям. Другими словами, в некоторых примерных вариантах осуществления образцы могут быть получены и, вместо или в дополнение к сохранению информации об окрашивании отражений для каждой из множества различных компоновок, изменения окрашивания могут отслеживаться от поверхности к поверхности для каждой из множества различных компоновок. Следует иметь в виду, что обучение может быть выполнено с использованием изображений, полученных со стороны поверхности 1 блока IG, и/или со стороны поверхности 4 блока IG. Таким образом, некоторые примерные варианты осуществления могут обучаться с внешней стороны и/или с внутренней стороны от главной поверхности (поверхностей) визуализируемых изделий. В некоторых примерных вариантах осуществления пользователь может получить запрос на получение изображений как с внутренней стороны, так и с внешней стороны визуализируемого изделия, например для того, чтобы улучшить точность посредством получения большего количества необработанной информации.[0044] Fig. 10 is a matrix showing light source reflections for various types of coatings deposited on a second surface of an IG block, obtained and used in connection with some exemplary embodiments. This matrix shows various samples of IG blocks having coatings applied thereto. These samples were taken in laboratory conditions. Using this sample information, some exemplary embodiments can be trained to work with different white balances. This becomes possible because some exemplary embodiments may consider a color change from one reflection to another instead of or in addition to single reflections. In other words, in some example embodiments, samples can be obtained and, instead of or in addition to storing reflection staining information for each of a plurality of different layouts, staining changes can be monitored from surface to surface for each of the plurality of different layouts. It should be borne in mind that training can be performed using images obtained from the surface of the
[0045] Фиг.11-13 представляют собой снимки экрана программного приложения, обнаруживающего и распознающего различные покрытия на поверхностях различных блоков изолирующего стекла (IG), в соответствии с некоторыми примерными вариантами осуществления. Каждая из Фиг.11-13 включает в себя в левой части полученную фотографию блока IG, пламени и отражений этого пламени. В результате обработки изображение может быть аннотировано для того, чтобы указать положение пламени, а также положения каждого из отражений и поверхности, с которыми они связаны. В этих примерах номера отражений соответствуют номеру поверхности блока IG минус 1. Справа от каждого из изображений показаны основные, доминирующие, средние или медианные цветовые координаты для каждого из отражений в данной системе цветовых координат, вместе с указанием на поверхность, связанную с каждым отражением. В этом примере используется система цветовых координат HSB. Рядом с этой информацией о цвете находится указание на то, является ли связанная с ним поверхность покрытой, и если да, то какое покрытие может находиться на этой поверхности. Значение вероятности для распознавания также обеспечивается в некоторых примерных вариантах осуществления.[0045] FIGS. 11-13 are screen shots of a software application that detects and recognizes various coatings on the surfaces of various blocks of insulating glass (IG), in accordance with some exemplary embodiments. Each of Figs. 11-13 includes on the left side a photograph of the IG block, flame and reflections of this flame. As a result of processing, the image can be annotated in order to indicate the position of the flame, as well as the position of each of the reflections and the surface with which they are associated. In these examples, the reflection numbers correspond to the surface number of the
[0046] Когда пользователь выбирает данную поверхность, показывается результат классификации. Как показано на Фиг.11-13, это включает в себя список покрытий в порядке убывания вероятности того, что данное покрытие нанесено на эту поверхность (если оно вообще есть). Фиг.11 показывает покрытие Bright Green 40-29 на поверхности 2, Фиг.12 показывает покрытие Neutral 60-40 на поверхности 2, и Фиг.13 показывает покрытие Super Neutral 70-37 на поверхности 2. Если вероятность обнаружения покрытия имеет значение меньше, чем заданный порог (например, 90% или 95%), некоторые примерные варианты осуществления могут дополнительно включать в себя визуальный индикатор так, чтобы распознавание могло быть оценено визуально. В качестве примера Фиг.12-13 включают в себя горизонтальные полоски, длина которых пропорциональна вероятности распознавания.[0046] When the user selects this surface, the classification result is displayed. As shown in FIGS. 11-13, this includes a list of coatings in decreasing order of probability that the coating is applied to this surface (if any). 11 shows a Bright Green 40-29 coating on
[0047] Фиг.14 представляет собой блок-схему, показывающую, как функционирует система распознавания покрытия некоторых примерных вариантов осуществления. На стадии S1402 определяются условия окружающего освещения, например, с пользованием камеры, инфракрасного детектора или другого элемента визуализации электронного устройства. В случае необходимости или желательности (например, если рассеянный свет слишком ярок для того, чтобы получить надежные отражения), приложение, выполняющееся на устройстве, может запросить пользователя изменить условия освещения. Например, может быть выдана аудиовизуальная, текстовая или другая подсказка, предлагающая затемнить или выключить свет, указывающая, что фоновая подсветка является слишком яркой, и т.д. Аудиовизуальная, текстовая или другая подсказка может указывать пользователю приложения, когда условия окружающего освещения являются хорошими.[0047] FIG. 14 is a flowchart showing how a coverage recognition system of some exemplary embodiments functions. In step S1402, ambient lighting conditions are determined, for example, using a camera, infrared detector, or other visualization element of an electronic device. If necessary or desirable (for example, if the scattered light is too bright to receive reliable reflections), the application running on the device may prompt the user to change the lighting conditions. For example, an audiovisual, text, or other hint may be issued prompting you to dim or turn off the light, indicating that the backlight is too bright, etc. Audiovisual, textual, or other help may indicate to the application user when the ambient lighting conditions are good.
[0048] На стадии S1404 пользователю приложения выдаются указания по расположению электронного устройства. Это может включать в себя, например, визуальный показ или иное описание того, как устройство должно быть ориентировано относительно визуализируемого изделия. Например, для того, чтобы показать, что электронное устройство должно быть размещено вблизи от внутренней или наружной поверхности изделия и под заданным углом, могут использоваться иконки. С использованием акселерометра, гироскопа, инфракрасного детектора, камеры и т.п. могут быть обнаружены положение или наклон электронного устройства относительно поверхности. Когда положение становится правильным (например, совпадающим или близким к желаемому углу или диапазону углов), может быть выдана аудиоподсказка. Аудиоподсказка может быть желательной, поскольку может быть трудно увидеть визуальную индикацию на экране дисплея устройства в зависимости от его расположения относительно визуализируемого изделия.[0048] In step S1404, instructions are given to the application user on the location of the electronic device. This may include, for example, a visual display or other description of how the device should be oriented relative to the item being rendered. For example, to show that the electronic device should be placed close to the inside or outside of the product and at a given angle, icons can be used. Using an accelerometer, gyroscope, infrared detector, camera, etc. the position or inclination of the electronic device relative to the surface can be detected. When the position becomes correct (for example, matching or close to the desired angle or range of angles), an audio prompt may be output. An audio hint may be desirable since it may be difficult to see a visual indication on a device display screen depending on its location relative to the item being rendered.
[0049] На стадии S1406 свет направляется на визуализируемое изделие. Свет может быть встроен или иным образом соединен с электронным устройством. Например, в некоторых примерных вариантах осуществления может использоваться свет от светодиодной вспышки смартфона и т.п. В некоторых примерных вариантах осуществления могут использоваться зажигалка, пламя свечи, фонарик в виде ручки, фонарик, встроенный в упаковку, например, в коробку, белое изображение или изображение другого цвета (например, квадрат, круг, стилизованный объект, который легко распознать с помощью методик компьютерного зрения, и т.п.), выведенное на экран электронного устройства (такого как смартфон, планшет и т.п.), или другой источник света. Предпочтительно, чтобы свет был высоконаправленным. Для того, чтобы обеспечить это, могут использоваться оптические элементы.[0049] In step S1406, light is directed to a visualized article. The light may be integrated or otherwise connected to an electronic device. For example, in some example embodiments, light from a LED flash of a smartphone or the like may be used. In some exemplary embodiments, a lighter, a candle flame, a pen-shaped flashlight, a flashlight integrated in a package, for example, in a box, a white image or a different color image (for example, a square, circle, stylized object that is easy to recognize using techniques, can be used) computer vision, etc.) displayed on the screen of an electronic device (such as a smartphone, tablet, etc.), or other light source. Preferably, the light is highly directional. In order to provide this, optical elements may be used.
[0050] На стадии S1408 захватывается изображение и/или видео изделия. Этот захват может быть выполнен камерой электронного устройства или присоединенной к нему, и это может происходить автоматически (например, в течение предопределенного времени после того, как пользователю была выдана подсказка поместить электронное устройство в соответствующее положение относительно визуализируемого изделия, как только угол определен как корректный, и т.д.), и/или вручную (например, как только будет нажата кнопка на экране дисплея, на боковой поверхности и т.п. В некоторых примерных вариантах осуществления для получения изображения может использоваться спусковая кнопка. В некоторых примерных вариантах осуществления нажатие кнопки, обычно зарезервированной для регулировки громкости, включения/выключения питания, получения доступа к домашнему экрану и т.п., может быть переопределено для захвата изображения или видео. Эта методика может облегчить ручное получение изображения или захват видео при удержании устройства в правильной ориентации относительно визуализируемого изделия.[0050] In step S1408, the image and / or video of the product is captured. This capture can be performed by the camera of the electronic device or attached to it, and this can happen automatically (for example, within a predetermined time after the user was prompted to place the electronic device in the appropriate position relative to the visualized product, as soon as the angle is determined to be correct, etc.), and / or manually (for example, as soon as a button is pressed on the display screen, on the side surface, etc. In some example embodiments, to obtain the shutter release button can be used in some exemplary embodiments, pressing the button, usually reserved for adjusting the volume, turning the power on / off, accessing the home screen, etc., can be redefined to capture an image or video. image acquisition or video capture while holding the device in the correct orientation relative to the visualized product.
[0051] Стадия S1408 может включать в себя корректировку баланса белого для камеры и/или настройку фокуса. В некоторых примерных вариантах осуществления может использоваться автоматическая фокусировка. В других случаях автоматическая фокусировка может фокусироваться на неправильном элементе (например, на отражении или другом элементе, что приводит к плохому качеству изображения). Таким образом, автоматическая фокусировка может быть запрещена в некоторых примерных вариантах осуществления. Вместо этого некоторые примерные варианты осуществления могут использовать фиксированный фокус, вычисляемый на основе используемого устройства, расположения его камеры, его угла относительно визуализируемого изделия и т.п. В этой связи некоторые примерные варианты осуществления могут включать в себя приложение, загруженное на смартфон и т.п., и тип устройства может определяться этим приложением. Используя эту информацию, устройство может найти настройки фокуса (например, потому что может быть известно, что некоторые устройства имеют определенное расположение камеры, расстояние может быть вычислено на основе известного форм-фактора устройства и угла, определяемого в соответствии с вышеописанным, и т.д.), и/или иным образом вычислить такие настройки. В некоторых примерных вариантах осуществления автоматические настройки, обычно выполняемые некоторыми камерами, могут быть переопределены путем установки режима ISO и т.п.[0051] Step S1408 may include adjusting a white balance for the camera and / or adjusting focus. In some exemplary embodiments, auto focus may be used. In other cases, auto focus may focus on the wrong element (for example, reflection or another element, which results in poor image quality). Thus, auto focus may be disabled in some exemplary embodiments. Instead, some exemplary embodiments may use a fixed focus calculated based on the device used, its camera location, its angle relative to the item being rendered, and the like. In this regard, some exemplary embodiments may include an application downloaded to a smartphone or the like, and the type of device may be determined by this application. Using this information, the device can find the focus settings (for example, because it may be known that some devices have a specific camera location, the distance can be calculated based on the known form factor of the device and the angle determined in accordance with the above, etc. .), and / or otherwise calculate such settings. In some exemplary embodiments, the automatic settings typically performed by some cameras can be overridden by setting the ISO mode and the like.
[0052] В некоторых примерных вариантах осуществления вспышка, интегрированная в устройство, может сама по себе являться неподходящей для хорошей визуализации. Например, хотя многие смартфоны, планшеты и другие устройства используют светоизлучающие диоды для подсветки, оптические элементы часто используются для рассеяния того, что иначе могло бы быть очень линейным источником света. Во вспышках камер, смартфонов, планшетов и т.п. рассеиватели света. Таким образом, обрезающий или другой оптический элемент может использоваться для того, чтобы сделать свет более линейным или иным образом сфокусировать его в более направленную и более желательную форму, например, для того, чтобы по меньшей мере частично устранить влияние встроенного или иным образом интегрированного рассеивателя.[0052] In some exemplary embodiments, the implementation of the flash integrated into the device may itself be unsuitable for good visualization. For example, although many smartphones, tablets, and other devices use light-emitting diodes for illumination, optical elements are often used to diffuse what would otherwise be a very linear light source. In the flashes of cameras, smartphones, tablets, etc. light diffusers. Thus, a trimming or other optical element can be used to make the light more linear or otherwise focus it in a more directional and more desirable shape, for example, in order to at least partially eliminate the influence of an integrated or otherwise integrated diffuser.
[0053] Обращаясь еще раз к Фиг.14, на стадии S1410 область исходного света идентифицируется, например, на изображении и/или видео. На изображении исходный свет скорее всего будет самым ярким элементом у одного из краев полученного фотоснимка (например, самый яркий элемент слева или справа на изображении). Для этой цели может использоваться любая методика обнаружения объектов. Например, как только яркое пятно обнаруживается на краю, приблизительные контуры этого объекта могут быть определены путем продолжения наружу в горизонтальном и вертикальном направлениях, путем спирального расширения наружу от обнаруженного края и т.п., например, до тех пор, пока не будет достигнута площадь с цветовым контрастом больше, чем некоторый порог. Это может соответствовать, например, переходу между ярким исходным светом и темными условиями окружающей среды. Затем контуры могут быть определены путем отслеживания краев объекта (например, отслеживания областей, в которых превышается порог), рассматривая максимальные вертикальные и горизонтальные области как прямоугольные, и т.п. Эта ограниченная область может рассматриваться как объект исходного света. В некоторых примерных вариантах осуществления для обнаружения объекта исходного света может использоваться методика автоматической обработки изображений, такая как эта. В некоторых примерных вариантах осуществления объект исходного света может быть идентифицирован вручную (например, пользователем приложения). В некоторых примерных вариантах осуществления кандидат на объект исходного света может быть обнаружен автоматически, и может быть запрошено или затребовано ручное подтверждение.[0053] Turning again to FIG. 14, in step S1410, a source light region is identified, for example, in an image and / or video. In the image, the source light will most likely be the brightest element at one of the edges of the resulting photograph (for example, the brightest element on the left or right in the image). For this purpose, any object detection technique may be used. For example, as soon as a bright spot is detected at the edge, the approximate contours of this object can be determined by extending outward in horizontal and vertical directions, by spiraling outward from the detected edge, etc., for example, until an area is reached. with color contrast greater than some threshold. This may correspond, for example, to a transition between bright source light and dark environmental conditions. Then the contours can be determined by tracking the edges of the object (for example, tracking areas in which the threshold is exceeded), considering the maximum vertical and horizontal areas as rectangular, etc. This limited area can be considered as an object of the source light. In some exemplary embodiments, an automatic image processing technique such as this may be used to detect a source light object. In some exemplary embodiments, the source light object may be manually identified (eg, by an application user). In some exemplary embodiments, a candidate for a source light object may be detected automatically, and a manual confirmation may be requested or requested.
[0054] На стадии S1412 вычисляются цветовые координаты для объекта исходного света. Это может быть выполнено путем выбора значения в центре объекта, путем выбора значения в приблизительном горизонтальном центре объекта и немного выше вертикального центра объекта, путем вычисления средних или медианных цветовых координат, путем выбора значения пользователем вручную и т.п. В некоторых примерных вариантах осуществления кандидат для определения цветовых координат объекта исходного света может быть обнаружен автоматически, и может быть запрошено или затребовано ручное подтверждение.[0054] In step S1412, color coordinates for the source light object are calculated. This can be done by selecting a value in the center of the object, by selecting a value in the approximate horizontal center of the object and slightly above the vertical center of the object, by calculating the average or median color coordinates, by manually selecting the value by the user, etc. In some exemplary embodiments, a candidate for determining the color coordinates of the source light object may be detected automatically, and a manual confirmation may be requested or requested.
[0055] Стадии S1414 и S1416 выполняют обычно функции, аналогичные объясненным выше для стадий S1410 и 1410, за исключением того, что стадии S1414 и S1416 относятся к областям отражений и к цветовым координатам этих отражений. Этот процесс может быть облегчен, если пользователь вводит тип визуализируемого изделия. Например, уточнение того, что визуализируемое изделие имеет только одну подложку, даст устройству команду искать два различных отражения, уточнение того, что визуализируемое изделие является блоком IG, даст устройству команду искать четыре различных отражения, и т.д. Кроме того, указание визуализируемого изделия может дополнительно повысить точность. Например, указание толщины подложки, толщины распорной детали и/или расстояния между подложками и т.д. может обеспечить информацию о том, в каком месте отражаемые объекты должны появляться относительно друг друга, на каком расстоянии друг от друга они должны быть расположены и т.д. В некоторых примерных вариантах осуществления на основе отражений могут быть определены толщина стекла и величина расстояния между подложками. Кроме того, когда толщина стекла известна, в некоторых ситуациях угол может быть определен более легко. Следует отметить, что та же самая или аналогичные методики автоматического распознавания и/или ручного выбора/проверки цвета могут использоваться также для учебных целей, например, для того, чтобы построить подходящую базу данных изображений.[0055] Steps S1414 and S1416 typically perform functions similar to those explained above for steps S1410 and 1410, except that steps S1414 and S1416 relate to reflection regions and color coordinates of these reflections. This process can be facilitated if the user enters the type of item being rendered. For example, clarifying that the item being rendered has only one substrate will instruct the device to search for two different reflections, clarifying that the item being rendered is an IG block will instruct the device to look for four different reflections, etc. In addition, an indication of the item being visualized may further increase accuracy. For example, an indication of the thickness of the substrate, the thickness of the spacer and / or the distance between the substrates, etc. can provide information on where the reflected objects should appear relative to each other, at what distance from each other they should be located, etc. In some exemplary embodiments, the thickness of the glass and the distance between the substrates can be determined based on reflections. In addition, when the thickness of the glass is known, in some situations the angle can be determined more easily. It should be noted that the same or similar techniques for automatic recognition and / or manual color selection / verification can also be used for training purposes, for example, in order to build a suitable image database.
[0056] В некоторых примерных вариантах осуществления некоторые или все из стадий S1408-1414 могут выполняться локально на электронном устройстве или на удаленном устройстве. Например, отдельная цифровая камера может использоваться для того, чтобы захватить неподвижное изображение или видео, и обработка изображений может быть выполнена в офлайне на внешней вычислительной системе с возможным представлением результатов анализа на этой или на другой внешней вычислительной системе. В некоторых примерных вариантах осуществления цветовые координаты могут быть обеспечены посредством ручного выбора.[0056] In some exemplary embodiments, some or all of steps S1408-1414 may be performed locally on an electronic device or on a remote device. For example, a separate digital camera can be used to capture a still image or video, and image processing can be performed offline on an external computer system with the possible presentation of the analysis results on this or another external computer system. In some exemplary embodiments, color coordinates may be provided by manual selection.
[0057] На основе вычисленных цветовых координат и/или вычислений изменения координат для смежных или последовательных объектов может быть выполнен поиск в базе данных. Это может помочь определить вероятность присутствия одного или более покрытий, и может также помочь определить информацию о расположении и типе любого такого покрытия (покрытий). Это также включает в себя обнаружение и распознавание непокрытых поверхностей. Поиск может выполняться путем вычисления расстояния между цветовыми координатами объектов и цветовыми координатами, хранящимися в базе данных для различных покрытий. На основе эвклидовой или других мер расстояния может быть выполнено, например, ранжирование типов покрытия по их вероятности. В некоторых примерных вариантах осуществления вероятность соответствия может быть основана на той же самой мере расстояния или на других мерах расстояния. Та же самая или аналогичная методика может использоваться тогда, когда используются изменения цветовых координат. Следует иметь в виду, что сравнение между известным источником света и первым отражением может использоваться для того, чтобы определить и/или компенсировать баланс белого, калибровку цветовых температур и т.п.[0057] Based on the calculated color coordinates and / or calculations of the coordinate change for adjacent or sequential objects, a database search can be performed. This can help determine the likelihood of the presence of one or more coatings, and can also help determine information about the location and type of any such coatings (coatings). This also includes the detection and recognition of bare surfaces. The search can be performed by calculating the distance between the color coordinates of the objects and the color coordinates stored in the database for various coatings. Based on Euclidean or other distance measures, for example, ranking of coating types by their probability can be performed. In some exemplary embodiments, the probability of compliance may be based on the same measure of distance or other measures of distance. The same or similar technique can be used when changes in color coordinates are used. It should be borne in mind that a comparison between a known light source and the first reflection can be used to determine and / or compensate for white balance, calibration of color temperatures, etc.
[0058] На стадии S1420 результаты представляются пользователю посредством приложения, сообщения, отправляемого пользователю по электронной почте, SMS, MMS, или с помощью других средств обмена сообщениями, и т.п. Результаты могут включать в себя, например, аннотированную версию неподвижного изображения (например, если было получено неподвижное изображение, или неподвижного изображения, извлеченного или сгенерированного из видео), могут включать в себя указания области пламени и области каждого отражения и/или отметки поверхностей для отражений. Некоторая или вся информация, описанная в связи с Фиг.11-13 и т.п., также может быть обеспечена в некоторых примерных вариантах осуществления. На основе этих результатов пользователь может с заданной степенью вероятности узнать, имеются ли какие-либо поверхности с покрытием на продукте, и если они имеются, то какие именно покрытия могут находиться на таких поверхностях. Предпочтительно некоторые примерные варианты осуществления могут распознавать покрытия по меньшей мере с 80%-ой точностью, более предпочтительно по меньшей мере с 85%-ой точностью, еще более предпочтительно по меньшей мере с 90%-ой точностью, и еще более предпочтительно по меньшей мере с 95%-ой точностью.[0058] In step S1420, the results are presented to the user through an application, a message sent to the user by e-mail, SMS, MMS, or other means of messaging, or the like. The results may include, for example, an annotated version of a still image (for example, if a still image was received, or a still image extracted or generated from a video), may include indications of the flame area and the area of each reflection and / or surface markings for reflections . Some or all of the information described in connection with FIGS. 11-13 and the like may also be provided in some exemplary embodiments. Based on these results, the user can, with a given degree of probability, find out if there are any coated surfaces on the product, and if any, which coatings can be on such surfaces. Preferably, some exemplary embodiments can recognize coatings with at least 80% accuracy, more preferably at least 85% accuracy, even more preferably at least 90% accuracy, and even more preferably at least with 95% accuracy.
[0059] В некоторых примерных вариантах осуществления описанная выше процедура может быть повторена полностью или частично для того, чтобы попытаться подтвердить точность обнаружения и распознавания. Это повторение может осуществляться с той же самой стороны, с противоположной стороны, или как с той же самой стороны, так и с противоположной стороны.[0059] In some exemplary embodiments, the above procedure may be repeated in whole or in part in order to try to confirm the accuracy of detection and recognition. This repetition can be carried out from the same side, from the opposite side, or both from the same side, and from the opposite side.
[0060] В ходе исследований было установлено, что некоторые покрытия с высокой отражательной способностью иногда производят «фантомное» третье отражение. Некоторые примерные варианты осуществления могут учитывать и устранять это отражение, использовать его обнаружение в качестве индикатора конкретного типа покрытия и т.п.[0060] In the course of research, it was found that some coatings with high reflectivity sometimes produce a “phantom” third reflection. Some exemplary embodiments of the implementation can take into account and eliminate this reflection, use its detection as an indicator of a specific type of coating, etc.
[0061] В некоторых примерных вариантах осуществления система может обучаться на конкурирующих продуктах для их поиска, для гарантии того, что приложение используется на правильном продукте (например, официально не сообщая, что конкурирующее покрытие было обнаружено и/или распознано с высокой степенью вероятности), и т.д.[0061] In some exemplary embodiments, the system can be trained on competing products to find them, to ensure that the application is used on the right product (for example, not officially reporting that a competing coating was detected and / or recognized with a high degree of probability), etc.
[0062] Хотя некоторые примерные варианты осуществления были описаны в совокупности с системой цветовых координат HSB, следует понимать, что другие системы и/или представления также могут использоваться в других примерных вариантах осуществления. Такие системы включают в себя, например, системы цветовых координат RGB и CMYK, шестнадцатеричные представления и т.п.[0062] Although some exemplary embodiments have been described in conjunction with the HSB color coordinate system, it should be understood that other systems and / or representations may also be used in other exemplary embodiments. Such systems include, for example, RGB and CMYK color coordinate systems, hexadecimal representations, and the like.
[0063] Хотя некоторые примерные варианты осуществления были описаны как включающие стеклянные подложки, следует понимать, что другие типы прозрачных подложек также могут использоваться в других примерных вариантах осуществления. В дополнение к этому, хотя некоторые варианты осуществления были описаны в совокупности с блоками изолирующего стекла, следует понимать, что методики, раскрытые в настоящем документе, могут использоваться в совокупности с монолитным, ламинированным, вакуумным изолирующим стеклом (VIG), тройными блоками IG (например, блоками, включающими в себя первую, вторую и третью подложки, расположенные по существу параллельно на некоторых расстояниях друг от друга), и/или другими типами блоков и/или компоновок.[0063] Although some example embodiments have been described as including glass substrates, it should be understood that other types of transparent substrates can also be used in other exemplary embodiments. In addition, although some embodiments have been described in conjunction with insulating glass blocks, it should be understood that the techniques disclosed herein can be used in conjunction with monolithic, laminated, vacuum insulating glass (VIG), IG triple blocks (e.g. , blocks including the first, second and third substrates located essentially parallel at some distances from each other), and / or other types of blocks and / or arrangements.
[0064] Кроме того, хотя некоторые примерные варианты осуществления были описаны с покрытиями, предусмотренными только на одной их поверхности, следует понимать, что покрытие может быть нанесено на множество поверхностей. В этой связи, хотя некоторые примерные варианты осуществления были описаны в совокупности с покрытием на поверхности 2 или на поверхности 3, покрытия могут быть предусмотрены на обеих поверхностях 2 и 3, на наружных поверхностях (например, для противоконденсатных или других продуктов), на любой одной или более из поверхностей 1-6 для тройного блока IG, и т.д. Одинаковые или различные покрытия могут быть сформированы на различных поверхностях в данной компоновке. Одинаковые или подобные описанным в настоящем документе обучающие методики могут использоваться для того, чтобы построить базу данных, и одинаковые или подобные методики для сравнения цветовых координат и/или изменения цветовых координат могут использоваться при таких обстоятельствах. Следует иметь в виду, что присутствие множественных покрытий может привести к отражениям, связанным с непокрытыми поверхностями, имеющими окраску, и что это может быть учтено в базе данных. В некоторых примерных вариантах осуществления может быть сделано предположение о том, что первая поверхность будет непокрытой, что, как было найдено, помогает значительно улучшить точность распознавания покрытия (например, потому что эталонный цвет поверхности чистого флоат-стекла может быть определен более точно). В некоторых примерных вариантах осуществления это предположение может устанавливаться как конфигурируемая пользователем опция.[0064] Furthermore, although some exemplary embodiments have been described with coatings provided on only one surface thereof, it should be understood that a coating can be applied to a plurality of surfaces. In this regard, although some exemplary embodiments have been described in conjunction with a coating on
[0065] Использующийся в настоящем документе термин «термическая обработка» означает нагревание изделия до температуры, достаточной для того, чтобы достичь термического отпуска и/или термического упрочнения содержащего стекло изделия. Это определение включает в себя, например, нагревание покрытого изделия в сушильном шкафу или печи при температуре по меньшей мере приблизительно 550 градусов по Цельсию, более предпочтительно по меньшей мере приблизительно 580 градусов по Цельсию, более предпочтительно по меньшей мере приблизительно 600 градусов по Цельсию, более предпочтительно по меньшей мере приблизительно 620 градусов по Цельсию, и наиболее предпочтительно по меньшей мере приблизительно 650 градусов по Цельсию в течение периода времени, достаточного выполнения термического отпуска и/или термического упрочнения. Этот период времени в некоторых примерных вариантах осуществления может составлять по меньшей мере вплоть до приблизительно 2 мин, вплоть до приблизительно 10 мин, вплоть до 15 мин и т.д.[0065] As used herein, the term "heat treatment" means heating the product to a temperature sufficient to achieve thermal tempering and / or heat hardening of the glass-containing product. This definition includes, for example, heating a coated article in an oven or oven at a temperature of at least about 550 degrees Celsius, more preferably at least about 580 degrees Celsius, more preferably at least about 600 degrees Celsius, more preferably at least about 620 degrees Celsius, and most preferably at least about 650 degrees Celsius for a period of time sufficient to thermally perform st tempering and / or thermal hardening. This time period in some exemplary embodiments may be at least up to about 2 minutes, up to about 10 minutes, up to 15 minutes, etc.
[0066] Используемые в настоящем документе термины «на», «поддерживаемый» и т.п. не должны интерпретироваться как означающие, что два элемента являются непосредственно смежными друг с другом, если это не указано явно. Другими словами, можно сказать, что первый слой находится на втором слое или поддерживается вторым слоем, даже если между ними имеется один или более слоев.[0066] As used herein, the terms “on,” “supported,” and the like. should not be interpreted as meaning that the two elements are directly adjacent to each other, unless explicitly stated. In other words, it can be said that the first layer is on the second layer or supported by the second layer, even if there is one or more layers between them.
[0067] Некоторые примерные варианты осуществления относятся к электронной системе обнаружения и распознавания покрытия, содержащей камеру. Обрабатывающие ресурсы включают в себя по меньшей мере один процессор и соединенную с ним память, реально хранящую инструкции, которые при их выполнении обрабатывающими ресурсами осуществляют, по меньшей мере: захват с использованием камеры изображения и/или видео изделия, на которое направлен исходный свет, причем захваченное изображение и/или видео включает в себя отражения исходного света, связанные с каждой из главных поверхностей изделия; идентификацию области для каждого из отражений исходного света; вычисление цветовых координат для каждого из идентифицированных отражений исходного света; обнаружение и распознавание любых покрытий, сформированных на главных поверхностях изделия, путем сравнения (a) расчетных цветовых координат и/или изменений между расчетными цветовыми координатами с (b) информацией, хранящейся в базе данных, которая поддерживается машиночитаемым носителем данных и которая включает в себя записи об известных цветовых координатах и/или известных изменениях между цветовыми координатами для каждого из множества различных известных покрытий; а также способны к обнаружению и распознаванию одного или более покрытий, формируя при этом выходные данные, указывающие главную поверхность (поверхности), на которой расположено каждое упомянутое обнаруженное и распознанное покрытие, и идентификатор каждого упомянутого обнаруженного и распознанного покрытия.[0067] Some exemplary embodiments relate to an electronic coating detection and recognition system comprising a camera. Processing resources include at least one processor and memory connected to it, which actually stores instructions that, when executed by processing resources, carry out at least: capturing, using a camera, an image and / or video of the product that the source light is directed to, the captured image and / or video includes source light reflections associated with each of the main surfaces of the product; identification of the area for each of the reflections of the source light; calculating color coordinates for each of the identified reflections of the source light; detection and recognition of any coatings formed on the main surfaces of the product by comparing (a) the estimated color coordinates and / or changes between the calculated color coordinates with (b) information stored in a database that is supported by a computer-readable storage medium and which includes records known color coordinates and / or known changes between color coordinates for each of a plurality of different known coatings; and also capable of detecting and recognizing one or more coatings, while generating output data indicating the main surface (s) on which each mentioned detected and recognized coating is located, and the identifier of each of the detected and recognized coatings.
[0068] В дополнение к особенностям предыдущего параграфа в некоторых примерных вариантах осуществления эти выходные данные могут дополнительно включать в себя вероятность, связанную с обнаружением и распознаванием каждого упомянутого обнаруженного и распознанного покрытия.[0068] In addition to the features of the previous paragraph, in some exemplary embodiments, this output may further include the probability associated with the detection and recognition of each of the detected and recognized coverage.
[0069] В дополнение к особенностям любого из двух предыдущих параграфов в некоторых примерных вариантах осуществления эти выходные данные могут дополнительно включать в себя указание любых вероятных непокрытых поверхностей.[0069] In addition to the features of any of the two previous paragraphs in some exemplary embodiments, this output may further include an indication of any likely uncovered surfaces.
[0070] В дополнение к особенностям любого из трех предыдущих параграфов в некоторых примерных вариантах осуществления может быть предусмотрено отображающее устройство, например, с выходными данными, обеспечиваемыми на этом отображающем устройстве, например, в связи с отображаемым на нем пользовательским интерфейсом.[0070] In addition to the features of any of the three previous paragraphs, in some exemplary embodiments, a display device may be provided, for example, with output provided on that display device, for example, in connection with a user interface displayed therein.
[0071] В дополнение к особенностям предыдущего параграфа в некоторых примерных вариантах осуществления пользовательский интерфейс может быть выполнен с возможностью показа захваченного изображения и/или видео, аннотаций, соответствующих каждому из отражений исходного света, информации, соответствующей идентификатору каждого из обнаруженных и распознанных покрытий, и/или указания относительно расположения (расположений) каждого из обнаруженных и распознанных покрытий.[0071] In addition to the features of the previous paragraph, in some exemplary embodiments, the user interface may be configured to display the captured image and / or video, annotations corresponding to each of the reflections of the source light, information corresponding to the identifier of each of the detected and recognized coatings, and / or directions regarding the location (s) of each of the detected and recognized coatings.
[0072] В дополнение к особенностям любого из пяти предыдущих параграфов в некоторых примерных вариантах осуществления исходный свет может быть пламенем, светодиодным источником света и т.п.[0072] In addition to the features of any of the five previous paragraphs, in some example embodiments, the source light may be a flame, an LED light source, or the like.
[0073] В дополнение к особенностям любого из шести предыдущих параграфов в некоторых примерных вариантах осуществления различные известные покрытия могут быть различными напыленными покрытиями с низким излучением.[0073] In addition to the features of any of the six preceding paragraphs, in some exemplary embodiments, the various known coatings may be various low radiation sprayed coatings.
[0074] В дополнение к особенностям любого из семи предыдущих параграфов в некоторых примерных вариантах осуществления инструкции могут быть дополнительно выполнены с возможностью по меньшей мере: вызывать определение условий окружающего освещения; определять, являются ли обнаруженные условия окружающего освещения желаемыми, на основе предварительно сохраненных правил; и опционально в ответ на определение того, что обнаруженные условия окружающего освещения не являются желаемыми, выдавать понятную инструкцию пользователю системы для того, чтобы скорректировать условия окружающего освещения.[0074] In addition to the features of any of the seven previous paragraphs, in some exemplary embodiments, the instructions may be further executed with the ability to at least: cause determination of the ambient light conditions; determine whether the detected ambient lighting conditions are desired based on previously stored rules; and optionally in response to determining that the detected ambient lighting conditions are not desired, provide clear instructions to the system user in order to adjust the ambient lighting conditions.
[0075] В дополнение к особенностям любого из восьми предыдущих параграфов в некоторых примерных вариантах осуществления инструкции могут быть дополнительно выполнены с возможностью по меньшей мере: обнаруживать угол камеры относительно главных поверхностей изделия; определять, соответствует ли этот угол заданному диапазону; и опционально (a) в ответ на определение того, что угол соответствует заданному диапазону, сообщать пользователю, что изображение и/или видео могут быть получены, и/или (b) в ответ на определение того, что угол не соответствует заданному диапазону, выдавать понятную инструкцию пользователю системы о том, что угол необходимо изменить. Альтернативно или в дополнение к особенностям любого из восьми предыдущих параграфов в некоторых примерных вариантах осуществления инструкции могут быть дополнительно выполнены с возможностью по меньшей мере: определять угол камеры относительно главных поверхностей изделия; определять, соответствует ли этот угол заданному диапазону; и опционально в ответ на определение того, что этот угол соответствует заданному диапазону, автоматически захватывать изображение и/или видео.[0075] In addition to the features of any of the eight previous paragraphs, in some exemplary embodiments, the instructions may be further configured to at least: detect a camera angle relative to the main surfaces of the product; determine whether this angle corresponds to a given range; and optionally (a) in response to the determination that the angle corresponds to a given range, inform the user that the image and / or video can be obtained, and / or (b) in response to the determination that the angle does not correspond to the specified range, issue clear instructions to the user of the system that the angle must be changed. Alternatively or in addition to the features of any of the eight previous paragraphs, in some exemplary embodiments, the instructions may be further implemented with the ability to at least: determine the angle of the camera relative to the main surfaces of the product; determine whether this angle corresponds to a given range; and optionally, in response to determining that this angle corresponds to a predetermined range, automatically capture an image and / or video.
[0076] Некоторые примерные варианты осуществления относятся к электронной системе обнаружения и распознавания покрытия, содержащей камеру. Обрабатывающие ресурсы включают в себя по меньшей мере один процессор и соединенную с ним память, реально хранящую инструкции, которые при их выполнении обрабатывающими ресурсами осуществляют, по меньшей мере: захват с использованием камеры изображения и/или видео изделия, на которое направлен исходный свет, причем захваченное изображение и/или видео включает в себя отражения исходного света, связанные с каждой из главных поверхностей изделия; а также передачу захваченного изображения и/или видео по сетевому соединению к удаленной вычислительной системе. Эта передача заставляет удаленную вычислительную систему: получить захваченное изображение и/или видео; вычислить цветовые координаты для каждого из отражений исходного света в полученном захваченном изображении и/или видео; обнаружить и распознать любые покрытия, сформированные на главных поверхностях изделия, путем сравнения (a) расчетных цветовых координат и/или изменений между расчетными цветовыми координатами с (b) информацией, хранящейся в хранилище данных удаленной вычислительной системы, которое включает в себя записи об известных цветовых координатах и/или известных изменениях между цветовыми координатами для каждого из множества различных известных покрытий; а также ответить на обнаружение и распознавание одного или более покрытий путем генерирования выходных данных, указывающих главную поверхность (поверхности), на которой расположено каждое упомянутое обнаруженное и распознанное покрытие, и идентификатор каждого упомянутого обнаруженного и распознанного покрытия.[0076] Some exemplary embodiments relate to an electronic coating detection and recognition system comprising a camera. Processing resources include at least one processor and memory connected to it, which actually stores instructions that, when executed by processing resources, carry out at least: capturing, using a camera, an image and / or video of the product that the source light is directed to, the captured image and / or video includes source light reflections associated with each of the main surfaces of the product; as well as transmitting the captured image and / or video over a network connection to a remote computing system. This transfer forces the remote computing system to: capture the captured image and / or video; calculate color coordinates for each of the reflections of the source light in the captured image and / or video; detect and recognize any coatings formed on the main surfaces of the product by comparing (a) the estimated color coordinates and / or changes between the calculated color coordinates with (b) information stored in the data warehouse of the remote computing system, which includes records of known color coordinates and / or known changes between color coordinates for each of a variety of different known coatings; and also respond to the detection and recognition of one or more coatings by generating output data indicating the main surface (s) on which each said detected and recognized coating is located, and the identifier of each of the detected and recognized coatings.
[0077] В дополнение к особенностям предыдущего параграфа в некоторых примерных вариантах осуществления эти выходные данные могут дополнительно включать в себя вероятность, связанную с обнаружением и распознаванием каждого упомянутого обнаруженного и распознанного покрытия, и/или указание любых вероятно непокрытых поверхностей, например, определенные с помощью удаленной вычислительной системы.[0077] In addition to the features of the preceding paragraph in some exemplary embodiments, this output may further include the probability associated with the detection and recognition of each of the detected and recognized coatings and / or an indication of any likely uncovered surfaces, for example, determined by remote computing system.
[0078] В дополнение к особенностям любого из двух предыдущих параграфов в некоторых примерных вариантах осуществления может быть предусмотрено отображающее устройство, и инструкции могут быть дополнительно выполнены с возможностью получать выходные данные и отображать их на этом отображающем устройстве в связи с отображаемым на нем пользовательским интерфейсом.[0078] In addition to the features of any of the two preceding paragraphs, in some exemplary embodiments, a display device may be provided, and instructions may be further configured to receive output data and display it on this display device in connection with a user interface displayed therein.
[0079] Некоторые примерные варианты осуществления относятся к электронной системе обнаружения и распознавания покрытия, содержащей камеру. Обрабатывающие ресурсы включают в себя по меньшей мере один процессор и соединенную с ним память, реально хранящую инструкции, которые при их выполнении обрабатывающими ресурсами осуществляют по меньшей мере: прием захваченного изображения и/или видео изделия, на которое направлен исходный свет, причем захваченное изображение и/или видео включает в себя отражения исходного света, связанные с каждой из главных поверхностей изделия; вычисление цветовых координат для каждого из отражений исходного света в полученном захваченном изображении и/или видео; обнаружение и распознавание любых покрытий, сформированных на главных поверхностях изделия, путем сравнения (a) расчетных цветовых координат и/или изменений между расчетными цветовыми координатами с (b) информацией, хранящейся в хранилище данных, которое включает в себя записи об известных цветовых координатах и/или известных изменениях между цветовыми координатами для каждого из множества различных известных покрытий; а также ответ на обнаружение и распознавание одного или более покрытий путем генерирование выходных данных, указывающих главную поверхность (поверхности), на которой расположено каждое упомянутое обнаруженное и распознанное покрытие, идентификатор каждого упомянутого обнаруженного и распознанного покрытия, вероятность, связанную с обнаружением и распознаванием каждого упомянутого обнаруженного и распознанного покрытия, а также содержащих указание на любые вероятно непокрытые поверхности.[0079] Some exemplary embodiments relate to an electronic coating detection and recognition system comprising a camera. Processing resources include at least one processor and a memory connected to it that actually stores instructions that, when executed by processing resources, carry out at least: receiving a captured image and / or video of the product that the source light is directed to, the captured image and / or video includes source light reflections associated with each of the main surfaces of the product; calculating color coordinates for each of the reflections of the source light in the captured image and / or video; detection and recognition of any coatings formed on the main surfaces of the product, by comparing (a) the estimated color coordinates and / or changes between the calculated color coordinates with (b) information stored in the data warehouse, which includes records of known color coordinates and / or known changes between color coordinates for each of a variety of different known coatings; as well as a response to the detection and recognition of one or more coatings by generating output data indicating the main surface (s) on which each mentioned detected and recognized coating is located, the identifier of each of the detected and recognized coatings, the probability associated with the detection and recognition of each mentioned detected and recognized coatings, as well as containing an indication of any likely uncovered surfaces.
[0080] В дополнение к особенностям предыдущего параграфа в некоторых примерных вариантах осуществления может быть предусмотрен сетевой интерфейс, и захваченное изображение и/или видео могут быть получены по сетевому интерфейсу, и/или инструкции могут быть дополнительно выполнены с возможностью передавать выходные данные электронным образом на пользовательское устройство через этот сетевой интерфейс.[0080] In addition to the features of the preceding paragraph, in some exemplary embodiments, a network interface may be provided, and the captured image and / or video may be obtained via the network interface, and / or instructions may be further executed to electronically transmit the output data to user device through this network interface.
[0081] В дополнение к особенностям любого из двух предыдущих параграфов в некоторых примерных вариантах осуществления может быть предусмотрена камера, выполненная с возможностью захвата изображения и/или видео.[0081] In addition to the features of any of the two previous paragraphs, in some exemplary embodiments, a camera configured to capture an image and / or video may be provided.
[0082] В дополнение к особенностям любого из трех предыдущих параграфов в некоторых примерных вариантах осуществления может быть предусмотрен светодиодный источник света, выполненный с возможностью испускать исходный свет.[0082] In addition to the features of any of the three previous paragraphs, in some exemplary embodiments, an LED light source configured to emit the source light may be provided.
[0083] В дополнение к особенностям любого из четырех предыдущих параграфов в некоторых примерных вариантах осуществления хранилище данных может представлять собой базу данных, хранящуюся в памяти.[0083] In addition to the features of any of the four preceding paragraphs, in some exemplary embodiments, the data store may be a database stored in memory.
[0084] В дополнение к особенностям любого из пяти предыдущих параграфов в некоторых примерных вариантах осуществления может быть предусмотрен по меньшей мере один акселерометр и/или гироскоп, а инструкции могут быть дополнительно выполнены с возможностью по меньшей мере получения данных по меньшей мере от одного акселерометра и/или гироскопа и вычисления наклона или положения интеллектуального устройства, например, если система представляет собой или содержит смартфон.[0084] In addition to the features of any of the five preceding paragraphs, at least one accelerometer and / or gyroscope may be provided in some exemplary embodiments, and the instructions may be further executed with the possibility of at least receiving data from at least one accelerometer and / or a gyroscope and calculating the tilt or position of a smart device, for example, if the system is or includes a smartphone.
[0085] В дополнение к особенностям любого из 18 предыдущих параграфов в некоторых примерных вариантах осуществления система может представлять собой или может содержать электронное устройство, такое как, например, смартфон, планшет, и т.п., например, с инструкциями, предусматриваемыми в связи с приложением, выполненным с возможностью выполнения на этом электронном устройстве.[0085] In addition to the features of any of the 18 previous paragraphs, in some exemplary embodiments, the system may be or may include an electronic device, such as, for example, a smartphone, tablet, or the like, for example, with instructions provided in connection with an application configured to run on this electronic device.
[0086] Способы, соответствующие любому из 19 предыдущих параграфов, также могут быть использованы в совокупности с некоторыми примерными вариантами осуществления. Например, в некоторых примерных вариантах осуществления предлагается способ для обнаружения и распознавания покрытий, содержащий: получение захваченного изображения и/или видео изделия, на которое направлен исходный свет, включающего в себя отражения исходного света, связанные с каждой главной поверхностью изделия; вычисление цветовых координат для каждого из отражений исходного света в полученном захваченном изображении и/или видео; обеспечение возможности, посредством по меньшей мере одного аппаратного процессора, обнаружения и распознавания любых покрытий, сформированных на главных поверхностях изделия, путем сравнения (a) расчетных цветовых координат и/или изменений между расчетными цветовыми координатами с (b) информацией, хранящейся в хранилище данных, которое включает в себя записи об известных цветовых координатах и/или известных изменениях между цветовыми координатами для каждого из множества различных известных покрытий; а также ответ на обнаружение и распознавание одного или более покрытий путем генерирования выходных данных, указывающих главную поверхность (поверхности), на которой расположено каждое упомянутое обнаруженное и распознанное покрытие, идентификатор каждого упомянутого обнаруженного и распознанного покрытия, вероятность, связанную с обнаружением и распознаванием каждого упомянутого обнаруженного и распознанного покрытия, а также содержащих указание на любые вероятно непокрытые поверхности. Аналогичным образом в некоторых примерных вариантах осуществления также возможно использование энергонезависимых машиночитаемых носителей данных, реально хранящих инструкции, которые при их выполнении аппаратным процессором выполняют такие способы.[0086] The methods corresponding to any of the 19 previous paragraphs may also be used in conjunction with some exemplary embodiments. For example, in some exemplary embodiments, a method for detecting and recognizing coatings is provided, comprising: acquiring a captured image and / or video of an article to which the source light is directed, including the reflection of the source light associated with each major surface of the product; calculating color coordinates for each of the reflections of the source light in the captured image and / or video; enabling, by at least one hardware processor, the detection and recognition of any coatings formed on the main surfaces of the product by comparing (a) the estimated color coordinates and / or changes between the calculated color coordinates with (b) information stored in the data warehouse, which includes records of known color coordinates and / or known changes between color coordinates for each of a plurality of different known coatings; as well as a response to the detection and recognition of one or more coatings by generating output data indicating the main surface (s) on which each mentioned detected and recognized coating is located, the identifier of each said detected and recognized coating, the probability associated with the detection and recognition of each mentioned detected and recognized coatings, as well as containing an indication of any likely uncovered surfaces. Similarly, in some example embodiments, it is also possible to use non-volatile computer-readable storage media that actually store instructions that, when executed by a hardware processor, perform such methods.
[0087] В то время как изобретение было описано в связи с тем, что в настоящее время рассматривается как наиболее практичный и предпочтительный вариант осуществления, следует понимать, что настоящее изобретение не должно быть ограничено раскрытым вариантом осуществления, но напротив, предназначено для того, чтобы покрыть различные модификации и эквивалентные компоновки, соответствующие духу и области охвата прилагаемой формулы изобретения.[0087] While the invention has been described in connection with what is currently regarded as the most practical and preferred embodiment, it should be understood that the present invention should not be limited to the disclosed embodiment, but rather is intended to cover various modifications and equivalent arrangements consistent with the spirit and scope of the appended claims.
Claims (58)
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2016138012A RU2718483C2 (en) | 2016-09-23 | 2016-09-23 | System and/or method of identifying coating for glass |
| US15/627,573 US10311563B2 (en) | 2016-09-23 | 2017-06-20 | Glass coating recognition system and/or method |
| EP17736767.9A EP3516586A1 (en) | 2016-09-23 | 2017-06-20 | Glass coating recognition system and method |
| PCT/IB2017/053661 WO2018055457A1 (en) | 2016-09-23 | 2017-06-20 | Glass coating recognition system and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2016138012A RU2718483C2 (en) | 2016-09-23 | 2016-09-23 | System and/or method of identifying coating for glass |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| RU2016138012A RU2016138012A (en) | 2018-03-27 |
| RU2016138012A3 RU2016138012A3 (en) | 2019-11-20 |
| RU2718483C2 true RU2718483C2 (en) | 2020-04-08 |
Family
ID=59295244
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2016138012A RU2718483C2 (en) | 2016-09-23 | 2016-09-23 | System and/or method of identifying coating for glass |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US10311563B2 (en) |
| EP (1) | EP3516586A1 (en) |
| RU (1) | RU2718483C2 (en) |
| WO (1) | WO2018055457A1 (en) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11423630B1 (en) | 2019-06-27 | 2022-08-23 | Amazon Technologies, Inc. | Three-dimensional body composition from two-dimensional images |
| US11002999B2 (en) * | 2019-07-01 | 2021-05-11 | Microsoft Technology Licensing, Llc | Automatic display adjustment based on viewing angle |
| US11232629B1 (en) | 2019-08-30 | 2022-01-25 | Amazon Technologies, Inc. | Two-dimensional image collection for three-dimensional body composition modeling |
| CN110738634B (en) * | 2019-09-10 | 2022-07-29 | 中国三峡建设管理有限公司 | Polyurethane coverage area detection method and device, computer equipment and storage medium |
| US11903730B1 (en) | 2019-09-25 | 2024-02-20 | Amazon Technologies, Inc. | Body fat measurements from a two-dimensional image |
| US11069131B2 (en) | 2019-09-26 | 2021-07-20 | Amazon Technologies, Inc. | Predictive personalized three-dimensional body models |
| CN113689387B (en) * | 2020-06-18 | 2024-02-09 | 河北晨虹油漆有限公司 | Coating detecting system based on big data |
| US11854146B1 (en) | 2021-06-25 | 2023-12-26 | Amazon Technologies, Inc. | Three-dimensional body composition from two-dimensional images of a portion of a body |
| US11887252B1 (en) | 2021-08-25 | 2024-01-30 | Amazon Technologies, Inc. | Body model composition update from two-dimensional face images |
| US11861860B2 (en) | 2021-09-29 | 2024-01-02 | Amazon Technologies, Inc. | Body dimensions from two-dimensional body images |
| CN117214187B (en) * | 2023-11-08 | 2024-02-02 | 宁波旗滨光伏科技有限公司 | Detection method and detection device |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020163640A1 (en) * | 2001-02-28 | 2002-11-07 | Yutaka Masuda | Method for quickly retrieving approximate color of metallic paint color |
| WO2004042336A1 (en) * | 2002-10-31 | 2004-05-21 | E.I Du Pont De Nemours And Company | Color selection method |
| US20040252308A1 (en) * | 2003-06-12 | 2004-12-16 | Arun Prakash | Method of characterization of surface coating containing metallic flakes and device used therein |
| US20070258093A1 (en) * | 2006-05-05 | 2007-11-08 | Afg Industries, Inc. | Apparatus and method for angular colorimetry |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1997000423A1 (en) * | 1995-06-14 | 1997-01-03 | Kirin Beer Kabushiki Kaisha | Apparatus and method for inspecting coating film |
| US7879448B2 (en) | 2000-07-11 | 2011-02-01 | Guardian Industires Corp. | Coated article with low-E coating including IR reflecting layer(s) and corresponding method |
| US6576349B2 (en) | 2000-07-10 | 2003-06-10 | Guardian Industries Corp. | Heat treatable low-E coated articles and methods of making same |
| EP1380553A1 (en) * | 2002-07-10 | 2004-01-14 | Glaverbel | Glazing panel |
| US7315642B2 (en) * | 2004-02-12 | 2008-01-01 | Applied Materials, Israel, Ltd. | System and method for measuring thin film thickness variations and for compensating for the variations |
| US7362450B2 (en) * | 2005-12-23 | 2008-04-22 | Xerox Corporation | Specular surface flaw detection |
| US8409717B2 (en) | 2008-04-21 | 2013-04-02 | Guardian Industries Corp. | Coated article with IR reflecting layer and method of making same |
| US8204294B2 (en) * | 2009-11-25 | 2012-06-19 | Toyota Motor Engineering & Manufacturing North America, Inc. | Systems and methods for detecting defects in coatings utilizing color-based thermal mismatch |
| US8610885B2 (en) * | 2010-06-17 | 2013-12-17 | Verizon Patent And Licensing Inc. | Coated optical-fiber bend-fatigue and reliability tester |
| US9134466B2 (en) | 2013-02-19 | 2015-09-15 | Guardian Do Brasil Vidros Planos Ltda. | Mirror having reflective layer of or including silicon aluminum |
| US9410359B2 (en) | 2013-03-14 | 2016-08-09 | Intermolecular, Inc. | Low-e panels and methods for forming the same |
| US8836922B1 (en) * | 2013-08-20 | 2014-09-16 | Google Inc. | Devices and methods for a rotating LIDAR platform with a shared transmit/receive path |
| US9864909B2 (en) | 2014-04-25 | 2018-01-09 | Huntington Ingalls Incorporated | System and method for using augmented reality display in surface treatment procedures |
-
2016
- 2016-09-23 RU RU2016138012A patent/RU2718483C2/en active
-
2017
- 2017-06-20 US US15/627,573 patent/US10311563B2/en active Active
- 2017-06-20 EP EP17736767.9A patent/EP3516586A1/en not_active Withdrawn
- 2017-06-20 WO PCT/IB2017/053661 patent/WO2018055457A1/en unknown
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020163640A1 (en) * | 2001-02-28 | 2002-11-07 | Yutaka Masuda | Method for quickly retrieving approximate color of metallic paint color |
| WO2004042336A1 (en) * | 2002-10-31 | 2004-05-21 | E.I Du Pont De Nemours And Company | Color selection method |
| US20040252308A1 (en) * | 2003-06-12 | 2004-12-16 | Arun Prakash | Method of characterization of surface coating containing metallic flakes and device used therein |
| US20070258093A1 (en) * | 2006-05-05 | 2007-11-08 | Afg Industries, Inc. | Apparatus and method for angular colorimetry |
Also Published As
| Publication number | Publication date |
|---|---|
| RU2016138012A (en) | 2018-03-27 |
| US10311563B2 (en) | 2019-06-04 |
| RU2016138012A3 (en) | 2019-11-20 |
| WO2018055457A1 (en) | 2018-03-29 |
| EP3516586A1 (en) | 2019-07-31 |
| US20180089821A1 (en) | 2018-03-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2718483C2 (en) | System and/or method of identifying coating for glass | |
| US9571757B2 (en) | Using infrared images of a monitored scene to identify windows | |
| US9454820B1 (en) | Using a scene illuminating infrared emitter array in a video monitoring camera for depth determination | |
| US9613423B2 (en) | Using a depth map of a monitored scene to identify floors, walls, and ceilings | |
| FR3050305A1 (en) | METHODS FOR DETERMINING AND CONTROLLING A CONTROL EQUIPMENT, DEVICE, USE AND SYSTEM IMPLEMENTING SAID METHODS | |
| US20160364966A1 (en) | Using Scene Information From a Security Camera to Reduce False Security Alerts | |
| US20140347492A1 (en) | Venue map generation and updating | |
| CN106295536B (en) | Self-adapting type iris identification device and the method for carrying out iris recognition using the device | |
| JP2007171033A (en) | Indirect measuring method and system of leaf area index | |
| EP3775810B1 (en) | Calibrated brightness estimation using ambient color sensors | |
| CN105898260A (en) | Method and device of adjusting camera white balance | |
| US20160364612A1 (en) | Using a Scene Illuminating Infrared Emitter Array in a Video Monitoring Camera to Estimate the Position of the Camera | |
| TW201909619A (en) | A mini thermography for enhance nir captures images | |
| CN112088294B (en) | Generating a single colorimetric value using multiple calibrated ambient color sensor measurements | |
| WO2023231443A1 (en) | Commercial lighting system based on aiot and sensor network and lighting method | |
| CN110031852A (en) | It is a kind of for detecting the method, apparatus and storage device of equipment of taking on the sly | |
| CN104573007B (en) | A kind of garment accessories searching system | |
| Ulbricht et al. | Verification of physically based rendering algorithms | |
| CN111397586B (en) | Measurement system and method for verifying pre-configured target attributes using the same | |
| CN116310678A (en) | Fire source identification and positioning method by combining solid-state laser radar with thermal imaging vision | |
| WO2019218685A1 (en) | Smart microwave oven having food material collection function | |
| Bellia et al. | Photometric characterisation of small sources with high dynamic range illuminance mapping | |
| WO2018028165A1 (en) | Terminal and manufacturing process thereof | |
| Ding et al. | Real-time robust direct and indirect photon separation with polarization imaging | |
| CN103579037A (en) | Thickness detection apparatus using digital optical technology and method using the same |