KR102642691B1 - apparatus for recognizing measurement value and correcting distortion of instrument panel image and camera - Google Patents
apparatus for recognizing measurement value and correcting distortion of instrument panel image and camera Download PDFInfo
- Publication number
- KR102642691B1 KR102642691B1 KR1020220110800A KR20220110800A KR102642691B1 KR 102642691 B1 KR102642691 B1 KR 102642691B1 KR 1020220110800 A KR1020220110800 A KR 1020220110800A KR 20220110800 A KR20220110800 A KR 20220110800A KR 102642691 B1 KR102642691 B1 KR 102642691B1
- Authority
- KR
- South Korea
- Prior art keywords
- instrument panel
- guideline
- image
- outline
- angle
- Prior art date
Links
- 238000005259 measurement Methods 0.000 title claims abstract description 84
- 238000012937 correction Methods 0.000 claims abstract description 43
- 238000007781 pre-processing Methods 0.000 claims abstract description 25
- 238000001514 detection method Methods 0.000 claims abstract description 4
- 238000003384 imaging method Methods 0.000 claims description 26
- 238000000605 extraction Methods 0.000 claims description 3
- 238000000034 method Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 11
- 230000014509 gene expression Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000009434 installation Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000008676 import Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
- G01D5/00—Mechanical means for transferring the output of a sensing member; Means for converting the output of a sensing member to another variable where the form or nature of the sensing member does not constrain the means for converting; Transducers not specially adapted for a specific variable
- G01D5/26—Mechanical means for transferring the output of a sensing member; Means for converting the output of a sensing member to another variable where the form or nature of the sensing member does not constrain the means for converting; Transducers not specially adapted for a specific variable characterised by optical transfer means, i.e. using infrared, visible, or ultraviolet light
- G01D5/262—Mechanical means for transferring the output of a sensing member; Means for converting the output of a sensing member to another variable where the form or nature of the sensing member does not constrain the means for converting; Transducers not specially adapted for a specific variable characterised by optical transfer means, i.e. using infrared, visible, or ultraviolet light with optical projection of a pointer or a scale
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
- G01D11/00—Component parts of measuring arrangements not specially adapted for a specific variable
- G01D11/30—Supports specially adapted for an instrument; Supports specially adapted for a set of instruments
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
- G01D5/00—Mechanical means for transferring the output of a sensing member; Means for converting the output of a sensing member to another variable where the form or nature of the sensing member does not constrain the means for converting; Transducers not specially adapted for a specific variable
- G01D5/26—Mechanical means for transferring the output of a sensing member; Means for converting the output of a sensing member to another variable where the form or nature of the sensing member does not constrain the means for converting; Transducers not specially adapted for a specific variable characterised by optical transfer means, i.e. using infrared, visible, or ultraviolet light
- G01D5/264—Mechanical constructional elements therefor ; Mechanical adjustment thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Geometry (AREA)
- Measurement Of Optical Distance (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
본 발명에 따른 계기판 이미지 기반 계측값 인식 장치는 계측 장치의 계기판을 촬영하는 계기판 촬영 장치에 의해 촬영된 계기판 이미지로부터 계측값을 인식하는 계기판 이미지 기반 계측값 인식 장치에 관한 것으로써, 상기 계기판 촬영 장치로부터 운전 중인 계측 장치의 상기 계기판이 촬영된 운전 계기판 이미지를 입력받는 입력부; 및 상기 운전 계기판 이미지의 왜곡을 보정하여 운전 계기판 보정 이미지를 생성하고, 상기 운전 계기판 보정 이미지에 대해 직선 검출을 위한 전처리를 수행하여 운전 계기판 전처리 이미지를 생성하고, 상기 운전 계기판 전처리 이미지로부터 복수의 직선을 검출하고, 복수의 직선 각각의 직선 길이, 직선 위치 및 직선 각도 중 하나 이상에 기초하여 복수의 직선 중에서 상기 계기판의 지침의 외곽에 대응되는 지침 외곽선을 선별하고, 상기 지침 외곽선의 지침 외곽선 각도에 기초하여 상기 지침이 가리키는 계측값을 산출하는 프로세서;를 포함할 수 있다.The instrument panel image-based measurement value recognition device according to the present invention relates to an instrument panel image-based measurement value recognition device that recognizes measured values from an instrument panel image captured by an instrument panel photographing device that photographs the instrument panel of a measuring device. an input unit that receives an image of a driving instrument panel from which the instrument panel of a driving measuring device is captured; and generating a driving instrument panel correction image by correcting distortion of the driving instrument panel image, performing preprocessing for straight line detection on the driving instrument panel correction image to generate a driving instrument panel preprocessing image, and generating a plurality of straight lines from the driving instrument panel preprocessing image. Detects, selects a guideline outline corresponding to the outline of the guideline of the instrument panel among the plurality of straight lines based on one or more of the straight line length, straight line position, and straight line angle of each of the plurality of straight lines, and determines the guideline outline angle of the guideline outline. It may include a processor that calculates the measured value indicated by the guideline based on the measured value indicated by the guideline.
Description
본 발명은 계기판 이미지 기반 계측값 인식 장치에 관한 것으로서, 더욱 상세하게는 계기판 촬영 장치로부터 촬영된 계기판 이미지에 기반하여 계측 장치로부터 계측된 계측값을 인식할 수 있는 계기판 이미지 기반 계측값 인식 장치에 관한 것이다.The present invention relates to a measurement value recognition device based on an instrument panel image, and more specifically, to a measurement value recognition device based on an instrument panel image capable of recognizing measurement values measured from a measurement device based on an image of the instrument panel taken from an instrument panel photographing device. will be.
특정 제품을 생산하는 공장은 최근 자동화 시스템에 의해 운영되고 있다. 이러한 공장의 자동화 시스템은 이전까지는 외부 네트워크와 연결되지 않고, 공장별 자동화 시스템 단위로 독립적인 네트워크를 구성하여 운영되는 폐쇄적인 형태였으나, 최근에는 이러한 공장 자동화 시스템을 외부 네트워크와 연결하여 제어하고, 생산 장치로부터 생산되는 데이터를 생산 및 관리에 재이용하려는 시도가 활발하게 이루어지고 있다.Factories that produce specific products have recently been operated by automated systems. Previously, the automation system of these factories was not connected to an external network and was operated by configuring an independent network for each factory automation system, but recently, these factory automation systems have been connected to an external network to control and produce There are active attempts to reuse data produced from devices for production and management.
이러한 공장 자동화 시스템의 각 장치들을 네트워크로 연결하려는 시도는 최근 사물인터넷(INTERNET OF THINGS)에 대한 관심의 증대와, 기술의 보편화에 따라 산업용 IoT(INDUSTRIAL IoT) 형태로 이용하려는 노력이 이루어지고 있다. 이러한 산업용 IoT는 단순히 공장의 생산 설비만을 네트워크화 하여 자동화 하는데 그치지 않고 공장 시스템의 세부적인 부분들까지 IoT에 참여시킴으로써, 자동제어, 각종관리가 이루어지도록 함과 아울러, 내외부의 다양한 데이터를 공장 운영에 이용하여 운영 효율을 크게 향상시키는 것이 가능하다.Attempts to connect each device of this factory automation system to a network are being made in the form of industrial IoT (INDUSTRIAL IoT) due to the recent increase in interest in the Internet of Things (INTERNET OF THINGS) and the generalization of technology. This industrial IoT does not just network and automate only factory production facilities, but also involves even detailed parts of the factory system in IoT, enabling automatic control and various management, as well as using various internal and external data for factory operation. It is possible to greatly improve operational efficiency.
특히, IoT를 적용하게 됨으로써 다양한 프로토콜의 다양한 장치를 시스템에 참여시킬 수 있게 되어 과거에 이용한 자동화 시스템에 비해 진보된 시스템의 구성이 가능하다.In particular, by applying IoT, various devices with various protocols can participate in the system, making it possible to configure an advanced system compared to the automation system used in the past.
대규모의 스마트 팩토리를 구성하는 개별 설비들은 상호 유기적인 연계 작용을 한다. 예를 들어 전처리 설비에서 전처리된 제품은 제조 공정상 다음 처리 설비로 이송 로봇을 이용하여 이송된다. 이와 같은 설비들의 연계 구조에서 하나의 설비에 고장이 발생하는 경우, 그 고장난 설비를 포함하는 제조라인을 모두 정지시켜야 하기 때문에 설비에 대한 고장 예측은 스마트 팩토리의 운영에서 매우 중요하다.The individual facilities that make up a large-scale smart factory interact organically with each other. For example, products pretreated in a pretreatment facility are transferred to the next processing facility during the manufacturing process using a transfer robot. In this connection structure of facilities, if a failure occurs in one facility, the entire manufacturing line including the failed facility must be stopped, so predicting facility failure is very important in the operation of a smart factory.
뿐만 아니라, 다양한 계측 장치로부터 계측되는 계측값을 신속하고 정확하게 수집하여 활용하고, 수집된 계측값을 바탕으로 스마트 팩토리의 운영을 제어하고 각 상황별 대처를 수행하는 것 또한 매우 중요하다.In addition, it is also very important to quickly and accurately collect and utilize measurement values from various measuring devices, control the operation of the smart factory based on the collected measurement values, and take action for each situation.
이때, 고장을 예측하거나 스마트 팩토리의 상태를 파악하는데 사용되는 계측값을 획득하기 위해서 다수의 센서를 스마트 팩토리에 장착하고 그 신호를 주기적으로 수신해야 하는 만큼 스마트 팩토리의 구축 비용이 많이 소요되는 문제점이 예측된다.At this time, in order to obtain measurement values used to predict failure or determine the status of the smart factory, a large number of sensors must be installed in the smart factory and the signals must be received periodically, so the cost of building a smart factory is high. It is predicted.
본 발명의 목적은, 계기판에 근접한 거리에 기울어져서 계기판에 설치된 계기판 촬영 장치에 의해 촬영된 계기판 이미지의 왜곡을 보정하고, 보정된 계기판 이미지로부터 계측 장치의 계측값을 인식할 수 있는 계기판 이미지 기반 계측값 인식 장치를 제공함에 있다.The purpose of the present invention is to correct the distortion of the instrument panel image captured by an instrument panel imaging device installed on the instrument panel at an angle close to the instrument panel, and to provide instrument panel image-based measurement that can recognize the measured value of the measurement device from the corrected instrument panel image. To provide a value recognition device.
또한, 본 발명의 목적은, 계기판 이미지로부터 검출된 직선 중에서 지침 외곽에 대응되는 지침 외곽선을 선별하고, 지침 외곽선으로부터 지침 중심선의 각도를 획득하여 지침이 나타내는 계측값을 산출할 수 있는 계기판 이미지 기반 계측값 인식 장치를 제공함에 있다.In addition, the purpose of the present invention is to select a guideline outline corresponding to the guideline outline among the straight lines detected from the dashboard image, obtain the angle of the guideline center line from the guideline outline, and calculate the measurement value indicated by the guideline. To provide a value recognition device.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.The objects of the present invention are not limited to the objects mentioned above, and other objects and advantages of the present invention that are not mentioned can be understood by the following description and will be more clearly understood by the examples of the present invention. Additionally, it will be readily apparent that the objects and advantages of the present invention can be realized by the means and combinations thereof indicated in the patent claims.
본 발명에 따른 계기판 이미지 기반 계측값 인식 장치는 계측 장치의 계기판을 촬영하는 계기판 촬영 장치에 의해 촬영된 계기판 이미지로부터 계측값을 인식하는 계기판 이미지 기반 계측값 인식 장치에 관한 것으로써, 상기 계기판 촬영 장치로부터 운전 중인 계측 장치의 상기 계기판이 촬영된 운전 계기판 이미지를 입력받는 입력부; 및 상기 운전 계기판 이미지의 왜곡을 보정하여 운전 계기판 보정 이미지를 생성하고, 상기 운전 계기판 보정 이미지에 대해 직선 검출을 위한 전처리를 수행하여 운전 계기판 전처리 이미지를 생성하고, 상기 운전 계기판 전처리 이미지로부터 복수의 직선을 검출하고, 복수의 직선 각각의 직선 길이, 직선 위치 및 직선 각도 중 하나 이상에 기초하여 복수의 직선 중에서 상기 계기판의 지침의 외곽에 대응되는 지침 외곽선을 선별하고, 상기 지침 외곽선의 지침 외곽선 각도에 기초하여 상기 지침이 가리키는 계측값을 산출하는 프로세서;를 포함할 수 있다.The instrument panel image-based measurement value recognition device according to the present invention relates to an instrument panel image-based measurement value recognition device that recognizes measured values from an instrument panel image captured by an instrument panel photographing device that photographs the instrument panel of a measuring device. an input unit that receives an image of a driving instrument panel from which the instrument panel of a driving measuring device is captured; and generating a driving instrument panel correction image by correcting distortion of the driving instrument panel image, performing preprocessing for straight line detection on the driving instrument panel correction image to generate a driving instrument panel preprocessing image, and generating a plurality of straight lines from the driving instrument panel preprocessing image. Detects, selects a guideline outline corresponding to the outline of the guideline of the instrument panel among the plurality of straight lines based on one or more of the straight line length, straight line position, and straight line angle of each of the plurality of straight lines, and determines the guideline outline angle of the guideline outline. It may include a processor that calculates the measured value indicated by the guideline based on the measured value indicated by the guideline.
바람직하게, 상기 프로세서는 상기 운전 계기판 이미지의 원근 왜곡 및 계기판 촬영 장치 왜곡 중 하나 이상을 보정하여 상기 운전 계기판 보정 이미지를 생성할 수 있다.Preferably, the processor may generate the driver instrument panel correction image by correcting one or more of perspective distortion and instrument panel imaging device distortion of the driver instrument panel image.
바람직하게, 상기 프로세서는 상기 운전 계기판 보정 이미지에서 관심 영역만을 추출하는 관심 영역 추출 및 상기 운전 계기판 보정 이미지의 색상 정보를 이진화시키는 색상 이진화 중 하나 이상을 수행하여 상기 운전 계기판 보정 이미지를 상기 운전 계기판 전처리 이미지로 생성할 수 있다.Preferably, the processor performs one or more of region-of-interest extraction to extract only the region of interest from the dashboard correction image and color binarization to binarize the color information of the dashboard correction image to pre-process the instrument panel correction image. It can be created as an image.
바람직하게, 상기 프로세서는 상기 복수의 직선 중에서 상기 직선 길이가 기준 직선 길이 미만인 직선을 삭제할 수 있다.Preferably, the processor may delete a straight line whose straight line length is less than the reference straight line length among the plurality of straight lines.
바람직하게, 상기 프로세서는 상기 지침의 회전 중심으로부터 제1 반경 미만인 영역을 제1 영역으로 설정하고, 상기 지침의 회전 중심으로부터 제1 반경 이상 및 제2 반경 미만인 영역을 제2 영역으로 설정하고, 상기 복수의 직선 중에서 시작점과 종료점이 상기 제1 영역 및 제2 영역에 포함되지 않는 직선을 삭제할 수 있다.Preferably, the processor sets an area less than a first radius from the rotation center of the pointer as a first area, and sets an area more than a first radius and less than a second radius from the rotation center of the pointer as a second area, Among the plurality of straight lines, straight lines whose starting and ending points are not included in the first and second areas may be deleted.
바람직하게, 상기 프로세서는 상기 복수의 직선 중에서 시작점과 종료점이 상기 제1 영역에 포함되는 직선을 삭제할 수 있다.Preferably, the processor may delete a straight line whose start and end points are included in the first area among the plurality of straight lines.
바람직하게, 상기 프로세서는 삭제되지 않은 복수의 직선 중에서 상기 제1 영역에 중첩되는 직선을 제1 직선 그룹으로 그룹핑하고, 상기 복수의 직선 중에서 상기 제2 영역에 중첩되는 직선을 제2 직선 그룹으로 그룹핑하고, 상기 제1 직선 그룹에 포함된 직선 각각과 상기 제2 직선 그룹에 포함된 직선 각각의 직선 각도 간의 직선 각도차가 기준 각도차 범위 내에 포함되면 해당 직선을 상기 지침 외곽선으로 선별할 수 있다.Preferably, the processor groups straight lines overlapping the first area among a plurality of straight lines that have not been deleted into a first straight line group, and groups straight lines overlapping in the second area among the plurality of straight lines into a second straight line group. And, if the straight line angle difference between the straight line angles of each straight line included in the first straight line group and the straight line angle included in the second straight line group is within the reference angle difference range, the corresponding straight line can be selected as the guideline outline.
바람직하게, 상기 프로세서는 상기 지침 외곽선 각각의 지침 외곽선 각도에 기초하여 상기 지침 외곽선을 제1 지침 외곽선 그룹 및 제2 지침 외곽선 그룹으로 분류하고, 상기 제1 지침 외곽선 그룹에 포함된 지침 외곽선의 제1 지침 외곽선 각도와 상기 제2 지침 외곽선 그룹에 포함된 지침 외곽선의 제2 지침 외곽선 각도에 기초하여 지침 중심선 각도를 산출하고, 상기 지침 중심선 각도, 상기 계측 장치의 최소 계측값 지침 각도, 최대 계측값 지침 각도, 최소 계측값 및 최대 계측값에 기초하여 상기 지침이 가리키는 상기 계측값을 산출할 수 있다.Preferably, the processor classifies the guideline outlines into a first guideline outline group and a second guideline outline group based on the guideline outline angle of each of the guideline outlines, and the first guideline outline included in the first guideline outline group is Calculate a guideline center line angle based on the guideline outline angle and the second guideline outline angle of the guideline outline included in the second guideline outline group, and the guideline center line angle, the minimum measured value guideline angle of the measuring device, and the maximum measured value guideline. The measured value indicated by the guideline can be calculated based on the angle, minimum measured value, and maximum measured value.
본 발명에 따른 계기판 이미지 기반 계측값 인식 장치는, 왜곡이 보정된 계기판 이미지에 두 영역을 설정하고, 직선 각도를 이용하여 두 영역의 직선 중에서 지침 외곽선을 선별 후 지침 중심선의 각도를 획득함으로써, 계측 장치의 계측값을 정확하게 인식할 수 있다.The instrument panel image-based measurement value recognition device according to the present invention sets two areas in the distortion-corrected instrument panel image, selects the guide outline from the straight lines of the two areas using the straight angle, and then obtains the angle of the guide center line, and performs measurement. The measured values of the device can be accurately recognized.
도 1은 본 발명의 일 실시 예에 따른 계기판 이미지 기반 계측값 인식 장치와 계측 장치의 계기판, 계기판 촬영 장치 및 서버를 도시한 도면이다.
도 2는 본 발명의 일 실시 예에 따른 계기판 이미지 기반 계측값 인식 장치와 연결되는 계기판 촬영 장치의 분해 사시도이다.
도 3은 본 발명의 일 실시 예에 따른 계기판 이미지 기반 계측값 인식 장치의 구성 블록도이다.
도 4는 본 발명의 일 실시 예에 따른 계기판 이미지 기반 계측값 인식 장치에서 이용되는 캘리브레이션용 계기판 이미지이다.
도 5는 본 발명의 일 실시 예에 따른 계기판 이미지 기반 계측값 인식 장치에서 이용되는 회전된 캘리브레이션용 계기판 이미지이다.
도 6은 본 발명의 일 실시 예에 따른 계기판 이미지 기반 계측값 인식 장치에서 이용되는 캘리브레이션용 계기판 보정 이미지이다.
도 7은 본 발명의 일 실시 예에 따른 계기판 이미지 기반 계측값 인식 장치에서 이용되는 캘리브레이션용 계기판 전처리 이미지이다.
도 8은 본 발명의 일 실시 예에 따른 계기판 이미지 기반 계측값 인식 장치에서 이용되는 운전 계기판 이미지이다.
도 9는 본 발명의 일 실시 예에 따른 계기판 이미지 기반 계측값 인식 장치에서 이용되는 회전된 운전 계기판 이미지이다.
도 10은 본 발명의 일 실시 예에 따른 계기판 이미지 기반 계측값 인식 장치에서 이용되는 운전 계기판 보정 이미지이다.
도 11은 본 발명의 일 실시 예에 따른 계기판 이미지 기반 계측값 인식 장치에서 이용되는 운전 계기판 전처리 이미지이다.
도 12는 본 발명의 일 실시 예에 따른 계기판 이미지 기반 계측값 인식 장치에 의해 운전 계기판 전처리 이미지로부터 검출된 복수의 직선을 도시한 도면이다.
도 13 및 도 14는 본 발명의 일 실시 예에 따른 계기판 이미지 기반 계측값 인식 장치가 복수의 직선 중에서 지침 외곽선을 선별하는 과정을 설명하기 위한 도면이다.
도 15는 본 발명의 일 실시 예에 따른 계기판 이미지 기반 계측값 인식 장치가 지침이 가리키는 계측값을 산출하는 과정을 설명하기 위한 도면이다.Figure 1 is a diagram illustrating a dashboard image-based measurement value recognition device and a dashboard of the measurement device, a dashboard imaging device, and a server according to an embodiment of the present invention.
Figure 2 is an exploded perspective view of a dashboard imaging device connected to a dashboard image-based measurement value recognition device according to an embodiment of the present invention.
Figure 3 is a block diagram of the instrument panel image-based measurement value recognition device according to an embodiment of the present invention.
Figure 4 is an image of an instrument panel for calibration used in an instrument panel image-based measurement value recognition device according to an embodiment of the present invention.
Figure 5 is a rotated instrument panel image for calibration used in an instrument panel image-based measurement value recognition device according to an embodiment of the present invention.
Figure 6 is a correction image of the instrument panel for calibration used in the instrument panel image-based measurement value recognition device according to an embodiment of the present invention.
Figure 7 is a pre-processing image of the instrument panel for calibration used in the instrument panel image-based measurement value recognition device according to an embodiment of the present invention.
Figure 8 is an image of a driving instrument panel used in an instrument panel image-based measurement value recognition device according to an embodiment of the present invention.
Figure 9 is a rotated driving instrument panel image used in an instrument panel image-based measurement value recognition device according to an embodiment of the present invention.
Figure 10 is a correction image of the driving instrument panel used in the instrument panel image-based measurement value recognition device according to an embodiment of the present invention.
Figure 11 is a pre-processing image of the driving instrument panel used in the instrument panel image-based measurement value recognition device according to an embodiment of the present invention.
FIG. 12 is a diagram illustrating a plurality of straight lines detected from a pre-processed image of a driving instrument panel by an instrument panel image-based measurement value recognition device according to an embodiment of the present invention.
Figures 13 and 14 are diagrams for explaining a process in which the instrument panel image-based measurement value recognition device selects a guideline outline from a plurality of straight lines according to an embodiment of the present invention.
FIG. 15 is a diagram illustrating a process in which the instrument panel image-based measurement value recognition device calculates the measurement value indicated by the pointer according to an embodiment of the present invention.
이하, 본 발명의 다양한 실시 예가 첨부된 도면을 참조하여 기재된다. 그러나, 이는 본 발명을 특정한 실시 형 태에 대해 한정하려는 것이 아니며, 본 발명의 실시 예의 다양한 변경(modification), 균등물(equivalent), 및/또는 대체물(alternative)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대 해서는 유사한 참조 부호가 사용될 수 있다. Hereinafter, various embodiments of the present invention are described with reference to the accompanying drawings. However, this is not intended to limit the present invention to specific embodiments, and should be understood to include various modifications, equivalents, and/or alternatives to the embodiments of the present invention. In connection with the description of the drawings, similar reference signs may be used for similar components.
본 문서에서, "가진다", "가질 수 있다", "포함한다", 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 작동, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다. In this document, expressions such as “have,” “may have,” “includes,” or “may include” refer to the presence of the corresponding feature (e.g., numerical value, function, operation, or component such as a part). , and does not rule out the existence of additional features.
본 문서에서, "A 또는 B", "A 또는/및 B 중 적어도 하나", 또는 "A 또는/및 B 중 하나 또는 그 이상" 등의 표현 은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B", "A 및 B 중 적어도 하나", 또는 "A 또는 B 중 적어도 하나"는 (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다. In this document, expressions such as “A or B,” “at least one of A or/and B,” or “one or more of A or/and B” may include all possible combinations of the items listed together. . For example, “A or B,” “at least one of A and B,” or “at least one of A or B” (1) includes at least one A, (2) includes at least one B, or (3) It can refer to all cases including both at least one A and at least one B.
본 문서에서 사용된 "제1", "제2", "첫째", 또는 "둘째" 등의 표현들은 다양한 구성요소들을, 순서 및/또는 중 요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 예를 들면, 제1 사용자 기기와 제2 사용자 기기는 순서 또는 중요도와 무관하게, 서로 다른 사용자 기기를 나타낼 수 있다. 예를 들면, 본 문서에 기재된 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 바꾸어 명명될 수 있다.As used herein, expressions such as "first", "second", "first", or "second" may modify various elements in any order and/or importance, and may refer to one element. It is only used to distinguish from other components and does not limit the components. For example, a first user device and a second user device may represent different user devices regardless of order or importance. For example, a first component may be renamed a second component without departing from the scope of rights described in this document, and similarly, the second component may also be renamed to the first component.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제1 구성요소)가 다른 구성 요소(예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제3 구성요소)가 존재하지 않는 것으로 이해될 수 있다. A component (e.g., a first component) is “(operatively or communicatively) coupled with/to” another component (e.g., a second component). When “connected to” is mentioned, it should be understood that any component may be directly connected to the other component or may be connected through another component (e.g., a third component). On the other hand, when a component (e.g., a first component) is referred to as being “directly connected” or “directly connected” to another component (e.g., a second component), it is said that the component and the other component are It may be understood that no other components (e.g., third components) exist between components.
본 문서에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합 한(suitable for)", "~하는 능력을 가지는(having the capacity to)", "~하도록 설계된(designed to)", "~하도록 변경된(adapted to)", "~하도록 만들어진(made to)", 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성(또는 설정)된"은 하드웨어적으로 "특별히 설계된(specifically designed to)"것 만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성 (또는 설정)된 제어부"는 해당 작동을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 작동들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다. The expression "configured to" used in this document may be used depending on the context, for example, "suitable for," "having the capacity to." )", "designed to", "adapted to", "made to", or "capable of". . The term “configured (or set) to” may not necessarily mean “specifically designed to” in hardware. Instead, in some contexts, the expression “a device configured to” may mean that the device is “capable of” working with other devices or components. For example, the phrase "control configured (or set) to perform operations A, B, and C" means that a dedicated processor (e.g., an embedded processor) to perform those operations, or by executing one or more software programs stored in memory, , may refer to a general-purpose processor (e.g., CPU or application processor) capable of performing the corresponding operations.
특히, 본 명세서에서, “~장치”는 중앙처리장치(Central Processing Unit (CPU)), 애플리케이션 프로세서(Application Processor (AP)) 및 커뮤니케이션 프로세서(Communication Processor (CP)) 중 하나 이상을 포함할 수 있다. In particular, in this specification, “~device” may include one or more of a central processing unit (CPU), an application processor (AP), and a communication processor (CP). .
본 명세서에서, “~장치”는 적어도 하나의 프로세서를 포함하는 모든 종류의 하드웨어 장치를 의미하는 것이고, 실시 예에 따라 해당 하드웨어 장치에서 작동하는 소프트웨어적 구성도 포괄하는 의미로서 이해될 수 있다. 예를 들어, “~장치”는 기계 구동 장치, 스마트폰, 태블릿 PC, 데스크톱, 노트북 및 각 장치에서 구동되는 사용자 클라이언트 및 애플리케이션을 모두 포함하는 의미로서 이해될 수 있으며, 또한 이에 제한되는 것은 아니다.In this specification, “~device” refers to all types of hardware devices including at least one processor, and depending on the embodiment, it may be understood as encompassing software configurations operating on the hardware device. For example, “~device” can be understood as including, but is not limited to, a mechanical drive device, smartphone, tablet PC, desktop, laptop, and user clients and applications running on each device.
본 문서에서 사용된 용어들은 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 다른 실시 예의 범위를 한 정하려는 의도가 아닐 수 있다. 단수의 표현은 컨텍스트 상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 문서에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 문서에 사용된 용어들 중 일반적인 사전에 정의된 용어들은 관련 기술의 컨텍스트 상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 문서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 문서에서 정의된 용어일지라도 본 문서의 실시 예들을 배제하도록 해석될 수 없다. Terms used in this document are merely used to describe specific embodiments and may not be intended to limit the scope of other embodiments. Singular expressions may include plural expressions, unless the context clearly indicates otherwise. Terms used herein, including technical or scientific terms, may have the same meaning as commonly understood by a person of ordinary skill in the technical field described in this document. Among the terms used in this document, terms defined in general dictionaries may be interpreted to have the same or similar meaning as the meaning they have in the context of related technology, and unless clearly defined in this document, they may be interpreted in an ideal or excessively formal sense. It is not interpreted. In some cases, even terms defined in this document cannot be interpreted to exclude embodiments of this document.
도 1은 본 발명의 일 실시 예에 따른 계기판 이미지 기반 계측값 인식 장치와 계측 장치의 계기판, 계기판 촬영 장치 및 서버를 도시한 도면이고, 도 2는 본 발명의 일 실시 예에 따른 계기판 이미지 기반 계측값 인식 장치와 연결되는 계기판 촬영 장치의 분해 사시도이다.1 is a diagram illustrating a dashboard image-based measurement value recognition device and a dashboard of the measurement device, a dashboard imaging device, and a server according to an embodiment of the present invention, and FIG. 2 is a diagram showing a dashboard image-based measurement according to an embodiment of the present invention. This is an exploded perspective view of the instrument panel imaging device connected to the value recognition device.
도 1 및 도 2를 참조하면, 본 발명의 일 실시 예에 따른 계기판 이미지 기반 계측값 인식 장치(100)는 계기판 촬영 장치(200)로부터 촬영된 계기판 이미지를 입력받아, 계측 장치(M)의 지침(N)이 가리키는 계측값을 산출할 수 있다.Referring to FIGS. 1 and 2 , the instrument panel image-based measurement value recognition device 100 according to an embodiment of the present invention receives the instrument panel image captured from the instrument panel photographing device 200 and determines the instructions of the measurement device (M). The measured value indicated by (N) can be calculated.
여기서, 계측 장치(M)는 계측된 계측값을 아날로그 방식으로만 나타냄으로써 계측값을 통신 등으로 출력할 수 없는 장치일 수 있다.Here, the measuring device M may be a device that displays measured values only in an analog manner and cannot output the measured values through communication or the like.
예를 들어, 계측 장치(M)는 압력, 유량, 전력, 전압, 전류 등을 계측하고, 이러한 계측을 통해 획득된 계측값을 계측 바늘 또는 게이지로 구성된 계기판(P) 나타내는 장치일 수 있다.For example, the measuring device M may be a device that measures pressure, flow rate, power, voltage, current, etc., and displays the measured values obtained through these measurements on a dashboard P composed of a measuring needle or gauge.
한편, 계측 장치(M)는 형상이 소정의 두께가 있는 원형으로 형성될 수도 있으나 계측값을 나타내는 한 그 형상은 제한되지 않음을 유의한다.Meanwhile, note that the measuring device M may be circular in shape with a predetermined thickness, but its shape is not limited as long as it represents measured values.
여기서, 계기판 촬영 장치(200)는 계측 장치(M)에 근접하여 배치되어 계측 장치(M)의 계기판(P)을 촬영하고, 촬영된 계기판 이미지를 계기판 이미지 기반 계측값 인식 장치(100)로 출력할 수 있다.Here, the instrument panel photographing device 200 is disposed close to the measurement device M, photographs the instrument panel P of the measurement device M, and outputs the captured instrument panel image to the instrument panel image-based measurement value recognition device 100. can do.
계기판 촬영 장치(200)는 하우징부(210), 브라켓부(220) 및 카메라 모듈(230)을 포함할 수 있다.The instrument panel photographing device 200 may include a housing portion 210, a bracket portion 220, and a camera module 230.
하우징부(210)는 계기판(P)을 촬영하는 카메라 모듈(230)을 수납하며, 브라켓부(220)는 일측이 하우징부(210)와 결합되고, 타측이 계측 장치(M)의 일측에 체결되어 카메라 모듈(230)의 촬영 방향이 계기판(P)을 향하도록 하우징부(210)를 계측 장치(M)에 장착시킬 수 있다.The housing portion 210 houses a camera module 230 that photographs the instrument panel (P), and one side of the bracket portion 220 is coupled to the housing portion 210 and the other side is fastened to one side of the measuring device (M). Thus, the housing portion 210 can be mounted on the measurement device (M) so that the shooting direction of the camera module 230 is toward the instrument panel (P).
이때, 브라켓부(220)는 제1 플레이트(221), 제2 플레이트(222)를 포함하고, 제1 플레이트(221)는 제1 하부면이 계측 장치(M)의 일측에 접하며, 제2 플레이트(222)는 타단이 제1 플레이트(221)의 일단과 연결되며, 제2 하부면이 하우징부(210)의 타측면과 접하여 결합될 수 있다.At this time, the bracket portion 220 includes a first plate 221 and a second plate 222, and the first lower surface of the first plate 221 is in contact with one side of the measuring device M, and the second plate 221 The other end of 222 is connected to one end of the first plate 221, and the second lower surface is in contact with the other side of the housing portion 210.
구체적으로, 제2 플레이트(222)는 카메라 모듈(230)의 촬영 방향이 계기판(P)의 중앙 영역을 향하도록 제2 하부면이 제1 플레이트(221)의 제1 하부면과 소정의 연결 각도를 형성하여 연결될 수 있다.Specifically, the second plate 222 has a second lower surface at a predetermined connection angle with the first lower surface of the first plate 221 so that the shooting direction of the camera module 230 is toward the central area of the instrument panel (P). It can be connected to form a .
즉, 제2 플레이트(222)와 제1 플레이트(221)는 연결 각도를 이루어 연결될 수 있다. 여기서, 연결 각도는 카메라 모듈(230)의 촬영 방향에 대응하여 미리 정해진 각도일 수 있다.That is, the second plate 222 and the first plate 221 may be connected at a connection angle. Here, the connection angle may be a predetermined angle corresponding to the shooting direction of the camera module 230.
또한, 제2 플레이트(222)와 제1 플레이트(221)가 이루는 연결 각도는 내각을 의미할 수 있으며, 계기판(P)의 전면에 수직한 공간 상에 제2 플레이트(222) 및 제2 플레이트(222)와 결합된 하우징부(210)가 배치되지 않도록 하는 각도일 수 있다.In addition, the connection angle formed by the second plate 222 and the first plate 221 may mean an internal angle, and the second plate 222 and the second plate ( The angle may be such that the housing portion 210 coupled with 222) is not disposed.
즉, 제2 플레이트(222)는 제1 플레이트(221)의 반대쪽에 위치하는 일단이 계기판(P)과 멀어지도록 제1 플레이트(221)과 연결 각도를 이루어 연결될 수 있다.That is, the second plate 222 may be connected to the first plate 221 at a connection angle such that one end located on the opposite side of the first plate 221 is away from the instrument panel P.
상술된 계기판 촬영 장치(200)는 구조, 제2 플레이트(222)와 제1 플레이트(221)가 이루는 연결 각도 및 계측 장치(M)에 설치되는 위치로 인해서, 왜곡된 계기판 이미지를 생성할 수 있다.The instrument panel imaging device 200 described above may generate a distorted instrument panel image due to its structure, the connection angle formed by the second plate 222 and the first plate 221, and the location where it is installed in the measurement device M. .
구체적으로, 계기판(P)의 전면에 수직한 방향에서 즉, 계기판(P)의 정면에서 촬영된 계기판 이미지 대비, 계기판 촬영 장치(200)에 의해 촬영된 계기판 이미지는 계기판(P)에 근접한 거리에서 기울어져 촬영되어 생성됨으로써, 원근 왜곡 및 계기판 촬영 장치 왜곡이 발생될 수 있다.Specifically, compared to the instrument panel image taken in the direction perpendicular to the front of the instrument panel (P), that is, from the front of the instrument panel (P), the instrument panel image taken by the instrument panel imaging device 200 is taken at a distance close to the instrument panel (P). By being photographed and created at an angle, perspective distortion and instrument panel imaging device distortion may occur.
여기서, 계기판 촬영 장치 왜곡은 계기판 촬영 장치(200)의 광학 구조로 인해 발생하는 왜곡으로써, 계기판 촬영 장치(200)의 카메라 모듈(230)에 구비된 어안 렌즈에 의해 발생하는 어안 렌즈 왜곡 및 계기판 촬영 장치(200)의 렌즈와 이미지 센서가 비틀어져 배치되어 발생되는 왜곡을 포함할 수 있다.Here, the instrument panel photographing device distortion is a distortion caused by the optical structure of the instrument panel photographing device 200, and the fisheye lens distortion and instrument panel photography caused by the fisheye lens provided in the camera module 230 of the instrument panel photographing device 200 This may include distortion caused by the lens and image sensor of the device 200 being twisted and arranged.
또한, 계기판 촬영 장치(200)는 계기판(P)을 회전된 각도로 촬영됨으로써, 계기판 관찰 각도 대비 회전된 각도로 촬영된 계기판 이미지를 생성할 수 있다.Additionally, the instrument panel imaging device 200 can capture the instrument panel P at a rotated angle, thereby generating an image of the instrument panel captured at a rotated angle relative to the instrument panel observation angle.
이에 따라, 본 발명의 일 실시 예에 따른 계기판 이미지 기반 계측값 인식 장치(100)는 계기판 촬영 장치(200)의 구조, 제2 플레이트(222)와 제1 플레이트(221)가 이루는 연결 각도 및 계측 장치(M)에 설치되는 위치를 고려하여 캘리브레이션을 수행하고, 계기판 이미지에 대해 회전, 왜곡 보정 및 전처리를 수행하며, 계기판 이미지로부터 직선을 검출 후 지침 외곽선을 선별하고, 지침 외곽선의 지침 외곽선 각도에 기초하여 계기판의 지침이 기리키는 계측값을 산출할 수 있다.Accordingly, the instrument panel image-based measurement value recognition device 100 according to an embodiment of the present invention measures the structure of the instrument panel imaging device 200, the connection angle formed by the second plate 222 and the first plate 221, and the measurement value. Calibration is performed considering the location where it is installed in the device (M), rotation, distortion correction and preprocessing are performed on the instrument panel image, a guideline outline is selected after detecting a straight line from the instrument panel image, and the guideline outline angle of the guideline outline is adjusted. Based on this, the measured value indicated by the instrument panel's instructions can be calculated.
이하, 상술된 본 발명의 일 실시 예에 따른 계기판 이미지 기반 계측값 인식 장치(100)의 기능을 구체적으로 설명하도록 한다.Hereinafter, the function of the instrument panel image-based measurement value recognition device 100 according to an embodiment of the present invention described above will be described in detail.
도 3은 본 발명의 일 실시 예에 따른 계기판 이미지 기반 계측값 인식 장치의 구성 블록도이다.Figure 3 is a block diagram of the instrument panel image-based measurement value recognition device according to an embodiment of the present invention.
도 3을 참조하면, 본 발명의 일 실시 예에 따른 계기판 이미지 기반 계측값 인식 장치(100)는 입력부(110), 프로세서(120), 통신부(130) 및 저장부(140)를 포함할 수 있다.Referring to FIG. 3, the instrument panel image-based measurement value recognition device 100 according to an embodiment of the present invention may include an input unit 110, a processor 120, a communication unit 130, and a storage unit 140. .
입력부(110)는 계기판 촬영 장치(200)로부터 촬영된 이미지를 입력받을 수 있다.The input unit 110 may receive an image captured from the instrument panel photographing device 200.
이때, 입력부(110)는 계기판 촬영 장치(200)의 초점 거리를 맞추고, 왜곡 보정 계수를 획득하는데 이용되는 캘리브레이션용 체스판 이미지를 계기판 촬영 장치(200)로부터 입력받을 수 있다.At this time, the input unit 110 may receive a calibration chessboard image from the instrument panel photographing device 200, which is used to set the focal length of the instrument panel photographing device 200 and obtain a distortion correction coefficient.
프로세서(120)는 상술된 캘리브레이션용 체스판 이미지를 이용하여 왜곡 보정 계수를 획득할 수 있다.The processor 120 may obtain a distortion correction coefficient using the above-described chessboard image for calibration.
여기서, 왜곡 보정 계수는 계기판 촬영 장치(200)의 광학 구조로 인해 발생하는 왜곡을 보정하는데 이용되는 계수일 수 있으며, 프로세서(120)는 “Open CV” 프로그래밍 라이브러리에서 실행되는 함수 및 코드로 구성된 하기의 왜곡 보정 계수 획득 프로그램에 캘리브레이션용 체스판 이미지를 입력하여 왜곡 보정 계수(k1,k2,p1,p2)를 획득할 수 있다.Here, the distortion correction coefficient may be a coefficient used to correct distortion caused by the optical structure of the dashboard imaging device 200, and the processor 120 is composed of functions and codes executed in the “Open CV” programming library. You can obtain the distortion correction coefficients (k1, k2, p1, p2) by inputting the chessboard image for calibration into the distortion correction coefficient acquisition program.
<왜곡 보정 계수 획득 프로그램><Distortion correction coefficient acquisition program>
import numpy as npimport numpy as np
import cv2 as cvimport cv2 as cv
import globimport glob
# termination criteria# termination criteria
criteria = (cv.TERM_CRITERIA_EPS + cv.TERM_CRITERIA_MAX_ITER, 30, 0.001)criteria = (cv.TERM_CRITERIA_EPS + cv.TERM_CRITERIA_MAX_ITER, 30, 0.001)
# prepare object points, like (0,0,0), (1,0,0), (2,0,0) ....,(6,5,0)# prepare object points, like (0,0,0), (1,0,0), (2,0,0) ....,(6,5,0)
objp = np.zeros((6*7,3), np.float32)objp = np.zeros((6*7,3), np.float32)
objp[:,:2] = np.mgrid[0:7,0:6].T.reshape(-1,2)objp[:,:2] = np.mgrid[0:7,0:6].T.reshape(-1,2)
# Arrays to store object points and image points from all the images.# Arrays to store object points and image points from all the images.
objpoints = [] # 3d point in real world spaceobjpoints = [] # 3d point in real world space
imgpoints = [] # 2d points in image plane.imgpoints = [] # 2d points in image plane.
images = glob.glob('*.jpg')images = glob.glob('*.jpg')
for fname in images:for fname in images:
img = cv.imread(fname)img = cv.imread(fname)
gray = cv.cvtColor(img, cv.COLOR_BGR2GRAY)gray = cv.cvtColor(img, cv.COLOR_BGR2GRAY)
# Find the chess board corners# Find the chess board corners
ret, corners = cv.findChessboardCorners(gray, (7,6), None)ret, corners = cv.findChessboardCorners(gray, (7,6), None)
# If found, add object points, image points (after refining them)# If found, add object points, image points (after refining them)
if ret == True:if ret == True:
objpoints.append(objp)objpoints.append(objp)
corners2 = cv.cornerSubPix(gray,corners, (11,11), (-1,-1), criteria)corners2 = cv.cornerSubPix(gray,corners, (11,11), (-1,-1), criteria)
imgpoints.append(corners)imgpoints.append(corners)
# Draw and display the corners# Draw and display the corners
cv.drawChessboardCorners(img, (7,6), corners2, ret)cv.drawChessboardCorners(img, (7,6), corners2, ret)
cv.imshow('img', img)cv.imshow('img', img)
cv.waitKey(500)cv.waitKey(500)
cv.destroyAllWindows()cv.destroyAllWindows()
한편, 프로세서(120)는 계기판 촬영 장치 왜곡을 보정하는데 이용되는 왜곡 보정 계수를 획득할 수 있는 한, 다양한 종류의 왜곡 보정 계수 획득 프로그램을 이용할 수 있음을 유의한다.Meanwhile, note that the processor 120 can use various types of distortion correction coefficient acquisition programs as long as it can obtain the distortion correction coefficient used to correct the distortion of the instrument panel photographing device.
한편, 이하에서는 계측 장치(M)의 계기판(P)에 대해 캘리브레이션을 수행하는 과정을 설명하도록 한다.Meanwhile, the following will describe the process of performing calibration on the instrument panel (P) of the measuring device (M).
도 4는 본 발명의 일 실시 예에 따른 계기판 이미지 기반 계측값 인식 장치에서 이용되는 캘리브레이션용 계기판 이미지이고, 도 5는 본 발명의 일 실시 예에 따른 계기판 이미지 기반 계측값 인식 장치에서 이용되는 회전된 캘리브레이션용 계기판 이미지이고, 도 6은 본 발명의 일 실시 예에 따른 계기판 이미지 기반 계측값 인식 장치에서 이용되는 캘리브레이션용 계기판 보정 이미지이고, 도 7은 본 발명의 일 실시 예에 따른 계기판 이미지 기반 계측값 인식 장치에서 이용되는 캘리브레이션용 계기판 전처리 이미지이다.Figure 4 is a calibration instrument panel image used in the instrument panel image-based measurement value recognition device according to an embodiment of the present invention, and Figure 5 is a rotated instrument panel image used in the instrument panel image-based measurement value recognition device according to an embodiment of the present invention. It is an image of the instrument panel for calibration, and FIG. 6 is a correction image of the instrument panel for calibration used in a measurement value recognition device based on the instrument panel image according to an embodiment of the present invention, and FIG. 7 is a measurement value based on the instrument panel image according to an embodiment of the present invention. This is a pre-processed image of the instrument panel for calibration used in recognition devices.
도 4 내지 도 7을 더 참조하면, 입력부(110)는 계측 장치(M)의 계기판(P)에 대해 캘리브레이션을 수행하기 위해 이용되는 캘리브레이션용 계기판 이미지를 계기판 촬영 장치(200)로부터 입력받을 수 있다.Referring further to FIGS. 4 to 7, the input unit 110 may receive an instrument panel image for calibration, which is used to calibrate the instrument panel P of the measurement device M, from the instrument panel photographing device 200. .
이때, 계기판 촬영 장치(200)는 도 4에 도시된 바와 같이, 비운전 중인 계측 장치(M)의 계기판(P)을 촬영하여 캘리브레이션용 계기판 이미지를 생성할 수 있다.At this time, as shown in FIG. 4, the instrument panel imaging device 200 may photograph the instrument panel P of the measurement device M that is not in operation and generate an instrument panel image for calibration.
프로세서(120)는 도 5에 도시된 바와 같이, 계기판 촬영 장치(200)의 설치 각도에 기초하여 캘리브레이션용 계기판 이미지를 회전시킬 수 있다. 구체적으로, 프로세서(120)는 계기판(P)의 지침(N)의 회전 중심(R)과 계기판(P)의 최하단을 잇는 직선을 기준으로 계기판 촬영 장치(200)가 설치된 설치 각도만큼 캘리브레이션용 계기판 이미지를 회전시킬 수 있다.As shown in FIG. 5 , the processor 120 may rotate the instrument panel image for calibration based on the installation angle of the instrument panel imaging device 200. Specifically, the processor 120 adjusts the instrument panel for calibration as much as the installation angle at which the instrument panel imaging device 200 is installed based on the straight line connecting the rotation center (R) of the pointer (N) of the instrument panel (P) and the bottom of the instrument panel (P). You can rotate the image.
이를 통해, 프로세서(120)는 정각도로 촬영되지 않은 캘리브레이션용 계기판 이미지를 정각도의 이미지로 변경시킬 수 있다.Through this, the processor 120 can change the instrument panel image for calibration that was not captured at a correct angle into an image at a correct angle.
이후, 프로세서(120)는 캘리브레이션용 계기판 이미지의 왜곡을 보정하여 캘리브레이션용 계기판 보정 이미지를 생성할 수 있다.Thereafter, the processor 120 may correct the distortion of the instrument panel image for calibration and generate a correction image of the instrument panel for calibration.
구체적으로, 프로세서(120)는 도 6에 도시된 바와 같이, 캘리브레이션용 계기판 이미지의 원근 왜곡 및 계기판 촬영 장치 왜곡 중 하나 이상을 보정하여 캘리브레이션용 계기판 보정 이미지를 생성할 수 있다.Specifically, as shown in FIG. 6 , the processor 120 may generate an instrument panel correction image for calibration by correcting one or more of perspective distortion and instrument panel imaging device distortion of the instrument panel image for calibration.
이때, 프로세서(120)는 “Open CV” 프로그래밍 라이브러리에서 실행되는 “cv2.warpAffine()” 함수를 이용하여 원근 왜곡을 보정하고, “Open CV” 프로그래밍 라이브러리에서 실행되는 “cv2.undistort()” 함수와 변환 매트릭스 및 왜곡 보정 계수를 이용하여 계기판 촬영 장치 왜곡을 보정할 수 있다.At this time, the processor 120 corrects perspective distortion using the “cv2.warpAffine()” function executed in the “Open CV” programming library and the “cv2.unditor()” function executed in the “Open CV” programming library. The instrument panel imaging device distortion can be corrected using the conversion matrix and distortion correction coefficient.
이후, 프로세서(120)는 도 7에 도시된 바와 같이, 캘리브레이션 계기판 보정 이미지에 대해 캘리브레이션에 이용되는 정보를 설정하기 위한 전처리를 수행하여 캘리브레이션용 계기판 전처리 이미지를 생성할 수 있다.Thereafter, as shown in FIG. 7 , the processor 120 may perform preprocessing to set information used for calibration on the calibration instrument panel correction image to generate a preprocessed image of the instrument panel for calibration.
구체적으로, 프로세서(120)는 운전 계기판 보정 이미지에서 관심 영역(Region of Interet; ROI)만을 추출하여 전처리를 수행할 수 있다.Specifically, the processor 120 may perform preprocessing by extracting only a region of interest (ROI) from the driver's instrument panel correction image.
계측 장치(M)의 계기판(P)에 대해 캘리브레이션을 수행하는 과정에서 최종적으로, 프로세서(120)는 도 7에 도시된 바와 같이, 캘리브레이션 계기판 전처리 이미지로부터 지침(N)의 회전 중심(R), 계측 장치(M)의 최소 계측값 지침 각도(Amin), 최대 계측값 지침 각도(Amax), 최소 계측값(Vmin) 및 최대 계측값(Vmax), 계측 장치(M)의 계측 단위(U)를 인식하여 설정할 수 있다.Finally, in the process of performing calibration on the instrument panel (P) of the measurement device (M), the processor 120 calculates the rotation center (R) of the pointer (N) from the calibration instrument panel pre-processing image, as shown in FIG. The minimum measured value guideline angle (Amin), the maximum measured value guideline angle (Amax), the minimum measured value (Vmin) and maximum measured value (Vmax) of the measuring device (M), and the measuring unit (U) of the measuring device (M). It can be recognized and set.
구체적으로, 프로세서(120)는 캘리브레이션 계기판 전처리 이미지로부터 숫자를 인식하고, 인식된 숫자 중 최소 크기의 숫자를 최소 계측값(Vmin)으로 설정하며, 인식된 숫자 중 최대 크기의 숫자를 최대 계측값(Vmax)으로 설정할 수 있다.Specifically, the processor 120 recognizes numbers from the calibration instrument panel preprocessing image, sets the smallest number among the recognized numbers as the minimum measured value (Vmin), and sets the largest number among the recognized numbers as the maximum measured value (Vmin). Vmax) can be set.
또한, 프로세서(120)는 최소 계측값(Vmin)을 나타내는 숫자의 중심 위치로부터 지침(N)의 회전 중심(R)을 잇는 직선의 각도를 최소 계측값 지침 각도(Amin)로 설정하고, 최대 계측값(Vmax)을 나타내는 숫자의 중심 위치로부터 지침(N)의 회전 중심(R)을 잇는 직선의 각도를 최대 계측값 지침 각도(Amax)로 설정할 수 있다.In addition, the processor 120 sets the angle of a straight line connecting the center position of the number representing the minimum measured value (Vmin) to the rotation center (R) of the pointer (N) as the minimum measured value pointer angle (Amin), and The angle of a straight line connecting the center position of the number representing the value (Vmax) to the rotation center (R) of the pointer (N) can be set as the maximum measured value pointer angle (Amax).
여기서, 최소 계측값 지침 각도(Amin) 및 최대 계측값 지침 각도(Amax)는 계기판(P)의 지침(N)의 회전 중심(R)과 계기판(P)의 최하단을 잇는 직선을 기준으로한 각도일 수 있다.Here, the minimum measured value guideline angle (Amin) and the maximum measured value guideline angle (Amax) are the angles based on the straight line connecting the rotation center (R) of the pointer (N) of the instrument panel (P) and the bottom of the instrument panel (P). It can be.
또한, 프로세서(120)는 캘리브레이션용 계기판 전처리 이미지로부터 문자를 인식하고, 인식된 문자 중에서 미리 저장된 계측 단위 문자와 동일한 문자를 계측 단위(U)로 설정할 수 있다.Additionally, the processor 120 may recognize characters from a pre-processed image of the instrument panel for calibration, and set a character that is the same as a pre-stored measurement unit character among the recognized characters as the measurement unit (U).
여기서, 미리 저장된 계측 단위 문자는 통용되는 계측 단위를 나타내는 문자일 수 있다.Here, the pre-stored measurement unit character may be a character representing a commonly used measurement unit.
한편, 프로세서(120)는 계기판 전처리 이미지의 중심 위치를 지침(N)의 회전 중심(R)로 설정할 수도 있고, 사용자로부터 좌표값을 입력받아 지침(N)의 회전 중심(R)로 설정할 수도 있다.Meanwhile, the processor 120 may set the center position of the pre-processed image of the instrument panel as the rotation center (R) of the pointer (N), or may receive coordinate values from the user and set it as the rotation center (R) of the pointer (N). .
한편, 프로세서(120)는 계측 장치(M)의 최소 계측값 지침 각도(Amin), 최대 계측값 지침 각도(Amax), 최소 계측값(Vmin) 및 최대 계측값(Vmax), 계측 장치(M)의 계측 단위(U) 각각에 대응되는 정보를 사용자로부터 입력받아 설정할 수도 있다.Meanwhile, the processor 120 controls the minimum measured value guideline angle (Amin), the maximum measured value guideline angle (Amax), the minimum measured value (Vmin) and the maximum measured value (Vmax) of the measuring device (M), and the measuring device (M). Information corresponding to each measurement unit (U) may be input and set from the user.
한편, 이하에서는 운전 중인 계측 장치(M)의 계기판(P)을 촬영한 운전 계기판 이미지로부터 계측 장치(M)로부터 계측된 계측값을 인식하는 과정을 설명하도록 한다.Meanwhile, the following will explain the process of recognizing the measurement value measured from the measuring device (M) from the driving instrument panel image taken of the instrument panel (P) of the measuring device (M) in operation.
도 8은 본 발명의 일 실시 예에 따른 계기판 이미지 기반 계측값 인식 장치에서 이용되는 운전 계기판 이미지이고, 도 9는 본 발명의 일 실시 예에 따른 계기판 이미지 기반 계측값 인식 장치에서 이용되는 회전된 운전 계기판 이미지이고, 도 10은 본 발명의 일 실시 예에 따른 계기판 이미지 기반 계측값 인식 장치에서 이용되는 운전 계기판 보정 이미지이고, 도 11은 본 발명의 일 실시 예에 따른 계기판 이미지 기반 계측값 인식 장치에서 이용되는 운전 계기판 전처리 이미지이고, 도 12는 본 발명의 일 실시 예에 따른 계기판 이미지 기반 계측값 인식 장치에 의해 운전 계기판 전처리 이미지로부터 검출된 복수의 직선을 도시한 도면이고, 도 13 및 도 14는 본 발명의 일 실시 예에 따른 계기판 이미지 기반 계측값 인식 장치가 복수의 직선 중에서 지침 외곽선을 선별하는 과정을 설명하기 위한 도면이고, 도 15는 본 발명의 일 실시 예에 따른 계기판 이미지 기반 계측값 인식 장치가 지침이 가리키는 계측값을 산출하는 과정을 설명하기 위한 도면이다.Figure 8 is a driving instrument panel image used in the instrument panel image-based measurement value recognition device according to an embodiment of the present invention, and Figure 9 is a rotated driving image used in the instrument panel image-based measurement value recognition device according to an embodiment of the present invention. It is an instrument panel image, and FIG. 10 is a correction image of the driving instrument panel used in the instrument panel image-based measurement value recognition device according to an embodiment of the present invention, and FIG. 11 is an instrument panel image-based measurement value recognition device according to an embodiment of the present invention. This is a pre-processing image of the driving instrument panel used, and FIG. 12 is a diagram showing a plurality of straight lines detected from the pre-processing image of the driving instrument panel by the instrument panel image-based measurement value recognition device according to an embodiment of the present invention, and FIGS. 13 and 14 are It is a diagram to explain the process of selecting a guideline outline from a plurality of straight lines by the instrument panel image-based measurement value recognition device according to an embodiment of the present invention, and Figure 15 is a diagram for measurement value recognition based on the instrument panel image according to an embodiment of the present invention. This is a drawing to explain the process by which the device calculates the measured value indicated by the guideline.
도 8 내지 도 15를 더 참조하면, 입력부(110)는 도 8에 도시된 바와 같이, 계기판 촬영 장치(200)로부터 운전 중인 계측 장치(M)의 계기판(P)이 촬영된 운전 계기판 이미지를 입력받을 수 있다.Referring further to FIGS. 8 to 15, the input unit 110 inputs the driving instrument panel image in which the instrument panel (P) of the driving measurement device (M) is photographed from the instrument panel imaging device 200, as shown in FIG. 8. You can receive it.
여기서, 운전이란 계측 장치(M)가 계측값을 측정하기 위해 작동 중임을 의미하고, 계측 장치(M)가 운전 중인 경우, 계기판(P)의 지침(N)이 실시간으로 게측되는 계측값을 가리킬 수 있다.Here, driving means that the measuring device (M) is operating to measure measured values, and when the measuring device (M) is operating, the pointer (N) on the instrument panel (P) indicates the measured value measured in real time. You can.
프로세서(120)는 운전 계기판 이미지에 대해 회전, 왜곡 보정 및 전처리 과정을 수행한 후, 직선을 검출하고, 검출된 직선 중에서 지침(N)의 외곽에 대응되는 직선을 지침 외곽선으로 선별할 수 있다.The processor 120 may perform rotation, distortion correction, and preprocessing on the driving instrument panel image, detect a straight line, and select a straight line corresponding to the outline of the pointer N among the detected straight lines as the pointer outline.
이때, 프로세서(120)는 운전 계기판 이미지에 대해 회전, 왜곡 보정 및 전처리하는 과정을 캘리브레이션용 이미지에 대해 회전, 왜곡 보정 및 전처리하는 과정과 유사할 수 있다.At this time, the process of the processor 120 rotating, correcting distortion, and pre-processing the driving instrument panel image may be similar to the process of rotating, correcting distortion, and pre-processing the image for calibration.
프로세서(120)는 도 9에 도시된 바와 같이, 계기판 촬영 장치(200)의 설치 각도에 기초하여 운전 계기판 이미지를 회전시킬 수 있다. 구체적으로, 프로세서(120)는 계기판(P)의 지침(N)의 회전 중심(R)과 계기판(P)의 최하단을 잇는 직선을 기준으로 계기판 촬영 장치(200)가 설치된 설치 각도만큼 운전 계기판 이미지를 회전시킬 수 있다.As shown in FIG. 9 , the processor 120 may rotate the driving instrument panel image based on the installation angle of the instrument panel imaging device 200. Specifically, the processor 120 stores the driving instrument panel image as much as the installation angle at which the instrument panel imaging device 200 is installed based on the straight line connecting the rotation center (R) of the pointer (N) of the instrument panel (P) and the bottom of the instrument panel (P). can be rotated.
이를 통해, 프로세서(120)는 정각도로 촬영되지 않은 운전 계기판 이미지를 정각도의 이미지로 변경시킬 수 있다.Through this, the processor 120 can change the driving instrument panel image that was not captured at the correct angle into an image at the correct angle.
이후, 프로세서(120)는 운전 계기판 이미지의 왜곡을 보정하여 운전 계기판 보정 이미지를 생성할 수 있다.Thereafter, the processor 120 may correct the distortion of the driving instrument panel image and generate a correction image of the driving instrument panel.
구체적으로, 프로세서(120)는 도 10에 도시된 바와 같이, 운전 계기판 이미지의 원근 왜곡 및 계기판 촬영 장치 왜곡 중 하나 이상을 보정하여 운전 계기판 보정 이미지를 생성할 수 있다.Specifically, as shown in FIG. 10 , the processor 120 may generate a driver instrument panel correction image by correcting one or more of perspective distortion and instrument panel imaging device distortion of the driver instrument panel image.
이때, 프로세서(120)는 “Open CV” 프로그래밍 라이브러리에서 실행되는 “cv2.warpAffine()” 함수를 이용하여 원근 왜곡을 보정하고, “Open CV” 프로그래밍 라이브러리에서 실행되는 “cv2.undistort()” 함수와 변환 매트릭스 및 왜곡 보정 계수를 이용하여 계기판 촬영 장치 왜곡을 보정할 수 있다.At this time, the processor 120 corrects perspective distortion using the “cv2.warpAffine()” function executed in the “Open CV” programming library and the “cv2.unditor()” function executed in the “Open CV” programming library. The instrument panel imaging device distortion can be corrected using the conversion matrix and distortion correction coefficient.
이후, 프로세서(120)는 도 11에 도시된 바와 같이, 운전 계기판 보정 이미지에 대해 직선 검출을 위한 전처리를 수행하여 운전 계기판 전처리 이미지를 생성할 수 있다.Thereafter, as shown in FIG. 11, the processor 120 may perform preprocessing for straight line detection on the driver's dashboard correction image to generate a driver's dashboard preprocessed image.
구체적으로, 프로세서(120)는 운전 계기판 보정 이미지에서 관심 영역만을 추출하는 관심 영역 추출 및 운전 계기판 보정 이미지의 색상 정보를 이진화시키는 색상 이진화 중 하나 이상을 수행하여 운전 계기판 보정 이미지를 운전 계기판 전처리 이미지로 생성할 수 있다.Specifically, the processor 120 performs one or more of region-of-interest extraction, which extracts only the region of interest from the dashboard correction image, and color binarization, which binarizes the color information of the driver instrument panel correction image, to convert the driver instrument panel correction image into a pre-processed image of the driver instrument panel. can be created.
여기서, 색상 이진화는 복수의 색상 정보를 포함하는 픽셀로 구성된 운전 계기판 보정 이미지의 각각의 픽셀을 2개의 색상 정보 중 어느 하나로 변경시키는 전처리 과정일 수 있다. 예를 들어, 색상 이진화는 운전 계기판 보정 이미지의 각각의 픽셀의 색상 정보를 흑색 또는 백색으로 변경시키는 과정일 수 있다.Here, color binarization may be a preprocessing process that changes each pixel of the driver's dashboard correction image, which consists of pixels containing a plurality of color information, into one of two color information. For example, color binarization may be a process of changing the color information of each pixel of the driver's dashboard correction image to black or white.
이때, 프로세서(120)는 “Open CV” 프로그래밍 라이브러리에서 실행되는 “cv2.cvtColor()” 함수를 이용하여 색상 이진화를 수행할 수 있다.At this time, the processor 120 can perform color binarization using the “cv2.cvtColor()” function executed in the “Open CV” programming library.
프로세서(120)는 도 12에 도시된 바와 같이, 운전 계기판 전처리 이미지로부터 복수의 직선을 검출할 수 있다.As shown in FIG. 12, the processor 120 may detect a plurality of straight lines from the pre-processed image of the driving instrument panel.
구체적으로, 프로세서(120)는 운전 계기판 전처리 이미지를 구성하는 외곽선 중에서 직선만을 검출할 수 있다. 이때, 프로세서(120)는 “Open CV” 프로그래밍 라이브러리에서 실행되는 “cv2.Canny()” 함수를 통해 캐니변환을 수행하여 운전 계기판 전처리 이미지로부터 외곽선을 추출하고, “Open CV” 프로그래밍 라이브러리에서 실행되는 “cv2.HoughLinesP()” 함수를 통해 허프직선변환을 수행하여 복수의 직선을 검출할 수 있다.Specifically, the processor 120 can detect only straight lines among the outlines that make up the pre-processed image of the driving instrument panel. At this time, the processor 120 extracts the outline from the driving instrument panel preprocessing image by performing Canny transformation through the “cv2.Canny()” function executed in the “Open CV” programming library, and executes the “Open CV” programming library. Multiple straight lines can be detected by performing Hough line transformation through the “cv2.HoughLinesP()” function.
이후, 프로세서(120)는 복수의 직선 각각의 직선 길이, 직선 위치 및 직선 각도 중 하나 이상에 기초하여 복수의 직선 중에서 계기판의 지침의 외곽에 대응되는 지침 외곽선을 선별할 수 있다.Thereafter, the processor 120 may select an indicator outline corresponding to the outline of the indicator of the instrument panel from among the plurality of straight lines based on one or more of the straight line length, straight line position, and straight line angle of each of the plurality of straight lines.
구체적으로, 프로세서(120)는 복수의 직선 중에서 직선 길이가 기준 직선 길이 미만인 직선을 삭제할 수 있다.Specifically, the processor 120 may delete a straight line whose straight line length is less than the reference straight line length among the plurality of straight lines.
즉, 프로세서(120)는 바늘 외곽과 같이 길이가 긴 직선이 아닌 직선들을 삭제할 수 있다.That is, the processor 120 can delete straight lines that are not long straight lines, such as the outside of the needle.
이때, 프로세서(120)는 기준 직선 길이를 운전 계기판 전처리 이미지의 가로 길이 또는 세로 길이의 5%로 설정할 수 있다.At this time, the processor 120 may set the reference straight line length to 5% of the horizontal or vertical length of the pre-processed image of the driving instrument panel.
한편, 프로세서(120)는 도 13에 도시된 바와 같이, 지침(N)의 회전 중심으로부터 제1 반경 미만인 영역을 제1 영역(O1)으로 설정하고, 지침(N)의 회전 중심으로부터 제1 반경 이상 및 제2 반경 미만인 영역을 제2 영역(O1)으로 설정할 수 있다.Meanwhile, as shown in FIG. 13, the processor 120 sets the area less than the first radius from the rotation center of the pointer N as the first area O1, and sets the area less than the first radius from the rotation center of the pointer N to the first radius O1. The area greater than or equal to the second radius may be set as the second area O1.
이때, 프로세서(120)는 제1 반경을 운전 계기판 전처리 이미지의 가로 길이 또는 세로 길이의 10%로 설정할 수 있다.At this time, the processor 120 may set the first radius to 10% of the horizontal or vertical length of the driving instrument panel preprocessing image.
이때, 프로세서(120)는 제2 반경을 운전 계기판 전처리 이미지의 가로 길이 또는 세로 길이의 40%로 설정할 수 있다.At this time, the processor 120 may set the second radius to 40% of the horizontal or vertical length of the pre-processed image of the driving instrument panel.
프로세서(120)는 도 13에 도시된 바와 같이, 복수의 직선 중에서 시작점과 종료점이 제1 영역(O1) 및 제2 영역(O2)에 포함되지 않는 직선을 삭제할 수 있다.As shown in FIG. 13 , the processor 120 may delete a straight line whose start and end points are not included in the first area O1 and the second area O2 among a plurality of straight lines.
즉, 프로세서(120)는 복수의 직선 중에서 외곽에 위치하는 직선들을 삭제할 수 있다.That is, the processor 120 can delete straight lines located on the outside of a plurality of straight lines.
프로세서(120)는 도 14에 도시된 바와 같이, 복수의 직선 중에서 시작점과 종료점이 제1 영역(O1)에 포함되는 직선을 삭제할 수 있다.As shown in FIG. 14 , the processor 120 may delete a straight line whose start and end points are included in the first area O1 among a plurality of straight lines.
즉, 프로세서(120)는 제1 영역(O1) 외측까지 연장되는 직선을 제외하고 제1 영역(O1) 내에서 단절되는 직선들을 삭제할 수 있다.That is, the processor 120 may delete straight lines cut off within the first area O1, excluding straight lines extending outside the first area O1.
이후, 프로세서(120)는 삭제되지 않은 복수의 직선 중에서 제1 영역(O1)에 중첩되는 직선을 제1 직선 그룹으로 그룹핑하고, 복수의 직선 중에서 제2 영역(O2)에 중첩되는 직선을 제2 직선 그룹으로 그룹핑할 수 있다.Thereafter, the processor 120 groups the straight lines overlapping the first area O1 among the plurality of straight lines that have not been deleted into a first straight line group, and the straight lines overlapping the second area O2 among the plurality of straight lines into the second straight line group. Can be grouped into straight line groups.
프로세서(120)는 제1 직선 그룹에 포함된 직선 각각과 제2 직선 그룹에 포함된 직선 각각의 직선 각도 간에 직선 각도차가 기준 각도차 범위 내에 포함되면 해당 직선을 지침 외곽선으로 선별할 수 있다.If the straight line angle difference between the straight line angles of each straight line included in the first straight line group and each straight line included in the second straight line group is within the reference angle difference range, the processor 120 may select the straight line as the guideline outline.
즉, 프로세서(120)는 제1 직선 그룹에 포함된 직선 중 어느 하나의 직선과 제2 직선 그룹에 포함된 직선 중 어느 하나의 직선 각도 간의 직선 각도차가 기준 각도차 범위 내에 포함되면, 두 직선을 지침 외곽선으로 선별할 수 있다.That is, if the straight line angle difference between any one of the straight lines included in the first straight line group and the straight line angle of any one of the straight lines included in the second straight line group is within the reference angle difference range, the processor 120 separates the two straight lines. You can select by the guideline outline.
여기서, 기준 각도차 범위는 “-1도 내지 1도”일 수 있으며, 직선 각각의 직선 각도는 계기판(P)의 지침(N)의 회전 중심(R)과 계기판(P)의 최하단을 잇는 직선을 기준으로 하는 각도일 수 있다.Here, the standard angle difference range may be “-1 degree to 1 degree,” and the straight angle of each straight line is a straight line connecting the rotation center (R) of the pointer (N) of the instrument panel (P) and the bottom of the instrument panel (P). It may be an angle based on .
프로세서(120)는 지침 외곽선 각각의 지침 외곽선 각도에 기초하여 지침 외곽선을 제1 지침 외곽선 그룹 및 제2 지침 외곽선 그룹으로 분류할 수 있다.The processor 120 may classify the guideline outlines into a first guideline outline group and a second guideline outline group based on the guideline outline angle of each guideline outline.
구체적으로, 프로세서(120)는 지침 외곽선 중에서 어느 두 지침 외곽선 각각의 지침 외곽선 각도 간에 지침 외곽선 각도차가 기준 각도차 범위 내에 포함되면 두 지침 외곽선을 동일한 그룹으로 분류할 수 있다.Specifically, the processor 120 may classify the two guideline outlines into the same group if the guideline outline angle difference between the guideline outline angles of any two guideline outlines is within the reference angle difference range.
이후, 프로세서(120)는 제1 지침 외곽선 그룹에 포함된 지침 외곽선(N1)의 제1 지침 외곽선 각도와 제2 지침 외곽선 그룹에 포함된 지침 외곽선(N2)의 제2 지침 외곽선 각도에 기초하여 지침 중심선 각도를 산출할 수 있다.Thereafter, the processor 120 provides instructions based on the first guideline outline angle of the guideline outline N1 included in the first guideline outline group and the second guideline outline angle of the guideline outline N2 included in the second guideline outline group. The center line angle can be calculated.
이때, 프로세서(120)는 도 15에 도시된 바와 같이, 제1 지침 외곽선 그룹에 포함된 지침 외곽선(N1)들의 제1 지침 외곽선 각도 평균을 제1 지침 외곽선 각도(AN1)로 산출하고, 제2 지침 외곽선 그룹에 포함된 지침 외곽선(N2)들의 제2 지침 외곽선 각도 평균을 제2 지침 외곽선 각도(AN2)로 산출할 수 있다.At this time, as shown in FIG. 15, the processor 120 calculates the average of the first guideline outline angles of the guideline outlines N1 included in the first guideline outline group as the first guideline outline angle AN1, and the second guideline outline angle AN1. The average of the second guideline outline angles of the guideline outlines (N2) included in the guideline outline group may be calculated as the second guideline outline angle (AN2).
이후, 프로세서(120)는 제1 지침 외곽선 각도(AN1)와 제2 지침 외곽선 각도(AN2)의 지침 외곽선 각도 평균을 지침 중심선(N')의 지침 중심선 각도(AN')로 산출할 수 있다.Thereafter, the processor 120 may calculate the average of the guideline outline angles of the first guideline outline angle (AN1) and the second guideline outline angle (AN2) as the guideline center line angle (AN') of the guideline center line (N').
최종적으로, 프로세서(120)는 지침 중심선 각도(AN'), 최소 계측값 지침 각도(Amin), 최대 계측값 지침 각도(Amax), 최소 계측값(Vmin) 및 최대 계측값(Vmax)에 기초하여 지침(N)이 가리키는 계측값을 산출할 수 있다.Finally, the processor 120 based on the guideline centerline angle (AN'), the minimum measured value guideline angle (Amin), the maximum measured value guideline angle (Amax), the minimum measured value (Vmin), and the maximum measured value (Vmax). The measured value indicated by the pointer (N) can be calculated.
프로세서(120)는 하기의 수학식 1을 이용하여 지침(N)이 가리키는 계측값을 산출할 수 있다.The processor 120 can calculate the measured value indicated by the pointer N using Equation 1 below.
여기서, V는 지침(N)이 가리키는 계측값, VN'은 지침 중심선 각도, Amin은 최소 계측값 지침 각도, Amax는 최대 계측값 지침 각도, Vmin은 최소 계측값 및 Vmax는 최대 계측값일 수 있다.Here, V is the measured value indicated by the guideline (N), VN' is the guideline center line angle, Amin is the minimum measured value guideline angle, Amax is the maximum measured value guideline angle, Vmin is the minimum measured value, and Vmax is the maximum measured value.
이를 통해, 프로세서(120)는 작업자가 계기판(P)을 육안으로 확인하는 과정을 방해하지 않도록, 계기판 촬영 장치(200)가 계기판(P) 전면에 수직한 영역이 아니라, 일정 각도로 기울어져 계기판(P)에 설치되어 왜곡된 계기판 이미지가 입력되더라고, 계기판 이미지를 보정하여 지침(N)의 중심선이 이루는 중심선 각도를 정확하게 산출하여, 지침(N)이 가리키는 계측값을 정확도 높게 산출할 수 있다.Through this, the processor 120 allows the instrument panel imaging device 200 to be tilted at a certain angle, rather than in an area perpendicular to the front of the instrument panel P, so as not to interfere with the process of the operator visually checking the instrument panel P. Even if a distorted instrument panel image is input when installed at (P), the instrument panel image is corrected to accurately calculate the center line angle formed by the center line of the pointer (N), and the measurement value indicated by the pointer (N) can be calculated with high accuracy. .
한편, 프로세서(120)는 서버(300)로 산출된 계측값을 실시간으로 송신하도록 통신부(130)를 제어할 수 있다.Meanwhile, the processor 120 may control the communication unit 130 to transmit the calculated measurement value to the server 300 in real time.
서버(300)는 외부로부터 계측값 저장 요청이 수신되면 계기판 이미지 기반 계측값 인식 장치(100)의 통신부(130)로부터 수신된 계측값을 시계열에 맞추어 데이터베이스에 저장할 수 있다.When a request to store measurement values is received from the outside, the server 300 may store the measurement values received from the communication unit 130 of the instrument panel image-based measurement value recognition device 100 in a database according to time series.
또한, 서버(300)는 외부로부터 계측값 조회 요청이 수신되면 조회 조건에 대응되는 계측값을 데이터베이스로부터 읽어들이고, 해당 계측값을 외부로 송신할 수 있다.Additionally, when a measurement value inquiry request is received from the outside, the server 300 may read the measurement value corresponding to the inquiry condition from the database and transmit the measurement value to the outside.
여기서, 조회 조건은 계측값의 계측시간 및 계측대상장치에 부합하는 조건일 수 있다.Here, the inquiry condition may be a condition that matches the measurement time of the measured value and the measurement target device.
한편, 프로세서(120)는 상술된 각 구성 요소의 작동을 수행할 수 있으며, 하나 이상의 코어(core, 미도시) 및 그래픽 처리부(미도시) 및/또는 다른 구성 요소와 신호를 송수신하는 연결 통로(예를 들어, 버스(bus) 등)를 포함할 수 있다.Meanwhile, the processor 120 may perform the operation of each of the above-described components, and may include one or more cores (not shown) and a graphics processing unit (not shown) and/or a connection passage for transmitting and receiving signals with other components ( For example, it may include a bus, etc.).
프로세서(120)는 저장부(140)에 저장된 하나 이상의 인스트럭션을 실행함으로써, 상술된 각 구성 요소의 작동을 수행하도록 구성될 수 있다.The processor 120 may be configured to perform the operation of each of the components described above by executing one or more instructions stored in the storage unit 140.
저장부(140)에는 프로세서(120)의 처리 및 제어를 위한 프로그램들(하나 이상의 인스트럭션들)을 저장할 수 있다. 저장부(140)에 저장된 프로그램들은 기능에 따라 복수 개의 모듈들로 구분될 수 있다.The storage unit 140 may store programs (one or more instructions) for processing and controlling the processor 120. Programs stored in the storage unit 140 may be divided into a plurality of modules according to their functions.
이제까지 본 발명에 대하여 바람직한 실시 예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 한다.So far, the present invention has been examined with a focus on preferred embodiments. A person skilled in the art to which the present invention pertains will understand that the present invention can be implemented in a modified form without departing from the essential characteristics of the present invention. Therefore, the disclosed embodiments should be considered from an illustrative rather than a restrictive perspective. The scope of the present invention is indicated in the claims rather than the foregoing description, and all differences within the equivalent scope should be construed as being included in the present invention.
이상과 같이, 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술사상과 아래에 기재될 특허청구범위의 균등범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.As described above, although the present invention has been described with limited examples and drawings, the present invention is not limited thereto, and the technical idea of the present invention and the following will be understood by those skilled in the art to which the present invention pertains. Of course, various modifications and variations are possible within the scope of equivalence of the patent claims to be described.
100 : 계기판 이미지 기반 계측값 인식 장치
110 : 입력부
120 : 프로세서
130 : 통신부
140 : 저장부
200 : 계기판 촬영 장치
300 : 서버100: Instrument panel image-based measurement value recognition device
110: input unit
120: processor
130: Department of Communications
140: storage unit
200: Instrument panel photographing device
300: Server
Claims (1)
상기 계기판 촬영 장치로부터 운전 중인 계측 장치의 상기 계기판이 촬영된 운전 계기판 이미지를 입력받는 입력부; 및
상기 운전 계기판 이미지의 왜곡을 보정하여 운전 계기판 보정 이미지를 생성하고, 상기 운전 계기판 보정 이미지에 대해 직선 검출을 위한 전처리를 수행하여 운전 계기판 전처리 이미지를 생성하고, 상기 운전 계기판 전처리 이미지로부터 복수의 직선을 검출하고, 복수의 직선 각각의 직선 길이, 직선 위치 및 직선 각도 중 하나 이상에 기초하여 복수의 직선 중에서 상기 계기판의 지침의 외곽에 대응되는 지침 외곽선을 선별하고, 상기 지침 외곽선의 지침 외곽선 각도에 기초하여 상기 지침이 가리키는 계측값을 산출하는 프로세서;를 포함하고,
상기 프로세서는
상기 지침 외곽선 각각의 지침 외곽선 각도에 기초하여 상기 지침 외곽선을 제1 지침 외곽선 그룹 및 제2 지침 외곽선 그룹으로 분류하고, 상기 제1 지침 외곽선 그룹에 포함된 지침 외곽선의 제1 지침 외곽선 각도와 상기 제2 지침 외곽선 그룹에 포함된 지침 외곽선의 제2 지침 외곽선 각도에 기초하여 지침 중심선 각도를 산출하고, 상기 지침 중심선 각도, 상기 계측 장치의 최소 계측값 지침 각도, 최대 계측값 지침 각도, 최소 계측값 및 최대 계측값에 기초하여 상기 지침이 가리키는 상기 계측값을 산출하고,
상기 프로세서는
상기 운전 계기판 이미지의 원근 왜곡 및 계기판 촬영 장치 왜곡 중 하나 이상을 보정하여 상기 운전 계기판 보정 이미지를 생성하고,
상기 프로세서는
상기 운전 계기판 보정 이미지에서 관심 영역만을 추출하는 관심 영역 추출 및 상기 운전 계기판 보정 이미지의 색상 정보를 이진화시키는 색상 이진화 중 하나 이상을 수행하여 상기 운전 계기판 보정 이미지를 상기 운전 계기판 전처리 이미지로 생성하고,
상기 색상 이진화는
상기 프로세서가 운전 계기판 보정 이미지를 구성하는 픽셀들 각각의 색상 정보를 미리 정해진 2개의 색상 정보 중 어느 하나로 변경시키는 것을 의미하는 것을 특징으로 하는
계기판 이미지 왜곡 및 촬영 장치 왜곡을 보정하는 계측값 인식 장치.In a measurement value recognition device that recognizes measured values from a dashboard image captured by a dashboard imaging device that photographs the instrument panel of a measuring device, and corrects instrument panel image distortion and photographing device distortion,
an input unit that receives a driving instrument panel image of the instrument panel of a driving measurement device from the instrument panel photographing device; and
A driving instrument panel correction image is generated by correcting the distortion of the driving instrument panel image, preprocessing for straight line detection is performed on the driving instrument panel correction image to generate a driving instrument panel preprocessing image, and a plurality of straight lines are drawn from the driving instrument panel preprocessing image. Detect, select a guideline outline corresponding to the outline of the guideline of the instrument panel from a plurality of straight lines based on one or more of the straight line length, straight line position, and straight line angle of each of the plurality of straight lines, and based on the guideline outline angle of the guideline outline It includes a processor that calculates the measured value indicated by the guideline,
The processor is
Based on the guideline outline angle of each of the guideline outlines, the guideline outlines are classified into a first guideline outline group and a second guideline outline group, and the first guideline outline angle of the guideline outline included in the first guideline outline group and the second guideline outline group are classified into a first guideline outline group and a second guideline outline group. 2 A guideline center line angle is calculated based on the second guideline outline angle of the guideline outline included in the guideline outline group, and the guideline center line angle, the minimum measured value guideline angle of the measuring device, the maximum measured value guideline angle, the minimum measured value, and Calculate the measured value indicated by the guideline based on the maximum measured value,
The processor is
Generating the driving instrument panel correction image by correcting one or more of perspective distortion and instrument panel imaging device distortion of the driving instrument panel image,
The processor is
Generating the driving instrument panel correction image as a pre-processed image of the driving instrument panel by performing one or more of region of interest extraction for extracting only the region of interest from the driving instrument panel correction image and color binarization for binarizing color information of the driving instrument panel correction image,
The color binarization is
Characterized in that the processor changes the color information of each pixel constituting the driver instrument panel correction image to one of two predetermined color information.
A measurement value recognition device that corrects instrument panel image distortion and imaging device distortion.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020220110800A KR102642691B1 (en) | 2021-10-14 | 2022-09-01 | apparatus for recognizing measurement value and correcting distortion of instrument panel image and camera |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210136683A KR102441760B1 (en) | 2021-10-14 | 2021-10-14 | apparatus for recognizing measurement value based gauge image |
KR1020220110800A KR102642691B1 (en) | 2021-10-14 | 2022-09-01 | apparatus for recognizing measurement value and correcting distortion of instrument panel image and camera |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020210136683A Division KR102441760B1 (en) | 2021-09-30 | 2021-10-14 | apparatus for recognizing measurement value based gauge image |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20230053505A KR20230053505A (en) | 2023-04-21 |
KR102642691B1 true KR102642691B1 (en) | 2024-03-04 |
Family
ID=83279686
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020210136683A KR102441760B1 (en) | 2021-09-30 | 2021-10-14 | apparatus for recognizing measurement value based gauge image |
KR1020220110800A KR102642691B1 (en) | 2021-10-14 | 2022-09-01 | apparatus for recognizing measurement value and correcting distortion of instrument panel image and camera |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020210136683A KR102441760B1 (en) | 2021-09-30 | 2021-10-14 | apparatus for recognizing measurement value based gauge image |
Country Status (1)
Country | Link |
---|---|
KR (2) | KR102441760B1 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023055170A1 (en) * | 2021-09-30 | 2023-04-06 | 주식회사 카라멜소프트 | Device for recognizing measurement value on basis of gauge image |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003065812A (en) * | 2001-08-21 | 2003-03-05 | National Aerospace Laboratory Of Japan | System for forming numeral data based on image information in measuring instrument display |
KR101978602B1 (en) * | 2018-05-25 | 2019-05-14 | 안동대학교 산학협력단 | System for recognition a pointer of an analog instrument panel and method thereof |
KR101985712B1 (en) * | 2018-12-13 | 2019-06-04 | 주식회사 버넥트 | Machine vision based non-contact method for collecting instrument information and remote monitoring system using the same |
KR102089498B1 (en) * | 2019-09-23 | 2020-03-19 | (주)씨앤에스아이 | Measuring apparatus for analogue gauge and method thereof |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101934571B1 (en) * | 2015-11-17 | 2019-01-02 | 브이피케이 주식회사 | Analog tester management, and managing method using the same |
KR20190062739A (en) | 2017-11-29 | 2019-06-07 | 달리웍스 주식회사 | Method, algorithm and device for Data analytics for predictive maintenance using multiple sensors |
-
2021
- 2021-10-14 KR KR1020210136683A patent/KR102441760B1/en active IP Right Grant
-
2022
- 2022-09-01 KR KR1020220110800A patent/KR102642691B1/en active IP Right Grant
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003065812A (en) * | 2001-08-21 | 2003-03-05 | National Aerospace Laboratory Of Japan | System for forming numeral data based on image information in measuring instrument display |
KR101978602B1 (en) * | 2018-05-25 | 2019-05-14 | 안동대학교 산학협력단 | System for recognition a pointer of an analog instrument panel and method thereof |
KR101985712B1 (en) * | 2018-12-13 | 2019-06-04 | 주식회사 버넥트 | Machine vision based non-contact method for collecting instrument information and remote monitoring system using the same |
KR102089498B1 (en) * | 2019-09-23 | 2020-03-19 | (주)씨앤에스아이 | Measuring apparatus for analogue gauge and method thereof |
Also Published As
Publication number | Publication date |
---|---|
KR20230053505A (en) | 2023-04-21 |
KR102441760B1 (en) | 2022-09-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112115893A (en) | Instrument panel pointer reading identification method and device, computer equipment and storage medium | |
US20220319011A1 (en) | Heterogeneous Image Registration Method and System | |
CN114549835B (en) | Pointer instrument correction identification method and device based on deep learning | |
CN113418543B (en) | Automatic driving sensor detection method and device, electronic equipment and storage medium | |
US20220222857A1 (en) | Camera calibration method, electronic device, storage medium, and road side device | |
KR20220154227A (en) | Face image identification method, device, facility and storage medium | |
CN108573471B (en) | Image processing apparatus, image processing method, and recording medium | |
CN112562093B (en) | Object detection method, electronic medium, and computer storage medium | |
KR102642691B1 (en) | apparatus for recognizing measurement value and correcting distortion of instrument panel image and camera | |
CN110634137A (en) | Bridge deformation monitoring method, device and equipment based on visual perception | |
CN107092905B (en) | Method for positioning instrument to be identified of power inspection robot | |
CN103729631A (en) | Vision-based connector surface feature automatically-identifying method | |
CN108737815A (en) | A kind of quality determining method and system of imaging sensor | |
CN112489140A (en) | Attitude measurement method | |
CN115049821A (en) | Three-dimensional environment target detection method based on multi-sensor fusion | |
CN109598177B (en) | Method and device for detecting the state of an electrical device | |
CN112802114B (en) | Multi-vision sensor fusion device, method thereof and electronic equipment | |
CN113281780B (en) | Method and device for marking image data and electronic equipment | |
CN109313708B (en) | Image matching method and vision system | |
CN107643611A (en) | A kind of automatic checkout system of liquid crystal display and backlight assembly precision | |
CN113658274A (en) | Individual spacing automatic calculation method for primate species behavior analysis | |
CN112232272A (en) | Pedestrian identification method based on fusion of laser and visual image sensor | |
CN112001905A (en) | Household product damage detection system and detection method based on image processing | |
Sanguino et al. | Improving 3D object detection and classification based on Kinect sensor and hough transform | |
CN115655576B (en) | Automatic sensing method for displacement abnormity of pointer type pressure gauge |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |