KR102365554B1 - Method and apparatus for providing windows replacement platform using artificial intelligence algorithm - Google Patents
Method and apparatus for providing windows replacement platform using artificial intelligence algorithm Download PDFInfo
- Publication number
- KR102365554B1 KR102365554B1 KR1020210138112A KR20210138112A KR102365554B1 KR 102365554 B1 KR102365554 B1 KR 102365554B1 KR 1020210138112 A KR1020210138112 A KR 1020210138112A KR 20210138112 A KR20210138112 A KR 20210138112A KR 102365554 B1 KR102365554 B1 KR 102365554B1
- Authority
- KR
- South Korea
- Prior art keywords
- window
- score
- measurement information
- photo
- generating
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 32
- 238000005259 measurement Methods 0.000 claims abstract description 99
- 238000010276 construction Methods 0.000 claims abstract description 35
- 238000007781 pre-processing Methods 0.000 claims description 14
- 230000007423 decrease Effects 0.000 claims description 6
- 230000001186 cumulative effect Effects 0.000 claims description 4
- 238000012790 confirmation Methods 0.000 claims description 3
- 238000005286 illumination Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 9
- 238000013527 convolutional neural network Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0283—Price estimation or determination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/08—Construction
-
- G06T5/001—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Finance (AREA)
- Development Economics (AREA)
- Strategic Management (AREA)
- Accounting & Taxation (AREA)
- Economics (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Entrepreneurship & Innovation (AREA)
- Game Theory and Decision Science (AREA)
- Human Resources & Organizations (AREA)
- Primary Health Care (AREA)
- Tourism & Hospitality (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
Description
본 발명은 인공지능 알고리즘을 이용한 창호 교체 플랫폼 제공 방법 및 장치에 관한 것이다.The present invention relates to a method and apparatus for providing a window replacement platform using an artificial intelligence algorithm.
이하에 기술되는 내용은 단순히 본 발명에 따른 일 실시예와 관련되는 배경 정보만을 제공할 뿐 종래기술을 구성하는 것은 아니다.The content described below merely provides background information related to an embodiment according to the present invention and does not constitute the prior art.
국내 단독주택의 50.1%는 30년 이상 된 주택이고, 아파트의 40.9%는 20년 이상 되어 노후 주택이 증가하고 있다. 통계청의 2019년 인구주택 총 조사 결과에 따르면, 총 주택 1,813만 호 중에서 20년 이상 된 주택은 870만 호(48.0%)로 2018년 840만 호(47.7%) 에 비해 30만 호 증가로 나타났다.50.1% of domestic detached houses are over 30 years old, and 40.9% of apartments are over 20 years old. According to the 2019 Population and Housing Survey by the National Statistical Office, 8.7 million (48.0%) of the total housing 18.13 million were older than 20 years, an increase of 300,000 from 8.4 million (47.7%) in 2018.
이에 많은 노후 주택이 리모델링을 하게 되는데, 이 과정에서 창호 교체 시스템의 문제점이 많이 발생한다. 먼저, 업무의 비효율성이 심각하다. 업체에서 매번 고객의 집에 방문해서 실측해야 하는 번거로움이 있고, 방문 후 계약이 성립되지 않을 시 비용이 낭비되는 문제가 있다. 그리고 업체가 고객에게 홍보할 수 있는 마케팅 채널이 부족하다. 또한 고객의 입장에서는 업체별 견적 비교를 위해 실측과 견적의 과정을 반복해야 하는 불편함이 있고, 시간적, 경제적 비용이 발생하는 문제점이 있다.As a result, many old houses are remodeled, and in this process, many problems with the window replacement system occur. First, the inefficiency of work is serious. There is a problem in that a company has to visit a customer's house every time to take an actual measurement, and there is a problem in that costs are wasted if the contract is not established after the visit. And there is a lack of marketing channels that companies can promote to their customers. In addition, from the customer's point of view, there is the inconvenience of having to repeat the process of measuring and estimating in order to compare quotations by company, and there is a problem in that time and economic costs occur.
본 발명은 인공지능 알고리즘을 이용한 창호 교체 플랫폼을 제공하는 것을 목적으로 한다.An object of the present invention is to provide a window replacement platform using an artificial intelligence algorithm.
또한, 본 발명은 사진을 이용하여 창호 크기를 측정하는 것을 목적으로 한다.In addition, an object of the present invention is to measure the size of a window using a photograph.
또한, 본 발명은 사진을 촬영하면서 발생하는 오차를 감소시킨 측정 정보를 제공하는 것을 목적으로 한다.Another object of the present invention is to provide measurement information with reduced errors occurring while taking pictures.
상기한 목적을 달성하기 위한 본 발명의 일 실시예에 따른 인공지능 알고리즘을 이용한 창호 교체 플랫폼 제공 방법은 사용자 단말로부터 크기를 측정할 창호를 포함하는 사진을 수신하는 단계, 기 설정된 항목에 기초하여, 상기 사진에 포함된 창호에 대한 창호 크기 측정 가능 여부를 판단하는 단계, 상기 사진이 창호 크기 측정이 가능한 사진이라고 판단한 경우, 기 설정된 알고리즘 및 상기 사진에 기초하여, 측정 정보를 생성하는 단계, 복수의 시공업체 단말들에 상기 측정 정보를 제공하는 단계, 상기 복수의 시공업체 단말들로부터 상기 측정 정보에 대응하는 각 시공업체별 견적 정보들을 수신하는 단계, 상기 견적 정보들에 기초하여, 견적 리스트를 생성하는 단계 및 상기 사용자 단말에 상기 측정 정보 및 상기 견적 리스트를 제공하는 단계를 포함 할 수 있다.A method for providing a window replacement platform using an artificial intelligence algorithm according to an embodiment of the present invention for achieving the above object includes the steps of receiving a picture including a window to be measured in size from a user terminal, based on a preset item, Determining whether the size of the window can be measured for the window included in the photo, when it is determined that the photo is a photo that can measure the size of the window, based on a preset algorithm and the photo, generating measurement information, a plurality of Providing the measurement information to the construction company terminals, receiving the estimate information for each construction company corresponding to the measurement information from the plurality of construction company terminals, based on the estimate information, generating a list of quotations and providing the measurement information and the quotation list to the user terminal.
상기 사진을 수신하는 단계는 상기 사진을 촬영한 기기의 모델명 및 카메라 정보를 수신하는 단계를 포함할 수 있다.Receiving the photo may include receiving a model name and camera information of a device that took the photo.
상기 측정 정보를 생성하는 단계는 상기 사진에 대하여 이미지 전처리를 수행하여 전처리 결과를 생성하는 단계, ToF(Time of Flight)에 기초하여, 카메라로부터 창호까지의 거리를 산출하는 단계 및 상기 전처리 결과, 상기 창호까지의 거리 및 카메라 정보에 포함된 초첨 거리에 기초하여, 제1 측정 정보를 생성하는 단계를 포함할 수 있다.The generating of the measurement information includes performing image pre-processing on the photo to generate a pre-processing result, calculating a distance from a camera to a window based on a Time of Flight (ToF), and the pre-processing result, the It may include generating the first measurement information based on the distance to the window and the focus distance included in the camera information.
상기 전처리 결과를 생성하는 단계는 상기 사진에 포함된 창호의 위치를 파악하는 단계. 상기 창호의 위치에 대응하는 창호 영역을 구분하는 단계 및 픽셀 단위에서 상기 창호 영역의 좌표값을 획득하는 단계를 포함할 수 있다.The step of generating the pre-processing result is a step of identifying the location of the window included in the photo. It may include the steps of classifying a window area corresponding to the position of the window and obtaining a coordinate value of the window area in a pixel unit.
상기 제1 측정 정보를 생성하는 단계 후 상기 제1 측정 정보에 기 설정된 오차 감소화 알고리즘을 적용하여, 제2 측정 정보를 생성하는 단계를 포함할 수 있다.The method may include generating second measurement information by applying a preset error reduction algorithm to the first measurement information after generating the first measurement information.
상기 사진을 수신하는 단계는 상기 창호를 포함하는 사진을 복수개 수신하고, 상기 제1 측정 정보를 생성하는 단계는 상기 수신한 복수개의 사진에 대응하는 복수개의 제1 측정 정보를 생성하고, 상기 제2 측정 정보를 생성하는 단계는 기 학습된 CNN 기반 예측 모델에 상기 복수개의 제1 측정 정보를 입력값으로 사용하여 오차가 감소된 상기 제2 측정 정보를 생성할 수 있다.The receiving of the photo includes receiving a plurality of photos including the window and door, and the generating of the first measurement information generates a plurality of first measurement information corresponding to the plurality of received photos, and the second The generating of the measurement information may include generating the second measurement information in which an error is reduced by using the plurality of first measurement information as input values to a pre-trained CNN-based prediction model.
상기 기 설정된 항목은 해상도, 조도, 촬영 각도, 사진 내 창문의 사이즈 및 방해물 유무를 포함하고, 창호 크기 측정이 가능한 사진인지 판단하는 단계는 상기 항목들 중 적어도 하나가 기 설정된 규격에 맞지 않는 경우, 창호 크기 측정이 불가능한 것으로 판단할 수 있다.The preset items include resolution, illuminance, shooting angle, the size of the window in the photo, and the presence or absence of obstructions, and the step of determining whether a photo can measure the size of the window includes at least one of the items does not meet the preset standard, It can be judged that it is impossible to measure the size of the window.
상기 창호 크기 측정이 가능한 사진인지 판단하는 단계 후 상기 사진이 창호 크기 측정이 불가능한 사진이라고 판단한 경우, 상기 사용자 단말에 재촬영을 지시하는 알림을 전송하는 단계를 포함할 수 있다.After the step of determining whether the size of the window can be measured, if it is determined that the picture is a picture for which the size of the window cannot be measured, the method may include transmitting a notification instructing re-photography to the user terminal.
상기 견적 리스트를 제공하는 단계 후 상기 사용자 단말로부터 상기 견적 리스트에 포함된 복수의 시공업체들 중 적어도 하나의 선택을 지시하는 선택 정보를 수신하는 단계, 상기 선택 정보에 포함된 시공업체에 상기 선택 정보를 제공하는 단계 및 상기 사용자 단말 또는 상기 시공업체 단말로부터 시공을 완료했음을 지시하는 확인 정보를 수신하는 단계를 포함할 수 있다.After providing the quotation list, receiving selection information instructing selection of at least one of a plurality of construction companies included in the quotation list from the user terminal, the selection information to the construction companies included in the selection information It may include providing and receiving confirmation information indicating that construction has been completed from the user terminal or the construction company terminal.
또한, 본 발명의 일 실시예에 따른 인공지능 알고리즘을 이용한 창호 교체 플랫폼 제공 장치는 적어도 하나의 프로그램이 기록된 메모리 및 프로그램을 실행하는 프로세서를 포함하고, 상기 프로그램은 사용자 단말로부터 크기를 측정할 창호를 포함하는 사진을 수신하는 단계, 기 설정된 항목에 기초하여, 상기 사진에 포함된 창호에 대한 창호 크기 측정이 가능한 사진인지 판단하는 단계, 상기 사진이 창호 크기 측정이 가능한 사진이라고 판단한 경우, 기 설정된 알고리즘 및 상기 사진에 기초하여, 측정 정보를 생성하는 단계, 상기 사용자 단말에 상기 측정 정보를 제공하는 단계, 복수의 시공업체 단말들에 상기 측정 정보를 제공하는 단계, 상기 복수의 시공업체 단말들로부터 상기 측정 정보에 대응하는 각 시공업체별 견적 정보들을 수신하는 단계, 상기 견적 정보들에 기초하여, 견적 리스트를 생성하는 단계 및 상기 사용자 단말에 상기 측정 정보 및 상기 견적 리스트를 제공하는 단계를 수행하기 위한 명령어들을 포함할 수 있다.In addition, the apparatus for providing a window replacement platform using an artificial intelligence algorithm according to an embodiment of the present invention includes a memory in which at least one program is recorded and a processor for executing the program, wherein the program is a window for measuring the size from the user terminal Receiving a photo comprising a step, based on a preset item, determining whether the window size measurement is possible for the window included in the photo, if it is determined that the photo is a photo that can measure the window size, the preset Based on the algorithm and the photo, generating measurement information, providing the measurement information to the user terminal, providing the measurement information to a plurality of construction company terminals, from the plurality of construction company terminals Receiving the estimate information for each construction company corresponding to the measurement information, based on the estimate information, generating a quotation list, and providing the measurement information and the quotation list to the user terminal for performing the steps It may contain instructions.
본 발명에 따르면, 인공지능 알고리즘을 이용한 창호 교체 플랫폼을 제공할 수 있다.According to the present invention, it is possible to provide a window replacement platform using an artificial intelligence algorithm.
또한, 본 발명에 따르면, 사진을 이용하여 창호 크기를 측정하여 직접 방문하는 번거로움 없이 측정 정보를 제공할 수 있다.In addition, according to the present invention, it is possible to provide measurement information without the hassle of directly visiting by measuring the size of a window using a photograph.
또한, 본 발명에 따르면, 사진을 촬영하면서 발생하는 오차를 감소시켜서 보다 정확한 측정 정보를 제공할 수 있다.In addition, according to the present invention, it is possible to provide more accurate measurement information by reducing an error occurring while taking a picture.
도 1은 본 발명의 일 실시예에 따른 인공지능 알고리즘을 이용한 창호 교체 플랫폼 제공을 위한 주체들을 나타낸 블록도이다.
도 2는 본 발명의 일 실시예에 따른 인공지능 알고리즘을 이용한 창호 교체 플랫폼 제공 방법을 나타낸 동작 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 인공지능 알고리즘을 이용한 창호 교체 플랫폼 제공 방법을 나타낸 동작 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 인공지능 알고리즘을 이용한 창호 교체 플랫폼 제공 방법을 나타낸 동작 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 인공지능 알고리즘을 이용한 창호 교체 플랫폼 제공 방법을 나타낸 동작 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 인공지능 알고리즘을 이용한 창호 교체 플랫폼 제공 방법을 나타낸 동작 흐름도이다.
도 7은 본 발명의 일 실시예에 따른 U-Net 모델을 나타낸 도면이다.
도 8은 핀홀 카메라에서 렌즈와 객체 사이의 거리에 따른 이미지의 크기를 나타낸 도면이다.
도 9는 CNN(Convolutional Neural Networks) 기반 예측 모델의 과정을 나타낸 도면이다.
도 10은 본 발명의 API endpoint들을 나타낸 도면이다.
도 11은 본 발명의 서버 스펙을 나타낸 도면이다.
도 12는 본 발명의 일 실시예에 따른 컴퓨터 시스템을 나타낸 도면이다.1 is a block diagram showing subjects for providing a window replacement platform using an artificial intelligence algorithm according to an embodiment of the present invention.
2 is an operation flowchart illustrating a method of providing a window replacement platform using an artificial intelligence algorithm according to an embodiment of the present invention.
3 is an operation flowchart illustrating a method of providing a window replacement platform using an artificial intelligence algorithm according to an embodiment of the present invention.
4 is an operation flowchart illustrating a method of providing a window replacement platform using an artificial intelligence algorithm according to an embodiment of the present invention.
5 is an operation flowchart illustrating a method of providing a window replacement platform using an artificial intelligence algorithm according to an embodiment of the present invention.
6 is an operation flowchart illustrating a method of providing a window replacement platform using an artificial intelligence algorithm according to an embodiment of the present invention.
7 is a diagram illustrating a U-Net model according to an embodiment of the present invention.
8 is a diagram illustrating the size of an image according to a distance between a lens and an object in a pinhole camera.
9 is a diagram illustrating a process of a Convolutional Neural Networks (CNN)-based prediction model.
10 is a diagram illustrating API endpoints of the present invention.
11 is a view showing the server specification of the present invention.
12 is a diagram illustrating a computer system according to an embodiment of the present invention.
본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.The present invention will be described in detail with reference to the accompanying drawings as follows. Here, repeated descriptions, well-known functions that may unnecessarily obscure the gist of the present invention, and detailed descriptions of configurations will be omitted. The embodiments of the present invention are provided in order to more completely explain the present invention to those of ordinary skill in the art. Accordingly, the shapes and sizes of elements in the drawings may be exaggerated for clearer description.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.Throughout the specification, when a part "includes" a certain element, it means that other elements may be further included, rather than excluding other elements, unless otherwise stated.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, preferred embodiments according to the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 일 실시예에 따른 인공지능 알고리즘을 이용한 창호 교체 플랫폼 제공을 위한 주체들을 나타낸 블록도이다.1 is a block diagram showing subjects for providing a window replacement platform using an artificial intelligence algorithm according to an embodiment of the present invention.
도 1을 참조하면, 본 발명의 일 실시예에 따른 인공지능 알고리즘을 이용한 창호 교체 플랫폼 제공을 위한 주체들은 창호 교체 플랫폼 제공 장치(110), 사용자 단말(120) 및 드론 단말(130) 포함한다.Referring to FIG. 1 , subjects for providing a window replacement platform using an artificial intelligence algorithm according to an embodiment of the present invention include a window replacement
창호 교체 플랫폼 제공 장치(110)는 사용자 단말(120)로부터 크기를 측정할 창호를 포함하는 사진을 수신하고, 측정 정보를 생성하는 장치를 의미할 수 있다.The window replacement
창호 교체 플랫폼 제공 장치(110)는 시공업체 단말(130)에 측정 정보를 제공하고 시공업체 단말(130)로부터 측정 정보에 대응하는 견적 정보를 수신하는 장치일 수 있다.The window replacement
창호 교체 플랫폼 제공 장치(110)는 견적 리스트를 생성하고 사용자 단말(120)에 견적 리스트를 제공하는 장치일 수 있다.The window replacement
사용자 단말(120)은 창호 교체 플랫폼 제공 장치(110)에 크기를 측정할 창호를 포함하는 사진을 제공하는 장치일 수 있다.The
사용자 단말(120)은 창호 교체 플랫폼 제공 장치(110)로부터 측정 정보 및 견적 리스트를 수신하는 장치일 수 있다.The
시공업체 단말(130)은 창호 교체 플랫폼 제공 장치(110)로부터 측정 정보를 수신하고 측정 정보에 대응하는 견적 정보를 제공하는 장치일 수 있다.The
창호 교체 플랫폼 제공 장치(110) 및 사용자 단말(120), 창호 교체 플랫폼 제공 장치(110) 및 시공업체 단말(130) 각각은 통신망을 통해 상호 연결될 수 있다.Each of the window replacement
통신망은 위와 같은 주체들 사이에서 데이터가 송수신되도록 하기 위한 접속 경로를 의미한다. 예컨대, 통신망은 LANs(Local Area Networks), WANs(Wide Area Networks), MANs(Metropolitan Area Networks), ISDNs(Integrated Service Digital Networks) 등의 유선 네트워크나, 무선 LANs, CDMA, 위성 통신 등의 무선 네트워크를 망라할 수 있으나, 본 발명에 적용될 수 있는 통신망의 범위가 이에 한정되는 것은 아니다.The communication network refers to an access path for data transmission and reception between the above entities. For example, the communication network includes wired networks such as LANs (Local Area Networks), WANs (Wide Area Networks), MANs (Metropolitan Area Networks), and ISDNs (Integrated Service Digital Networks) or wireless networks such as wireless LANs, CDMA, and satellite communications. However, the scope of the communication network that can be applied to the present invention is not limited thereto.
도 2는 본 발명의 일 실시예에 따른 인공지능 알고리즘을 이용한 창호 교체 플랫폼 제공 방법을 나타낸 동작 흐름도이다.2 is an operation flowchart illustrating a method of providing a window replacement platform using an artificial intelligence algorithm according to an embodiment of the present invention.
도 2를 참조하면, 본 발명의 일 실시예에 따른 인공지능 알고리즘을 이용한 창호 교체 플랫폼 제공 방법은 먼저, 사용자 단말로부터 크기를 측정할 창호를 포함하는 사진을 수신할 수 있다(S210).Referring to FIG. 2 , in the method of providing a window replacement platform using an artificial intelligence algorithm according to an embodiment of the present invention, first, a picture including a window to be measured in size may be received from a user terminal ( S210 ).
이 때, 상기 사진을 촬영한 기기의 모델명 및 카메라 정보를 수신할 수 있다. 예를 들면, 촬영 기기는 스마트폰 또는 카메라를 포함할 수 있다. 모델명은 상기 스마트폰 또는 카메라의 모델명일 수 있다. 상기 카메라 정보는 해상도, 렌즈의 종류 및 초점 거리를 포함할 수 있다.In this case, it is possible to receive the model name and camera information of the device that took the picture. For example, the photographing device may include a smartphone or a camera. The model name may be a model name of the smartphone or camera. The camera information may include a resolution, a lens type, and a focal length.
다음으로, 기 설정된 항목에 기초하여, 상기 사진에 포함된 창호에 대한 창호 크기 측정 가능 여부를 판단할 수 있다(S220).Next, based on a preset item, it may be determined whether the size of the window included in the photo can be measured ( S220 ).
여기서, 상기 기 설정된 항목은 해상도, 조도, 촬영 각도, 사진 내 창문의 사이즈 및 방해물 유무를 포함할 수 있다.Here, the preset items may include resolution, illuminance, shooting angle, size of a window in the photo, and presence or absence of obstructions.
이 때, 상기 항목들 중 적어도 하나가 기 설정된 규격에 맞지 않는 경우, 창호 크기 측정이 불가능한 것으로 판단하고, 상기 사진이 창호 크기 측정이 불가능한 사진이라고 판단한 경우, 상기 사용자 단말에 재촬영을 지시하는 알림을 전송할 수 있다.At this time, when at least one of the items does not meet the preset standard, it is determined that the size of the window cannot be measured, and when it is determined that the picture is a picture for which the size of the window cannot be measured, a notification to instruct the user terminal to re-shoot. can be transmitted.
다음으로, 상기 사진이 창호 크기 측정이 가능한 사진이라고 판단한 경우, 기 설정된 알고리즘 및 상기 사진에 기초하여, 측정 정보를 생성할 수 있다(S230).Next, when it is determined that the photo is a photo that can measure the size of a window, measurement information may be generated based on a preset algorithm and the photo (S230).
다음으로, 복수의 시공업체 단말들에 상기 측정 정보를 제공할 수 있다(S240).Next, the measurement information may be provided to a plurality of construction company terminals (S240).
다음으로, 상기 복수의 시공업체 단말들로부터 상기 측정 정보에 대응하는 각 시공업체별 견적 정보들을 수신할 수 있다(S250).Next, it is possible to receive estimate information for each construction company corresponding to the measurement information from the plurality of construction company terminals (S250).
다음으로, 상기 견적 정보들에 기초하여, 견적 리스트를 생성할 수 있다(S260).Next, based on the quotation information, it is possible to generate a list of quotations (S260).
다음으로, 상기 사용자 단말에 상기 측정 정보 및 상기 견적 리스트를 제공할 수 있다(S270).Next, the measurement information and the quotation list may be provided to the user terminal (S270).
선택적 실시예로서, 본 발명에 따른 창호 크기 측정이 가능한 사진인지 판단하는 단계는 창호 교체 플랫폼 제공 장치가, 사용자 단말을 통한 사용자의 사진 획득 과정 중 실시간으로 사진 점수를 산출하고, 최종 사진 점수에 기초하여 창호 크기 측정이 가능한 사진인지 여부를 판단할 수 있다.As an optional embodiment, the step of determining whether the size of the window according to the present invention is a photo that can be measured is that the window replacement platform providing device calculates a photo score in real time during the user's photo acquisition process through the user terminal, and based on the final photo score In this way, it is possible to determine whether the photo is a window size measurement possible.
구체적으로, 창호 교체 플랫폼 제공 장치는 먼저, 사용자 단말에서 사진 획득을 위한 전용 어플리케이션이 구동되는 도중에 실시간으로 이미지를 획득하고, 이미지 상에서 창문 모서리를 식별할 수 있다.Specifically, the apparatus for providing a window replacement platform may first acquire an image in real time while a dedicated application for photo acquisition is running in the user terminal, and identify a window edge on the image.
여기서, 창호 교체 플랫폼 제공 장치는 사진 점수를 기준 점수 미만인 초기 점수로 설정할 수 있다.Here, the window replacement platform providing apparatus may set the photo score as an initial score that is less than the reference score.
여기서, 기준 점수는 창호 크기 측정이 가능함을 지시하는 최소한의 점수일 수 있다.Here, the reference score may be a minimum score indicating that the window size can be measured.
사진 점수 및 기준 점수는 사용자 단말을 통해 사용자에게 제공될 수 있다.The photo score and the reference score may be provided to the user through the user terminal.
다음으로, 창호 교체 플랫폼 제공 장치는 창문 모서리가 식별되지 않는 경우, 사진 점수가 기준 점수 이상이 되지 않도록 제한하고, 창문 모서리가 식별되지 않는 이유가 사용자 단말을 통해 사용자에게 안내되도록 할 수 있다.Next, when the window edge is not identified, the window replacement platform providing apparatus limits the photo score not to exceed the reference score, and the reason why the window edge is not identified may be guided to the user through the user terminal.
창문 모서리가 식별되지 않는 이유는, 이미지가 역광인 경우, 조명이 너무 어두운 경우, 또는 조명이 너무 밝은 경우와 같이, 다양한 이유들 중 하나일 수 있고, 이미지 분석을 통해 적어도 하나의 이유가 사용자에게 안내되도록 할 수 있다.The reason the window edge is not identified can be one of a variety of reasons, such as when the image is backlit, when the lighting is too dark, or when the lighting is too bright, and through image analysis, at least one reason can be can be guided.
다음으로, 창호 교체 플랫폼 제공 장치는 창문 모서리가 식별되는 경우, 창문 모서리의 좌표 값을 이용하여 창문 영역을 산출하고, 창문 영역이 이미지 중앙에 기 설정된 기준 영역을 벗어날수록 감소하는 제1 부분 점수를 산출하고, 제1 부분 점수에 기초하여 사진 점수를 산출할 수 있다.Next, when the window edge is identified, the device for providing a window replacement platform calculates a window area using the coordinate value of the window edge, and obtains a first partial score that decreases as the window area deviates from a preset reference area in the center of the image and may calculate a photo score based on the first partial score.
제1 부분 점수는 기 설정된 주기를 가지고 획득되는 이미지마다 산출되어 현재의 사진 점수에 누적 가산되되, 제1 부분 점수의 총 누적 점수가 기 설정된 제1 부분 점수 최대치를 초과하지 않도록 할 수 있다.The first partial score may be calculated for each image acquired with a preset period and cumulatively added to the current photo score, so that the total cumulative score of the first partial score does not exceed a preset maximum first partial score.
이 경우, 사진 점수는 초기에 기준 점수 미만의 점수로 시작하여, 실시간으로 이미지가 획득됨에 따라 기 설정된 주기로 제1 부분 점수가 가산되어 기준 점수를 초과할 수 있으며, 초기 점수 및 제1 부분 점수 최대치의 합은 기준 점수보다 높게 설정될 수 있다.In this case, the photo score may initially start with a score less than the reference score, and as images are acquired in real time, the first partial score may be added at a preset period to exceed the reference score, and the initial score and the maximum first partial score The sum of may be set higher than the reference score.
여기서, 사진 점수는 기준 점수에 도달하기 전까지의 구간에서는 측정 가능성을 지시하며, 기준 점수를 초과하는 구간에서는 측정 정보의 정확성을 지시할 수 있다.Here, the photo score may indicate measurability in a section before reaching the reference score, and may indicate the accuracy of measurement information in a section exceeding the reference score.
선택적 실시예로서, 창호 교체 플랫폼 제공 장치는 창문 모서리가 식별되는 경우, 창문 모서리의 좌표 값을 이용하여 창문 각도를 산출하고, 창문 각도가 기 설정된 기준 각도 범위를 벗어날수록 감소하는 제2 부분 점수를 산출하고, 제2 부분 점수에 기초하여 사진 점수를 산출할 수 있다.As an optional embodiment, when the window edge is identified, the device for providing a window replacement platform calculates a window angle using the coordinate value of the window edge, and a second partial score that decreases as the window angle exceeds a preset reference angle range and may calculate a photo score based on the second partial score.
제2 부분 점수는 기 설정된 주기를 가지고 획득되는 이미지마다 산출되어 현재의 사진 점수에 누적 가산되되, 제2 부분 점수의 총 누적 점수가 기 설정된 제2 부분 점수 최대치를 초과하지 않도록 할 수 있다.The second partial score may be calculated for each image acquired with a preset period and cumulatively added to the current photo score, so that the total cumulative score of the second partial score does not exceed a preset maximum second partial score.
이 경우, 사진 점수는 초기에 기준 점수 미만의 점수로 시작하여, 실시간으로 이미지가 획득됨에 따라 기 설정된 주기로 제2 부분 점수가 가산되어 기준 점수를 초과할 수 있으며, 초기 점수 및 제2 부분 점수 최대치의 합은 기준 점수보다 높게 설정될 수 있다.In this case, the photo score may initially start with a score less than the reference score, and as images are acquired in real time, a second partial score may be added at a preset period to exceed the reference score, and the initial score and the maximum second partial score The sum of may be set higher than the reference score.
선택적 실시예로서, 창호 교체 플랫폼 제공 장치는 제1 부분 점수 및 제2 부분 점수에 함께 기초하여 사진 점수를 산출할 수 있다.As an optional embodiment, the apparatus for providing a window replacement platform may calculate a photo score based on the first partial score and the second partial score together.
이 경우, 초기 점수 및 제1 부분 점수 최대치의 합, 초기 점수 및 제2 부분 점수 최대치의 합은 기준 점수보다 낮게 설정되고, 초기 점수, 제1 부분 점수 최대치 및 제2 부분 점수 최대치의 합은 기준 점수보다 높게 설정될 수 있다.In this case, the sum of the initial score and the first subscore maximum, the sum of the initial score and the second subscore maximum are set lower than the reference score, and the sum of the initial score, the first subscore maximum and the second subscore maximum is the criterion It can be set higher than the score.
이를 통해, 본 발명은 정확한 측정 정보를 위해 다수의 사진들을 확보하는 과정에서 사진 점수가 점차 증가하여 기준 점수에 도달하는 과정이 사용자에게 시각적으로 제공되도록 함으로써, 보다 자연스러운 사용자 경험을 제공할 수 있다.Through this, the present invention can provide a more natural user experience by visually providing the user with the process of reaching the reference score by gradually increasing the photo score in the process of securing a plurality of photos for accurate measurement information.
선택적 실시예로서, 본 발명에 따른 창호 크기 측정이 가능한 사진인지 판단하는 단계 후에 창호 교체 플랫폼 제공 장치가, 사진 점수에서 기준 점수를 뺀 초과 점수에 기초하여 창호 견적 가격에 적용될 할인율을 산출할 수 있다.As an optional embodiment, after the step of determining whether the window size measurement is possible according to the present invention, the window replacement platform providing device may calculate a discount rate to be applied to the estimated window price based on the excess score obtained by subtracting the reference score from the picture score. .
초과 점수에 따라 산출된 할인율은 사용자 단말을 통해 사용자에게 제공될 수 있다.The discount rate calculated according to the excess score may be provided to the user through the user terminal.
선택적 실시예로서, 본 발명에 따른 창호 크기 측정이 가능한 사진인지 판단하는 단계 후에 창호 교체 플랫폼 제공 장치가, 사진 점수에서 기준 점수를 뺀 초과 점수에 기초하여 측정 정보가 시공업체들에 노출되는 순위를 재조정할 수 있다.As an optional embodiment, after the step of determining whether the window size measurement is possible according to the present invention, the window replacement platform providing device determines the ranking in which measurement information is exposed to construction companies based on the excess score obtained by subtracting the reference score from the photo score can be readjusted.
초과 점수에 따라 재조정된 노출 순위는 사용자 단말을 통해 사용자에게 제공될 수 있다.The readjusted exposure ranking according to the excess score may be provided to the user through the user terminal.
이를 통해, 본 발명은 정확한 측정 정보 획득에 기여한 사용자에게 리워드가 제공될 수 있도록 함으로써, 보다 정확한 측정 정보를 획득하도록 사용자에게 동기를 부여할 수 있다.Through this, the present invention can motivate the user to obtain more accurate measurement information by allowing a reward to be provided to the user who contributed to the acquisition of accurate measurement information.
도 3은 본 발명의 다른 일 실시예에 따른 인공지능 알고리즘을 이용한 창호 교체 플랫폼 제공 방법을 나타낸 동작 흐름도이다.3 is an operation flowchart illustrating a method of providing a window replacement platform using an artificial intelligence algorithm according to another embodiment of the present invention.
도 3을 참조하면, 본 발명의 일 실시예에 따른 인공지능 알고리즘을 이용한 창호 교체 플랫폼 제공 방법은 먼저, 상기 사진에 대하여 이미지 전처리를 수행하여 전처리 결과를 생성할 수 있다(S310).Referring to FIG. 3 , in the method of providing a window replacement platform using an artificial intelligence algorithm according to an embodiment of the present invention, first, image preprocessing is performed on the photo to generate a preprocessing result ( S310 ).
다음으로, ToF(Time of Flight)에 기초하여, 카메라로부터 창호까지의 거리를 산출할 수 있다(S320).Next, based on the Time of Flight (ToF), the distance from the camera to the window may be calculated ( S320 ).
다음으로, 상기 전처리 결과, 상기 창호까지의 거리 및 카메라 정보에 포함된 초첨 거리에 기초하여, 제1 측정 정보를 생성할 수 있다(S330).Next, as a result of the pre-processing, the first measurement information may be generated based on the distance to the window and the focusing distance included in the camera information (S330).
예컨대, 제1 측정 정보를 생성할 때는 U-Net 모델을 기반으로 한 알고리즘을 사용할 수 있다. U-Net 모델에 대해서는 도 7에서 서술하도록 한다.For example, when generating the first measurement information, an algorithm based on the U-Net model may be used. The U-Net model will be described in FIG. 7 .
도 4는 본 발명의 일 실시예에 따른 인공지능 알고리즘을 이용한 창호 교체 플랫폼 제공 방법을 나타낸 동작 흐름도이다.4 is an operation flowchart illustrating a method of providing a window replacement platform using an artificial intelligence algorithm according to an embodiment of the present invention.
도 4를 참조하면, 본 발명의 일 실시예에 따른 인공지능 알고리즘을 이용한 창호 교체 플랫폼 제공 방법은 먼저, 상기 사진에 포함된 창호의 위치를 파악할 수 있다(S410).Referring to FIG. 4 , in the method of providing a window replacement platform using an artificial intelligence algorithm according to an embodiment of the present invention, first, the location of the window included in the picture may be determined ( S410 ).
이 때, 창호의 위치를 파악하기 위해 객체 탐지(Object Detection)을 이용할 수 있다.In this case, object detection may be used to determine the location of the window.
다음으로, 상기 창호의 위치에 대응하는 창호 영역을 구분할 수 있다(S420).Next, it is possible to classify a window area corresponding to the position of the window (S420).
이 때, 창호 영역을 구분하기 위해 인스턴스 세그멘테이션(Instance Segmentation)을 이용할 수 있다.In this case, instance segmentation may be used to classify the window area.
다음으로, 픽셀 단위에서 상기 창호 영역의 좌표값을 획득할 수 있다(S430).Next, it is possible to obtain the coordinate values of the window area in units of pixels (S430).
도 5는 본 발명의 일 실시예에 따른 인공지능 알고리즘을 이용한 창호 교체 플랫폼 제공 방법을 나타낸 동작 흐름도이다.5 is an operation flowchart illustrating a method of providing a window replacement platform using an artificial intelligence algorithm according to an embodiment of the present invention.
도 5를 참조하면, 본 발명의 일 실시예에 따른 인공지능 알고리즘을 이용한 창호 교체 플랫폼 제공 방법은 상기 제1 측정 정보를 생성하는 단계 후, 상기 제1 측정 정보에 기 설정된 오차 감소화 알고리즘을 적용하여, 제2 측정 정보를 생성할 수 있다(S510).5 , in the method for providing a window replacement platform using an artificial intelligence algorithm according to an embodiment of the present invention, after generating the first measurement information, a preset error reduction algorithm is applied to the first measurement information Thus, the second measurement information may be generated (S510).
이 때, 상기 S210단계는 상기 창호를 포함하는 사진을 복수개 수신하고, 상기 S330단계는 상기 수신한 복수개의 사진에 대응하는 복수개의 제1 측정 정보를 각각 생성하고, 상기 S510단계에서는 기 학습된 CNN 기반 예측 모델에 상기 복수개의 제1 측정 정보를 입력값으로 사용하여 오차가 감소된 상기 제2 측정 정보를 생성할 수 있다. 도 9는 CNN(Convolutional Neural Networks) 기반 예측 모델의 과정을 나타낸 도면으로, 복수개의 사진과 복수개의 제1 측정 정보를 입력값으로 사용하고 Convolution과 Pooling을 반복하여 오차가 감소된 창호의 크기를 나타내는 제2 측정 정보를 생성할 수 있다.At this time, the step S210 receives a plurality of pictures including the windows and doors, the step S330 generates a plurality of first measurement information corresponding to the plurality of received pictures, respectively, and in the step S510, the previously learned CNN The second measurement information with reduced error may be generated by using the plurality of pieces of first measurement information as input values to a base prediction model. 9 is a view showing the process of a CNN (Convolutional Neural Networks)-based prediction model, using a plurality of photos and a plurality of first measurement information as input values, and repeating convolution and pooling to indicate the size of a window with reduced error. Second measurement information may be generated.
도 6은 본 발명의 다른 일 실시예에 따른 인공지능 알고리즘을 이용한 창호 교체 플랫폼 제공 방법을 나타낸 동작 흐름도이다.6 is an operation flowchart illustrating a method of providing a window replacement platform using an artificial intelligence algorithm according to another embodiment of the present invention.
도 6을 참조하면, 본 발명의 일 실시예에 따른 인공지능 알고리즘을 이용한 창호 교체 플랫폼 제공 방법은 상기 견적 리스트를 제공하는 단계 후, 상기 사용자 단말로부터 상기 견적 리스트에 포함된 복수의 시공업체들 중 적어도 하나의 선택을 지시하는 선택 정보를 수신할 수 있다(S610).Referring to FIG. 6 , in the method of providing a window replacement platform using an artificial intelligence algorithm according to an embodiment of the present invention, after providing the quotation list, from the user terminal, among a plurality of construction companies included in the quotation list Selection information indicating at least one selection may be received (S610).
다음으로, 상기 선택 정보에 포함된 시공업체에 상기 선택 정보를 제공할 수 있다(S620).Next, the selection information may be provided to a construction company included in the selection information (S620).
다음으로, 상기 사용자 단말 또는 상기 시공업체 단말로부터 시공을 완료했음을 지시하는 확인 정보를 수신할 수 있다(S630).Next, confirmation information indicating that construction has been completed may be received from the user terminal or the construction company terminal (S630).
도 7은 본 발명의 일 실시예에 따른 U-Net 모델을 나타낸 도면이다.7 is a diagram illustrating a U-Net model according to an embodiment of the present invention.
U-Net 모델은 다른 컴퓨터 비전 모델과 다르게 특정 클래스를 예측하거나 회귀하는 모델이 아니기 때문에 Input dimension 은 output dimension 과 같을 수 있다. 또한 U-Net 모델은 이미지의 크기를 줄이면서도 이미지 내의 중요한 정보를 직접 전달(skip-connection)하여 디코더에서 선명한 이미지를 얻게 하여 보다 정확한 예측을 할 수 있다.Since the U-Net model is not a model that predicts or regresses a specific class unlike other computer vision models, the input dimension can be the same as the output dimension. In addition, the U-Net model reduces the size of the image while directly passing important information in the image (skip-connection) to obtain a clear image from the decoder, enabling more accurate prediction.
여기서 측정 정보를 아래 공식을 기반으로 측정할 수 있다.Here, measurement information can be measured based on the formula below.
상기 공식은 핀홀 카메라들에서 이미지 크기와 실 객체 크기의 관계를 공식으로 나타낼 수 있다.The above formula may represent the relationship between the image size and the real object size in pinhole cameras as a formula.
도 8을 참조하면, 핀홀 카메라에서 렌즈와 객체의 거리에 따라 이미지의 크기가 달라지며 아래 공식을 이용하여 이미지의 크기를 통해 객체의 크기를 측정할 수 있다.Referring to FIG. 8 , the size of an image varies according to the distance between the lens and the object in the pinhole camera, and the size of the object can be measured through the size of the image using the following formula.
도 12는 본 발명의 일 실시예에 따른 컴퓨터 시스템을 나타낸 도면이다.12 is a diagram illustrating a computer system according to an embodiment of the present invention.
본 발명의 일 실시예에 따른 인공지능 알고리즘을 이용한 창호 교체 플랫폼 제공 장치는 컴퓨터로 읽을 수 있는 기록매체와 같은 컴퓨터 시스템(1000)에서 구현될 수 있다.The apparatus for providing a window replacement platform using an artificial intelligence algorithm according to an embodiment of the present invention may be implemented in the
도 12를 참조하면, 컴퓨터 시스템(1000)은 버스(1020)를 통하여 서로 통신하는 하나 이상의 프로세서(1010), 메모리(1030), 사용자 인터페이스 입력 장치(1040), 사용자 인터페이스 출력 장치(1050) 및 스토리지(1060)를 포함할 수 있다. 또한, 컴퓨터 시스템(1000)은 네트워크(1080)에 연결되는 네트워크 인터페이스(1070)를 더 포함할 수 있다. 프로세서(1010)는 중앙 처리 장치 또는 메모리(1030)나 스토리지(1060)에 저장된 프로세싱 인스트럭션들을 실행하는 반도체 장치일 수 있다. 메모리(1030) 및 스토리지(1060)는 다양한 형태의 휘발성 또는 비휘발성 저장 매체일 수 있다. 예를 들어, 메모리는 ROM(1031)이나 RAM(1032)을 포함할 수 있다.Referring to FIG. 12 , the
본 발명에서 설명하는 특정 실행들은 일 실시예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.The specific implementations described in the present invention are only examples, and do not limit the scope of the present invention in any way. For brevity of the specification, descriptions of conventional electronic components, control systems, software, and other functional aspects of the systems may be omitted. In addition, the connection or connection members of lines between the components shown in the drawings illustratively represent functional connections and/or physical or circuit connections, and in an actual device, various functional connections, physical connections that are replaceable or additional may be referred to as connections, or circuit connections. In addition, unless there is a specific reference such as “essential” or “importantly”, it may not be a necessary component for the application of the present invention.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.Therefore, the spirit of the present invention should not be limited to the above-described embodiments, and the scope of the spirit of the present invention is not limited to the scope of the scope of the present invention. will be said to belong to
110: 창호 교체 플랫폼 제공 장치
120: 사용자 단말 130: 시공업체 단말
1000: 컴퓨터 시스템 1010: 프로세서
1020: 버스 1030: 메모리
1031: 롬 1032: 램
1040: 사용자 인터페이스 입력 장치
1050: 사용자 인터페이스 출력 장치
1060: 스토리지 1070: 네트워크 인터페이스
1080: 네트워크110: window replacement platform providing device
120: user terminal 130: construction company terminal
1000: computer system 1010: processor
1020: bus 1030: memory
1031: rom 1032: ram
1040: user interface input device
1050: user interface output device
1060: storage 1070: network interface
1080: network
Claims (10)
기 설정된 항목에 기초하여, 상기 사진에 포함된 창호에 대한 창호 크기 측정 가능 여부를 판단하는 단계;
상기 사진이 창호 크기 측정이 가능한 사진이라고 판단한 경우, 기 설정된 알고리즘 및 상기 사진에 기초하여, 측정 정보를 생성하는 단계;
복수의 시공업체 단말들에 상기 측정 정보를 제공하는 단계;
상기 복수의 시공업체 단말들로부터 상기 측정 정보에 대응하는 각 시공업체별 견적 정보들을 수신하는 단계;
상기 견적 정보들에 기초하여, 견적 리스트를 생성하는 단계; 및
상기 사용자 단말에 상기 측정 정보 및 상기 견적 리스트를 제공하는 단계
를 포함하고,
상기 측정 가능 여부를 판단하는 단계는,
상기 사용자 단말에서 사진 획득을 위한 전용 어플리케이션이 구동되는 도중에 기 설정된 주기를 가지고 실시간으로 획득된 복수의 이미지들 전부에 대해 창문 모서리를 식별하는 단계;
상기 복수의 이미지들 중 상기 창문 모서리가 식별되는 경우, 상기 창문 모서리의 좌표 값을 이용하여 창문 영역을 산출하고, 상기 창문 영역이 이미지 중앙에 기 설정된 기준 영역을 벗어날수록 감소하는 제1 부분 점수를 각각 산출하는 단계;
상기 창문 모서리가 식별된 이미지들에 대하여 상기 창문 모서리의 좌표 값을 이용하여 창문 각도를 산출하고, 상기 창문 각도가 기 설정된 기준 각도 범위를 벗어날수록 감소하는 제2 부분 점수를 각각 산출하는 단계;
상기 제1 부분 점수 및 상기 제2 부분 점수에 기초하여 상기 복수의 이미지들에 대한 사진 점수를 각각 산출하는 단계; 및
상기 사진 점수를 누적 가산하여 최종 사진 점수를 산출하고, 상기 최종 사진 점수를 기초로 측정 가능 여부를 판단하는 단계
를 포함하고,
상기 창문 모서리를 식별하는 단계는,
상기 사진 점수를 기준 점수 미만인 초기 점수로 설정하고,
상기 기준 점수는,
창호 크기 측정이 가능함을 지시하는 최소한의 점수이고,
상기 최종 사진 점수는,
상기 초기 점수로 시작하여, 기 설정된 주기를 가지고 실시간으로 이미지가 획득됨에 따라 상기 사진 점수가 누적 가산되어 상기 기준 점수를 초과할 수 있고,
상기 최종 사진 점수를 기초로 측정 가능 여부를 판단하는 단계는,
상기 사진 점수를 누적 가산하여 상기 최종 사진 점수가 상기 기준 점수를 초과하는 경우, 창호 크기 측정이 가능한 것으로 판단하고,
상기 사진을 수신하는 단계는,
상기 사진을 촬영한 기기의 모델명 및 카메라 정보를 수신하는 단계
를 포함하고,
상기 측정 정보를 생성하는 단계는,
상기 사진에 대하여 이미지 전처리를 수행하여 전처리 결과를 생성하는 단계;
ToF(Time of Flight)에 기초하여, 카메라로부터 창호까지의 거리를 산출하는 단계; 및
상기 전처리 결과, 상기 창호까지의 거리 및 카메라 정보에 포함된 초첨 거리에 기초하여, 제1 측정 정보를 생성하는 단계
를 포함하고,
상기 제1 측정 정보를 생성하는 단계 후,
상기 제1 측정 정보에 기 설정된 오차 감소화 알고리즘을 적용하여, 제2 측정 정보를 생성하는 단계
를 포함하고,
상기 사진을 수신하는 단계는,
상기 창호를 포함하는 사진을 복수개 수신하고,
상기 제1 측정 정보를 생성하는 단계는,
상기 수신한 복수개의 사진에 대응하는 복수개의 제1 측정 정보를 생성하고,
상기 제2 측정 정보를 생성하는 단계는,
기 학습된 CNN 기반 예측 모델에 상기 복수개의 제1 측정 정보를 입력값으로 사용하여 오차가 감소된 상기 제2 측정 정보를 생성하는, 인공지능 알고리즘을 이용한 창호 교체 플랫폼 제공 방법.Receiving a picture including a window to measure the size from the user terminal;
Determining whether the size of the window for the window included in the photo can be measured based on a preset item;
generating measurement information based on a preset algorithm and the picture when it is determined that the picture is a picture that can measure the size of a window;
providing the measurement information to a plurality of construction company terminals;
receiving quotation information for each construction company corresponding to the measurement information from the plurality of construction company terminals;
generating a quote list based on the quote information; and
providing the measurement information and the quotation list to the user terminal
including,
The step of determining whether the measurement is possible,
identifying window edges for all of the plurality of images acquired in real time with a preset period while a dedicated application for photo acquisition is running in the user terminal;
When the window edge is identified among the plurality of images, a window area is calculated using the coordinate value of the window edge, and a first partial score that decreases as the window area deviates from a preset reference area in the center of the image calculating each;
calculating a window angle for the images in which the window edge is identified by using the coordinate value of the window edge, and calculating a second partial score that decreases as the window angle deviates from a preset reference angle range;
calculating a photograph score for each of the plurality of images based on the first partial score and the second partial score; and
calculating a final photograph score by cumulatively adding the photograph scores, and determining whether it is measurable based on the final photograph score
including,
The step of identifying the edge of the window,
setting the photo score as an initial score that is less than the reference score;
The reference score is
It is the minimum score indicating that window size measurement is possible,
The final photo score is,
Starting with the initial score, as images are acquired in real time with a preset period, the photo scores are cumulatively added to exceed the reference score,
The step of determining whether it is possible to measure based on the final photograph score,
If the final photo score exceeds the reference score by cumulative addition of the photo scores, it is determined that window size measurement is possible,
Receiving the photo includes:
Receiving the model name and camera information of the device that took the picture
including,
The step of generating the measurement information includes:
generating a pre-processing result by performing image pre-processing on the photo;
calculating a distance from a camera to a window based on a Time of Flight (ToF); and
Generating first measurement information based on the pre-processing result, the distance to the window and the focusing distance included in the camera information
including,
After generating the first measurement information,
generating second measurement information by applying a preset error reduction algorithm to the first measurement information
including,
Receiving the photo includes:
Receive a plurality of photos including the window,
The step of generating the first measurement information includes:
generating a plurality of first measurement information corresponding to the received plurality of photos;
The step of generating the second measurement information includes:
A method of providing a window replacement platform using an artificial intelligence algorithm to generate the second measurement information with reduced errors by using the plurality of first measurement information as input values to the previously learned CNN-based prediction model.
상기 전처리 결과를 생성하는 단계는,
상기 사진에 포함된 창호의 위치를 파악하는 단계;
상기 창호의 위치에 대응하는 창호 영역을 구분하는 단계; 및
픽셀 단위에서 상기 창호 영역의 좌표값을 획득하는 단계
를 포함하는, 인공지능 알고리즘을 이용한 창호 교체 플랫폼 제공 방법.According to claim 1,
The step of generating the preprocessing result is,
Recognizing the location of the window included in the photo;
dividing a window area corresponding to the position of the window; and
obtaining coordinate values of the window area in units of pixels
A method of providing a window replacement platform using an artificial intelligence algorithm, including.
상기 기 설정된 항목은,
해상도, 조도, 촬영 각도, 사진 내 창문의 사이즈 및 방해물 유무를 포함하고,
창호 크기 측정이 가능한 사진인지 판단하는 단계는,
상기 항목들 중 적어도 하나가 기 설정된 규격에 맞지 않는 경우, 창호 크기 측정이 불가능한 것으로 판단하는, 인공지능 알고리즘을 이용한 창호 교체 플랫폼 제공 방법.According to claim 1,
The preset item is
including the resolution, illumination, shooting angle, size of the window in the photo, and the presence or absence of obstructions;
The step of determining whether the window size measurement is possible is,
A method of providing a window replacement platform using an artificial intelligence algorithm for determining that it is impossible to measure the size of a window when at least one of the items does not meet a preset standard.
상기 창호 크기 측정이 가능한 사진인지 판단하는 단계 후,
상기 사진이 창호 크기 측정이 불가능한 사진이라고 판단한 경우, 상기 사용자 단말에 재촬영을 지시하는 알림을 전송하는 단계
를 포함하는, 인공지능 알고리즘을 이용한 창호 교체 플랫폼 제공 방법.According to claim 1,
After the step of determining whether the window size measurement is possible,
When it is determined that the picture is a picture that cannot be measured the size of the window, transmitting a notification instructing re-shooting to the user terminal
A method of providing a window replacement platform using an artificial intelligence algorithm, including.
상기 견적 리스트를 제공하는 단계 후,
상기 사용자 단말로부터 상기 견적 리스트에 포함된 복수의 시공업체들 중 적어도 하나의 선택을 지시하는 선택 정보를 수신하는 단계;
상기 선택 정보에 포함된 시공업체에 상기 선택 정보를 제공하는 단계; 및
상기 사용자 단말 또는 상기 시공업체 단말로부터 시공을 완료했음을 지시하는 확인 정보를 수신하는 단계
를 포함하는, 인공지능 알고리즘을 이용한 창호 교체 플랫폼 제공 방법.According to claim 1,
After providing the quote list,
receiving selection information instructing selection of at least one of a plurality of construction companies included in the quotation list from the user terminal;
providing the selection information to a construction company included in the selection information; and
Receiving confirmation information indicating that construction has been completed from the user terminal or the construction company terminal
A method of providing a window replacement platform using an artificial intelligence algorithm, including.
상기 프로그램을 실행하는 프로세서
를 포함하고,
상기 프로그램은
사용자 단말로부터 크기를 측정할 창호를 포함하는 사진을 수신하는 단계;
기 설정된 항목에 기초하여, 상기 사진에 포함된 창호에 대한 창호 크기 측정이 가능한 사진인지 판단하는 단계;
상기 사진이 창호 크기 측정이 가능한 사진이라고 판단한 경우, 기 설정된 알고리즘 및 상기 사진에 기초하여, 측정 정보를 생성하는 단계;
상기 사용자 단말에 상기 측정 정보를 제공하는 단계;
복수의 시공업체 단말들에 상기 측정 정보를 제공하는 단계;
상기 복수의 시공업체 단말들로부터 상기 측정 정보에 대응하는 각 시공업체별 견적 정보들을 수신하는 단계;
상기 견적 정보들에 기초하여, 견적 리스트를 생성하는 단계; 및
상기 사용자 단말에 상기 측정 정보 및 상기 견적 리스트를 제공하는 단계
를 수행하기 위한 명령어들을 포함하고,
상기 측정 가능 여부를 판단하는 단계는,
상기 사용자 단말에서 사진 획득을 위한 전용 어플리케이션이 구동되는 도중에 기 설정된 주기를 가지고 실시간으로 획득된 복수의 이미지들 전부에 대해 창문 모서리를 식별하는 단계;
상기 복수의 이미지들 중 상기 창문 모서리가 식별되는 경우, 상기 창문 모서리의 좌표 값을 이용하여 창문 영역을 산출하고, 상기 창문 영역이 이미지 중앙에 기 설정된 기준 영역을 벗어날수록 감소하는 제1 부분 점수를 각각 산출하는 단계;
상기 창문 모서리가 식별된 이미지들에 대하여 상기 창문 모서리의 좌표 값을 이용하여 창문 각도를 산출하고, 상기 창문 각도가 기 설정된 기준 각도 범위를 벗어날수록 감소하는 제2 부분 점수를 각각 산출하는 단계;
상기 제1 부분 점수 및 상기 제2 부분 점수에 기초하여 상기 복수의 이미지들에 대한 사진 점수를 각각 산출하는 단계; 및
상기 사진 점수를 누적 가산하여 최종 사진 점수를 산출하고, 상기 최종 사진 점수를 기초로 측정 가능 여부를 판단하는 단계
를 포함하고,
상기 창문 모서리를 식별하는 단계는,
상기 사진 점수를 기준 점수 미만인 초기 점수로 설정하고,
상기 기준 점수는,
창호 크기 측정이 가능함을 지시하는 최소한의 점수이고,
상기 최종 사진 점수는,
상기 초기 점수로 시작하여, 기 설정된 주기를 가지고 실시간으로 이미지가 획득됨에 따라 상기 사진 점수가 누적 가산되어 상기 기준 점수를 초과할 수 있고,
상기 최종 사진 점수를 기초로 측정 가능 여부를 판단하는 단계는,
상기 사진 점수를 누적 가산하여 상기 최종 사진 점수가 상기 기준 점수를 초과하는 경우, 창호 크기 측정이 가능한 것으로 판단하고,
상기 사진을 수신하는 단계는,
상기 사진을 촬영한 기기의 모델명 및 카메라 정보를 수신하는 단계
를 포함하고,
상기 측정 정보를 생성하는 단계는,
상기 사진에 대하여 이미지 전처리를 수행하여 전처리 결과를 생성하는 단계;
ToF(Time of Flight)에 기초하여, 카메라로부터 창호까지의 거리를 산출하는 단계; 및
상기 전처리 결과, 상기 창호까지의 거리 및 카메라 정보에 포함된 초첨 거리에 기초하여, 제1 측정 정보를 생성하는 단계
를 포함하고,
상기 프로그램은,
상기 제1 측정 정보를 생성하는 단계 후,
상기 제1 측정 정보에 기 설정된 오차 감소화 알고리즘을 적용하여, 제2 측정 정보를 생성하는 단계
를 포함하고,
상기 사진을 수신하는 단계는,
상기 창호를 포함하는 사진을 복수개 수신하고,
상기 제1 측정 정보를 생성하는 단계는,
상기 수신한 복수개의 사진에 대응하는 복수개의 제1 측정 정보를 생성하고,
상기 제2 측정 정보를 생성하는 단계는,
기 학습된 CNN 기반 예측 모델에 상기 복수개의 제1 측정 정보를 입력값으로 사용하여 오차가 감소된 상기 제2 측정 정보를 생성하는, 인공지능 알고리즘을 이용한 창호 교체 플랫폼 제공 장치.a memory in which at least one program is recorded; and
a processor executing the program
including,
the program is
Receiving a picture including a window to measure the size from the user terminal;
based on a preset item, determining whether a window size measurement is possible for the window included in the photo;
generating measurement information based on a preset algorithm and the picture when it is determined that the picture is a picture that can measure the size of a window;
providing the measurement information to the user terminal;
providing the measurement information to a plurality of construction company terminals;
receiving quotation information for each construction company corresponding to the measurement information from the plurality of construction company terminals;
generating a quote list based on the quote information; and
providing the measurement information and the quotation list to the user terminal
Including instructions for performing
The step of determining whether the measurement is possible,
identifying window edges for all of the plurality of images acquired in real time with a preset period while a dedicated application for photo acquisition is running in the user terminal;
When the window edge is identified among the plurality of images, a window area is calculated using the coordinate value of the window edge, and a first partial score that decreases as the window area deviates from a preset reference area in the center of the image calculating each;
calculating a window angle for the images in which the window edge is identified by using the coordinate value of the window edge, and calculating a second partial score that decreases as the window angle deviates from a preset reference angle range;
calculating a photograph score for each of the plurality of images based on the first partial score and the second partial score; and
calculating a final photograph score by cumulatively adding the photograph scores, and determining whether it is measurable based on the final photograph score
including,
The step of identifying the edge of the window,
setting the photo score as an initial score that is less than the reference score;
The reference score is
It is the minimum score indicating that window size measurement is possible,
The final photo score is,
Starting with the initial score, as images are acquired in real time with a preset period, the photo scores are cumulatively added to exceed the reference score,
The step of determining whether it is possible to measure based on the final photograph score,
If the final photo score exceeds the reference score by cumulative addition of the photo scores, it is determined that window size measurement is possible,
Receiving the photo includes:
Receiving the model name and camera information of the device that took the picture
including,
The step of generating the measurement information includes:
generating a pre-processing result by performing image pre-processing on the photo;
calculating a distance from a camera to a window based on a Time of Flight (ToF); and
Generating first measurement information based on the pre-processing result, the distance to the window and the focusing distance included in the camera information
including,
The program is
After generating the first measurement information,
generating second measurement information by applying a preset error reduction algorithm to the first measurement information
including,
Receiving the photo includes:
Receive a plurality of photos including the window,
The step of generating the first measurement information includes:
generating a plurality of first measurement information corresponding to the received plurality of photos;
The generating of the second measurement information includes:
A device for providing a window replacement platform using an artificial intelligence algorithm to generate the second measurement information with reduced error by using the plurality of first measurement information as input values to the previously learned CNN-based prediction model.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210138112A KR102365554B1 (en) | 2021-10-18 | 2021-10-18 | Method and apparatus for providing windows replacement platform using artificial intelligence algorithm |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210138112A KR102365554B1 (en) | 2021-10-18 | 2021-10-18 | Method and apparatus for providing windows replacement platform using artificial intelligence algorithm |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102365554B1 true KR102365554B1 (en) | 2022-02-18 |
Family
ID=80495095
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210138112A KR102365554B1 (en) | 2021-10-18 | 2021-10-18 | Method and apparatus for providing windows replacement platform using artificial intelligence algorithm |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102365554B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024058556A1 (en) * | 2022-09-15 | 2024-03-21 | 한양대학교 산학협력단 | Method and device for automatically calculating window set information using artificial neural network |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150049375A (en) * | 2013-10-30 | 2015-05-08 | 이형섭 | Apparatus for checking interior estimate cost |
| KR20190065933A (en) * | 2017-12-04 | 2019-06-12 | 주식회사 양파 | Method for interior platform based on spatial awareness |
| JP2020118575A (en) * | 2019-01-25 | 2020-08-06 | 株式会社デンソーアイティーラボラトリ | Inter-vehicle distance measurement device, error model generation device, learning model generation device, and method and program thereof |
| KR102286419B1 (en) * | 2020-10-26 | 2021-08-05 | 주식회사 디에그 | Virtual interior estimate calculation system of room unit and method therefor |
| KR20210108297A (en) * | 2020-02-25 | 2021-09-02 | 비전플레이스 주식회사 | Target size measurement system and method |
-
2021
- 2021-10-18 KR KR1020210138112A patent/KR102365554B1/en active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150049375A (en) * | 2013-10-30 | 2015-05-08 | 이형섭 | Apparatus for checking interior estimate cost |
| KR20190065933A (en) * | 2017-12-04 | 2019-06-12 | 주식회사 양파 | Method for interior platform based on spatial awareness |
| JP2020118575A (en) * | 2019-01-25 | 2020-08-06 | 株式会社デンソーアイティーラボラトリ | Inter-vehicle distance measurement device, error model generation device, learning model generation device, and method and program thereof |
| KR20210108297A (en) * | 2020-02-25 | 2021-09-02 | 비전플레이스 주식회사 | Target size measurement system and method |
| KR102286419B1 (en) * | 2020-10-26 | 2021-08-05 | 주식회사 디에그 | Virtual interior estimate calculation system of room unit and method therefor |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024058556A1 (en) * | 2022-09-15 | 2024-03-21 | 한양대학교 산학협력단 | Method and device for automatically calculating window set information using artificial neural network |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10944901B2 (en) | Real time assessment of picture quality | |
| WO2021057848A1 (en) | Network training method, image processing method, network, terminal device and medium | |
| US11216690B2 (en) | System and method for performing image processing based on a damage assessment image judgement model | |
| WO2021052487A1 (en) | Method and apparatus for obtaining extended depth of field image, and electronic device | |
| US9330334B2 (en) | Iterative saliency map estimation | |
| US9299004B2 (en) | Image foreground detection | |
| US10019823B2 (en) | Combined composition and change-based models for image cropping | |
| CN110580428A (en) | image processing method, image processing device, computer-readable storage medium and electronic equipment | |
| US20110026051A1 (en) | Digital image brightness adjustment using range information | |
| CN112689100B (en) | Image detection method, device, equipment and storage medium | |
| KR102365554B1 (en) | Method and apparatus for providing windows replacement platform using artificial intelligence algorithm | |
| CN109068060B (en) | Image processing method and device, terminal device and computer readable storage medium | |
| CN112306829B (en) | Method and device for determining performance information, storage medium and terminal | |
| CN110933304B (en) | Method and device for determining to-be-blurred region, storage medium and terminal equipment | |
| CN109190495B (en) | Gender identification method and device and electronic equipment | |
| WO2022044297A1 (en) | Information processing method, information processing device, and information processing program | |
| Etz et al. | Ground truth for training and evaluation of automatic main subject detection | |
| JP2023063807A (en) | Image processing device, image processing method, program, and recording medium | |
| JP7408973B2 (en) | Learning model generation device, image correction device, learning model generation program, and image correction program | |
| JP5156342B2 (en) | Image analysis apparatus and information exchange system having the image analysis apparatus. | |
| KR102629886B1 (en) | Method and apparatus for self-checkout of unmanned store using digital image | |
| CN116843683B (en) | Equipment imaging definition evaluation method, system and device | |
| KR102303044B1 (en) | Apparatus for Real Estate Appraisal Service and Driving Method Thereof | |
| JP6184612B2 (en) | Illuminance estimation apparatus and illuminance estimation program | |
| CN110611803A (en) | Color temperature estimation method and device and computer readable medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |