KR102263067B1 - 제품의 부품 교체 필요성을 판단하는 서버 및 그 동작 방법 - Google Patents

제품의 부품 교체 필요성을 판단하는 서버 및 그 동작 방법 Download PDF

Info

Publication number
KR102263067B1
KR102263067B1 KR1020210010627A KR20210010627A KR102263067B1 KR 102263067 B1 KR102263067 B1 KR 102263067B1 KR 1020210010627 A KR1020210010627 A KR 1020210010627A KR 20210010627 A KR20210010627 A KR 20210010627A KR 102263067 B1 KR102263067 B1 KR 102263067B1
Authority
KR
South Korea
Prior art keywords
product
points
information
parts
server
Prior art date
Application number
KR1020210010627A
Other languages
English (en)
Inventor
박형근
Original Assignee
박형근
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 박형근 filed Critical 박형근
Priority to KR1020210010627A priority Critical patent/KR102263067B1/ko
Priority to KR1020210070696A priority patent/KR102274281B1/ko
Application granted granted Critical
Publication of KR102263067B1 publication Critical patent/KR102263067B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/406—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by monitoring or safety
    • G05B19/4065—Monitoring tool breakage, life or condition
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/41865—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by job scheduling, process planning, material flow
    • G05B19/4187—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by job scheduling, process planning, material flow by tool management
    • G06K9/481—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469—Contour-based spatial representations, e.g. vector-coding
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Automation & Control Theory (AREA)
  • Manufacturing & Machinery (AREA)
  • Tourism & Hospitality (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

실시예들은 제품의 부품 교체 필요성을 판단하는 서버 및 그 동작 방법에 대한 것이다.

Description

제품의 부품 교체 필요성을 판단하는 서버 및 그 동작 방법 {SERVER FOR DETERMINING THE COMPONENTS REPLACEMENT NECESSITY OF PRODUCT AND OPERATION METHODS THEREOF}
실시예들은 제품의 부품 교체 필요성을 판단하는 서버 및 그 동작 방법에 대한 것이다.
공장설비에서 사용되는 기계 또는 장비에는 펌프(pump), 모터(motor), 발브(valve), 피스톤(piston) 및 레귤레이터(regulator)와 같은 여러가지 종류의 제품(products)들이 사용된다. 다만, 이러한 제품들은 공장의 운영과정에서 고장이 나거나 훼손되기 쉬우며, 고장이 나거나 훼손된 경우 이를 현장에서 수리하는 것은 매울 어려운 일이다. 이러한 제품들에 대한 전문가가 아닌 이상, 고장난 제품에 대하여 어떠한 부품의 수리가 필요한 지 파악하기 어려우며, 고장난 제품이 어떠한 제품에 해당하는 여부도 파악하기 어렵다. 다만, 공장의 운영 특성 상, 제품이 고장난 경우 고장난 제품에 대한 빠르고 정확한 부품 교체가 필요하다.
따라서, 소비자들은 고장난 제품에 대한 어떠한 부품의 교체/수리가 필요한지 빠르고 정확하게 알려주는 시스템에 대한 수요가 증가하고 있다.
그러나 현존하는 대다수의 제품 설명 사이트의 경우, 소비자가 제품에 대한 명칭과 사용 용도를 정확하게 알고 있어야, 제품에 포함되는 부품들을 확인할 수 있는 경우가 많다.
등록특허공보 제10-2181624호 (공고일자 2020년11월23일)
상술한 문제점들을 해결하기 위하여, 실시예들은 제품의 부품 교체 필요성을 판단하는 서버를 제공하는데 목적이 있다.
실시예들에서 이루고자 하는 기술적 과제들은 이상에서 언급한 사항들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 이하 설명할 다양한 실시예들로부터 당해 기술분야에서 통상의 지식을 가진 자에 의해 고려될 수 있다.
실시예들에 따르면, 제품의 부품 교체 필요성을 판단하는 서버로서, 적어도 하나의 프로세서(processor); 및 상기 적어도 하나의 프로세서가 적어도 하나의 단계를 수행하도록 지시하는 명령어들(instructions)을 저장하는 메모리(memory)를 포함하고, 상기 적어도 하나의 단계는, 사용자 단말로부터 제품(product)에 대한 영상 데이터를 수신하는 단계; 상기 수신된 영상 데이터에서 상기 제품 및 상기 제품에 포함된 하나 또는 그 이상의 부품들(components)을 식별하는 단계, 상기 제품 및 부품들의 식별은 제품 데이터베이스(database)를 기반으로 함; 상기 식별된 하나 또는 그 이상의 부품들 중에서 교체가 필요한 부품을 추출하는 단계; 및 상기 식별된 제품에 대한 정보, 상기 식별된 제품에 포함된 하나 또는 그 이상의 부품들에 대한 정보 및 상기 추출된 교체가 필요한 부품에 대한 정보를 상기 사용자 단말로 송신하는 단계; 를 포함하고, 상기 영상 데이터는 상기 사용자 단말에 포함된 라이다(LiDAR) 센서 또는 TOF(Time of Flight) 센서를 통해 획득된 데이터에 해당하는, 서버를 제공한다.
실시예들에 따르면, 상기 제품 데이터베이스는 제품 정보, 제품 패턴(pattern) 값 정보, 제품의 부품 정보를 포함하고, 상기 수신된 영상 데이터에서 제품 및 상기 제품에 포함된 하나 또는 그 이상의 부품들(components)을 식별하는 단계는, 상기 영상 데이터에서 제1 포인트(point)들을 인식하고 제1 포인트들에 따른 제품 패턴 값을 계산하는 단계; 상기 계산된 제1 포인트들에 따른 제품 패턴 값 및 상기 제품 패턴 값 정보를 기반으로 상기 영상 데이터의 제품을 식별하는 단계; 및 상기 식별된 제품 및 상기 제품의 부품 정보를 기반으로 상기 식별된 제품에 포함된 하나 또는 그 이상의 부품들을 식별하는 단계; 를 포함하는, 서버를 제공한다.
실시예들에 따르면, 상기 제품 데이터베이스는 제품의 부품 패턴 값 정보를 더 포함하고, 상기 식별된 하나 또는 그 이상의 부품들 중에서 교체가 필요한 부품을 추출하는 단계는, 상기 영상 데이터에서 제2 포인트들을 인식하고 제2 포인트들에 따른 부품 패턴 값을 계산하는 단계; 및 상기 계산된 제2 포인트들에 따른 부품 패턴 값 및 상기 부품 패턴 값 정보를 기반으로 상기 교체가 필요한 부품을 추출하는 단계; 포함하는, 서버를 제공한다.
실시예들에 따르면, 제품 데이터베이스는 제품의 고장 빈번 영역(Frequently Broken Part)에 대한 정보를 더 포함하고, 인식된 제2 포인트들은 상기 식별된 제품의 상기 고장 빈번 영역에 위치한 포인트들에 해당하는, 서버를 제공한다.
실시예들에 따르면, 상기 제1 포인트들에 따른 제품 패턴 값은 중심 포인트로부터 상기 제1 포인트들 각각까지의 벡터값을 포함하고, 상기 중심 포인트는 상기 제1 포인트들의 위치를 나타내는 좌표에 기반하여 결정되고, 상기 제2 포인트들에 따른 부품 패턴 값은 상기 중심 포인트로부터 상기 제2 포인트들 각각까지의 벡터값을 포함하고, 상기 교체가 필요한 부품의 추출은 상기 계산된 제2 포인트들에 따른 부품 패턴 값에 포함된 벡터값 및 상기 제품 데이터베이스의 부품 패턴 값 정보에 포함된 벡터값 간의 차이값에 기반하는, 서버를 제공한다.
실시예들에 따르면, 제품의 부품 교체 필요성을 판단하는 서버를 제공할 수 있다.
실시예들에 따르면, 누구나 제품에서 교체가 필요한 부품을 쉽게 파악할 수 있다.
실시예들에 따르면, 제품의 부품 교체 필요성을 판단하는 서버의 교체가 필요한 부품을 추출하는 과정에 있어서 효율적은 추출 과정을 제공할 수 있다.
실시예들로부터 얻을 수 있는 효과들은 이상에서 언급된 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 이하의 상세한 설명을 기반으로 당해 기술분야에서 통상의 지식을 가진 자에게 명확하게 도출되고 이해될 수 있다.
실시예들에 대한 이해를 돕기 위해 상세한 설명의 일부로 포함된, 첨부 도면은 다양한 실시예들을 제공하고, 상세한 설명과 함께 다양한 실시예들의 기술적 특징을 설명한다.
도 1은 실시예들에 따른 제품의 부품 교체 필요성을 판단하는 서버가 구동되는 방법의 예시를 나타낸다.
도 2는 실시예들에 따른 사용자 단말을 통해 제품에 대한 영상 데이터를 획득하는 방법의 예시를 나타낸다.
도 3은 실시예들에 따른 제품 데이터베이스에 저장되는 제품 정보 및 제품 부품 정보를 설명하기 위한 도면이다.
도 4는 실시예들에 따른 서버가 영상 데이터로부터 제품을 식별하는 과정의 예시를 나타낸다.
도 5는 실시예들에 따른 서버가 교체가 필요한 부품을 추출하는 과정의 예시를 나타낸다.
도 6은 실시예들에 따른 서버에 포함된 인공지능부의 예시이다.
도 7은 실시예들에 따른 고장 빈번 영역(Frequently Broken Part)을 기반으로 교체가 필요한 부품을 추출하는 과정의 예시이다.
도 8은 도 1에 따른 제품의 부품 교체 필요성을 판단하는 서버에 대한 하드웨어 구성도이다.
이하의 실시예들은 실시예들의 구성요소들과 특징들을 소정 형태로 결합한 것들이다. 각 구성요소 또는 특징은 별도의 명시적 언급이 없는 한 선택적인 것으로 고려될 수 있다. 각 구성요소 또는 특징은 다른 구성요소나 특징과 결합되지 않은 형태로 실시될 수 있다. 또한, 일부 구성요소들 및/또는 특징들을 결합하여 다양한 실시예들을 구성할 수도 있다. 다양한 실시예들에서 설명되는 동작들의 순서는 변경될 수 있다. 어느 실시예의 일부 구성이나 특징은 다른 실시예에 포함될 수 있고, 또는 다른 실시예의 대응하는 구성 또는 특징과 교체될 수 있다.
도면에 대한 설명에서, 다양한 실시예들의 요지를 흐릴 수 있는 절차 또는 단계 등은 기술하지 않았으며, 당해 기술분야에서 통상의 지식을 가진 자의 수준에서 이해할 수 있을 정도의 절차 또는 단계는 또한 기술하지 아니하였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함(comprising 또는 including)"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "...부", "...기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, "일(a 또는 an)", "하나(one)", "그(the)" 및 유사 관련어는 다양한 실시예들을 기술하는 문맥에 있어서(특히, 이하의 청구항의 문맥에서) 본 명세서에 달리 지시되거나 문맥에 의해 분명하게 반박되지 않는 한, 단수 및 복수 모두를 포함하는 의미로 사용될 수 있다.
이하, 다양한 실시예들에 따른 실시 형태를 첨부된 도면을 참조하여 상세하게 설명한다. 첨부된 도면과 함께 이하에 개시될 상세한 설명은 다양한 실시예들의 예시적인 실시형태를 설명하고자 하는 것이며, 유일한 실시형태를 나타내고자 하는 것이 아니다.
또한, 다양한 실시예들에서 사용되는 특정(特定) 용어들은 다양한 실시예들의 이해를 돕기 위해서 제공된 것이며, 이러한 특정 용어의 사용은 다양한 실시예들의 기술적 사상을 벗어나지 않는 범위에서 다른 형태로 변경될 수 있다.
도 1은 실시예들에 따른 제품의 부품 교체 필요성을 판단하는 서버가 구동되는 방법의 예시를 나타낸다.
도 1은 실시예들에 따른 제품(product)의 부품(component) 교체 필요성(necessity of replacement)을 판단하는 서버가 구동되는 방법의 예시를 나타낸다. 100은 실시예들에 따른 제품의 부품 교체 필요성을 판단하는 서버를 나타낸다. 200은 실시예들에 따른 사용자 단말을 나타낸다. 50은 실시예들에 따른 제품 데이터베이스를 나타내다. 실시예들에 따른 제품의 부품 교체 필요성을 판단하는 서버가 구동되기 위하여 이 도면에 도시되지 않은, 하나 또는 그 이상의 엘리먼트들을 더 포함할 수 있다.
실시예들에 따른 제품은 기계 또는 장치의 구동을 위하여 사용되는 펌프(pump), 모터(motor), 발브(valve), 피스톤(piston) 및/또는 레귤레이터(regulator)를 나타낼 수 있다. 실시예들에 따른 부품은 상술한 제품을 구성하는 구성품들을 나타낸다. 실시예들에 따른 부품은 제품을 구동하기 위한 구성품이다. 즉, 실시예들에 따른 제품은 하나 또는 그 이상의 부품들을 포함할 수 있다. 예를 들어, 발브(valve)의 부품들은 발브 플레이트(valve plate), 스페이서(spacer), 세트 플레이트(set plate), 슈 플레이트(shoe plate), 쉐프트 프론트(shaft front), 쉐프트 리어(shaft rear), 블록 스프링(block spring), 피스톤 슈 세트(piston shoe set) 및 스와쉬 플레이트(swash plate)를 포함한다.
실시예들에 따른 제품의 부품 교체 필요성을 판단하는 서버(100)는 사용자 단말(200) 및/또는 제품 데이터베이스(database)(50)와 데이터를 송/수신할 수 있다. 실시예들에 따른 제품 데이터베이스는 제품의 부품 교체 필요성을 판단하는 서버에 포함될 수도 있다.
실시예들에 따른 사용자 단말은 제품의 부품 교체 필요성을 판단하는 서버를 이용하기 위해 사용자가 가지고 있는 단말 또는 기기를 뜻한다. 예를 들어, 사용자 단말은 통신 가능한 데스크탑 컴퓨터(desktop computer), 랩탑 컴퓨터(laptop computer), 노트북(notebook), 스마트폰(smart phone), 태블릿 PC(tablet PC), 모바일폰(mobile phone), 스마트 워치(smart watch), 스마트 글래스(smart glass), e-book 리더기, PMP(portable multimedia player), 휴대용 게임기, 네비게이션(navigation) 장치, 디지털 카메라(digital camera), DMB(digital multimedia broadcasting) 재생기, 디지털 음성 녹음기(digital audio recorder), 디지털 음성 재생기(digital audio player), 디지털 동영상 녹화기(digital video recorder), 디지털 동영상 재생기(digital video player), PDA(Personal Digital Assistant) 등일 수 있다.
사용자는 사용자 단말을 통해 제품을 촬영할 수 있다. 즉, 사용자는 사용자 단말을 통하여 제품에 대한 영상 데이터를 획득할 수 있다. 실시예들에 따른 사용자 단말은 라이다(Light Detection And Ranging, LiDAR) 카메라(또는 라이다 센서) 및/또는 TOF(Time of Flight) 카메라(또는 TOF 센서)를 포함할 수 있다. 따라서, 사용자 단말을 통해 획득된 제품에 대한 영상 데이터는 제품에 대한 3D 데이터를 나타낼 수 있다. 상술한 제품에 대한 3D 데이터는 제품에 대한 깊이(depth) 정보를 포함할 수 있다.
실시예들에 따른 제품의 부품 교체 필요성을 판단하는 서버(또는 서버)는 사용자 단말로부터 제품에 대한 영상 데이터를 수신할 수 있다. 실시예들에 따른 서버는 수신한 영상 데이터에 대하여 적어도 하나의 단계를 수행할 수 있다. 실시예들에 따른 서버의 적어도 하나의 단계는 영상 데이터에 대응하는 제품의 부품 교체 필요성을 판단하기 위한 단계이다. 실시예들에 따른 서버는 영상 데이터를 수신하고, 영상 데이터의 제품 및 제품에 포함된 하나 또는 그 이상의 부품들을 식별할 수 있다. 실시예들에 따른 서버는 식별된 하나 또는 그 이상의 부품들 중에서 교체가 필요한 부품을 추출할 수 있다. 실시예들에 따른 서버는 식별된 제품에 대한 정보, 식별된 제품에 포함된 하나 또는 그 이상의 부품들에 대한 정보 및/또는 추출된 교체가 필요한 부품에 대한 정보를 사용자 단말에 송신할 수 있다. 실시예들에 따른 서버는 교체가 필요한 부품을 판단하기 위해 하나 또는 그 이상의 단계를 더 포함할 수 있다. 실시예들에 따른 서버의 상술한 적어도 하나의 단계는 제품 데이터베이스에 저장된 정보를 기반으로 수행될 수 있다.
실시예들에 따른 제품의 부품 교체 필요성을 판단하는 서버는 사용자 단말로부터 수신한 영상 데이터를 분석하여 교체가 필요한 부품에 대한 정보를 사용자에게 제공할 수 있다. 따라서, 사용자는 제품에 대한 지식이 없더라도, 제품을 촬영하는 것을 통해 제품에 대한 정보 및 교체가 필요한 부품에 대한 정보를 곧바로 알 수 있다.
도 2는 실시예들에 따른 사용자 단말을 통해 제품에 대한 영상 데이터를 획득하는 방법의 예시를 나타낸다.
도 2는 실시예들에 따른 사용자 단말(200)을 통해 제품(201)에 대한 영상 데이터를 획득하는 방법의 예시를 나타낸다. 실시예들에 따른 사용자 단말 및 제품에 대한 설명은 도 1에서 상술한 바와 동일하다.
도 1에서 상술한 바와 같이, 실시예들에 따른 사용자 단말은 라이다 센서 및/또는 TOF 센서를 포함할 수 있다. 실시예들에 따른 라이다 센서 및/또는 TOF 센서를 포함하는 사용자 단말은 제품을 인워드-페이싱(inward-facing) 방식을 사용하여 촬영할 수 있다. 실시예들에 따른 인워드-페이싱 방식은 대상 물체를 중심으로 대상 물체를 둘러싸는 방식으로 촬영하는 방식을 의미한다. 실시예들에 따른 인워드-페이싱 방식은 촬영의 객체에 대한 360도 이미지(또는 3D 영상)를 획득하기 위해 사용될 수 있다. 실시예들에 따른 인워드 페이싱 방식은 사용자 단말의 주변 환경을 촬영하는 아웃 워드-페이싱(outward-facing) 방식의 반대되는 방식일 수 있다.
실시예들에 따른 라이다 센서는 레이저(laser) 펄스의 반사를 기반으로 대상 물체까지의 거리를 측정하여 대상 물체의 모습을 정밀하게 그려내는 장치를 나타낼 수 있다. 실시예들에 따른 라이다 센서는 대상 물체에 대한 깊이 정보 및 깊이 정보에 대응하는 속성 정보(예를 들어, 색상 정보)를 획득할 수 있다.
실시예들에 따른 TOF 센서는 적외선의 반사를 기반으로 대상 물체까지의 거리를 측정하여 대상 물체의 모습을 정밀하게 그려내는 장치는 나타낼 수 있다.
실시예들에 따른 사용자 단말은 상술한 라이다 센서 및/또는 TOF 센서를 사용하여 대상 물체(예를 들어, 제품)에 대한 영상 데이터를 획득할 수 있다. 실시예들에 따른 획득된 영상 데이터는 대상 물체에 대한 3D 이미지 및/또는 360도 이미지로 호칭될 수 있다. 실시예들에 따른 사용자 단말에 의해 획득된 영상 데이터는 상술한 라이다 센서 및/또는 TOF 센서를 이용하여, 서버는 제품(201)에 대한 정밀한 영상 데이터를 수신 받을 수 있다.
도 3은 실시예들에 따른 제품 데이터베이스에 저장되는 제품 정보 및 제품 부품 정보를 설명하기 위한 도면이다.
도 3은 실시예들에 따른 제품 데이터베이스에 저장되는 제품에 대한 정보(또는 제품 정보) 및 제품에 포함된 하나 또는 그 이상의 부품들에 대한 정보(또는 제품 부품 정보)를 설명하기 위한 도면이다. 201은 실시예들에 따른 제품(예를 들어, 도 1 내지 도 2에서 설명한 제품)을 나타내고, 202는 실시예들에 따른 부품들(예를 들어, 도 1 내지 도 2에서 설명한 부품들)을 나타낸다.
실시예들에 따른 서버(예를 들어, 제품의 부품 교체 필요성을 판단하는 서버)는 영상 데이터의 제품 및 제품에 포함된 하나 또는 그 이상의 부품들을 식별할 수 있다. 실시예들에 따른 제품 및 부품들의 식별은 제품 데이터베이스를 기반으로 할 수 있다.
실시예들에 따른 제품 데이터베이스는 제품 정보, 제품 패턴(pattern) 값 정보 및/또는 제품의 부품 정보를 포함할 수 있다. 실시예들에 따른 제품 정보는 제품의 명칭을 나타내는 정보, 해당 제품이 사용 가능한 모델 정보를 나타낼 수 있다. 실시예들에 따른 제품 패턴 값 정보는 해당 제품을 식별하기 위한 제품 고유의 정보일 수 있다. 실시예들에 따른 서버가 제품 데이터베이스의 제품 패턴 값 정보를 사용하여 제품을 식별하는 과정은 도 4에서 구체적으로 후술한다. 실시예들에 따른 제품의 부품 정보는, 해당 제품에 포함된 하나 또는 그 이상의 부품들에 대한 정보(예를 들어, 해당 부품의 명칭, 해당 부품의 필요 수량, 해당 부품 모델 넘버)를 나타낼 수 있다.
실시예들에 따른 제품 데이터베이스에 저장된 제품 정보는 상술한 바와 같이, 제품의 명칭을 나타내는 정보 및 해당 제품이 사용 가능한 모델 정보를 포함할 수 있다. 예를 들어, 제품 데이터베이스에 저장된 201의 제품의 명칭을 나타내는 정보는 K3V180DT 발브를 나타내고, 201 제품의 사용 가능한 모델 정보는 SK400-2, HD1250V2, S330, S360, S450, SE350, SE450, R360 및 R420을 나타낸다. 201 제품의 부품의 명칭 정보는 CYL/BLOCK&VALVE PLATE RH, CYL/BLOCK&VALVE PLATE LH, BLOCK SPRING, SPACER, SET PLATE&BALL GUIDE, PISTON SHOE SET, SHOE PLATE, SWASH PLATE & SUPPORT, SHAFT FRONT (17T), SHAFT FRONT (KB), SHAFT FRONT (17T), SHAFT REAR (12T) 및 SHAFT REAR (13T)을 나타낸다.
실시예들에 따른 서버는 제품의 부품들 중에서 교체가 필요한 부품을 추출하는 과정에 있어서, 이 도면에서 설명하는 제품 데이터베이스에 저장된 데이터를 사용하여 효율적은 추출 과정을 수행할 수 있다. 또한, 서버는 이 도면에서 설명하는 제품 데이터베이스에 저장된 정보를 사용자 단말에 송신하여, 제품에 대한 정보 및 교체가 필요한 부품에 대한 정보를 사용자에게 인지시킬 수 있다.
도 4는 실시예들에 따른 서버가 영상 데이터로부터 제품을 식별하는 과정의 예시를 나타낸다.
도 4는 실시예들에 따른 서버(예를 들어, 제품의 부품 교체 필요성을 판단하는 서버)가 사용자 단말(도 1 내지 도 3에서 설명한 사용자 단말)로부터 수신한 영상 데이터(도 1 내지 도 3에서 설명한 영상 데이터)로부터 제품을 식별하는 과정의 예시를 나타낸다.
실시예들에 따른 서버는 수신한 영상 데이터의 제품 및 제품에 포함된 하나 또는 그 이상의 부품들을 식별할 수 있다. 실시예들에 따른 부품들의 식별은 식별된 제품을 기반으로 한다. 즉, 제품의 식별은 부품들의 식별보다 선행될 수 있다. 실시예들에 따른 서버는 식별된 제품을 기반으로 제품 데이터베이스(도 1 내지 도 3에서 설명한 제품 데이터베이스)로부터 식별된 제품에 대응하는 부품들의 정보를 탐색할 수 있다. 실시예들에 따른 서버는 영상 데이터로부터 제품을 식별하기 위해 제품 데이터베이스에 저장된 정보를 활용할 수 있다.
실시예들에 따른 서버가 제품을 식별하는 과정은 아래의 과정을 통해 수행될 수 있다.
실시예들에 따른 서버는 수신된 영상 데이터에서 제1 포인트들을 인식할 수 있다.
상술한 바와 같이, 사용자 단말로부터 수신된 영상 데이터는 객체(예를 들어, 제품)의 깊이 정보를 포함하는 데이터이다. 실시예들에 따른 서버는 영상 데이터에 포함된 객체를 3차원 공간상의 좌표계(예를 들어, x축, y축, z축 및 원점으로 표현된 좌표계)로 표시할 수 있다. 실시예들에 따른 서버는 3차원 공간상의 좌표계로 표현된 객체(예를 들어 제품)의 버텍스(vertex)들을 제1 포인트들로 인식할 수 있다. 즉, 버텍스는 영상 데이터 포함된 제품의 꼭지점에 대응할 수 있다. 예를 들어, 버텍스는 영상 데이터에 포함된 제품을 나타내는 좌표들 중 x축 방향으로 가장 큰 값을 가지는 좌표, x축 방향으로 가장 작은 값을 가지는 좌표, y축 방향으로 가장 큰 값을 가지는 좌표 및/또는 y축 방향으로 가장 작은 값을 가지는 좌표을 포함할 수 있다. 300은 영상 데이터에 포함된 제품을 나타내는 좌표들 중 y축 방향으로 가장 작은 값을 가지는 좌표에 대응하는 제1 포인트이다. 301은 영상 데이터에 포함된 제품을 나타내는 좌표들 중 x축 방향으로 가장 큰 값을 가지는 좌표에 대응하는 제1 포인트이다. 302은 영상 데이터에 포함된 제품을 나타내는 좌표들 중 y축 방향으로 가장 큰 값을 가지는 좌표에 대응하는 제1 포인트이다. 303은 영상 데이터에 포함된 제품을 나타내는 좌표들 중 x축 방향으로 가장 작은 값을 가지는 좌표에 대응하는 제1 포인트이다.
실시예들에 따른 서버는 인식된 제1 포인트들을 기반으로 제1 포인트들에 따른 제품 패턴 값을 계산할 수 있다.
도 3에서 상술한 바와 같이, 제품 패턴 값은 해당 제품을 식별하기 위한 제품의 고유 값일 수 있다. 실시예들에 따른 서버는 인식된 제1 포인트들을 3차원 좌표계로 표현하고, 제1 포인트들을 기반으로 중심 포인트(304)를 설정할 수 있다. 실시예들에 따른 중심 포인트는 상술한 제품 패턴 값을 계산하기 위해 사용된다. 실시예들에 따른 중심 포인트는 제1 포인트들의 위치를 나타내는 좌표를 기반으로 결정될 수 있다. 예를 들어, 중심 포인트는 300 및 302를 연결하는 선분 및 301 및 303을 연결하는 선분의 교차점에 해당할 수 있다. 또한, 300 및 302를 연결하는 선분 및 301 및 303을 연결하는 선분이 교차점을 가지지 않으면, 각 선분을 연결하는 최단 길이의 선분의 중점일 수 있다. 예를 들어, 300의 위치를 나타내는 좌표가 (2, 2, 3), 301의 위치를 나타내는 좌표가 (6, 4, 3), 302의 위치를 나타내는 좌표가 (2, 10, 3), 303의 위치를 나타내는 좌표가 (1, 3, 3)를 나타내면, 중심 포인트의 위치를 나타내는 좌표는 (2, 3.2, 3)을 가진다.
실시예들에 따른 서버는 상술한 중심 포인트로부터 제1 포인트들 각각 까지의 벡터값(vector)을 계산할 수 있다. 즉, 계산되는 벡터값의 개수는 제1 포인트들의 개수와 동일하다. 계산된 벡터값은 좌표벡터(coordinate vector)의 형태를 가질 수 있다. 예를 들어, 00의 위치를 나타내는 좌표가 (2, 2, 3), 301의 위치를 나타내는 좌표가 (6, 4, 3), 302의 위치를 나타내는 좌표가 (2, 10, 3), 303의 위치를 나타내는 좌표가 (1, 3, 3)를 나타내면, 중심 포인트로부터 300까지의 벡터값 v1 = (0, -1.2, 0)을 가지고, 중심 포인트로부터 301까지의 벡터값 v2 = (4, 0.8, 0)을 가지고, 중심 포인트로부터 302까지의 벡터값 v3 = (0, 6.8, 0)을 가지고, 중심 포인트로부터 303까지의 벡터값 v4 = (-1, -0.2, 0)을 가진다.
실시예들에 따른 제1 포인트들에 따른 제품 패턴 값은 상술한 중심 포인트로부터 제1 포인트들 각각까지의 벡터값을 포함할 수 있다. 즉, 제1 포인트들에 따른 제품 패턴값은 v1 내지 v4를 포함할 수 있다. 각각의 벡터값은 크기 및 방향을 가지므로, v1 내지 v4는 벡터값들 간의 각도(angle)값을 더 포함할 수 있다. 따라서, 중심 포인트로부터 제1 포인트들 각각까지의 벡터값은 중심 포인트로부터 제1 포인트들 각각까지의 거리값 및 벡터값들 간의 각도값을 포함할 수 있다.
실시예들에 따른 서버는 계산된 제1 포인트들에 따른 제품 패턴 값 및 제품 데이터베이스에 저장된 제품 패턴 값을 기반으로 영상 데이터의 제품을 식별할 수 있다.
상술한 바와 같이, 제품 패턴 값은 해당 제품을 식별하기 위한 고유의 값이고, 미리 계산되어 제품 데이터베이스에 저장될 수 있다. 즉, 제품 데이터베이스는 제품에 대한 제품 패턴 값을 나타내는 제품 패턴 값 정보를 저장할 수 있다. 실시예들에 따른 서버는 상술한 과정에 의하여 계산된 제1 포인트들에 따른 제품 패턴 값 및 제품 데이터베이스에 저장된 제품 패턴 값 정보를 비교하여, 영상 데이터의 제품을 식별할 수 있다. 즉, 서버는 계산된 제품 패턴 값과 가장 가까운 값을 가지는 제품 패턴 값 정보를 제품 데이터베이스에서 탐색하여, 대응하는 제품을 영상 데이터의 제품으로 식별할 수 있다.
실시예들에 따른 서버는 제품 데이터베이스에서 식별된 제품에 대응하는 부품 정보를 기반으로 영상 데이터의 제품의 하나 또는 그 이상의 부품들을 식별할 수 있다. 실시예들에 따른 제품 정보 및 부품 정보에 대한 설명은 도 3에서 상술한 바와 동일하다.
실시예들에 따른 제품의 부품 교체 필요성을 판단하는 서버는 이 도면에서 설명하는 제품 패턴 값을 사용하여 영상 데이터의 제품을 식별할 수 있다. 실시예들에 따른 제품 패턴 값은 상술한 바와 같이 벡터값을 포함하고, 벡터값은 크기 및 방향성을 가지는 값이다. 따라서, 실시예들에 따른 제품 패턴 값은 최소한의 정보를 저장하여 해당 제품을 식별하기 위한 값을 나타낼 수 있다. 즉, 서버는 실시예들에 따른 제품 패턴 값을 통하여 영상 데이터의 제품 식별 과정에서의 레이턴시(latency)를 조절하고, 효율적인 제품 식별 과정을 수행할 수 있다.
도 5는 실시예들에 따른 서버가 교체가 필요한 부품을 추출하는 과정의 예시를 나타낸다.
도 5는 실시예들에 따른 서버가 하나 또는 그 이상의 부품들 중에서 교체가 필요한 부품을 추출(또는 선별)하는 과정의 예시를 나타낸다.
실시예들에 따른 서버는 도 4에서 상술한 바와 같이 식별된 하나 또는 그 이상의 부품들 중에서 교체가 필요한 부품을 추출할 수 있다. 실시예들에 따른 서버는 교체가 필요한 부품을 추출하는 과정에서 제품 데이터베이스에 저장된 정보를 사용할 수 있다. 실시예들에 따른 서버가 교체가 필요한 부품을 추출하는 과정은 아래의 과정을 포함할 수 있다.
실시예들에 따른 서버는 영상 데이터에서 제2 포인트들(410)을 인식할 수 있다.
400들은 도 4에서 상술한 제1 포인트들을 나타낸다. 410들은 실시예들에 따른 제2 포인트들을 나타낸다. 실시예들에 따른 제2 포인트들은 식별된 제품에 포함된 하나 또는 그 이상의 부품들 각각의 위치를 나타내는 포인트들이다. 즉, 제2 포인트들은 제품에 포함된 부품들에 따라 설정될 수 있다. 즉, 제2 포인트들은 제품 마다 설정될 수 있다. 실시예들에 따른 제품 데이터베이스(도 1 내지 도 4의 제품 데이터베이스)는 제품에 대응하는 제2 포인트들에 대한 정보를 포함할 수 있다. 실시예들에 따른 제2 포인트들에 대한 정보는 부품들의 위치를 나타내는 정보를 포함할 수 있다. 예를 들어, 제2 포인트들에 대한 정보는 제품의 중심 포인트(도 4의 중심 포인트)로부터 제2 포인트들 각각에 대한 벡터값을 나타내는 정보를 포함할 수 있다. 실시예들에 따른 서버는 제품 데이터베이스에 저장된 제2 포인트들에 대한 정보를 기반으로, 영상 데이터에서 제2 포인트들을 인식할 수 있다.
실시예들에 따른 서버는 인식된 제2 포인트들에 따른 부품 패턴 값을 계산할 수 있다.
실시예들에 따른 부품 패턴 값은 도 3 내지 도 4에서 설명한 제품 패턴 값과 유사하다. 실시예들에 따른 부품 패턴 값은 제품의 부품들을 식별하기 위한 고유의 값이고, 미리 계산되어 제품 데이터베이스에 저장될 수 있다. 실시예들에 따른 서버는 상술한 중심 포인트로부터 제2 포인트들 각각 까지의 벡터값(vector)을 계산할 수 있다. 중심 포인트로부터 제2 포인트들 각각 까지의 벡터값을 계산하는 과정은 도 4에서 설명한 중심 포인트로부터 제1 포인트들 각각 까지의 벡터값을 계산하는 과정과 동일 또는 유사하다. 실시예들에 따른 부품 패턴 값은 중심 포인트로부터 제2 포인트들 각각까지의 벡터값을 포함할 수 있다.
실시예들에 따른 서버는 계산된 제2 포인트들에 따른 부품 패턴 값 및 제품 데이터베이스의 부품 패턴 정보를 기반으로 교체가 필요한 부품을 추출할 수 있다.
실시예들에 따른 서버는 상술한 과정에 의하여 계산된 제2 포인트들에 따른 부품 패턴 값 및 제품 데이터베이스의 부품 패턴 정보를 서로 비교하여, 교체가 필요한 부품을 추출할 수 있다. 실시예들에 따른 서버는 계산된 제2 포인트들에 따른 부품 패턴 값에 포함된 벡터값 및 제품 데이터베이스의 부품 패턴값에 포함된 벡터값을 비교하여 차이값을 계산할 수 있다. 서버는 계산된 차이값이 기설정된 값 보다 크거나 같으면, 계산된 벡터값을 포함하는 제2 포인트에 대응하는 부품을 교체가 필요한 부품으로 추출할 수 있다. 실시예들에 따른 계산된 차이값은 벡터값에 포함된 크기값의 차이 및/또는 각도값의 차이를 포함할 수 있다. 실시예들에 따른 기설정된 값은 벡터값에 포함된 크기값 및/또는 각도값을 포함할 수 있다. 실시예들에 따른 각도값은 둘 또는 그 이상의 벡터들로 정의될 수 있다. 즉, 실시예들에 따른 서버는 계산된 제2 포인트들에 따른 부품 패턴 값에 포함된 벡터값 및 제품 데이터베이스의 부품 패턴 값 정보에 포함된 벡터값 간의 차이값에 기반하여, 교체가 필요한 부품을 추출할 수 있다.
실시예들에 따른 계산된 벡터값 및 제품 데이터베이스에 포함된 벡터값 간의 차이가 크면, 계산된 벡터값에 대응하는 부품은 고장(broken)이 났을 가능성이 높다. 따라서, 서버는 기설정된 값을 정의하고 벡터값 간의 차이가 기설정된 값보다 크면, 계산된 벡터값에 대응하는 부품이 고장난 것으로 판단하고 교체가 필요한 부품으로 추출할 수 있다.
도 6은 실시예들에 따른 서버에 포함된 인공지능부의 예시이다.
도 6은, 실시예들에 따른 서버가 제1 포인트들(도 3 내지 도 5의 제1 포인트들)을 인지한 시점에서의 교체가 필요한 부품을 예측하기 위한 인공지능부의 뉴럴 네트워크 모델(Neural Network Model, 601)의 예시를 나타낸다. 실시예들에 따른 뉴럴 네트워크 모델은 인공지능 모델로 호칭될 수 있다. 이 도면에서 설명하는 인공지능부는 실시예들에 따른 제품의 부품 교체 필요성을 판단하는 서버에 포함될 수 있다. 실시예들에 따른 인공지능부에 사용되는 모델은 상술한 예시에 국한되지 않는다.
실시예들에 따른 인공지능부의 뉴럴 네트워크 모델은 하나 또는 그 이상의 은닉 레이어(hidden layer, 602) 들을 포함할 수 있다. 예를 들어, 하나 또는 그 이상의 은닉 레이어(hidden layer)들은 단순 선형으로 구성된 레이어일 수도 있고, CNN(Convolutional Neural Network), RNN(Recurrent Neural Network) 및/또는 LSTM(Long Short-Term Memory Model)로 구성된 레이어들의 집합일 수도 있다.
실시예들에 따른 뉴럴 네트워크 모델은 제품 정보, 제품 패턴 값 정보, 제품의 부품 정보, 부품 패턴 값 정보 및/또는 벡터값 간의 차이값 정보(또는 학습 데이터, 600)를 학습하여 고장 빈번 영역(Frequently Broken Part)에 대한 정보(603)를 출력하는 모델일 수 있다. 실시예들에 따른 제품 정보, 제품 패턴 값 정보, 제품의 부품 정보, 부품 패턴 값 정보에 대한 설명은 상술한 바와 동일 또는 유사하다. 실시예들에 따른 벡터값 간의 차이값 정보는 도 5에서 상술한 차이값과 동일 또는 유사하다. 실시예들에 따른 학습 데이터는 제품 데이터베이스에 저장된 데이터 및/또는 서버에 의하여 계산된 값에 대한 데이터를 포함한다. 즉, 실시예들에 따른 인공지능부는 상술한 학습 데이터를 기반으로 특정 제품에 대하여 벡터값 간의 차이값이 기설정된 값보다 크게 계산되는 제2 포인트에 대응하는 부품을 예측할 수 있다. 상술한 바와 같이, 벡터값 간의 차이값이 기설정된 값보다 크게 계산되는 제2 포인트에 대응하는 부품은 교체가 필요한 부품에 해당할 수 있다. 따라서, 인공지능부는 학습 데이터를 기반으로 특정 제품에 대하여 교체가 필요한 부품으로 추출되는 부품을 예측할 수 있다. 예측된 부품에 대응하는 영역은 고장 빈번 영역으로 호칭될 수 있다.
실시예들에 따른 서버는 이 도면에서 설명하는 인공지능부를 통하여 임의의 제품에 대해 고장이 빈번히 일어나는 부품에 대한 정보를 예측할 수 있다. 따라서, 서버는 예측된 부품에 대응하는 영역에서만 제2 포인트들(도 5의 제2 포인트들) 생성하여 벡터값을 계산할 수 있다. 즉, 서버는 이 도면에서 설명하는 인공지능부를 통하여 제한된 영역에서의 제2 포인트들에 따른 벡터값 계산을 수행하여 교체가 필요한 부품을 판단하는 과정에서의 버든(burden)을 줄일 수 있다.
도 7은 실시예들에 따른 고장 빈번 영역(Frequently Broken Part)을 기반으로 교체가 필요한 부품을 추출하는 과정의 예시이다.
도 7은 실시예들에 따른 고장 빈번 영역(710)을 기반으로 교체가 필요한 부품을 추출하는 과정의 예시를 나타낸다. 실시예들에 따른 고장 빈번 영역에 대한 설명은 도 6에서 상술한 바와 동일하다. 700은 실시예들에 따른 제1 포인트들을 나타낸다. 710은 실시예들에 따른 고장 빈번 영역을 나타낸다. 720은 실시예들에 따른 제2 포인트들을 나타낸다.
실시예들에 따른 서버는 제품이 식별되면, 식별된 제품의 부품들에 대응하는 제2 포인트들을 영상 데이터에서 인식할 수 있다. 다만, 도 6에서 상술한 바와 같이 서버는 고장 빈번 영역이 예측되면, 예측된 고장 빈번 영역 내의 부품들에 대응하는 제2 포인트들만 영상 데이터에서 인식할 수 있다. 즉, 도면에서 도시된 바와 같이, 실시예들에 따른 서버는 고장 빈번 영역(710) 내의 부품들에 대응하는 제2 포인트들(720들)만 영상 데이터에서 인식하여 부품 패턴 값을 계산할 수 있다. 실시예들에 따른 서버는 고장 빈번 영역 내 제2 포인트들에 따른 부품 패턴 값을 계산하여, 고장 빈번 영역 내 부품에 대해 교체 필요성을 판단할 수 있다. 실시예들에 따른 부품에 대한 교체 필요성을 판단하는 과정은 도 5에서 상술한 바와 동일하다.
실시예들에 따른 제품의 부품 교체 필요성을 판단하는 서버는 이 도면에서 설명하는 고장 빈번 영역을 기반으로 부품의 교체 필요성을 판단하는 과정을 통해 효율적은 판단 과정을 수행할 수 있다. 즉, 실시예들에 따른 서버는 제품의 모든 부품들에 대응하는 제2 포인트들을 인식하지 않아도 되어, 보다 빠른 판단 과정을 수행할 수 있다.
도 8은 도 1에 따른 제품의 부품 교체 필요성을 판단하는 서버에 대한 하드웨어 구성도이다.
도 8을 참조하면, 제품의 부품 교체 필요성을 판단하는 서버(100)는, 적어도 하나의 프로세서(processor, 110) 및/또는 적어도 하나의 프로세서(110)가 적어도 하나의 단계를 수행하도록 지시하는 명령어들(instructions)을 저장하는 메모리(memory, 120)를 포함할 수 있다.
적어도 하나의 프로세서(110)는 중앙 처리 장치(central processing unit, CPU), 그래픽 처리 장치(graphics processing unit, GPU), 또는 실시예들에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다. 메모리(120) 및 저장 장치(160) 각각은 휘발성 저장 매체 및 비휘발성 저장 매체 중에서 적어도 하나로 구성될 수 있다. 예를 들어, 메모리(120)는 읽기 전용 메모리(read only memory, ROM) 및 랜덤 액세스 메모리(random access memory, RAM) 중에서 적어도 하나로 구성될 수 있다.
또한, 제품의 부품 교체 필요성을 판단하는 서버(100)는, 무선 네트워크를 통해 통신을 수행하는 송수신 장치(transceiver, 130)를 포함할 수 있다. 또한, 제품의 부품 교체 필요성을 판단하는 서버는 입력 인터페이스 장치(140), 출력 인터페이스 장치(150), 저장 장치(160) 등을 더 포함할 수 있다. 파충류 거래 플랫폼을 운용하는 서버(100)에 포함된 각각의 구성 요소들은 버스(bus, 170)에 의해 연결되어 서로 통신을 수행할 수 있다.
실시예들에 따른 적어도 하나의 단계는, 사용자 단말로부터 제품(product)에 대한 영상 데이터를 수신하는 단계, 수신된 영상 데이터에서 제품 및 상기 제품에 포함된 하나 또는 그 이상의 부품들(components)을 식별하는 단계, 제품 및 부품들의 식별은 제품 데이터베이스(database)를 기반으로 함하고, 식별된 하나 또는 그 이상의 부품들 중에서 교체가 필요한 부품을 추출하는 단계 및/또는 식별된 제품에 대한 정보, 식별된 제품에 포함된 하나 또는 그 이상의 부품들에 대한 정보 및 추출된 교체가 필요한 부품에 대한 정보를 사용자 단말로 송신하는 단계를 포함할 수 있다. 또한, 실시예들에 따른 영상 데이터는 사용자 단말에 포함된 라이다(LiDAR) 센서 또는 TOF(Time of Flight) 센서를 통해 획득된 데이터에 해당할 수 있다.
실시예들에 따른 제품 데이터베이스는 제품 정보, 제품 패턴(pattern) 값 정보, 제품의 부품 정보를 포함할 수 있다. 실시예들에 따른 수신된 영상 데이터에서 제품 및 제품에 포함된 하나 또는 그 이상의 부품들(components)을 식별하는 단계는 영상 데이터에서 제1 포인트(point)들을 인식하고 제1 포인트들에 따른 제품 패턴 값을 계산하는 단계, 계산된 제1 포인트들에 따른 제품 패턴 값 및 제품 패턴 값 정보를 기반으로 영상 데이터의 제품을 식별하는 단계 및/또는 식별된 제품 및 제품의 부품 정보를 기반으로 식별된 제품에 포함된 하나 또는 그 이상의 부품들을 식별하는 단계를 포함할 수 있다.
실시예들에 따른 제품 데이터베이스는 제품의 부품 패턴 값 정보를 더 포함할 수 있다. 실시예들에 따른 식별된 하나 또는 그 이상의 부품들 중에서 교체가 필요한 부품을 추출하는 단계는, 영상 데이터에서 제2 포인트들을 인식하고 제2 포인트들에 따른 부품 패턴 값을 계산하는 단계 및/또는 계산된 제2 포인트들에 따른 부품 패턴 값 및 부품 패턴 값 정보를 기반으로 교체가 필요한 부품을 추출하는 단계를 포함할 수 있다.
실시예들에 따른 제품 데이터베이스는 제품의 고장 빈번 영역에 대한 정보(Frequently Broken Part)를 더 포함할 수 있다. 실시예들에 따른 인식된 제2 포인트들은 식별된 제품의 고장 빈번 영역에 위치한 포인트들에 해당할 수 있다.
실시예들에 따른 제1 포인트들에 따른 제품 패턴 값은 중심 포인트로부터 제1 포인트들 각각까지의 벡터값을 포함하고, 중심 포인트는 제1 포인트들의 위치를 나타내는 좌표에 기반하여 결정될 수 있다. 실시예들에 따른 제2 포인트들에 따른 부품 패턴 값은 중심 포인트로부터 제2 포인트들 각각까지의 벡터값을 포함할 수 있다. 실시예들에 따른 교체가 필요한 부품의 추출은 계산된 제2 포인트들에 따른 부품 패턴 값에 포함된 벡터값 및 제품 데이터베이스의 부품 패턴 값 정보에 포함된 벡터값 간의 차이값에 기반할 수 있다.
실시예들은 다양한 컴퓨터 수단을 통해 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위해 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능 매체의 예에는 롬(ROM), 램(RAM), 플래시 메모리(flash memory) 등과 같이 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함될 수 있다. 프로그램 명령의 예에는 컴파일러(compiler)에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터(interpreter) 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 적어도 하나의 소프트웨어 모듈로 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
또한, 상술한 방법 또는 장치는 그 구성이나 기능의 전부 또는 일부가 결합되어 구현되거나, 분리되어 구현될 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (5)

  1. 제품의 부품 교체 필요성을 판단하는 서버로서,
    적어도 하나의 프로세서(processor);
    상기 적어도 하나의 프로세서가 적어도 하나의 단계를 수행하도록 지시하는 명령어들(instructions)을 저장하는 메모리(memory); 및
    데이터베이스(database)를 포함하고,
    상기 적어도 하나의 단계는,
    사용자 단말로부터 제품(product)에 대한 영상 데이터를 수신하는 단계;
    상기 수신된 영상 데이터에서 상기 제품 및 상기 제품에 포함된 하나 또는 그 이상의 부품들(components)을 식별하는 단계;
    상기 식별된 하나 또는 그 이상의 부품들 중에서 교체가 필요한 부품을 추출하는 단계; 및
    상기 식별된 제품에 대한 정보, 상기 식별된 제품에 포함된 하나 또는 그 이상의 부품들에 대한 정보 및 상기 추출된 교체가 필요한 부품에 대한 정보를 상기 사용자 단말에게 송신하는 단계; 를 포함하고,
    상기 영상 데이터는 상기 사용자 단말에 포함된 라이다(LiDAR) 센서 또는 TOF(Time of Flight) 센서를 통해 획득된 데이터에 해당하고,
    상기 데이터베이스는 상기 제품의 패턴 값에 대한 정보, 상기 제품의 부품에 대한 정보, 그리고 상기 제품의 고장 빈번 영역(Frequently Broken Part)에 대한 정보를 저장하고,
    상기 영상 데이터에서 상기 제품 및 상기 제품에 포함된 하나 또는 그 이상의 부품들을 식별하는 단계는,
    상기 영상 데이터에서 제1 포인트(point)들을 인식하고 제1 포인트들에 따른 제품 패턴 값을 계산하는 단계와,
    상기 제1 포인트들에 따른 제품 패턴 값 및 상기 제품의 패턴 값에 대한 정보를 기반으로 상기 영상 데이터의 상기 제품을 식별하는 단계와,
    상기 식별된 제품 및 상기 제품의 부품에 대한 정보를 기반으로 상기 식별된 제품에 포함된 하나 또는 그 이상의 부품들을 식별하는 단계를 포함하고,
    상기 식별된 하나 또는 그 이상의 부품들 중에서 교체가 필요한 부품을 추출하는 단계는,
    상기 영상 데이터에서 제2 포인트들을 인식하고 제2 포인트들에 따른 부품 패턴 값을 계산하는 단계와,
    상기 계산된 제2 포인트들에 따른 부품 패턴 값 및 상기 제품의 부품에 대한 정보를 기반으로 상기 교체가 필요한 부품을 추출하는 단계를 포함하고,
    상기 제1 포인트들에 따른 제품 패턴 값은 중심 포인트로부터 상기 제1 포인트들 각각까지의 벡터값을 포함하고, 상기 중심 포인트는 상기 제1 포인트들의 위치를 나타내는 좌표에 기반하여 결정되고,
    상기 제2 포인트들에 따른 부품 패턴 값은 상기 중심 포인트로부터 상기 제2 포인트들 각각까지의 벡터값을 포함하고,
    상기 교체가 필요한 부품의 추출은 상기 계산된 제2 포인트들에 따른 부품 패턴 값에 포함된 벡터값 및 상기 제품의 부품에 대한 정보에 포함된 벡터값 간의 차이값에 기반하는,
    서버.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
KR1020210010627A 2021-01-26 2021-01-26 제품의 부품 교체 필요성을 판단하는 서버 및 그 동작 방법 KR102263067B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210010627A KR102263067B1 (ko) 2021-01-26 2021-01-26 제품의 부품 교체 필요성을 판단하는 서버 및 그 동작 방법
KR1020210070696A KR102274281B1 (ko) 2021-01-26 2021-06-01 제품의 부품에 대한 정보를 분석하는 방법 및 분석 서버

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210010627A KR102263067B1 (ko) 2021-01-26 2021-01-26 제품의 부품 교체 필요성을 판단하는 서버 및 그 동작 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020210070696A Division KR102274281B1 (ko) 2021-01-26 2021-06-01 제품의 부품에 대한 정보를 분석하는 방법 및 분석 서버

Publications (1)

Publication Number Publication Date
KR102263067B1 true KR102263067B1 (ko) 2021-06-09

Family

ID=76415144

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020210010627A KR102263067B1 (ko) 2021-01-26 2021-01-26 제품의 부품 교체 필요성을 판단하는 서버 및 그 동작 방법
KR1020210070696A KR102274281B1 (ko) 2021-01-26 2021-06-01 제품의 부품에 대한 정보를 분석하는 방법 및 분석 서버

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020210070696A KR102274281B1 (ko) 2021-01-26 2021-06-01 제품의 부품에 대한 정보를 분석하는 방법 및 분석 서버

Country Status (1)

Country Link
KR (2) KR102263067B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190117390A (ko) * 2018-04-06 2019-10-16 디 이에스에이비 그룹 아이엔씨 용접 및 절단 토치들을 위한 콤포넌트들의 자동 식별
KR20190126952A (ko) * 2018-05-02 2019-11-13 삼성디스플레이 주식회사 불량 검출 장치 및 방법
JP2020504358A (ja) * 2017-04-11 2020-02-06 アリババ・グループ・ホールディング・リミテッドＡｌｉｂａｂａ Ｇｒｏｕｐ Ｈｏｌｄｉｎｇ Ｌｉｍｉｔｅｄ 画像ベースの車両損害評価方法、装置、およびシステム、ならびに電子デバイス
KR102181624B1 (ko) 2013-11-29 2020-11-23 르노삼성자동차 주식회사 부품 정보 분석 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102181624B1 (ko) 2013-11-29 2020-11-23 르노삼성자동차 주식회사 부품 정보 분석 방법
JP2020504358A (ja) * 2017-04-11 2020-02-06 アリババ・グループ・ホールディング・リミテッドＡｌｉｂａｂａ Ｇｒｏｕｐ Ｈｏｌｄｉｎｇ Ｌｉｍｉｔｅｄ 画像ベースの車両損害評価方法、装置、およびシステム、ならびに電子デバイス
KR20190117390A (ko) * 2018-04-06 2019-10-16 디 이에스에이비 그룹 아이엔씨 용접 및 절단 토치들을 위한 콤포넌트들의 자동 식별
KR20190126952A (ko) * 2018-05-02 2019-11-13 삼성디스플레이 주식회사 불량 검출 장치 및 방법

Also Published As

Publication number Publication date
KR102274281B1 (ko) 2021-07-06

Similar Documents

Publication Publication Date Title
US20200267371A1 (en) Handheld portable optical scanner and method of using
KR102270499B1 (ko) 이미지 기반의 차량 손상 판정 방법과 장치, 및 전자기기
US20150046299A1 (en) Inventory Assessment with Mobile Devices
EP2987322A1 (en) Handheld portable optical scanner and method of using
WO2012033768A2 (en) Efficient information presentation for augmented reality
US11928856B2 (en) Computer vision and speech algorithm design service
US20210334601A1 (en) Spatial localization design service
CN113724388B (zh) 高精地图的生成方法、装置、设备以及存储介质
CN114830177A (zh) 电子设备和用于控制该电子设备的方法
US20200410759A1 (en) Providing augmented reality target images in a web browser
KR20220169825A (ko) Bim 설계 데이터 내 설비 라인을 자동으로 설계하는 장치, 방법 및 프로그램
KR102263067B1 (ko) 제품의 부품 교체 필요성을 판단하는 서버 및 그 동작 방법
CN113255511A (zh) 用于活体识别的方法、装置、设备以及存储介质
Kostoeva et al. Indoor 3D interactive asset detection using a smartphone
CN108027647B (zh) 用于与虚拟对象交互的方法和设备
US20230206390A1 (en) Dynamic over-rendering in late-warping
CN114119999B (zh) 基于深度学习的迭代6d位姿估计方法及装置
CN114494857A (zh) 一种基于机器视觉的室内目标物识别和测距方法
Ghofrani et al. Catiloc: Camera image transformer for indoor localization
KR20220169824A (ko) Xr 기반의 감리 보조 장치, 방법 및 프로그램
US20230401796A1 (en) Fast ar device pairing using depth predictions
US11941794B2 (en) Commissioning of lighting system aided by augmented reality
CN114723923B (zh) 一种传动解决方案模拟展示***和方法
CN114450655B (zh) 量化增强现实交互的***和方法
WO2023053317A1 (en) Image matching apparatus, control method, and non-transitory computer-readable storage medium

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant