KR20240085487A - User information processing method and system using 3D foot model based on mobile scan - Google Patents

Abstract

모바일 스캔 기반 3차원 발 모델을 이용한 사용자 정보 처리 방법 및 시스템이 개시된다. 본 발명의 일 실시예에 따르면, 3차원 발 모델을 이용한 사용자 정보 처리 서버는, 모바일 단말과 통신하여 상기 모바일 단말에 의해 수행되는 모바일 스캔에 의해 획득된 사용자의 3차원 발 모델을 수집하고, 신발업체 서버 혹은 상기 모바일 단말로부터 신발을 모델링한 신발 모델을 수집하는 데이터 수집부; 상기 신발 모델을 상기 3차원 발 모델에 착화시키고, 상기 신발 모델의 팽창 정도를 산출하는 피팅부; 및 상기 팽창 정도가 소정 기준을 만족하는 상기 신발 모델에 대응되는 신발을 추천 신발 정보로 상기 3차원 발 모델을 전송한 상기 모바일 단말로 전송하는 사용자 정보 처리부를 포함할 수 있다. A user information processing method and system using a mobile scan-based 3D foot model are disclosed. According to one embodiment of the present invention, a user information processing server using a 3D foot model communicates with a mobile terminal to collect the user's 3D foot model obtained by a mobile scan performed by the mobile terminal, and a data collection unit that collects shoe models modeling shoes from a company server or the mobile terminal; a fitting unit that fits the shoe model onto the three-dimensional foot model and calculates a degree of expansion of the shoe model; and a user information processing unit that transmits a shoe corresponding to the shoe model whose inflation degree satisfies a predetermined standard to the mobile terminal that transmitted the 3D foot model as recommended shoe information.

Description

모바일 스캔 기반 3차원 발 모델을 이용한 사용자 정보 처리 방법 및 시스템{User information processing method and system using 3D foot model based on mobile scan}User information processing method and system using 3D foot model based on mobile scan}

본 발명은 모바일 스캔 기반 3차원 발 모델을 이용한 사용자 정보 처리 방법 및 시스템에 관한 것이다. The present invention relates to a user information processing method and system using a mobile scan-based 3D foot model.

인터넷 기술과 스마트폰이 대중화됨에 따라 온라인을 통한 물품 구매가 일반화되고, 온라인 쇼핑 시장이 점차 커지고 있다. 소비자의 취향을 파악하고, 소비자 맞춤형으로 물품을 추천하고 배송해주는 서비스가 늘고 있다. As internet technology and smartphones become popular, purchasing goods online has become common, and the online shopping market is gradually growing. Services that identify consumers' tastes and recommend and deliver customized products are increasing.

하지만, 신발의 경우 사용자마다 다양한 발 길이, 너비, 발등 높이 등으로 인해 최적의 착화감을 제공하는 신발을 추천해 주는 것이 쉽지 않다. However, in the case of shoes, it is not easy to recommend shoes that provide the optimal fit due to the various foot lengths, widths, and instep heights of each user.

신발은 패션 아이템의 하나이기 때문에, 단순히 사용자의 발에 최적의 착화감을 제공해주는 것뿐만 아니라 사용자의 취향을 맞춰 주는 것 또한 필요하여 고객 맞춤형 서비스 구현이 어려운 실정이다. Since shoes are one of the fashion items, it is necessary not only to provide the optimal fit for the user's feet but also to suit the user's tastes, making it difficult to implement customized services.

한국공개특허 제10-2022-0055799호 (2022.05.04. 공개) - 사용자의 발 사이즈에 적합한 신발을 결정하는 시스템Korean Patent Publication No. 10-2022-0055799 (published on May 4, 2022) - System for determining shoes suitable for the user’s foot size

본 발명은 모바일 스캔을 통해 사용자의 발과 실질적으로 동일한 3차원 발 모델을 생성하고, 3차원 발 모델을 이용하여 발 관련 정보를 추출하여 발의 각 부위에 대해 최적으로 피팅되어 우수한 착화감을 제공하는 신발을 추천해 줄 수 있는 모바일 스캔 기반 3차원 발 모델을 이용한 사용자 정보 처리 방법 및 시스템을 제공하기 위한 것이다.The present invention creates a three-dimensional foot model that is substantially identical to the user's foot through mobile scanning, extracts foot-related information using the three-dimensional foot model, and provides a shoe that is optimally fitted for each part of the foot and provides excellent wearing comfort. The purpose is to provide a user information processing method and system using a mobile scan-based 3D foot model that can provide recommendations.

본 발명은 사용자의 신발장 영상 혹은 유사 발 모델을 가지는 타인의 신발장 영상을 분석하여 사용자 취향에 맞는 혹은 유사한 발을 가진 타 사용자의 취향에 따른 신발을 추천받을 수 있게 하는 모바일 스캔 기반 3차원 발 모델을 이용한 사용자 정보 처리 방법 및 시스템을 제공하기 위한 것이다.The present invention is a mobile scan-based 3D foot model that analyzes the user's shoe rack image or the shoe rack image of another person with a similar foot model to recommend shoes that match the user's taste or according to the taste of other users with similar feet. It is intended to provide a user information processing method and system.

본 발명은 시간 경과에 따른 사용자의 발 형상 변화를 파악하고, 계절 및 패션을 고려하여 사용자에게 최적의 신발을 추천해 줄 수 있고, 기업에게는 고객의 발 모델을 제공하여 최적으로 피팅된 신발을 제작할 수 있게 하는 모바일 스캔 기반 3차원 발 모델을 이용한 사용자 정보 처리 방법 및 시스템을 제공하기 위한 것이다.The present invention can identify changes in the shape of the user's feet over time, recommend optimal shoes to the user by considering seasons and fashion, and provide companies with a customer's foot model to produce optimally fitting shoes. The purpose is to provide a user information processing method and system using a mobile scan-based 3D foot model that enables user information processing.

본 발명의 이외의 목적들은 하기의 설명을 통해 쉽게 이해될 수 있을 것이다.Other objects of the present invention may be easily understood through the following description.

본 발명의 일 측면에 따르면, 3차원 발 모델을 이용한 사용자 정보 처리 서버로서, 모바일 단말과 통신하여 상기 모바일 단말에 의해 수행되는 모바일 스캔에 의해 획득된 사용자의 3차원 발 모델을 수집하고, 신발업체 서버 혹은 상기 모바일 단말로부터 신발을 모델링한 신발 모델을 수집하는 데이터 수집부; 상기 신발 모델을 상기 3차원 발 모델에 착화시키고, 상기 신발 모델의 팽창 정도를 산출하는 피팅부; 및 상기 팽창 정도가 소정 기준을 만족하는 상기 신발 모델에 대응되는 신발을 추천 신발 정보로 상기 3차원 발 모델을 전송한 상기 모바일 단말로 전송하는 사용자 정보 처리부를 포함하는 3차원 발 모델을 이용한 사용자 정보 처리 서버가 제공된다. According to one aspect of the present invention, there is a user information processing server using a 3D foot model, which communicates with a mobile terminal to collect the user's 3D foot model obtained by a mobile scan performed by the mobile terminal, and provides a user information processing server using a 3D foot model. a data collection unit that collects shoe models modeling shoes from a server or the mobile terminal; a fitting unit that fits the shoe model onto the three-dimensional foot model and calculates a degree of expansion of the shoe model; and user information using a 3D foot model, including a user information processing unit that transmits a shoe corresponding to the shoe model whose inflation degree satisfies a predetermined standard as recommended shoe information to the mobile terminal that transmitted the 3D foot model. A processing server is provided.

상기 신발 모델은 신발의 내피에 대응되는 내피 메쉬이며, 상기 피팅부는 상기 3차원 발 모델을 상기 내피 메쉬의 형상에 맞도록 변형시키고, 상기 내피 메쉬를 상기 3차원 발 모델에 대한 기본 위치에 배치하며, 소정 비율만큼 팽창시킨 이후 상기 기본 위치를 중심으로 축소시키는 과정 중에 상기 내피 메쉬의 정점을 상기 3차원 발 모델의 발 메쉬 상에 피팅시킬 수 있다.The shoe model is an inner skin mesh corresponding to the inner skin of the shoe, and the fitting unit deforms the three-dimensional foot model to fit the shape of the inner skin mesh and places the inner skin mesh in a basic position with respect to the three-dimensional foot model. , After expanding by a predetermined ratio, the vertices of the endothelial mesh can be fitted onto the foot mesh of the three-dimensional foot model during the process of shrinking around the basic position.

상기 피팅부는 상기 내피 메쉬의 정점이 팽창 이후 축소되는 과정에서 상기 발 메쉬를 관통하지 않을 경우에는 축소된 정점이 제1 피팅점이 되고, 상기 발 메쉬를 관통하는 경우에는 충돌점에서 축소가 정지되고 상기 충돌점이 제2 피팅점이 되며, 상기 제1 피팅점과 상기 제2 피팅점의 조합으로 착화 상태의 내피 메쉬를 만들어낼 수 있다.If the fitting part does not penetrate the foot mesh in the process of shrinking after expansion of the vertex of the endothelial mesh, the collapsed vertex becomes the first fitting point, and if it penetrates the foot mesh, contraction is stopped at the collision point and the The collision point becomes the second fitting point, and the endothelial mesh in the ignited state can be created by combining the first fitting point and the second fitting point.

상기 피팅부는 상기 내피 메쉬의 원본 정점과 상기 착화 상태의 정점 간의 거리를 비교하여 팽창 정도를 산출하고 상기 팽창 정도에 상응하여 피팅감을 컬러로 표현하거나, 상기 착화 상태의 내피 메쉬를 구성하는 삼각형 에지의 길이를 비교하여 팽창 정도를 산출하고 상기 팽창 정도에 상응하여 피팅감을 컬러로 표현할 수 있다.The fitting unit calculates the degree of expansion by comparing the distance between the original vertex of the endothelial mesh and the vertex in the ignited state and expresses the fitting in color corresponding to the degree of expansion, or the triangular edge constituting the endothelial mesh in the ignited state By comparing the lengths, the degree of expansion can be calculated and the fit can be expressed in color corresponding to the degree of expansion.

상기 사용자 정보 처리부는 상기 3차원 발 모델에 대해 상기 신발 모델 중에서 소정 기준 이상의 우수한 착화감을 제공하는 추천 신발 모델을 찾고, 상기 추천 신발 모델에 관한 정보를 상기 모바일 단말로 전송할 수 있다.The user information processing unit may search for a recommended shoe model that provides excellent fit more than a predetermined standard among the shoe models for the 3D foot model, and transmit information about the recommended shoe model to the mobile terminal.

상기 데이터 수집부는 정기적으로 혹은 비정기적으로 여러 차례 상기 3차원 발 모델을 수집하고, 상기 사용자 정보 처리부는 시간 순으로 상기 3차원 발 모델을 비교하여 발 형상의 변화를 분석하고, 상기 변화를 고려한 신발 추천 혹은 신발 구독이 이루어지게 할 수 있다.The data collection unit regularly or irregularly collects the 3D foot model several times, and the user information processing unit compares the 3D foot models in chronological order to analyze changes in foot shape, and shoes that take the changes into account. Recommendations or shoe subscriptions can be made.

상기 데이터 수집부는 상기 사용자가 상기 모바일 단말을 이용하여 촬영한 신발장 영상을 전송받고, 상기 사용자 정보 처리부는 상기 신발장 영상 내의 신발 영상을 추출하고, 상기 신발 영상에 대해 텍스트, 색상 및 형상 중 적어도 하나의 특징 검출을 통해 상기 사용자의 취향을 파악하고, 상기 신발 모델 중 상기 취향에 대응되고 소정 기준 이상의 우수한 착화감을 제공하는 추천 신발 모델을 찾고, 상기 추천 신발 모델에 관한 정보를 상기 모바일 단말로 전송할 수 있다.The data collection unit receives a shoe rack image captured by the user using the mobile terminal, and the user information processing unit extracts a shoe image from the shoe rack image and displays at least one of text, color, and shape for the shoe image. Through feature detection, the user's taste can be identified, a recommended shoe model that corresponds to the taste among the shoe models and provides excellent wearing comfort above a predetermined standard can be found, and information about the recommended shoe model can be transmitted to the mobile terminal. .

상기 데이터 수집부는 복수의 사용자 각각의 모바일 단말을 통해 상기 복수의 사용자 각각의 발을 모바일 스캔한 복수의 3차원 발 모델을 수집하고, 상기 사용자 정보 처리부는 상기 복수의 3차원 발 모델 중에서 제1 사용자의 3차원 발 모델과 유사한 유사 발 모델을 비교 분석으로 찾고, 상기 데이터 수집부는 상기 유사 발 모델의 주인인 제2 사용자가 상기 모바일 단말을 이용하여 촬영한 신발장 영상을 전송받으며, 상기 사용자 정보 처리부는 상기 신발장 영상 내의 신발 영상을 추출하고, 상기 신발 영상에 대해 텍스트, 색상 및 형상 중 적어도 하나의 특징 검출을 통해 상기 제2 사용자의 취향을 파악하고, 상기 신발 모델 중 상기 취향에 대응되고 소정 기준 이상의 우수한 착화감을 제공하는 추천 신발 모델을 찾고, 상기 추천 신발 모델에 관한 정보를 상기 제1 사용자의 모바일 단말로 전송할 수 있다.The data collection unit collects a plurality of 3D foot models obtained by mobile scanning the feet of each of the plurality of users through each of the plurality of users' mobile terminals, and the user information processing unit selects a first user among the plurality of 3D foot models. A similar foot model similar to the three-dimensional foot model is found through comparative analysis, the data collection unit receives a shoe rack image captured by a second user who is the owner of the similar foot model using the mobile terminal, and the user information processing unit Extract a shoe image from the shoe cabinet image, determine the taste of the second user through detection of at least one feature of text, color, and shape for the shoe image, and select one of the shoe models that corresponds to the taste and exceeds a predetermined standard. A recommended shoe model that provides excellent fit can be found, and information about the recommended shoe model can be transmitted to the first user's mobile terminal.

한편 본 발명의 다른 측면에 따르면, 3차원 발 모델을 이용한 사용자 정보 처리 방법을 수행하도록 하기 위해 컴퓨터-판독 가능 매체에 저장된 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램은 컴퓨터로 하여금 이하의 단계들을 수행하도록 하며, 상기 단계들은, 모바일 단말과 통신하여 상기 모바일 단말에 의해 수행되는 모바일 스캔에 의해 획득된 사용자의 3차원 발 모델을 수집하는 단계 (a); 신발업체 서버 혹은 상기 모바일 단말로부터 신발을 모델링한 신발 모델을 수집하는 단계 (b); 상기 신발 모델을 상기 3차원 발 모델에 착화시키는 단계 (c); 상기 신발 모델의 팽창 정도를 산출하는 단계 (d); 상기 팽창 정도가 소정 기준을 만족하는 상기 신발 모델에 대응되는 신발을 추천 신발 정보로 상기 3차원 발 모델을 전송한 상기 모바일 단말로 전송하는 단계 (e)를 포함하는 컴퓨터-판독 가능 매체에 저장된 컴퓨터 프로그램이 제공된다. Meanwhile, according to another aspect of the present invention, a computer program stored in a computer-readable medium for performing a user information processing method using a three-dimensional foot model, the computer program causes the computer to perform the following steps, The steps include (a) communicating with a mobile terminal to collect a three-dimensional foot model of the user obtained by a mobile scan performed by the mobile terminal; Step (b) of collecting shoe models modeling shoes from the shoe company server or the mobile terminal; (c) putting the shoe model on the three-dimensional foot model; Step (d) calculating the degree of expansion of the shoe model; A computer stored in a computer-readable medium comprising the step (e) of transmitting a shoe corresponding to the shoe model whose inflation degree satisfies a predetermined standard to the mobile terminal that transmitted the 3D foot model as recommended shoe information. Program is provided.

상기 단계 (a)는 정기적으로 혹은 비정기적으로 여러 차례 상기 3차원 발 모델을 수집하고, 상기 단계 (e)는, 시간 순으로 상기 3차원 발 모델을 비교하여 발 형상의 변화를 분석하는 단계와; 상기 변화를 고려한 신발 추천 혹은 신발 구독이 이루어지게 하는 단계를 포함할 수 있다.Step (a) collects the three-dimensional foot model several times regularly or irregularly, and step (e) compares the three-dimensional foot model in chronological order to analyze changes in foot shape. ; It may include a step of making shoe recommendations or shoe subscriptions taking the above changes into account.

상기 사용자가 상기 모바일 단말을 이용하여 촬영한 신발장 영상을 전송받는 단계; 상기 신발장 영상 내의 신발 영상을 추출하는 단계; 상기 신발 영상에 대해 텍스트, 색상 및 형상 중 적어도 하나의 특징 검출을 통해 상기 사용자의 취향을 파악하는 단계; 상기 신발 모델 중 상기 취향에 대응되고 소정 기준 이상의 우수한 착화감을 제공하는 추천 신발 모델을 찾는 단계; 및 상기 추천 신발 모델에 관한 정보를 상기 모바일 단말로 전송하는 단계를 더 포함할 수 있다.Receiving a shoe cabinet image captured by the user using the mobile terminal; Extracting a shoe image from the shoe cabinet image; Identifying the user's taste by detecting at least one feature of text, color, and shape with respect to the shoe image; Finding a recommended shoe model among the shoe models that corresponds to the taste and provides excellent wearing comfort above a predetermined standard; And it may further include transmitting information about the recommended shoe model to the mobile terminal.

상기 단계 (a)는 복수의 사용자 각각의 모바일 단말을 통해 상기 복수의 사용자 각각의 발을 모바일 스캔한 복수의 3차원 발 모델을 수집하는 단계를 포함하고, 상기 단계 (e)는 상기 복수의 3차원 발 모델 중에서 제1 사용자의 3차원 발 모델과 유사한 유사 발 모델을 비교 분석으로 찾는 단계를 포함하며, 상기 유사 발 모델의 주인인 제2 사용자가 상기 모바일 단말을 이용하여 촬영한 신발장 영상을 전송받는 단계; 상기 신발장 영상 내의 신발 영상을 추출하는 단계; 상기 신발 영상에 대해 텍스트, 색상 및 형상 중 적어도 하나의 특징 검출을 통해 상기 제2 사용자의 취향을 파악하는 단계; 상기 신발 모델 중 상기 취향에 대응되고 소정 기준 이상의 우수한 착화감을 제공하는 추천 신발 모델을 찾는 단계; 및 상기 추천 신발 모델에 관한 정보를 상기 제1 사용자의 모바일 단말로 전송하는 단계를 더 포함할 수 있다.Step (a) includes collecting a plurality of three-dimensional foot models obtained by mobile scanning the feet of each of the plurality of users through each of the plurality of users' mobile terminals, and step (e) includes collecting a plurality of three-dimensional foot models of the plurality of users through each mobile terminal. A step of finding a similar foot model similar to the three-dimensional foot model of the first user among the dimensional foot models through comparative analysis, wherein the second user, who is the owner of the similar foot model, transmits a shoe rack image captured using the mobile terminal. Receiving stage; Extracting a shoe image from the shoe cabinet image; determining the taste of the second user by detecting at least one feature of text, color, and shape with respect to the shoe image; Finding a recommended shoe model among the shoe models that corresponds to the taste and provides excellent wearing comfort above a predetermined standard; And it may further include transmitting information about the recommended shoe model to the mobile terminal of the first user.

전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.Other aspects, features and advantages in addition to those described above will become apparent from the following drawings, claims and detailed description of the invention.

본 발명의 실시예에 따르면, 모바일 스캔을 통해 사용자의 발과 실질적으로 동일한 3차원 발 모델을 생성하고, 3차원 발 모델을 이용하여 발 관련 정보를 추출하여 발의 각 부위에 대해 최적으로 피팅되어 우수한 착화감을 제공하는 신발을 추천해 줄 수 있는 효과가 있다.According to an embodiment of the present invention, a three-dimensional foot model substantially identical to the user's foot is created through mobile scanning, and foot-related information is extracted using the three-dimensional foot model to optimally fit each part of the foot to provide excellent foot quality. It has the effect of recommending shoes that provide comfort.

또한, 사용자의 신발장 영상 혹은 유사 발 모델을 가지는 타인의 신발장 영상을 분석하여 사용자 취향에 맞는 혹은 유사한 발을 가진 타 사용자의 취향에 따른 신발을 추천받을 수 있게 하는 효과가 있다.In addition, by analyzing the user's shoe cabinet video or the shoe cabinet video of another person with a similar foot model, it is possible to receive recommendations for shoes that match the user's tastes or according to the tastes of other users with similar feet.

또한, 시간 경과에 따른 사용자의 발 형상 변화를 파악하고, 계절 및 패션을 고려하여 사용자에게 최적의 신발을 추천해 줄 수 있고, 기업에게는 고객의 발 모델을 제공하여 최적으로 피팅된 신발을 제작할 수 있게 하는 효과도 있다.In addition, it is possible to identify changes in the shape of the user's feet over time and recommend the optimal shoes to the user by considering the season and fashion. By providing the customer's foot model to companies, they can produce optimally fitting shoes. There is also an effect that allows it to happen.

도 1은 본 발명의 일 실시예에 따른 모바일 스캔 기반 3차원 발 모델을 이용한 사용자 정보 처리 시스템의 구성 블록도,
도 2는 본 발명의 일 실시예에 따른 모바일 스캔 기반 3차원 발 모델을 이용한 사용자 정보 처리 방법의 순서도,
도 3은 모바일 스캔을 통한 3차원 발 모델 생성 과정을 나타낸 도면,
도 4는 발 모델과 신발 모델의 피팅 과정을 나타낸 도면,
도 5는 피팅 과정에서 발 모델과 신발 모델의 충돌 해소와 피팅 결과의 출력 화면 예시도,
도 6은 본 발명의 다른 실시예에 따른 모바일 스캔 기반 3차원 발 모델을 이용한 사용자 정보 처리 방법의 순서도,
도 7은 신발장 영상의 예시도,
도 8은 본 발명의 또 다른 실시예에 따른 모바일 스캔 기반 3차원 발 모델을 이용한 사용자 정보 처리 방법의 순서도. 1 is a block diagram of a user information processing system using a mobile scan-based 3D foot model according to an embodiment of the present invention;
Figure 2 is a flowchart of a user information processing method using a mobile scan-based 3D foot model according to an embodiment of the present invention;
Figure 3 is a diagram showing the process of creating a 3D foot model through mobile scanning;
Figure 4 is a diagram showing the fitting process of a foot model and a shoe model;
Figure 5 is an example of conflict resolution between a foot model and a shoe model during the fitting process and an output screen of the fitting results.
Figure 6 is a flowchart of a user information processing method using a mobile scan-based 3D foot model according to another embodiment of the present invention;
Figure 7 is an example of a shoe cabinet video,
Figure 8 is a flowchart of a user information processing method using a mobile scan-based 3D foot model according to another embodiment of the present invention.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.Since the present invention can make various changes and have various embodiments, specific embodiments will be illustrated in the drawings and described in detail. However, this is not intended to limit the present invention to specific embodiments, and should be understood to include all changes, equivalents, and substitutes included in the spirit and technical scope of the present invention.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. When a component is said to be "connected" or "connected" to another component, it is understood that it may be directly connected to or connected to the other component, but that other components may exist in between. It should be. On the other hand, when it is mentioned that a component is “directly connected” or “directly connected” to another component, it should be understood that there are no other components in between.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. Terms such as first, second, etc. may be used to describe various components, but the components should not be limited by the terms. The above terms are used only for the purpose of distinguishing one component from another.

본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used in this specification are merely used to describe specific embodiments and are not intended to limit the invention. Singular expressions include plural expressions unless the context clearly dictates otherwise. In this specification, terms such as “comprise” or “have” are intended to designate the presence of features, numbers, steps, operations, components, parts, or combinations thereof described in the specification, but are not intended to indicate the presence of one or more other features. It should be understood that this does not exclude in advance the possibility of the existence or addition of elements, numbers, steps, operations, components, parts, or combinations thereof.

또한, 각 도면을 참조하여 설명하는 실시예의 구성 요소가 해당 실시예에만 제한적으로 적용되는 것은 아니며, 본 발명의 기술적 사상이 유지되는 범위 내에서 다른 실시예에 포함되도록 구현될 수 있으며, 또한 별도의 설명이 생략될지라도 복수의 실시예가 통합된 하나의 실시예로 다시 구현될 수도 있음은 당연하다.In addition, the components of the embodiments described with reference to each drawing are not limited to the corresponding embodiments, and may be implemented to be included in other embodiments within the scope of maintaining the technical spirit of the present invention, and may also be included in separate embodiments. Even if the description is omitted, it is natural that a plurality of embodiments may be re-implemented as a single integrated embodiment.

또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일하거나 관련된 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. In addition, when describing with reference to the accompanying drawings, identical or related reference numbers will be assigned to identical or related elements regardless of the drawing symbols, and overlapping descriptions thereof will be omitted. In describing the present invention, if it is determined that a detailed description of related known technologies may unnecessarily obscure the gist of the present invention, the detailed description will be omitted.

또한, 명세서에 기재된 "…부", "…유닛", "…모듈", "…기" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.In addition, terms such as “… unit,” “… unit,” “… module,” and “… unit” used in the specification refer to a unit that processes at least one function or operation, which refers to hardware or software or hardware and software. It can be implemented by combining .

도 1은 본 발명의 일 실시예에 따른 모바일 스캔 기반 3차원 발 모델을 이용한 사용자 정보 처리 시스템의 구성 블록도이고, 도 2는 본 발명의 일 실시예에 따른 모바일 스캔 기반 3차원 발 모델을 이용한 사용자 정보 처리 방법의 순서도이며, 도 3은 모바일 스캔을 통한 3차원 발 모델 생성 과정을 나타낸 도면이고, 도 4는 발 모델과 신발 모델의 피팅 과정을 나타낸 도면이며, 도 5는 피팅 과정에서 발 모델과 신발 모델의 충돌 해소와 피팅 결과의 출력 화면 예시도이다. Figure 1 is a block diagram of a user information processing system using a mobile scan-based 3D foot model according to an embodiment of the present invention, and Figure 2 is a block diagram of a user information processing system using a mobile scan-based 3D foot model according to an embodiment of the present invention. It is a flowchart of the user information processing method. Figure 3 is a diagram showing the process of creating a 3D foot model through mobile scanning, Figure 4 is a diagram showing the fitting process of a foot model and a shoe model, and Figure 5 is a diagram showing the foot model during the fitting process. This is an example of the output screen of conflict resolution and fitting results between the shoe model and the shoe model.

본 발명의 일 실시예에 따른 모바일 스캔 기반 3차원 발 모델을 이용한 사용자 정보 처리 시스템 및 방법은 사용자의 발을 모바일 스캔하여 획득한 3차원 발 모델에 대해 가상 환경에서 신발 모델을 신겨 봄으로써 피팅을 수행하고, 사용자에게 소정 기준 이상의 피팅 수준(착화감)을 나타내는 신발을 추천해 줄 수 있는 것을 특징으로 한다. A user information processing system and method using a mobile scan-based 3D foot model according to an embodiment of the present invention involves fitting a 3D foot model obtained by mobile scanning the user's foot by trying on a shoe model in a virtual environment. It is characterized by being able to recommend shoes that show a fitting level (comfort) higher than a predetermined standard to the user.

도 1을 참조하면, 본 실시예에 따른 모바일 스캔 기반 3차원 발 모델을 이용한 사용자 정보 처리 시스템(1)은 모바일 스캔을 통해 모델링된 사용자의 3차원 발 모델을 획득하고 신발 모델과 비교함으로써, 사용자의 발에 최적 피팅되어 사용자에게 적합한 착화감을 주는 신발을 추천 및/또는 공급해 주는 사용자 정보 처리 서비스를 제공할 수 있다. Referring to FIG. 1, the user information processing system 1 using a mobile scan-based 3D foot model according to this embodiment obtains the user's 3D foot model modeled through mobile scan and compares it with the shoe model, thereby It is possible to provide a user information processing service that recommends and/or supplies shoes that optimally fit the user's feet and provide a comfortable fit for the user.

사용자 정보 처리 시스템(1)은 사용자 정보 처리 서버(100) 및 모바일 단말(50)을 포함할 수 있다. 또한, 신발업체 서버(60)를 더 포함할 수 있다. The user information processing system 1 may include a user information processing server 100 and a mobile terminal 50. Additionally, a shoe company server 60 may be further included.

모바일 단말(50)은 카메라를 구비하고 있으며, 모바일 스캔을 통해 3차원 발 모델을 생성할 수 있다. 모바일 단말(50)에는 이를 위한 소프트웨어가 탑재되어 있거나 다운로드를 통해 설치 가능하고, 해당 소프트웨어를 실행시킬 수 있는 운영체제가 탑재된 컴퓨팅 장치로서, 예를 들어 스마트폰, 태블릿PC, 노트북 등일 수 있다. The mobile terminal 50 is equipped with a camera and can generate a three-dimensional foot model through mobile scanning. The mobile terminal 50 is a computing device equipped with software for this or can be installed through download and an operating system capable of executing the software, for example, a smartphone, tablet PC, laptop, etc.

모바일 단말(50)은 사용자의 입력을 수신하는 입력부(예컨대, 터치스크린, 키패드, 키보드, 마우스 등), 각종 정보를 표시하는 표시부(예컨대, 디스플레이, 터치스크린 등), 통신을 위한 통신부(예컨대, 이동통신모듈(3G, 4G, 5G 등), 근거리 통신모듈(WiFi, Bluetooth 등) 등) 등을 구비하고 있을 수 있다.The mobile terminal 50 includes an input unit that receives user input (e.g., touch screen, keypad, keyboard, mouse, etc.), a display unit that displays various information (e.g., display, touch screen, etc.), and a communication unit for communication (e.g., It may be equipped with mobile communication modules (3G, 4G, 5G, etc.), short-distance communication modules (WiFi, Bluetooth, etc.), etc.

모바일 단말(50)은 카메라를 이용하여 3차원 모델링하고자 하는 대상물(본 실시예에서는 사용자의 신체, 특히 발 부분)에 대한 영상을 촬영할 수 있다. 카메라에는 컬러 영상 촬영을 위한 영상 카메라와, 깊이 영상 촬영을 위한 라이다와 같은 깊이 센서가 포함될 수 있다. The mobile terminal 50 can capture an image of an object to be 3D modeled (in this embodiment, the user's body, particularly the foot) using a camera. The camera may include a video camera for capturing color images and a depth sensor such as LiDAR for capturing depth images.

모바일 단말(50)에 탑재된 3차원 발 모델 생성부(52)는 카메라에 의해 촬영된 영상 데이터에 대해 소정의 데이터 처리를 수행해 3차원 측정점인 포인트 클라우드를 추출할 수 있다. 포인트 클라우드를 추출하는 과정에서 스캔하고자 하는 발과 발이 놓여진 바닥면을 구분하고, 발에 대한 포인트 클라우드만 추출되게 할 수 있다. 발은 입체적이지만, 바닥면은 상대적으로 평면적인 특징을 가진다. 따라서, 이러한 공간적 특징을 반영하고 RANSAC 기반 평면 추정 알고리즘을 이용하여 바닥면을 추정하고, 모델링 대상에서 제외시킴으로써, 발에 대한 포인트 클라우드를 획득할 수 있다. The 3D foot model generator 52 mounted on the mobile terminal 50 may perform predetermined data processing on image data captured by a camera to extract a point cloud, which is a 3D measurement point. In the process of extracting the point cloud, the foot to be scanned and the floor surface on which the foot is placed can be distinguished, and only the point cloud for the foot can be extracted. Although the feet are three-dimensional, the bottom surface is relatively flat. Therefore, by reflecting these spatial characteristics, estimating the floor surface using a RANSAC-based plane estimation algorithm, and excluding it from the modeling target, a point cloud for the foot can be obtained.

도 3의 (a)에는 모바일 스캔 시 모바일 단말(50)의 화면이 예시되어 있다. 관심영역(ROI)에 대해 촬영이 수행되고, 해당 관심영역 내에서 포인트 클라우드를 추출한다. 포인트 클라우드가 추출된 부분은 컬러 영상으로 표현함으로써 사용자에게 포인트 클라우드 추출이 필요한 부분을 직관적으로 알려줄 수 있다. 그리고 발과 바닥면을 구분하여 발에 대해서만 포인트 클라우드가 추출되게 할 수 있다. Figure 3(a) illustrates the screen of the mobile terminal 50 during mobile scanning. Photography is performed on a region of interest (ROI), and a point cloud is extracted within the region of interest. By expressing the part where the point cloud is extracted as a color image, the user can be intuitively informed of the part where point cloud extraction is necessary. Also, by distinguishing between the foot and the floor surface, a point cloud can be extracted only for the foot.

3차원 발 모델 생성부(52)는 발에 대한 포인트 클라우드로부터 3차원 다각형 곡면(3D polygon mesh) 형태로의 모델링을 수행함으로써, 발 메쉬로 이루어진 3차원 발 모델을 생성할 수 있다. 포인트 클라우드의 3차원 다각형 곡면으로의 모델링은 음함수 방식의 곡면 재건 알고리즘을 사용하여 메모리 사용량을 낮춤으로써 모바일 단말(50)에서도 원활히 수행되게 할 수 있다. The 3D foot model generator 52 may generate a 3D foot model made of a foot mesh by performing modeling from a point cloud for the foot into a 3D polygon mesh. Modeling of a point cloud into a 3D polygonal curved surface can be performed smoothly even on the mobile terminal 50 by lowering memory usage by using an implicit curved surface reconstruction algorithm.

현 단계에서 생성된 3차원 발 모델은 원본 발 모델로서, 크기 측정 및/또는 발바닥 복원을 위해 정렬(alignment)이 수행될 수 있다. 발 모델의 정렬은 발 모델의 포인트 클라우드에 대한 주 고유벡터를 구하고, 주 고유벡터를 3차원 공간의 z 방향으로 향하게 포인트 클라우드를 회전시킴으로써, 발가락에서부터 발뒤꿈치 방향으로 정렬되게 할 수 있다(도 3의 (b) 참조). The 3D foot model created at this stage is the original foot model, and alignment may be performed to measure size and/or restore the sole. The foot model can be aligned from the toe to the heel by obtaining the main eigenvector for the point cloud of the foot model and rotating the point cloud so that the main eigenvector faces the z-direction in three-dimensional space (Figure 3 (see (b) of).

정렬이 수행된 발 모델에 대해서 주요점의 위치를 추정하고, 이에 기초하여 발 길이, 너비, 발등 높이 등의 발 크기를 측정할 수 있다. 주요점에는 발가락끝점(p1)(정렬된 발 모델에서 z값이 가장 작은 포인트), 발뒤꿈치점(p2)(정렬된 발 모델에서 z값이 가장 큰 포인트), 발등점(p3)(가장 큰 z값의 1/3 지점에서 z 방향으로 향하는 평면과 3차원 메쉬가 교차하는 포인트들 중 y값이 가장 큰 포인트) 등이 포함될 수 있다. 발 길이는 발가락끝점과 발뒤꿈치점 사이의 z값 차이이고, 발등 높이는 발등점의 y값이다. 발너비는 발 모델의 폴리곤 메쉬 중 최대 x값과 최소 x값의 차이이다. The positions of key points can be estimated for the aligned foot model, and based on this, the foot size, such as foot length, width, and instep height, can be measured. Key points include the toe point (p1) (the point with the smallest z value in the aligned foot model), the heel point (p2) (the point with the largest z value in the aligned foot model), and the instep point (p3) (the point with the largest z value). The point where the y value is the largest among the points where the plane heading in the z direction and the 3D mesh intersect at 1/3 of the z value may be included. Foot length is the z-value difference between the toe point and the heel point, and instep height is the y-value of the instep point. Foot width is the difference between the maximum x value and the minimum x value among the polygon mesh of the foot model.

또한, 주요점 이외에 사전 정의된 다양한 발 측정점을 찾아 발 크기를 정교하게 측정할 수도 있다. 사전에 발 측정점이 마크된 3차원 폴리곤 메쉬로 이루어진 표준 모델을 준비하고, 표준 모델을 ICP(Iterative Closest Point) 방법으로 스캔된 발 모델의 폴리곤 메쉬로 정렬함으로써, 발 측정점을 찾을 수 있다. In addition, you can precisely measure foot size by finding various predefined foot measurement points in addition to the main points. Foot measurement points can be found by preparing a standard model consisting of a 3D polygon mesh with foot measurement points marked in advance, and aligning the standard model with the polygon mesh of the foot model scanned using the ICP (Iterative Closest Point) method.

일반적으로 사용자는 자신의 발 길이에 대해서만 알고 있지만, 그마저도 대략적으로 알고 있는 것이 대부분이며, 너비 및/또는 발등 높이에 대해서는 잘 알지 못한다. 따라서, 신발을 구매하고자 할 경우에는 직접 매장에 방문해 직접 착화해 보아야 했지만, 본 실시예에서는 모바일 단말(50)을 이용한 모바일 스캔을 통해 발 모델을 생성하고, 생성된 발 모델로부터 발 길이, 너비, 발등 높이와 같은 발 크기 측정이 가능할 수 있다. In general, users only know the length of their feet, but even that is roughly approximate, and they do not know much about the width and/or instep height. Therefore, if you wanted to purchase shoes, you had to visit the store in person and try on them in person. However, in this embodiment, a foot model is created through mobile scanning using the mobile terminal 50, and the foot length, width, and It may be possible to measure foot size, such as instep height.

또한, 3차원 발 모델 생성부(52)는 원본 발 모델에 대해 정교한 보정을 수행하여 실제와 흡사한 수정 발 모델을 만들어낼 수 있다. 도 3의 (c)를 참조하면, 원본 발 모델(10)의 폴리곤 메쉬에는 바닥면에 닿아있는 발바닥은 스캔되지 않았고, 바닥면을 분리하는 과정에서 발바닥 근처의 포인트 클라우드가 포함되어 있지 않게 된다. 따라서, 발바닥 복원을 통한 수정이 수행될 수 있다. Additionally, the 3D foot model generator 52 may perform elaborate correction on the original foot model to create a modified foot model that is similar to the actual foot model. Referring to (c) of FIG. 3, the polygon mesh of the original foot model 10 does not scan the sole of the foot in contact with the floor, and does not include the point cloud near the sole of the foot during the process of separating the floor. Therefore, correction through sole restoration can be performed.

발바닥 복원 과정으로는, 표준 모델(20)의 크기를 조정하고 원본 발 모델(10)에 정합시킨 후, 원본 발 모델(10)에 포함되어 있지 않은 표준 모델(20)의 발바닥 부분(22)의 포인트 클라우드와 원본 발 모델(10)의 포인트 클라우드를 포아송 곡면 재건 알고리즘에 따라 서로 연결하여 전체 발의 폴리곤 메쉬를 재건하는 단계가 포함될 수 있다. In the sole restoration process, after adjusting the size of the standard model (20) and matching it to the original foot model (10), the sole portion (22) of the standard model (20) that is not included in the original foot model (10) A step may be included to reconstruct the polygon mesh of the entire foot by connecting the point cloud and the point cloud of the original foot model 10 according to a Poisson surface reconstruction algorithm.

크기 조정된 표준 모델의 발바닥 부분(22)을 원본 발 모델(10)의 바닥에 정합하는 과정 중에 발바닥 부분(22)과 발 모델(10)의 바닥 사이에 경계면으로부터 절단 높이만큼 서로 중첩되는 영역이 발생될 수 있다. 중첩 영역의 포인트 클라우드에 대해서는 복셀 격자 필터(Voxel Grid Filter)를 사용해 다운 샘플링을 수행함으로써 균일하게 점의 개수를 줄이고 메쉬가 복원되게 할 수 있다. 도 3의 (d)에는 발바닥이 복원된 수정 발 모델(30)이 도시되어 있다. During the process of registering the sole portion 22 of the resized standard model to the bottom of the original foot model 10, an area between the sole portion 22 and the bottom of the foot model 10 overlaps with each other by the cut height from the boundary surface. It can happen. For point clouds in overlapping areas, down sampling can be performed using a voxel grid filter to uniformly reduce the number of points and restore the mesh. Figure 3(d) shows a modified foot model 30 with the sole restored.

다른 발바닥 복원 과정으로, 원본 발 모델의 주요점와 표준 모델의 발 측정점을 제약조건으로 하고, 표준 모델을 원본 발 모델로 변형(deformation)시킴으로써, 표준 모델을 소스로 하여 표준 모델의 폴리곤 메쉬에 의해 표현된 변형(즉, 발바닥)을 타겟 메쉬인 원본 발 모델의 발바닥으로 복사할 수 있다. Another sole restoration process uses the main points of the original foot model and the foot measurement points of the standard model as constraints, deforms the standard model into the original foot model, and uses the standard model as the source to express it through a polygon mesh of the standard model. The deformed deformation (i.e., sole of the foot) can be copied to the sole of the original foot model, which is the target mesh.

또 다른 발바닥 복원 과정으로, 추가적인 모바일 스캔을 통해 바닥면에서 떨어진 발바닥에 관해 3차원 모델링 데이터를 생성하고, 이를 앞서 모델링된 원본 발 모델에 정합시킴으로써 발바닥이 복원된 수정 발 모델을 만들어낼 수 있다. As another sole restoration process, 3D modeling data of the sole separated from the floor is generated through additional mobile scanning, and this is matched to the previously modeled original foot model to create a modified foot model with the restored sole.

다음으로, 신발업체 서버(60)는 신발업체에서 운영하는 서버 장치로서, 해당 신발업체에서 제작하였거나 제작 가능한 신발에 대한 모델링 데이터(신발 모델)를 데이터베이스(62)로 가지고 있다. Next, the shoe company server 60 is a server device operated by the shoe company, and has modeling data (shoe model) about shoes produced or capable of being manufactured by the shoe company as a database 62.

사용자 정보 처리 서버(100)로부터의 검색 요청에 응답하여 데이터베이스(62)를 검색하고, 검색 요청에 상응하는 신발 모델을 사용자 정보 처리 서버(100)로 전송할 수 있다. In response to a search request from the user information processing server 100, the database 62 may be searched, and a shoe model corresponding to the search request may be transmitted to the user information processing server 100.

또한, 사용자 정보 처리 서버(100)로부터의 제공 요청에 응답하여 사용자에게 신발이 공급되게 할 수도 있다. 제공 요청에는 사용자 정보(주소 포함) 및 신발 정보(종류, 사이즈 포함)가 포함될 수 있다. 따라서, 사용자 정보 처리 서버(100)는 신발 정보에 따른 신발을 제작하거나 제작된 신발을 찾고, 사용자 정보에 기초하여 사용자에게 공급되도록 배송되게 할 수 있다. Additionally, shoes may be supplied to the user in response to a provision request from the user information processing server 100. Provision requests may include user information (including address) and shoe information (including type and size). Accordingly, the user information processing server 100 can manufacture shoes according to shoe information or find manufactured shoes and have them delivered to the user based on the user information.

사용자 정보 처리 서버(100)는 모바일 단말(50)에서 생성한 모델링 데이터를 수집하고, 신발업체 서버(60)에서 제공하는 신발 모델을 검색하여 피팅 작업을 수행하며, 지정된 기준 이상의 피팅 수준을 가지는 신발 정보를 모바일 단말(50)로 전송하여 사용자에게 최적의 신발을 추천해 주거나, 신발업체 서버(60)로 전송하여 사용자에게 제공하게 해 줄 수 있다. The user information processing server 100 collects modeling data generated by the mobile terminal 50, searches for a shoe model provided by the shoe company server 60, and performs a fitting operation, and performs a fitting operation on shoes having a fitting level higher than a specified standard. The information can be transmitted to the mobile terminal 50 to recommend the optimal shoes to the user, or transmitted to the shoe company server 60 to provide them to the user.

사용자 정보 처리 서버(100)는 데이터 수집부(110), 피팅부(120), 사용자 정보 처리부(130)를 포함할 수 있다. The user information processing server 100 may include a data collection unit 110, a fitting unit 120, and a user information processing unit 130.

데이터 수집부(110)는 모바일 단말(50)과 통신하여 모바일 단말(50)에서 생성한 사용자의 3차원 발 모델을 수신할 수 있다(단계 S200). 수신하는 3차원 발 모델은 발바닥이 복원된 수정 발 모델(30) 혹은 발바닥 복원 이전의 원본 발 모델(10)일 수 있다. The data collection unit 110 may communicate with the mobile terminal 50 and receive the user's three-dimensional foot model generated by the mobile terminal 50 (step S200). The received 3D foot model may be a modified foot model 30 with the sole restored or an original foot model 10 before sole restoration.

또한, 데이터 수집부(110)는 신발업체 서버(60)와 통신하여 신발업체에서 제공 가능한 신발에 관한 모델링 데이터인 신발 모델을 수집할 수 있다. Additionally, the data collection unit 110 may communicate with the shoe company server 60 to collect a shoe model, which is modeling data about shoes that can be provided by the shoe company.

또는 사용자 정보 처리 서버(100)는 신발을 모델링한 신발 모델에 관한 데이터를 저장하고 있는 별도의 데이터베이스를 구비하고 있을 수 있다. 이는 모바일 단말(50)에서 모바일 스캔을 통해 사용자가 직접 본인의 신발을 모델링하여 전송한 모델링 데이터일 수 있다. Alternatively, the user information processing server 100 may have a separate database that stores data about shoe models that model shoes. This may be modeling data transmitted by the user directly modeling his/her shoes through mobile scanning on the mobile terminal 50.

또한, 데이터 수집부(110)는 모바일 단말(50)로부터 소정의 영상을 전송받을 수도 있다. 예컨대, 소정의 영상은 신발장 영상일 수 있다. Additionally, the data collection unit 110 may receive a predetermined image from the mobile terminal 50. For example, the predetermined image may be a shoe cabinet image.

피팅부(120)는 데이터 수집부(110)를 통해 수집한 사용자의 3차원 발 모델과 신발업체의 신발 모델을 비교하여 피팅 처리할 수 있다(단계 S205). The fitting unit 120 may perform a fitting process by comparing the user's 3D foot model collected through the data collection unit 110 with the shoe company's shoe model (step S205).

피팅부(120)는 신발 모델에 대해 피팅을 위한 전처리를 수행할 수 있다. 신발 모델은 외형, 즉 외피를 중심으로 모델링되어 있을 수 있다. 하지만, 실제 신발은 외피와 내피 사이에 두께가 존재한다. 이러한 두께를 감안하여 피팅이 이루어질 수 있도록, 신발 모델로부터 신발 내피에 해당하는 모델링 데이터인 내피 메쉬를 생성할 수 있다. 신발 모델에 대한 외피 메쉬를 내측으로 소정 두께만큼 축소시킴으로써 내피 메쉬를 만들 수 있고, 내피 메쉬를 대상으로 이후 피팅을 수행할 수 있다. The fitting unit 120 may perform preprocessing for fitting the shoe model. The shoe model may be modeled based on its appearance, that is, the outer shell. However, in actual shoes, there is a thickness between the outer skin and the inner skin. To enable fitting taking this thickness into account, an inner skin mesh, which is modeling data corresponding to the shoe inner skin, can be created from the shoe model. An inner skin mesh can be created by reducing the outer skin mesh of the shoe model to the inside by a predetermined thickness, and subsequent fitting can be performed on the inner skin mesh.

피팅부(120)는 3차원 발 모델에 대해 피팅하고자 하는 신발의 형상에 맞도록 형상을 변형시킬 수 있다. 신발의 종류(예컨대, 하이힐)에 따라 신발을 신은 상태의 발이 신지 않은 상태의 발과 다른 형태를 가질 수 있다. 신발 피팅 과정에서 이러한 발 형상의 변형을 고려하여 정교한 피팅이 이루어지게 할 수 있다. The fitting unit 120 may change its shape to fit the shape of the shoe to be fitted to the three-dimensional foot model. Depending on the type of shoe (e.g., high heels), a foot wearing shoes may have a different shape than a foot without shoes. In the shoe fitting process, precise fitting can be achieved by taking into account the deformation of the foot shape.

피팅부(120)는 신발 모델을 분석하여 신발 형상 정보를 획득하고, 신발 형상 정보에 대응되도록 3차원 발 모델을 변형할 수 있다. 3차원 발 모델에 대해 발 변형을 위한 기준점을 설정한다. 기준점은 예를 들어 발안쪽점이 되고, 발안쪽점을 지나는 너비 방향의 직선이 기준선이 될 수 있다. 3차원 발 모델은 기준선을 중심으로 발가락부와 발바디부로 구분할 수 있고, 발가락부 및/또는 발바디부를 기준선을 중심으로 회전시켜 올려주는 관절 움직임(스키닝(skinning) 혹은 리깅(rigging))을 수행하여 발 형상을 변형시킬 수 있다. 도 4의 (a)에는 발바디부가 회전하여 올라간 형태(30')가 도시되어 있고, (b)에는 발가락부가 회전하여 올라간 형태(30'')가 도시되어 있다. The fitting unit 120 may analyze the shoe model to obtain shoe shape information and transform the three-dimensional foot model to correspond to the shoe shape information. Set a reference point for foot deformation on the 3D foot model. The reference point may be, for example, the inside point of the foot, and a straight line in the width direction passing through the inside point of the foot may be the reference line. The 3D foot model can be divided into the toe part and the foot body part based on the reference line, and joint movements (skinning or rigging) are performed to rotate and raise the toe part and/or the foot body part around the reference line. This can change the shape of the foot. In (a) of Figure 4, a form (30') in which the foot body part is rotated and raised is shown, and in (b) a form (30'') in which the toe part is rotated and raised is shown.

이후 피팅부(120)는 형상 변형된 3차원 발 모델(30)을 내피 메쉬(70)의 내부로 진입시켜 내피 메쉬(70)가 3차원 발 모델(30) 상에 입혀지게 하는 피팅을 수행한다. Thereafter, the fitting unit 120 enters the shape-deformed three-dimensional foot model 30 into the interior of the endothelial mesh 70 and performs fitting so that the endothelial mesh 70 is placed on the three-dimensional foot model 30. .

우선 내피 메쉬(70)를 3차원 발 모델(30)의 기본 위치에 배치한다(도 4의 (b) 참조). 기본 위치는 3차원 발 모델의 너비 중간선 중 발뒤꿈치에 해당하는 지점일 수 있다. 이 기본 위치에 내피 메쉬의 너비 중간선 중 발뒤꿈치에 해당하는 점이 놓여지게 할 수 있다. First, the endothelial mesh 70 is placed in the basic position of the three-dimensional foot model 30 (see (b) of FIG. 4). The basic location may be the point corresponding to the heel of the width midline of the 3D foot model. At this basic position, the point corresponding to the heel can be placed on the midline of the width of the lining mesh.

이후 내피 메쉬를 소정 비율로 충분히 팽창시킨 후 다시 축소시킴으로써 3차원 발 모델 상에 입혀지게 할 수 있다(도 4의 (c) 참조). 팽창된 내피 메쉬(70')가 다시 축소되는 과정에서 내피 메쉬의 정점 중 일부는 3차원 발 모델의 발 메쉬를 관통하지 않을 수 있으며, 이 경우 발 메쉬의 밖에 있는 제1 피팅점으로 설정한다. Afterwards, the endothelial mesh can be sufficiently expanded to a predetermined ratio and then contracted again to be placed on the three-dimensional foot model (see Figure 4 (c)). In the process of shrinking the expanded endothelial mesh 70' again, some of the vertices of the endothelial mesh may not penetrate the foot mesh of the 3D foot model, and in this case, the first fitting point outside the foot mesh is set.

도 5의 (a)를 참조하면, 내피 메쉬의 정점 중 다른 일부는 팽창(71) 후 축소(71') 과정에서 3차원 발 모델의 발 메쉬(35)를 관통할 수 있으며, 이 경우 관통된 정점은 발 메쉬와의 충돌점으로 정점을 이동시켜 제2 피팅점(71'')을 만들어 준다. Referring to (a) of FIG. 5, some of the vertices of the endothelial mesh may penetrate the foot mesh 35 of the three-dimensional foot model during the expansion 71 and then contraction 71' process. In this case, the pierced The vertex is moved to the collision point with the foot mesh to create the second fitting point (71'').

내피 메쉬의 정점이 팽창 후 축소 과정에서 발 메쉬와 충돌하는지를 검출하기 위해 경계 볼륨 계층(BVH) 자료 구조를 적용하여 발 메쉬의 모든 삼각형을 트리 구조의 각 단계를 구성하는 경계 볼륨들로 그룹핑시킬 수 있다. 그리고 직선-삼각형 교차(ray-triangle intersection) 검출 방법을 적용할 수 있다. 여기서, 직선(ray)는 팽창된 정점과 축소된 정점 사이를 연결하는 직선이고, 삼각형은 발 메쉬를 구성하는 삼각형 중 하나이다. To detect whether the vertices of the endothelial mesh collide with the foot mesh during expansion and contraction, the boundary volume hierarchy (BVH) data structure can be applied to group all triangles of the foot mesh into boundary volumes that constitute each level of the tree structure. there is. And the ray-triangle intersection detection method can be applied. Here, the straight line (ray) is a straight line connecting the expanded vertices and the collapsed vertices, and the triangle is one of the triangles that make up the foot mesh.

이처럼 내피 메쉬의 정점들을 제1 피팅점과 제2 피팅점으로 구분한 후, 이를 조합하여 착화 상태의 내피 메쉬를 만들어줄 수 있게 된다. 착화 상태의 내피 메쉬에 대해서 속성 분석을 통해 내피 팽창 정도를 산출할 수 있다. In this way, the vertices of the endothelial mesh can be divided into first fitting points and second fitting points, and then combined to create an endothelial mesh in a ignited state. For an endothelial mesh in a ignited state, the degree of endothelial expansion can be calculated through property analysis.

첫째로, 착화 이전 원본 내피 메쉬와 착화 상태의 내피 메쉬 간에 서로 대응되는 정점 간의 거리를 비교하여 내피 팽창 정도를 산출할 수 있다. 발 모델에 의한 팽창이 없다면 대응되는 두 정점은 위치 변화가 없어 상호 간의 거리가 0mm 이다. 만약 상호 간의 거리 변화가 있다면, 이는 발 모델에 의해 내피 메쉬가 변형된 것(늘어난 것)으로 볼 수 있다. 두 정점 간의 거리가 멀수록 많은 변화가 생기고, 팽창 정도가 큰 것으로 간주할 수 있다. First, the degree of endothelial swelling can be calculated by comparing the distances between corresponding vertices between the original endothelial mesh before ignition and the endothelial mesh in the ignited state. If there is no expansion by the foot model, the two corresponding vertices do not change in position, so the distance between them is 0 mm. If there is a change in the distance between them, this can be seen as a deformation (stretching) of the endothelial mesh by the foot model. The greater the distance between two vertices, the more changes occur, and the degree of expansion can be considered greater.

둘째로, 피팅 후 착화 상태의 내피 메쉬를 구성하는 삼각형들의 삼각형 에지 길이를 비교하여 내피 팽창 정도를 산출할 수 있다. 피팅 전 착화 이전 원본 내피 메쉬의 경우 기본적인 3차원 모델로서, 일정한 크기의 삼각형들로 구성되어 일정한 에지 길이를 가질 수 있다. 하지만, 피팅 후 내피 메쉬가 발 모델에 의해 팽창되는 변형이 있었을 경우 삼각형이 늘어나고, 해당 삼각형의 에지 길이 역시 늘어나게 된다. 따라서, 에지 길이가 정상 길이와 비교할 때 차이가 클수록 많은 변화가 생긴 것이며, 이는 팽창 정도가 큰 것으로 간주할 수 있다. Second, the degree of endothelial expansion can be calculated by comparing the triangle edge lengths of the triangles that make up the endothelial mesh in the ignited state after fitting. The original inner skin mesh before fitting and before ignition is a basic three-dimensional model that is composed of triangles of a certain size and can have a certain edge length. However, if there is a deformation in which the inner skin mesh expands due to the foot model after fitting, the triangle increases and the edge length of the triangle also increases. Therefore, the greater the difference in edge length compared to the normal length, the more change has occurred, which can be regarded as a greater degree of expansion.

피팅부(120)는 내피 팽창 정도를 분석하여 피팅 결과를 산출할 수 있다. 피팅 결과는 전체적으로 혹은 발의 부위별로 구분하여 산출될 수 있다. The fitting unit 120 may calculate the fitting result by analyzing the degree of endothelial expansion. Fitting results can be calculated overall or separately by foot region.

내피 팽창 정도, 즉 정점 간의 거리를 복수의 구간으로 구분하고, 각 구간에 대해 서로 구분되는 색상을 설정한 컬러 맵(60)을 적용할 수 있다(도 5의 (b) 참조). 컬러 맵(60)의 적용으로 인해 내피 메쉬의 각 삼각형에 대해 색상을 표현해 줌으로써 직관적으로 신발의 크고 작음, 타이트(tight)한 부위와 루즈(loose)한 부위에 대한 확인이 가능하게 할 수 있다. 색상은 타이트한 경우 적색으로, 루즈한 경우 녹색으로, 그 사이의 경우 노란색으로 표현되게 할 수 있다. The degree of endothelial expansion, that is, the distance between vertices, is divided into a plurality of sections, and a color map 60 in which distinct colors are set for each section can be applied (see (b) in FIG. 5). By applying the color map 60, the color is expressed for each triangle of the inner skin mesh, making it possible to intuitively check whether the shoe is large or small, and whether the shoe is tight or loose. The color can be expressed as red when it is tight, green when it is loose, and yellow when it is in between.

다시 도 2를 참조하면, 사용자 정보 처리부(130)는 사용자 정보 처리를 통해 신발 추천 서비스를 제공할 수 있다(단계 S210). Referring again to FIG. 2, the user information processing unit 130 may provide a shoe recommendation service through user information processing (step S210).

사용자의 3차원 발 모델에 대해 하나 혹은 둘 이상의 신발 모델에 대해 피팅부(120)에서 수행한 피팅 결과를 기초로 하여 해당 사용자에게 우수한 착화감을 제공하는 신발 모델을 추천 신발 모델로 추천해 줄 수 있다. 우수한 착화감을 제공하는 신발은 피팅 결과에 대한 분석에 기초하여 적색이 없거나 최소화된 신발(즉, 타이트한 부위가 없거나 최소화된 신발)일 수 있다. 이러한 신발에 관한 정보(브랜드, 종류, 사이즈, 모델명 등)를 피팅 대상이 된 3차원 발 모델을 전송한 모바일 단말(50)로 전송함으로써, 사용자가 자신의 발에 우수한 착화감을 제공해 줄 수 있는 추천 신발 정보를 확인 가능하게 할 수 있다. Based on the fitting results performed by the fitting unit 120 for one or more shoe models for the user's 3D foot model, a shoe model that provides excellent wearing comfort to the user may be recommended as a recommended shoe model. . A shoe that provides excellent fit may be a shoe with no or minimal redness (i.e., a shoe with no or minimal tightness) based on analysis of the fit results. By transmitting information about these shoes (brand, type, size, model name, etc.) to the mobile terminal 50 that transmits the 3D foot model for fitting, the user can receive recommendations that provide excellent fit to his or her feet. Shoe information can be checked.

또한, 사용자 정보 처리부(130)는 사용자 정보 처리를 통해 정기 서비스를 제공할 수도 있다. Additionally, the user information processing unit 130 may provide regular services through user information processing.

특정 사용자에 대해 데이터 수집부(110)를 통해 정기적으로 혹은 비정기적으로 여러 차례 3차원 발 모델을 수집할 수 있다. 사용자 정보 처리부(130)는 수집된 3차원 발 모델에 대해 시간 순으로 대비하여 발 형상의 변화를 분석하고, 변화를 고려한 신발 추천 혹은 신발 구독이 이루어지게 할 수 있다. 즉, 최신의 발 형상에 맞는 신발을 추천하거나 신발업체 서버(60)로 사용자 정보와 함께 신발 정보를 전송하여 정기적으로 최적의 맞춤형 신발이 사용자에게 배송되게 할 수 있다. A 3D foot model can be collected regularly or irregularly several times for a specific user through the data collection unit 110. The user information processing unit 130 can analyze changes in foot shape by comparing the collected 3D foot models in chronological order, and make shoe recommendations or shoe subscriptions that take the changes into account. In other words, shoes that fit the latest foot shape can be recommended or shoe information can be transmitted along with user information to the shoe company server 60 so that optimal customized shoes can be delivered to the user on a regular basis.

또한, 발 형상의 변화 추이에 따라 사용자의 발과 관련된 각종 증상들을 사전 진단하고, 이를 예방하거나 치료할 수 있는 정보를 별도의 데이터베이스에서 검색하여 모바일 단말(50)로 전송함으로써, 사용자가 정기적인 의료 서비스를 받게 할 수 있다. 또는 사전 진단된 증상을 완화시킬 수 있는 치료 목적의 피팅된 신발 정보를 모바일 단말(50)로 전송하여 사용자에게 알리거나 신발업체 서버(60)로 전송하여 직접 배송이 이루어지게 할 수도 있다. In addition, various symptoms related to the user's feet are diagnosed in advance according to changes in the shape of the foot, and information that can prevent or treat them is searched in a separate database and transmitted to the mobile terminal 50, so that the user can receive regular medical services. You can receive . Alternatively, information on fitted shoes for treatment purposes that can alleviate pre-diagnosed symptoms may be transmitted to the mobile terminal 50 to notify the user, or transmitted to the shoe company server 60 to enable direct delivery.

도 6은 본 발명의 다른 실시예에 따른 모바일 스캔 기반 3차원 발 모델을 이용한 사용자 정보 처리 방법의 순서도이고, 도 7은 신발장 영상의 예시도이다. Figure 6 is a flowchart of a user information processing method using a mobile scan-based 3D foot model according to another embodiment of the present invention, and Figure 7 is an example diagram of a shoe rack image.

본 발명의 다른 실시예에 따른 모바일 스캔 기반 3차원 발 모델을 이용한 사용자 정보 처리 방법은 전술한 도 1의 사용자 정보 처리 서버(100)에 의해 수행될 수 있다. A user information processing method using a mobile scan-based 3D foot model according to another embodiment of the present invention may be performed by the user information processing server 100 of FIG. 1 described above.

사용자는 모바일 단말(50)에 구비된 카메라를 이용하여 자신의 신발장을 촬영한다(단계 S300). 신발장에는 사용자가 착용을 위해 구매한 신발이 배치되어 있어, 신발장 영상에는 하나 혹은 둘 이상의 사용자 신발도 촬영되어 있을 수 있다. The user photographs his/her shoe rack using the camera provided in the mobile terminal 50 (step S300). Shoes purchased by the user for wearing are placed in the shoe rack, so one or more user's shoes may also be captured in the shoe rack video.

신발장 영상은 앞서 모델링된 3차원 발 모델(원본 발 모델 및/또는 수정 발 모델)과 함께 또는 따로 사용자 정보 처리 서버(100)로 전송될 수 있다. The shoe rack image may be transmitted to the user information processing server 100 together with or separately from the previously modeled 3D foot model (original foot model and/or modified foot model).

데이터 수집부(110)를 통해 수집한 신발장 영상에 대해, 사용자 정보 처리부(130)는 소정의 영상 처리 알고리즘을 통해 영상 처리를 수행하고, 신발장 영상에서 신발을 추출하여 분석할 수 있다(단계 S305). For the shoe cabinet image collected through the data collection unit 110, the user information processing unit 130 may perform image processing through a predetermined image processing algorithm, extract shoes from the shoe cabinet image, and analyze them (step S305). .

신발장 영상(80)에는 가로와 세로 방향의 직선으로 이루어진 신발장 프레임(81)이 포함되고, 신발장 프레임(81)으로 구획되는 공간 내에 신발(82)들이 배치되어 있다. 따라서, 직선 검출을 통해 신발장 프레임(81)을 구분함으로써, 각 공간 내에 놓여진 신발(82)들을 보다 원활히 추출해 낼 수 있다. The shoe rack image 80 includes a shoe rack frame 81 composed of horizontal and vertical straight lines, and shoes 82 are arranged in a space defined by the shoe rack frame 81. Therefore, by distinguishing the shoe rack frame 81 through straight line detection, the shoes 82 placed in each space can be extracted more smoothly.

추출된 신발 영상에 대해 특징(텍스트, 색상, 형상 등) 검출을 수행할 수 있다. 텍스트 검출을 통해 신발 표면에 디자인되거나 표현된 신발 브랜드 혹은 모델명에 관한 정보를 파악할 수 있다. 색상 검출을 통해 사용자가 선호하는 신발 색상을 파악할 수 있다. 형상 검출을 통해 사용자가 선호하는 신발 종류(예. 운동화, 구두, 하이힐, 슬리퍼 등)를 파악할 수 있다. Feature detection (text, color, shape, etc.) can be performed on the extracted shoe image. Through text detection, information about the shoe brand or model name designed or expressed on the shoe surface can be identified. Through color detection, the user's preferred shoe color can be identified. Through shape detection, the user's preferred type of shoe (e.g. sneakers, shoes, high heels, slippers, etc.) can be identified.

즉, 사용자 정보 처리부(130)는 신발장 영상을 분석하여 사용자의 신발 취향을 파악할 수 있게 된다. That is, the user information processing unit 130 can determine the user's shoe taste by analyzing the shoe cabinet image.

사용자 정보 처리부(130)는 파악된 사용자의 신발 취향을 반영하여 신발업체 서버(60)로부터 사용자의 3차원 발 모델에 피팅시킬 후보 신발 모델을 요청할 수 있다. The user information processing unit 130 may request a candidate shoe model to be fitted to the user's 3D foot model from the shoe company server 60 by reflecting the identified user's shoe taste.

신발업체 서버(60)로부터 전송된 후보 신발 모델에 대해 피팅부(120)에서 사용자의 3차원 발 모델에 피팅시켜 봄으로써 사용자가 착화하기에 적합한지 판단하고, 우수한 착화감을 나타내는 신발 모델을 선택하여 사용자에게 신발 정보를 제공함으로써 신발을 추천해 줄 수 있다. 우수한 착화감을 제공하는 신발은 피팅 결과의 분석 결과 적색이 없거나 최소화된 신발(즉, 타이트한 부위가 없거나 최소화된 신발)일 수 있다. 이러한 신발에 관한 정보(브랜드, 종류, 사이즈, 모델명 등)를 피팅 대상이 된 3차원 발 모델을 전송한 모바일 단말(50)로 전송함으로써, 사용자가 자신의 발에 우수한 착화감을 제공해 줄 수 있는 추천 신발 정보를 확인 가능하게 할 수 있다. The fitting unit 120 fits the candidate shoe model transmitted from the shoe company server 60 to the user's 3D foot model to determine whether it is suitable for the user to wear, and selects a shoe model that shows excellent fit. Shoes can be recommended by providing shoe information to the user. Shoes that provide excellent fit may be shoes with no or minimal redness (i.e., shoes with no or minimal tightness) based on analysis of fitting results. By transmitting information about these shoes (brand, type, size, model name, etc.) to the mobile terminal 50 that transmits the 3D foot model for fitting, the user can receive recommendations that provide excellent fit to his or her feet. Shoe information can be checked.

본 실시예에서는 우수한 착화감과 함께 사용자의 취향이 반영된 신발을 추천해 줄 수 있어, 신발의 패션 아이템으로서의 기능을 극대화시킬 수 있다. In this embodiment, shoes that reflect the user's tastes with excellent fit can be recommended, thereby maximizing the shoe's function as a fashion item.

도 8은 본 발명의 또 다른 실시예에 따른 모바일 스캔 기반 3차원 발 모델을 이용한 사용자 정보 처리 방법의 순서도이다. Figure 8 is a flowchart of a user information processing method using a mobile scan-based 3D foot model according to another embodiment of the present invention.

본 발명의 또 다른 실시예에 따른 모바일 스캔 기반 3차원 발 모델을 이용한 사용자 정보 처리 방법은 전술한 도 1의 사용자 정보 처리 서버(100)에 의해 수행될 수 있다. A user information processing method using a mobile scan-based 3D foot model according to another embodiment of the present invention may be performed by the user information processing server 100 of FIG. 1 described above.

사용자는 모바일 단말(50)에 구비된 카메라를 이용하여 모바일 스캔을 수행하고, 자신의 발에 대한 3차원 발 모델을 생성할 수 있다(단계 S400). The user can perform a mobile scan using the camera provided in the mobile terminal 50 and create a three-dimensional foot model of the user's foot (step S400).

생성된 3차원 발 모델은 사용자 정보 처리 서버(100)로 전송될 수 있다. 사용자 정보 처리 서버(100)에는 여러 사용자의 모바일 단말(50)이 연결될 수 있으며, 데이터 수집부(110)는 여러 사용자에 대한 3차원 발 모델을 수집할 수 있다. 수집한 3차원 발 모델은 데이터베이스에 저장 관리될 수 있다. The generated 3D foot model may be transmitted to the user information processing server 100. Mobile terminals 50 of multiple users may be connected to the user information processing server 100, and the data collection unit 110 may collect three-dimensional foot models for multiple users. The collected 3D foot models can be stored and managed in a database.

사용자 정보 처리부(130)는 현재 서비스 대상이 되는 사용자의 3차원 발 모델을 분석하고, 크기 혹은 형상이 유사하거나 형상적 특징을 공유하는 타인의 발 모델을 데이터베이스에서 검색할 수 있다(단계 S405). 일례로, 발 길이, 너비, 발등 높이 등을 비교하고, 차이값의 합산이 적은 타인의 발 모델을 유사 발 모델로 선정할 수 있다. 또는 발 길이, 너비, 발등 높이 간의 비율과 유사한 비율을 가지는 타인의 발 모델을 유사 발 모델로 선정할 수도 있다. The user information processing unit 130 may analyze the 3D foot model of the user who is currently the target of the service and search the database for other people's foot models that are similar in size or shape or share shape characteristics (step S405). For example, foot length, width, instep height, etc. can be compared, and another person's foot model with a small sum of difference values can be selected as a similar foot model. Alternatively, another person's foot model with a ratio similar to the ratio between foot length, width, and instep height may be selected as a similar foot model.

사용자 정보 처리부(130)는 유사 발 모델로 선정된 타 사용자의 신발 취향을 분석할 수 있다(단계 S410). The user information processing unit 130 may analyze the shoe tastes of other users selected as similar foot models (step S410).

타 사용자의 신발 취향은 이전에 타 사용자에 대해 추천한 신발 정보를 토대로 하여 파악될 수 있다. Other users' shoe tastes can be identified based on shoe information previously recommended to other users.

또는 타 사용자의 모바일 단말(50)을 통해 촬영된 신발장 영상이 있는 경우, 해당 신발장 영상의 분석을 통해 신발 취향을 파악할 수도 있다. 신발장 영상 분석에 대해서는 앞서 설명한 바 있다. Alternatively, if there is a shoe cabinet video captured through another user's mobile terminal 50, shoe tastes may be determined through analysis of the shoe cabinet video. Shoe cabinet video analysis has been previously described.

타 사용자의 신발 취향 분석 결과에 기초하여, 사용자 정보 처리부(130)는 현재 사용자에게 타인 신발 취향과 유사한 신발 모델을 검색하고 추천해 줄 수 있다(단계 S415). 발 모델이 형상적인 유사성을 가지고 있음으로 인해 착화시 편안함을 느낄 수 있는 신발에 대한 정보를 타 사용자의 착화 경험으로부터 유추해 낼 수 있기 때문이다. Based on the results of analyzing other users' shoe tastes, the user information processing unit 130 may search for and recommend shoe models similar to other users' shoe tastes to the current user (step S415). This is because the foot model has a similar shape, so information about shoes that can feel comfortable when worn can be inferred from the wearing experience of other users.

신발 추천 시에는 피팅부(120)를 통한 신발 모델과 사용자의 3차원 발 모델의 피팅을 통해 우수한 착화감을 나타내는지 선행 판단하고, 우수한 착화감을 가지는 신발을 추천해 줌으로써 취향 뿐만 아니라 착화감도 고려한 신발 추천이 이루어지게 할 수 있다. When recommending shoes, it determines in advance whether they exhibit excellent fit through fitting the shoe model and the user's 3D foot model through the fitting unit 120, and recommends shoes with excellent fit, thereby recommending shoes that take into account not only taste but also comfort. This can be done.

본 실시예에서는 우수한 착화감과 함께 유사한 형태의 발을 가진 타인의 취향을 고려하여 사용자에게 편안함을 줄 수 있는 신발을 추천해 줄 수 있다. In this embodiment, shoes that provide comfort to the user with excellent fit and comfort can be recommended considering the tastes of others with similar shaped feet.

전술한 3차원 발 모델을 이용한 사용자 정보 처리 방법은, 컴퓨터에 의해 실행되는 애플리케이션이나 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독 가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독 가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. The user information processing method using the above-described 3D foot model can also be implemented in the form of a recording medium containing instructions executable by a computer, such as an application or program module executed by a computer. Computer-readable media can be any available media that can be accessed by a computer and includes both volatile and non-volatile media, removable and non-removable media. Additionally, computer-readable media may include computer storage media. Computer storage media includes both volatile and non-volatile, removable and non-removable media implemented in any method or technology for storage of information such as computer-readable instructions, data structures, program modules, or other data.

전술한 3차원 발 모델을 이용한 사용자 정보 처리 방법은, 단말기에 기본적으로 설치된 애플리케이션(이는 단말기에 기본적으로 탑재된 플랫폼이나 운영체제 등에 포함된 프로그램을 포함할 수 있음)에 의해 실행될 수 있고, 사용자가 애플리케이션 스토어 서버, 애플리케이션 또는 해당 서비스와 관련된 웹 서버 등의 애플리케이션 제공 서버를 통해 마스터 단말기에 직접 설치한 애플리케이션(즉, 프로그램)에 의해 실행될 수도 있다. 이러한 의미에서, 전술한 3차원 발 모델을 이용한 사용자 정보 처리 방법은 단말기에 기본적으로 설치되거나 사용자에 의해 직접 설치된 애플리케이션(즉, 프로그램)으로 구현되고 단말기 등의 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. The user information processing method using the above-described 3D foot model can be executed by an application installed by default on the terminal (this may include programs included in the platform or operating system, etc. installed by default on the terminal), and the user can use the application. It may also be executed by an application (i.e. program) installed directly on the master terminal through an application providing server such as a store server, application, or web server related to the service. In this sense, the user information processing method using the above-described three-dimensional foot model is implemented as an application (i.e., program) installed by default on the terminal or directly installed by the user and can be recorded on a computer-readable recording medium such as the terminal. You can.

상기에서는 본 발명의 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although the present invention has been described above with reference to embodiments, those skilled in the art can modify the present invention in various ways without departing from the spirit and scope of the present invention as set forth in the claims below. and that it can be changed.

1: 3차원 발 모델을 이용한 사용자 정보 처리 시스템
50: 모바일 단말 52: 3차원 발 모델 생성부
60: 신발업체 서버 62: 신발모델 데이터베이스
100: 사용자 정보 처리 서버 110: 데이터 수집부
120: 피팅부 130: 사용자 정보 처리부1: User information processing system using a 3D foot model
50: Mobile terminal 52: 3D foot model creation unit
60: Shoe company server 62: Shoe model database
100: User information processing server 110: Data collection unit
120: fitting unit 130: user information processing unit

Claims (11)

3차원 발 모델을 이용한 사용자 정보 처리 서버로서,
모바일 단말과 통신하여 상기 모바일 단말에 의해 수행되는 모바일 스캔에 의해 획득된 사용자의 3차원 발 모델을 수집하고, 신발업체 서버 혹은 상기 모바일 단말로부터 신발을 모델링한 신발 모델을 수집하는 데이터 수집부;
상기 신발 모델을 상기 3차원 발 모델에 착화시키고, 상기 신발 모델의 팽창 정도를 산출하는 피팅부; 및
상기 팽창 정도가 소정 기준을 만족하는 상기 신발 모델에 대응되는 신발을 추천 신발 정보로 상기 3차원 발 모델을 전송한 상기 모바일 단말로 전송하는 사용자 정보 처리부를 포함하는 3차원 발 모델을 이용한 사용자 정보 처리 서버.
As a user information processing server using a 3D foot model,
a data collection unit that communicates with a mobile terminal and collects a three-dimensional foot model of the user obtained by a mobile scan performed by the mobile terminal, and collects a shoe model modeling the shoe from a shoe company server or the mobile terminal;
a fitting unit that fits the shoe model onto the three-dimensional foot model and calculates a degree of expansion of the shoe model; and
User information processing using a 3D foot model, including a user information processing unit that transmits a shoe corresponding to the shoe model whose inflation degree satisfies a predetermined standard as recommended shoe information to the mobile terminal that transmitted the 3D foot model. server.
제1항에 있어서,
상기 신발 모델은 신발의 내피에 대응되는 내피 메쉬이며,
상기 피팅부는 상기 3차원 발 모델을 상기 내피 메쉬의 형상에 맞도록 변형시키고, 상기 내피 메쉬를 상기 3차원 발 모델에 대한 기본 위치에 배치하며, 소정 비율만큼 팽창시킨 이후 상기 기본 위치를 중심으로 축소시키는 과정 중에 상기 내피 메쉬의 정점을 상기 3차원 발 모델의 발 메쉬 상에 피팅시키는 것을 특징으로 하는 3차원 발 모델을 이용한 사용자 정보 처리 서버.
According to paragraph 1,
The shoe model is an inner skin mesh corresponding to the inner skin of the shoe,
The fitting unit deforms the three-dimensional foot model to fit the shape of the endothelial mesh, places the endothelial mesh in a basic position with respect to the three-dimensional foot model, expands it by a predetermined ratio, and then shrinks it around the basic position. A user information processing server using a three-dimensional foot model, characterized in that fitting the vertices of the endothelial mesh onto the foot mesh of the three-dimensional foot model during the process.
제2항에 있어서,
상기 피팅부는 상기 내피 메쉬의 정점이 팽창 이후 축소되는 과정에서 상기 발 메쉬를 관통하지 않을 경우에는 축소된 정점이 제1 피팅점이 되고, 상기 발 메쉬를 관통하는 경우에는 충돌점에서 축소가 정지되고 상기 충돌점이 제2 피팅점이 되며, 상기 제1 피팅점과 상기 제2 피팅점의 조합으로 착화 상태의 내피 메쉬를 만들어내는 것을 특징으로 하는 3차원 발 모델을 이용한 사용자 정보 처리 서버.
According to paragraph 2,
If the fitting part does not penetrate the foot mesh in the process of shrinking after expansion of the vertex of the endothelial mesh, the collapsed vertex becomes the first fitting point, and if it penetrates the foot mesh, contraction is stopped at the collision point and the The collision point becomes the second fitting point, and a user information processing server using a three-dimensional foot model, characterized in that an endothelial mesh in a ignited state is created by a combination of the first fitting point and the second fitting point.
제3항에 있어서,
상기 피팅부는 상기 내피 메쉬의 원본 정점과 상기 착화 상태의 정점 간의 거리를 비교하여 팽창 정도를 산출하고 상기 팽창 정도에 상응하여 피팅감을 컬러로 표현하거나, 상기 착화 상태의 내피 메쉬를 구성하는 삼각형 에지의 길이를 비교하여 팽창 정도를 산출하고 상기 팽창 정도에 상응하여 피팅감을 컬러로 표현하는 것을 특징으로 하는 3차원 발 모델을 이용한 사용자 정보 처리 서버.
According to paragraph 3,
The fitting unit calculates the degree of expansion by comparing the distance between the original vertex of the endothelial mesh and the vertex in the ignited state and expresses the fitting in color corresponding to the degree of expansion, or the triangular edge constituting the endothelial mesh in the ignited state A user information processing server using a three-dimensional foot model, characterized in that it calculates the degree of expansion by comparing the length and expresses the fit in color corresponding to the degree of expansion.
제1항에 있어서,
상기 데이터 수집부는 정기적으로 혹은 비정기적으로 여러 차례 상기 3차원 발 모델을 수집하고,
상기 사용자 정보 처리부는 시간 순으로 상기 3차원 발 모델을 비교하여 발 형상의 변화를 분석하고, 상기 변화를 고려한 신발 추천 혹은 신발 구독이 이루어지게 하는 것을 특징으로 하는 3차원 발 모델을 이용한 사용자 정보 처리 서버.
According to paragraph 1,
The data collection unit regularly or irregularly collects the three-dimensional foot model several times,
The user information processing unit analyzes changes in foot shape by comparing the 3D foot models in chronological order, and provides shoe recommendations or shoe subscriptions taking the changes into account. User information processing using a 3D foot model. server.
제1항에 있어서,
상기 데이터 수집부는 상기 사용자가 상기 모바일 단말을 이용하여 촬영한 신발장 영상을 전송받고,
상기 사용자 정보 처리부는 상기 신발장 영상 내의 신발 영상을 추출하고, 상기 신발 영상에 대해 텍스트, 색상 및 형상 중 적어도 하나의 특징 검출을 통해 상기 사용자의 취향을 파악하고, 상기 신발 모델 중 상기 취향에 대응되고 소정 기준 이상의 우수한 착화감을 제공하는 추천 신발 모델을 찾고, 상기 추천 신발 모델에 관한 정보를 상기 모바일 단말로 전송하는 것을 특징으로 하는 3차원 발 모델을 이용한 사용자 정보 처리 서버.
According to paragraph 1,
The data collection unit receives the shoe rack image captured by the user using the mobile terminal,
The user information processing unit extracts a shoe image from the shoe rack image, determines the user's taste through detection of at least one feature of text, color, and shape for the shoe image, and corresponds to the taste among the shoe models. A user information processing server using a three-dimensional foot model, characterized in that it finds a recommended shoe model that provides excellent fit over a predetermined standard and transmits information about the recommended shoe model to the mobile terminal.
제1항에 있어서,
상기 데이터 수집부는 복수의 사용자 각각의 모바일 단말을 통해 상기 복수의 사용자 각각의 발을 모바일 스캔한 복수의 3차원 발 모델을 수집하고,
상기 사용자 정보 처리부는 상기 복수의 3차원 발 모델 중에서 제1 사용자의 3차원 발 모델과 유사한 유사 발 모델을 비교 분석으로 찾고,
상기 데이터 수집부는 상기 유사 발 모델의 주인인 제2 사용자가 상기 모바일 단말을 이용하여 촬영한 신발장 영상을 전송받으며,
상기 사용자 정보 처리부는 상기 신발장 영상 내의 신발 영상을 추출하고, 상기 신발 영상에 대해 텍스트, 색상 및 형상 중 적어도 하나의 특징 검출을 통해 상기 제2 사용자의 취향을 파악하고, 상기 신발 모델 중 상기 취향에 대응되고 소정 기준 이상의 우수한 착화감을 제공하는 추천 신발 모델을 찾고, 상기 추천 신발 모델에 관한 정보를 상기 제1 사용자의 모바일 단말로 전송하는 것을 특징으로 하는 3차원 발 모델을 이용한 사용자 정보 처리 서버.
According to paragraph 1,
The data collection unit collects a plurality of three-dimensional foot models obtained by mobile scanning the feet of each of the plurality of users through each of the plurality of users' mobile terminals,
The user information processing unit searches for a similar foot model similar to the 3D foot model of the first user among the plurality of 3D foot models through comparative analysis,
The data collection unit receives a shoe rack image captured by a second user who is the owner of the similar foot model using the mobile terminal,
The user information processing unit extracts a shoe image from the shoe rack image, determines the taste of the second user through detection of at least one feature of text, color, and shape for the shoe image, and determines the taste among the shoe models. A user information processing server using a three-dimensional foot model, characterized in that it searches for a recommended shoe model that matches and provides excellent wearing comfort above a predetermined standard, and transmits information about the recommended shoe model to the mobile terminal of the first user.
3차원 발 모델을 이용한 사용자 정보 처리 방법을 수행하도록 하기 위해 컴퓨터-판독 가능 매체에 저장된 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램은 컴퓨터로 하여금 이하의 단계들을 수행하도록 하며, 상기 단계들은,
모바일 단말과 통신하여 상기 모바일 단말에 의해 수행되는 모바일 스캔에 의해 획득된 사용자의 3차원 발 모델을 수집하는 단계 (a);
신발업체 서버 혹은 상기 모바일 단말로부터 신발을 모델링한 신발 모델을 수집하는 단계 (b);
상기 신발 모델을 상기 3차원 발 모델에 착화시키는 단계 (c);
상기 신발 모델의 팽창 정도를 산출하는 단계 (d);
상기 팽창 정도가 소정 기준을 만족하는 상기 신발 모델에 대응되는 신발을 추천 신발 정보로 상기 3차원 발 모델을 전송한 상기 모바일 단말로 전송하는 단계 (e)를 포함하는 컴퓨터-판독 가능 매체에 저장된 컴퓨터 프로그램.
A computer program stored in a computer-readable medium for performing a user information processing method using a three-dimensional foot model, the computer program causing the computer to perform the following steps, the steps comprising:
(a) communicating with a mobile terminal to collect a three-dimensional foot model of the user obtained by a mobile scan performed by the mobile terminal;
Step (b) of collecting shoe models modeling shoes from the shoe company server or the mobile terminal;
(c) putting the shoe model on the three-dimensional foot model;
Step (d) calculating the degree of expansion of the shoe model;
A computer stored in a computer-readable medium comprising the step (e) of transmitting a shoe corresponding to the shoe model whose inflation degree satisfies a predetermined standard to the mobile terminal that transmitted the 3D foot model as recommended shoe information. program.
제8항에 있어서,
상기 단계 (a)는 정기적으로 혹은 비정기적으로 여러 차례 상기 3차원 발 모델을 수집하고,
상기 단계 (e)는, 시간 순으로 상기 3차원 발 모델을 비교하여 발 형상의 변화를 분석하는 단계와; 상기 변화를 고려한 신발 추천 혹은 신발 구독이 이루어지게 하는 단계를 포함하는 것을 특징으로 컴퓨터-판독 가능 매체에 저장된 컴퓨터 프로그램.
According to clause 8,
Step (a) collects the three-dimensional foot model several times regularly or irregularly,
Step (e) includes analyzing changes in foot shape by comparing the three-dimensional foot models in chronological order; A computer program stored in a computer-readable medium, comprising the step of making shoe recommendations or shoe subscriptions taking the changes into account.
제8항에 있어서,
상기 사용자가 상기 모바일 단말을 이용하여 촬영한 신발장 영상을 전송받는 단계;
상기 신발장 영상 내의 신발 영상을 추출하는 단계;
상기 신발 영상에 대해 텍스트, 색상 및 형상 중 적어도 하나의 특징 검출을 통해 상기 사용자의 취향을 파악하는 단계;
상기 신발 모델 중 상기 취향에 대응되고 소정 기준 이상의 우수한 착화감을 제공하는 추천 신발 모델을 찾는 단계; 및
상기 추천 신발 모델에 관한 정보를 상기 모바일 단말로 전송하는 단계를 더 포함하는 것을 특징으로 하는 컴퓨터-판독 가능 매체에 저장된 컴퓨터 프로그램.
According to clause 8,
Receiving a shoe cabinet image captured by the user using the mobile terminal;
Extracting a shoe image from the shoe cabinet image;
Identifying the user's taste by detecting at least one feature of text, color, and shape with respect to the shoe image;
Finding a recommended shoe model among the shoe models that corresponds to the taste and provides excellent wearing comfort above a predetermined standard; and
A computer program stored in a computer-readable medium, further comprising transmitting information about the recommended shoe model to the mobile terminal.
제8항에 있어서,
상기 단계 (a)는 복수의 사용자 각각의 모바일 단말을 통해 상기 복수의 사용자 각각의 발을 모바일 스캔한 복수의 3차원 발 모델을 수집하는 단계를 포함하고,
상기 단계 (e)는 상기 복수의 3차원 발 모델 중에서 제1 사용자의 3차원 발 모델과 유사한 유사 발 모델을 비교 분석으로 찾는 단계를 포함하며,
상기 유사 발 모델의 주인인 제2 사용자가 상기 모바일 단말을 이용하여 촬영한 신발장 영상을 전송받는 단계;
상기 신발장 영상 내의 신발 영상을 추출하는 단계;
상기 신발 영상에 대해 텍스트, 색상 및 형상 중 적어도 하나의 특징 검출을 통해 상기 제2 사용자의 취향을 파악하는 단계;
상기 신발 모델 중 상기 취향에 대응되고 소정 기준 이상의 우수한 착화감을 제공하는 추천 신발 모델을 찾는 단계; 및
상기 추천 신발 모델에 관한 정보를 상기 제1 사용자의 모바일 단말로 전송하는 단계를 더 포함하는 것을 특징으로 하는 컴퓨터-판독 가능 매체에 저장된 컴퓨터 프로그램.
According to clause 8,
The step (a) includes collecting a plurality of three-dimensional foot models obtained by mobile scanning the feet of each of the plurality of users through each of the plurality of users' mobile terminals,
Step (e) includes finding a similar foot model similar to the first user's three-dimensional foot model among the plurality of three-dimensional foot models through comparative analysis,
A second user, the owner of the similar foot model, receiving a shoe cabinet image captured using the mobile terminal;
Extracting a shoe image from the shoe cabinet image;
determining the taste of the second user through detecting at least one feature of text, color, and shape with respect to the shoe image;
Finding a recommended shoe model among the shoe models that corresponds to the taste and provides excellent wearing comfort above a predetermined standard; and
A computer program stored in a computer-readable medium, further comprising transmitting information about the recommended shoe model to the mobile terminal of the first user.