WO2021080081A1 - Ai 사진 분석 모듈을 포함하는 서버가 사진을 분석하는 방법 - Google Patents

Ai 사진 분석 모듈을 포함하는 서버가 사진을 분석하는 방법 Download PDF

Info

Publication number
WO2021080081A1
WO2021080081A1 PCT/KR2019/016371 KR2019016371W WO2021080081A1 WO 2021080081 A1 WO2021080081 A1 WO 2021080081A1 KR 2019016371 W KR2019016371 W KR 2019016371W WO 2021080081 A1 WO2021080081 A1 WO 2021080081A1
Authority
WO
WIPO (PCT)
Prior art keywords
photo
analyzing
server
determining
rejection
Prior art date
Application number
PCT/KR2019/016371
Other languages
English (en)
French (fr)
Inventor
유수호
이재만
Original Assignee
유수호
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 유수호 filed Critical 유수호
Publication of WO2021080081A1 publication Critical patent/WO2021080081A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0645—Rental transactions; Leasing transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40—Business processes related to the transportation industry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes

Definitions

  • the present invention relates to a method for analyzing photos by a server including an artificial intelligence (AI) photo analysis module. More specifically, the present invention relates to a method for analyzing and determining whether the return of a personal electric motor (Personal Mobility, PM) such as an electric kickboard, electric scooter, or electric bicycle is correct by the AI analysis module.
  • PM Personal Electric Motor
  • PM personal electric motors
  • the present invention provides a method for a server including an AI photo analysis module to analyze a photo, and an object thereof.
  • the present invention provides a method for analyzing and determining whether the return of a personal electric motor (Personal Mobility, PM) such as an electric kickboard, electric scooter, or electric bicycle by the AI analysis module is correct.
  • PM Personal Electric Motor
  • a method of analyzing a photo by a server including an AI photo analysis module includes the steps of: uploading a photo to be analyzed; Analyzing the photo by the AI photo analysis module; And determining approval or rejection based on a result of the analyzing step, wherein the analyzing of the photo includes: distinguishing a predetermined object in the photo from a surrounding environment of the object; Determining whether the surrounding environment is indoors or outdoors; And detecting a predetermined feature in the surrounding environment.
  • the server includes a database including an image of the predetermined feature, or is accessible to the database, and the step of detecting the feature may include comparing the surrounding environment with the database to determine a specific part of the surrounding environment in advance. It is possible to calculate the degree to which it matches the specified feature.
  • the predetermined feature may include at least one of a wall, a cradle, a fence, a road boundary, and an entrance.
  • Analyzing the photo may further include detecting a ground on which the object is located.
  • Analyzing the photo may further include detecting the type of the ground on which the object is located.
  • the sensing of the type of the ground may be performed based on the shape, position, width, color, etc. of the ground.
  • Analyzing the photo may further include calculating a ratio of the object occupied by a type of ground.
  • the determining of approval or rejection may be determined as rejection when the calculated ratio exceeds a predetermined level.
  • the step of determining the approval or rejection may be determined as rejection.
  • the step of analyzing the photo is to analyze whether the personal motor extracted as the object is in a fall state, and the step of determining approval or rejection is to reject the personal motor extracted as the object when it is determined to fall down. You can decide.
  • Analyzing the photograph may include analyzing whether the object is located on a crosswalk on a road, and determining whether to approve or reject it, if it is determined that the object is located on a crosswalk on the road, it may be determined as rejection. .
  • the step of analyzing the photo includes analyzing whether the object is located in at least one of the entrance/exit path of the building parking lot, the entrance/exit path of the building, or the entrance/exit path of a building elevator or escalator, and determining the approval or rejection , If it is determined that the object is located in at least one entry/exit path, it may be determined to be rejected.
  • a method of analyzing a photo by a server including an AI photo analysis module is to receive a photo by the AI photo analysis module, analyze the photo, and return the personal electric motor based on the result of the analyzing step. By letting you decide whether to approve or reject it, you can manage your personal motor more efficiently.
  • FIG. 1 is a diagram for briefly explaining the concept of a method for analyzing a photo by a server including an AI photo analysis module according to an exemplary embodiment of the present invention.
  • FIG. 2 is a diagram for explaining a server including an AI photo analysis module in an example of the present invention.
  • FIG. 3 is a diagram illustrating an example of a method of operating a server including an AI photo analysis module according to an example of the present invention.
  • FIG. 4 is a diagram for explaining each step of FIG. 3 in more detail.
  • FIG. 5 is a diagram for explaining in more detail a method of analyzing an environment surrounding a PM in FIG. 4.
  • 6 to 14 are diagrams for explaining a specific example of the method for analyzing the environment surrounding the PM shown in FIG. 5.
  • FIG. 1 is a diagram for briefly explaining the concept of a method for analyzing a photo by the server 100 including the AI photo analysis module 110 according to an example of the present invention.
  • the method for analyzing photos by the server 100 including the AI photo analysis module 110 is after the user uses the personal electric motor 10 (PM, 10).
  • the user may apply for return to the personal electric motor 10 management server 100 using the user terminal 20, which is a mobile communication terminal 20 such as a smart phone or a mobile phone.
  • the user photographs the return state of the personal motor 10 that has been terminated with the user terminal 20, and then, through the Internet communication network, the personal motor 10 management server ( 100) can be uploaded.
  • the personal electric motor 10 management server 100 may include an AI photo analysis module 110, and the AI photo analysis module 110 analyzes the uploaded photo, and based on the analyzed result, the user's return You can decide to approve or reject it.
  • the method of analyzing the photos by the server 100 including the AI photo analysis module 110 induces the correct return of the personal electric motor 10, thereby managing the personal electric motor 10 Can be made to operate more efficiently.
  • the server 100 including the AI photo analysis module 110 that determines approval or rejection of return through AI photo analysis will be described, and the server 100 including the AI photo analysis module 110 is An example of how to operate will be described.
  • FIG. 2 is a diagram for explaining the server 100 including the AI photo analysis module 110 in an example of the present invention.
  • the personal electric motor 10 management server 100 may include an AI photo analysis module 110, and a database unit including an image of a predetermined feature ( 120), it is possible to access the database unit 120.
  • the server 100 does not include the database unit 120 including an image of a predetermined feature is illustrated as an example, but this is an example, and the present invention is not necessarily limited thereto, and the present invention is not limited thereto.
  • the corresponding server 100 may include a database including an image of a predetermined feature differently from that shown in FIG. 2.
  • the database unit 120 in order to analyze the return state of the personal electric motor 10, a large amount of big data photo data for comparison is stored, and when analyzing the photo at the request of the server 100, the big data Photo data may be transmitted to the server 100.
  • the AI photo analysis module 110 may include a photo receiving module 111, an object extraction module 112, a surrounding environment analysis module 113, a return decision module 114, and an AI advancement module 115.
  • the photo receiving module 111 may upload a photo of the personal motor 10 taken by the mobile communication terminal 20 in order for the user to return the personal motor 10 that has been terminated.
  • the object extraction module 112 extracts an object for the personal electric motor 10 from the uploaded photo, and separates an image for the personal electric motor 10 and an image for a background where the personal electric motor 10 is located.
  • the object extraction module 112 extracts an object
  • the object may be extracted by extracting feature points for the personal electric motor 10 from the uploaded photo.
  • the AI photo analysis module 110 separates and analyzes the image of the personal electric motor 10 and the image of the background where the personal electric motor 10 is located. can do.
  • the surrounding environment analysis module 113 may separate and recognize the object and the background, analyze a photo, and analyze an environment in which the object is located.
  • the analysis of the background or environment where the personal electric motor 10 is located is a large amount already stored in the database unit 120 for each part (eg, the ground, wall, road, etc.) displayed in the background or environment.
  • calculate a value for the degree of similarity and determine the similarity of each part displayed in the background or environment from the calculated value, where the personal electric motor 10 is located or where the personal electric motor 10 is located. It is possible to analyze what is the state of (for example, whether it is in a fallen state or a standing state).
  • the returning decision module 114 may determine approval or rejection of the return of the personal electric motor 10 by the user based on the result of analyzing the photo. That is, the return decision module 114 may determine whether the return location of the personal electric motor 10 is correct or not, based on the result analyzed by the surrounding environment analysis module 113, and determine approval or rejection for the return. have.
  • the returning decision module 114 may approve the return when it exceeds a predetermined threshold, taking into account whether the object is appropriate to a location and whether the object is appropriate to the posture, etc., and does not exceed the threshold. If not, you can decide to refuse.
  • the AI enhancement module 115 may label the result of the photo analysis and upload it to the database unit 120 connected to the server 100.
  • the analyzed picture may be used as comparison data.
  • the accuracy of the AI photo analysis module 110 can be improved. have.
  • FIG. 3 is a diagram for explaining in more detail an example of a method of operating the server 100 including the AI photo analysis module 110 according to an example of the present invention
  • FIG. 4 is a diagram illustrating each step of FIG. 3 in more detail. It is a diagram for explanation.
  • the method for the server 100 including the AI photo analysis module 110 to analyze the photo is a return request step (S110), a guideline providing step (S120), a photo upload step (S130), a photo analysis step (S140), It may include a return approval determination step (S150) and AI advancement step (S160).
  • the return request step (S110), the guideline provision step (S120), and the AI advancement step (S160) may be omitted in some cases. However, for convenience, a case provided as shown will be described as an example.
  • the return request step (S110) may be started by clicking the return request button in an application (APP) that is preinstalled in the user's mobile communication terminal 20 and is linked with the personal electric motor 10 management server 100. .
  • APP application
  • the terminal 20 may transmit the return request information to the server 100 through an Internet communication network.
  • the server 100 may check the location of the personal electric motor 10 after receiving the return request information. However, if the personal electric motor 10 is not equipped with a location sensor, when receiving the return information, the server 100 receives the location information of the user terminal 20 together to determine the location of the personal electric motor 10. I can confirm.
  • the guideline providing step S120 may be performed.
  • the AI photo analysis module 110 of the server 100 uses the user terminal 20 as shown in FIG. 4A, as shown in FIG. 4A, as a guideline for photographing the personal electric motor 10. (GL) can be provided.
  • the photographed picture may be uploaded to the server 100.
  • the photo receiving module 111 may receive a photo transmitted from the user terminal 20.
  • the object extraction module 112 and the surrounding environment analysis module 113 of the AI photo analysis module 110 may analyze the photo.
  • the photo analysis step S140 may include a PM object extraction step S141 and a PM surrounding environment analysis step S143 in order for the AI photo analysis module to analyze the photo.
  • the object extraction module 112 extracts an object that is an image of the personal motor 10, and is shown in FIG. 4B. As described above, it is possible to distinguish between an object specified in the picture and the surrounding environment of the object.
  • the object and the surrounding environment of the object may be analyzed to check the return state of the personal electric motor 10.
  • the PM surrounding environment analysis step (S143) it is determined whether the surrounding environment of the personal electric motor 10 to be returned is indoors or outdoors, and a predetermined feature may be detected in the surrounding environment.
  • the object image and the surrounding environment image of the object are compared with a large amount of big data photo data previously stored in the database unit 120 in order to analyze the object and its surrounding environment.
  • the degree of similarity can be determined.
  • the similarity determination may be performed by dividing each part of the photo data with respect to each part of the image of the surrounding environment of the object.
  • the AI photo analysis module 110 checks the object image of the uploaded photo or the information received from the gyro sensor provided in the personal electric motor 10, and whether the personal electric motor 10 is erected at the time of the return request, or if it has fallen. can confirm.
  • the return or not determination module 114 based on the result of the photo analysis step (S140) responds to the user's return request. You can decide to approve or reject it.
  • the photo analysis step (S140) it is determined whether the personal electric motor 10 is located in an appropriate place, whether the personal electric motor 10 is properly erected, etc., and the determined value exceeds the threshold value, and the return of the user You can approve the request, and if it does not reach the threshold, you can decide to reject it.
  • the AI enhancement module 115 may label the uploaded photo with a result value of the photo analysis step S140 and upload it to the database unit 120.
  • the photo uploaded to the database unit 120 may be used as photo data data in the photo analysis step S140 when another return request is input to the server 100 later.
  • FIG. 5 is a diagram for explaining in more detail a method for analyzing the environment surrounding the PM in FIG. 4, and FIGS. 6 to 14 are diagrams for explaining a specific example of the method for analyzing the environment surrounding the PM shown in FIG. 5.
  • the indoor determination step 143a detection of surrounding features Step 143b, ground type determination step 143c, traffic inconvenience determination step 143d, entrance/exit determination step 143e, crosswalk determination step 143f, and PM state determination step 143G can be performed. .
  • the PM surrounding environment analysis step (S143) does not necessarily include all the above-described steps, at least the indoor or not determining step (143a) and the surrounding feature detection step (143b) may be essentially included.
  • the PM surrounding environment analysis step S143 includes all of the above-described steps will be described as an example.
  • step 143a it may be determined whether the surrounding environment of the personal electric motor 10 to be returned is indoors or outdoors.
  • the server 100 receives the big data photo data as in FIG. 6 (b) from the database, and the uploaded photo and big data
  • the similarity is determined by comparing photos with each other, and if the similarity value exceeds a predetermined threshold, it may be determined as indoors.
  • step 143a of determining whether it is indoors it is compared with an existing big data picture about the outdoors, or, for example, the location of a nearby building, roadway, or wall, a door, a store. , By analyzing the illuminance, etc., the surrounding feature detection step 143b may be performed.
  • the server 100 May decide to reject the user's return request.
  • the neighboring feature detection step 143b may be performed.
  • a predetermined feature may be detected in the surrounding environment.
  • the degree to which a specific part of the surrounding environment matches a predetermined feature may be calculated by comparing the surrounding environment and the database.
  • the predetermined feature may include at least one of a wall, a cradle, a fence, a road boundary, and an entrance.
  • the server 100 compares the big data photos provided from the database unit 120 , As shown in (b) of FIG. 7, it is determined that the similarity with the big data picture facing the wall is high, and the surrounding environment is analyzed, and the return decision module 114 determines that the return is correct and returns it. Can be approved.
  • the server 100 when a photo in which the personal electric motor 10 is mounted on the cradle is uploaded to the server 100, the server 100 includes big data photos provided from the database unit 120. Compared with, as shown in (b) of FIG. 8, it is determined that the similarity with the big data picture mounted on the cradle is high, and the surrounding environment is analyzed, and the return decision module 114 indicates that the result of the analysis is correct return. You can approve the return by judging.
  • the surrounding environment analysis module 113 determines whether the personal electric motor 10 requested to be returned is mounted together with another personal electric motor 10, whether there is a fence around it, You can also analyze how far the distance is, whether it is near the entrance, and so on.
  • the ground on which the object is located may be detected, and the type of the ground on which the object is located may be detected.
  • the type of the ground it may be detected based on the shape, position, width, and color of the ground.
  • the server 100 receives a big data picture about the ground, determines the type of ground contacting the wheels from the feature points of the wheels of the personal electric motor 10 extracted in the PM object extraction step (S141). , It is possible to analyze whether the ground is a sidewalk, a roadway, a park, etc., by judging the degree of correspondence between the type of ground and similar data to determine the type of ground.
  • a big data picture as shown in (b) of FIG. 9 is provided from the database unit 120 to determine the degree of similarity, and It can be analyzed that (10) is near the curb between the road and the sidewalk, and the return decision module 114 analyzes the distance between the curb and the personal motor 10, and if the distance is sufficiently separated, the user You can approve the request for return.
  • the server 100 may perform the indoor determination step (143a), the surrounding feature detection step (143b), and the ground type determination step (143c). Similar to the big data pictures shown in (b), it is possible to approve the user's return request by analyzing that the personal electric motor 10 is located on a fenced sidewalk adjacent to the road.
  • the server 100 may perform the indoor determination step (143a), the surrounding feature detection step (143b), and the ground type determination step (143c). Similar to the big data pictures shown in (b), it is possible to approve the user's return request by analyzing that the personal electric motor 10 is located on the sidewalk adjacent to the park.
  • the ratio of the object occupied in one type of ground is calculated, and in the determining whether to approve the return (S150), when the calculated ratio exceeds a predetermined level, the server 100 The user's request for return can be determined to be rejected.
  • the server 100 may perform the personal electric motor 10 through the indoor determination step (143a), the surrounding feature detection step (143b), and the ground type determination step (143c). It can be analyzed as being located on the sidewalk adjacent to the road, and the sidewalk width D2 and the occupied width D1 that the personal electric motor 10 blocks the sidewalk can be analyzed.
  • the server 100 may determine to reject the user's return request.
  • the server 100 compares the big data photo as shown in (b) of FIG. 13 to determine the similarity. If, as a result of the determination, it is analyzed that the personal electric motor 10 is located in the entrance/exit route, the server 100 may reject the user's request for return in determining whether to approve the return (S150).
  • step 143e of determining the entry/exit path when analyzing whether the personal electric motor 10 is located on the entry/exit path, it is possible to determine the type of the entry/exit path in which the personal electric motor is located.
  • the type of the entrance/exit path may be at least one of an entrance/exit path of a building parking lot, an entrance/exit path of a building entrance, or an entrance/exit path of a building elevator or escalator.
  • the determination standard in step S150 By applying more strictly, even if it is located near the parking lot of the building, it is possible to reject the return request from the user.
  • the entry/exit route is the entrance/exit of a building, a building elevator or escalator, the object is not in the middle of the entrance/exit route, and the object is not in the middle of the entrance/exit route at step S150 of deciding whether to approve the return. If it is located in, it is possible to approve the user's return request by applying the determination criterion more loosely.
  • the server 100 analyzes whether the object is located on the crosswalk on the road, and if it is analyzed that the object is located on the crosswalk on the road, the server 100 determines whether to approve the return (S150). You can decline the return request.
  • the server 100 may reject the user's return request.
  • the object image of the uploaded photograph or information received from the gyro sensor provided in the personal electric motor 10 is checked, and whether the personal electric motor 10 is erected at the time of the return request, You can check whether you have fallen or not.
  • the server 100 (a) when the personal electric motor 10 is located on the road, (b) when the occupied width of the sidewalk on the park is excessive, (c) If it is located outdoors or under the stairs, and it is difficult for other users to find the personal motor 10, (d) if it is concealed by falling behind the bench, (e) if it is leaning against the bench, causing interference from other bench users, (f ) If it is located on the stairs and there is a risk of damage to the personal electric motor 10, the user's request for return may be rejected.
  • each technical feature is mainly described, but as long as the respective technical features are not compatible with each other, they may be merged and applied with each other.

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Development Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Primary Health Care (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Operations Research (AREA)

Abstract

본 발명은 인공 지능(Artificial Intelligence, AI) 사진 분석 모듈을 포함하는 서버가 사진을 분석하는 방법에 관한 것이다. 본 발명의 일례에 따른 AI 사진 분석 모듈을 포함하는 서버가 사진을 분석하는 방법은 분석대상 사진을 업로드 받는 단계; 상기 AI 사진 분석 모듈이 상기 사진을 분석하는 단계; 및 상기 분석하는 단계의 결과를 기반으로 승인 또는 거절을 결정하는 단계를 포함하고, 상기 사진을 분석하는 단계는, 상기 사진에서 미리 정해진 오브젝트와 상기 오브젝트의 주변 환경을 구분하는 단계; 상기 주변 환경이 실내인지, 실외인지 판단하는 단계; 및 상기 주변 환경에서 미리 정해진 지물을 감지하는 단계를 포함한다.

Description

AI 사진 분석 모듈을 포함하는 서버가 사진을 분석하는 방법
본 발명은 인공 지능(Artificial Intelligence, AI) 사진 분석 모듈을 포함하는 서버가 사진을 분석하는 방법에 관한 것이다. 보다 상세하게는 본 발명은 AI 분석 모듈이 전동 킥보드, 전동 스쿠터 또는 전동 자전거와 같은 개인용 전동기(Personal Mobility, PM)의 반납이 올바른지 여부를 분석 및 판단하는 방법에 관한 것이다.
최근에는 전동 킥보드, 전동 스쿠터 또는 전동 자전거와 같은 개인용 전동기(PM)를 이용하는 사용자가 증가하고 있으며, 특히 도심지에서는 건강을 위해서는 물론, 대중 교통 수단을 대체하는 교통 수단으로서 많은 사람이 이용하고 있다.
이러한 개인용 전동기(PM)는 일반적인 이동수단과 달리 화석연료를 사용하지 않기 때문에 환경오염이 발생되지 않고, 근거리 통학 및 출퇴근 수단으로써 경비절감과 출퇴근 시간 절약 또는 근거리 이동에서 그 활용성이 급격하게 늘고 있다.
최근 이를 위해, 개인용 전동기(PM)를 대여 및 공유하는 다양한 사업 모델이 증가하고 있다.
그러나, 한편, 최근에는 개인용 전동기(PM)의 반납업무를 처리하는데 따른 관리비용이 증가하고, 이용자들은 복잡한 반납절차로 인한 불편함이 있으며, 개인용 전동기(PM)를 실내에서 반납하여 다른 사용자의 이용을 방해하거나, 개인용 전동기(PM)의 반납이 다른 사용자가 이용하기 어려운 상태로 반납하거나, 개인용 전동기(PM)가 위치해서는 안될 장소에 반납하는 등 문제점이 있어 왔다.
본 발명은 AI 사진 분석 모듈을 포함하는 서버가 사진을 분석하는 방법을 제공하는데, 그 목적이 있다. 보다 상세하게는 본 발명은 AI 분석 모듈이 전동 킥보드, 전동 스쿠터 또는 전동 자전거와 같은 개인용 전동기(Personal Mobility, PM)의 반납이 올바른지 여부를 분석 및 판단하는 방법을 제공하는데, 그 목적이 있다.
본 발명의 일례에 따른 AI 사진 분석 모듈을 포함하는 서버가 사진을 분석하는 방법은 분석대상 사진을 업로드 받는 단계; 상기 AI 사진 분석 모듈이 상기 사진을 분석하는 단계; 및 상기 분석하는 단계의 결과를 기반으로 승인 또는 거절을 결정하는 단계를 포함하고, 상기 사진을 분석하는 단계는, 상기 사진에서 미리 정해진 오브젝트와 상기 오브젝트의 주변 환경을 구분하는 단계; 상기 주변 환경이 실내인지, 실외인지 판단하는 단계; 및 상기 주변 환경에서 미리 정해진 지물을 감지하는 단계를 포함한다.
상기 서버는 상기 미리 정해진 지물의 이미지를 포함하는 데이터베이스를 포함하거나, 상기 데이터베이스에 접근 가능하고, 상기 지물을 감지하는 단계는, 상기 주변 환경과 상기 데이터베이스를 비교하여 상기 주변 환경의 특정 부분이 상기 미리 정해진 지물과 일치하는 정도를 산출할 수 있다.
상기 미리 정해진 지물은 벽, 거치대, 울타리, 도로 경계선 및 출입구 중 적어도 하나를 포함할 수 있다.
상기 사진을 분석하는 단계는, 상기 오브젝트가 위치하는 지면을 감지하는 단계를 더 포함할 수 있다.
상기 사진을 분석하는 단계는, 상기 오브젝트가 위치하는 지면의 종류를 감지하는 단계를 더 포함할 수 있다.
상기 지면의 종류를 감지하는 단계는, 상기 지면의 형태, 위치, 폭, 색상 등에 기반하여 감지할 수 있다.
상기 사진을 분석하는 단계는, 상기 오브젝트가 일 종류의 지면에서 차지하고 있는 비율을 산출하는 단계를 더 포함할 수 있다.
상기 승인 또는 거절을 결정하는 단계는, 상기 산출된 비율이 미리 정해진 레벨을 초과하는 경우, 거절로 결정할 수 있다.
상기 사진을 분석하는 단계에서, 상기 오브젝트가 실내에 위치하는 것으로 판별된 경우, 상기 승인 또는 거절을 결정하는 단계는, 거절로 결정할 수 있다.
상기 사진을 분석하는 단계는 상기 오브젝트로 추출된 개인용 전동기가 넘어진 상태인지 여부를 분석하고, 상기 승인 또는 거절을 결정하는 단계는, 상기 오브젝트로 추출된 개인용 전동기가 넘어진 상태로 판별된 경우, 거절로 결정할 수 있다.
상기 사진을 분석하는 단계는 상기 오브젝트가 도로 상의 횡단 보도에 위치하는지를 분석하고, 상기 승인 또는 거절을 결정하는 단계는, 상기 오브젝트가 도로 상의 횡단 보도에 위치하는 것으로 판별된 경우, 거절로 결정할 수 있다.
상기 사진을 분석하는 단계는 상기 오브젝트가 건물 주차장의 진출입로, 건물 출입구의 진출입로 또는 건물 엘리베이터나 에스컬레이터의 진출입로 중 적어도 하나의 진출입로에 위치하는지를 분석하고, 상기 승인 또는 거절을 결정하는 단계는, 상기 오브젝트가 적어도 하나의 진출입로에 위치하는 것으로 판별된 경우, 거절로 결정할 수 있다.
본 발명의 일례에 따른 AI 사진 분석 모듈을 포함하는 서버가 사진을 분석하는 방법은 AI 사진 분석 모듈이 사진을 업로드 받아, 사진을 분석하여, 상기 분석하는 단계의 결과를 기반으로 개인용 전동기의 반납에 대한 승인 또는 거절을 결정하도록 함으로써, 개인용 전동기에 대한 관리를 보다 효율적으로 운영하도록 할 수 있다.
도 1은 본 발명의 일례에 따른 AI 사진 분석 모듈을 포함하는 서버가 사진을 분석하는 방법의 개념을 간략하게 설명하기 위한 도이다.
도 2는 본 발명의 일례에서, AI 사진 분석 모듈을 포함하는 서버를 설명하기 위한 도이다.
도 3은 본 발명의 일례에 따른 AI 사진 분석 모듈을 포함하는 서버가 동작하는 방법의 일례를 설명하기 위한 도이다.
도 4는 도 3의 각 단계를 보다 구체적으로 설명하기 위한 도이다.
도 5는 도 4에서 PM 주변 환경 분석 방법을 보다 구체적으로 설명하기 위한 도이다.
도 6 내지 도 14는 도 5에 도시된 PM 주변 환경 분석 방법의 구체적 일례를 설명하기 위한 도이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명한다. 본 발명을 설명하는데 있어서, 해당 분야에 이미 공지된 기술 또는 구성에 대한 구체적인 설명을 부가하는 것이 본 발명의 요지를 불분명하게 할 수 있다고 판단되는 경우에는 상세한 설명에서 이를 일부 생략하도록 한다. 또한, 본 명세서에서 사용되는 용어들은 본 발명의 실시예들을 적절히 표현하기 위해 사용된 용어들로서, 이는 해당 분야의 관련된 사람 또는 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 AI 사진 분석 모듈을 포함하는 서버가 사진을 분석하는 방법에 대해서 설명한다.
도 1은 본 발명의 일례에 따른 AI 사진 분석 모듈(110)을 포함하는 서버(100)가 사진을 분석하는 방법의 개념을 간략하게 설명하기 위한 도이다.
도 1에 도시된 바와 같이, 본 발명의 일례에 따른 AI 사진 분석 모듈(110)을 포함하는 서버(100)가 사진을 분석하는 방법은 사용자가 개인용 전동기(10)(PM, 10)를 이용한 이후, 그 사용을 종료하고자 할 때, 사용자가 스마트폰 또는 휴대폰과 같은 이동 통신 단말기(20)인 사용자 단말기(20)를 이용하여 개인용 전동기(10) 관리 서버(100)에 반납을 신청할 수 있다.
이를 위해, 도 1에 도시된 바와 같이, 사용자는 사용이 종료된 개인용 전동기(10)의 반납 상태를 사용자 단말기(20)기로 촬영한 이후, 이를 인터넷 통신망을 통하여, 개인용 전동기(10) 관리 서버(100)로 업로드할 수 있다.
개인용 전동기(10) 관리 서버(100)는 AI 사진 분석 모듈(110)을 포함할 수 있으며, AI 사진 분석 모듈(110)이 업로드된 사진을 분석하고, 분석된 결괄를 기반으로, 사용자의 반납에 대해 승인 또는 거절을 결정할 수 있다.
이와 같이, 본 발명의 일례에 따른 AI 사진 분석 모듈(110)을 포함하는 서버(100)가 사진을 분석하는 방법은 개인용 전동기(10)의 올바른 반납을 유도함으로써, 개인용 전동기(10)에 대한 관리를 보다 효율적으로 운영하도록 할 수 있다.
이하에서는 AI 사진 분석을 통하여, 반납의 승인 또는 거절을 결정하는 AI 사진 분석 모듈(110)을 포함하는 서버(100)에 대해 설명하고, AI 사진 분석 모듈(110)을 포함하는 서버(100)가 동작하는 방법의 일례에 대해 설명한다.
도 2는 본 발명의 일례에서, AI 사진 분석 모듈(110)을 포함하는 서버(100)를 설명하기 위한 도이다.
도 2에 도시된 바와 같이, 본 발명의 일례에 따른 개인용 전동기(10) 관리 서버(100)는 AI 사진 분석 모듈(110)을 포함할 수 있으며, 미리 정해진 지물의 이미지를 포함하는 데이터 베이스부(120)와 연동되어 데이터 베이스부(120)에 접근이 가능하다.
도 2에서는 서버(100)가 미리 정해진 지물의 이미지를 포함하는 데이터 베이스부(120)를 포함하지 않는 경우를 일례로 도시하였으나, 이는 일례로, 본 발명이 반드시 이에 한정되는 것은 아니고, 본 발명에 따른 서버(100)는 도 2에 도시된 바와 다르게, 미리 정해진 지물의 이미지를 포함하는 데이터베이스를 포함할 수도 있다.
데이터 베이스부(120)에는 개인용 전동기(10)의 반납 상태를 분석하기 위해, 많은 양의 비교용 빅데이터 사진 데이터가 저장되어 있으며, 서버(100)의 요청에 따라 사진을 분석할 때, 빅데이터 사진 데이터가 서버(100)로 전송될 수 있다.
AI 사진 분석 모듈(110)은 사진 수신 모듈(111), 오브젝트 추출 모듈(112), 주변 환경 분석 모듈(113), 반납 여부 결정 모듈(114) 및 AI 고도화 모듈(115)을 포함할 수 있다.
여기서, 사진 수신 모듈(111)은 사용자가 사용이 종료된 개인용 전동기(10)를 반납하기 위해, 이동 통신 단말기(20)로 촬영한 개인용 전동기(10)에 대한 사진을 업로드 받을 수 있다.
오브젝트 추출 모듈(112)은 업로드된 사진으로부터 개인용 전동기(10)에 대한 오브젝트를 추출하여, 개인용 전동기(10)에 대한 이미지와, 개인용 전동기(10)가 위치한 배경에 대한 이미지를 분리할 수 있다.
오브젝트 추출 모듈(112)이 오브젝트를 추출할 때, 일례로, 오브젝트는 업로드된 사진으로부터 개인용 전동기(10)에 대한 특징점을 추출하는 방식으로 추출될 수 있다.
이와 같이, 오브젝트 추출 모듈(112)에 의해 오브젝트가 추출된 이후, AI 사진 분석 모듈(110)은 개인용 전동기(10)에 대한 이미지와, 개인용 전동기(10)가 위치한 배경에 대한 이미지를 분리하여 분석할 수 있다.
주변 환경 분석 모듈(113)은 오브젝트를 추출한 이후, 오브젝트와 배경을 분리하여 인식하고, 사진을 분석하여, 오브젝트가 위치한 환경을 분석할 수 있다.
여기서, 개인용 전동기(10)가 위치한 배경이나 환경에 대한 분석은 배경이나 환경에 표시되는 각 부분(예를 들어, 지면, 벽면, 도로 등)에 대해, 데이터 베이스부(120)에 이미 저장된 많은 양의 사진 데이터와 비교하여, 유사성의 정도에 대한 값을 산출하고, 산출된 값으로부터 배경이나 환경에 표시되는 각 부분의 유사도를 판단하여, 개인용 전동기(10)가 어디에 위치하는지 또는 개인용 전동기(10)의 상태는 어떠한지(예를 들어, 넘어진 상태인지, 세워진 상태인지) 분석할 수 있다.
반납 여부 결정 모듈(114)은 사진을 분석한 결과를 기반으로 사용자의 개인용 전동기(10) 반납에 대한 승인 또는 거절을 결정할 수 있다. 즉, 반납 여부 결정 모듈(114)은 주변 환경 분석 모듈(113)에서 분석된 결과에 기반하여, 개인용 전동기(10)의 반납 장소가 올바른지 아닌지 여부를 판별하여, 반납에 대한 승인 또는 거절을 결정할 수 있다.
일례로, 반납 여부 결정 모듈(114)은 오브젝트가 위치한 장소에 대한 적절성 여부 및 오브젝트의 자세에 대한 적절성 여부 등을 고려하여, 미리 정해진 임계값을 넘어서는 경우 반납을 승인할 수 있으며, 임계값을 넘어서지 못하는 경우 거절을 결정할 수 있다.
AI 고도화 모듈(115)은 사용자가 업로드한 사진에 대한 분석이 종료된 이후, 사진 분석에 대한 결과를 라벨링하여, 서버(100)와 연결되는 데이터 베이스부(120)에 업로드할 수 있고, 차후의 개인용 전동기(10) 반납 여부를 결정할 때, 분석된 사진이 비교 데이터로 이용되도록 할 수 있다.
이에 따라, AI 사진 분석 모듈(110)을 포함하는 서버(100)가 개인용 전동기(10)에 대한 주변 환경을 분석하는 횟수가 증가할수록, AI 사진 분석 모듈(110)의 정확도가 보다 고도화되도록 할 수 있다.
이하에서는, AI 사진 분석 모듈(110)을 포함하는 서버(100)가 동작하는 방법의 일례에 대해 설명한다.
도 3은 본 발명의 일례에 따른 AI 사진 분석 모듈(110)을 포함하는 서버(100)가 동작하는 방법의 일례를 보다 구체적으로 설명하기 위한 도이고, 도 4는 도 3의 각 단계를 보다 구체적으로 설명하기 위한 도이다.
AI 사진 분석 모듈(110)을 포함하는 서버(100)가 사진을 분석하는 방법은 반납 요청 단계(S110), 가이드 라인 제공 단계(S120), 사진 업로드 단계(S130), 사진 분석 단계(S140), 반납 승인 여부 판단 단계(S150) 및 AI 고도화 단계(S160)를 포함할 수 있다.
여기서, 반납 요청 단계(S110), 가이드 라인 제공 단계(S120) 및 AI 고도화 단계(S160)는 경우에 따라 생략되는 것도 가능하다. 그러나, 편의상 도시된 바와 같이 구비된 경우를 일례로 설명한다.
반납 요청 단계(S110)는 사용자의 이동 통신 단말기(20)에 사전에 미리 설치되어, 개인용 전동기(10) 관리 서버(100)와 연동되는 애플리케이션(APP)에서, 반납 요청 버튼을 클릭하여 시작될 수 있다.
사용자가 사용자 단말기(20)를 통하여, 반납 요청 버튼을 클릭하면, 단말기(20)는 인터넷 통신망을 통하여, 서버(100)에 반납 요청 정보를 전송할 수 있다.
만약, 개인용 전동기(10)에 위치 감지 센서가 구비된 경우, 서버(100)는 반납 요청 정보를 수신한 후, 개인용 전동기(10)의 위치를 확인할 수 있다. 그러나, 개인용 전동기(10)에 위치 감지 센서가 구비되지 않은 경우, 서버(100)는 반납 정보를 수신할 때, 사용자 단말기(20)의 위치 정보를 함께 수신하여, 개인용 전동기(10)의 위치를 확인할 수 있다.
이와 같이, 반납 요청 단계(S110)가 수행된 이후, 가이드 라인 제공 단계(S120)가 수행될 수 있다.
가이드 라인 제공 단계(S120)에서는 서버(100)의 AI 사진 분석 모듈(110)이 사용자 단말기(20)로 도 4의 (a)에 도시된 바와 같이, 개인용 전동기(10)를 촬영하기 위한 가이드 라인(GL)을 제공할 수 있다.
이와 같은 가이드 라인(GL)에 따라, 사용자가 개인용 전동기(10)를 촬영한 이후, 촬영된 사진을 서버(100)로 업로드할 수 있다.
사진 업로드 단계(S130)에서는 사진 수신 모듈(111)이 사용자 단말기(20)로부터 전송되는 사진을 수신할 수 있다.
사진 분석 단계(S140)에서는 AI 사진 분석 모듈(110)의 오브젝트 추출 모듈(112) 및 주변 환경 분석 모듈(113)이 사진을 분석할 수 있다.
이와 같은 사진 분석 단계(S140)는 AI 사진 분석 모듈이 사진을 분석하기 위해, PM 오브젝트 추출 단계(S141) 및 PM 주변 환경 분석 단계(S143)를 포함할 수 있다.
PM 오브젝트 추출 단계(S141)에서는 개인용 전동기(10)의 반납 상태를 확인하기 위하여, 오브젝트 추출 모듈(112)이 개인용 전동기(10)에 대한 이미지인 오브젝트를 추출하여, 도 4의 (b)에 도시된 바와 같이, 사진에서 정해진 오브젝트와 오브젝트의 주변 환경을 구분할 수 있다.
PM 주변 환경 분석 단계(S143)에서는 도 4의 (c)에 도시된 바와 같이, 오브젝트와 오브젝트의 주변 환경을 분석하여, 개인용 전동기(10)의 반납 상태를 확인할 수 있다.
이를 위해, PM 주변 환경 분석 단계(S143)에서는 반납되는 개인용 전동기(10)의 주변 환경이 실내인지, 실외인지 판단하고, 주변 환경에서 미리 정해진 지물을 감지할 수 있다.
이와 같은 PM 주변 환경 분석 단계(S143)에서는 오브젝트와 오브젝트의 주변 환경을 분석하기 위해, 오브젝트 이미지와 오브젝트의 주변 환경 이미지를 데이터 베이스부(120)에 사전에 저장된 많은 양의 빅데이터 사진 데이터와 비교하여, 유사도를 판단할 수 있다.
이와 같은 유사도 판단은 오브젝트의 주변 환경 이미지의 각 부분에 대해, 사진 데이터의 각 부분을 구분하여 수행될 수 있다.
일례로, 도 4의 (c)에 도시된 바와 같이, 개인용 전동기(10)의 주변 지물을 검출하여, 개인용 전동기(10)가 실내에 위치하는지, 주변 지물은 무엇이 있는지(예를 들어, 도로 위인지, 보도 위인지, 근처에 벽이 있는지, 나무가 있는지) 등을 주변 환경 이미지의 각 부분에 대해 유사도를 판단하여, 개인용 전동기(10)가 구체적으로 어떤 장소에 위치하는지 분석할 수 있다.
아울러, AI 사진 분석 모듈(110)은 업로드된 사진의 오브젝트 이미지 또는 개인용 전동기(10)에 구비된 자이로 센서로부터 수신된 정보를 확인하여, 반납 요청 당시 개인용 전동기(10)가 세워져 있는지, 넘어져 있는지 등을 확인할 수 있다.
이와 같이, PM 주변 환경 분석 단계(S143)에 대해서는 도 5 이하에서 보다 구체적으로 설명한다.
이와 같이, PM 주변 환경 분석 단계(S143)가 수행된 이후, 반납 승인 여부 판단 단계(S150)에서는 사진 분석 단계(S140)의 결과를 기반으로 반납 여부 결정 모듈(114)이 사용자의 반납 요청에 대해 승인 또는 거절을 결정을 할 수 있다.
즉, 사진 분석 단계(S140)의 결과, 개인용 전동기(10)가 적절한 장소에 위치했는지, 개인용 전동기(10)의 상태는 제대로 세워져 있는지 등을 판단하여, 판단된 값이 임계값을 넘어서는 사용자의 반납 요청에 대해 승인하고, 임계값에 미치지 못하는 경우 거절을 결정할 수 있다.
AI 고도화 단계(S160)에서는 AI 고도화 모듈(115)이 업로드된 사진에 대해, 사진 분석 단계(S140)의 결과값을 라벨링하여, 데이터 베이스부(120)에 업로드할 수 있다. 이와 같이 데이터 베이스부(120)에 업로드된 사진은 추후, 다른 반납 요청이 서버(100)로 입력되었을 때, 사진 분석 단계(S140)의 사진 데이터 자료로 활용될 수 있다.
이하에서는 주변 환경 분석 모듈(113)이 PM 주변 환경 분석 단계(S143)를 수행하는 보다 구체적인 예들에 대해 설명한다.
도 5는 도 4에서 PM 주변 환경 분석 방법을 보다 구체적으로 설명하기 위한 도이고, 도 6 내지 도 14는 도 5에 도시된 PM 주변 환경 분석 방법의 구체적 일례를 설명하기 위한 도이다.
도 5에 도시된 바와 같이, PM 주변 환경 분석 단계(S143)는 반납 요청된 개인용 전동기(10)가 적절하게 반납될 수 있는 상태인지를 분석하기 위하여, 실내 여부 판단 단계(143a), 주변 지물 검출 단계(143b), 지면 종류 판별 단계(143c), 통행 불편 여부 판별 단계(143d), 진출입로 판별 단계(143e), 횡단 보도 판별 단계(143f) 및 PM 상태 판별 단계(143G)를 수행할 수 있다.
PM 주변 환경 분석 단계(S143)가 전술한 모든 단계를 반드시 포함하는 것은 아니나, 적어도 실내 여부 판단 단계(143a) 및 주변 지물 검출 단계(143b)는 필수적으로 포함될 수 있다. 이하에서는 설명의 편의상 PM 주변 환경 분석 단계(S143)가 전술한 모든 단계를 포함하는 경우를 일례로 설명한다.
실내 여부 판단 단계(143a)에서는 반납되는 개인용 전동기(10)의 주변 환경이 실내인지, 실외인지 판단할 수 있다.
이를 위해, 일례로, 개인용 전동기(10)의 특정 위치를 파악하여, 빅데이터 사진 자료가 저장된 데이터 베이스부(120)로부터 특정 위치에 대한 사진 데이터를 선택적으로 제공받아, 해당 위치에 주변 환경을 분석할 수 있다.
개인용 전동기(10)의 주변 환경이 실내인지 여부를 판별하기 위해 이미 저장된 실내용 빅데이터 사진 데이터와 비교하고, 유사도를 판단하여 실내인지 여부를 분석할 수 있다.
일례로, 반납을 위해 도 6의 (a)와 같은 사진이 업로드된 경우, 서버(100)는 데이터 베이스로부터 도 6의 (b)와 같은 빅데이터 사진 데이터를 제공받아, 업로드된 사진과 빅데이터 사진을 상호 비교하여 유사도를 판단하여, 유사도 값이 미리 결정된 임계값 이상으로 나올 경우, 실내로 판단할 수 있다.
만약, 실내 여부 판단 단계(143a)에서 실내가 아닌 실외인 것으로 판별된 경우, 실외에 대한 기존의 빅데이터 사진과 비교하거나, 예를 들어, 주변의 건물, 차도, 또는 벽의 위치, 출입문, 상점, 조도 등을 분석하여, 주변 지물 검출 단계(143b)를 수행할 수 있다.
그러나, 실내 여부 판단 단계(143a)에서, 도 6의 (a)와 같이, 개인용 전동기(10)에 대한 오브젝트가 실내에 위치하는 것으로 판별된 경우, 승인 또는 거절을 결정하는 단계에서는 서버(100)가 사용자의 반납 요청을 거절로 결정할 수 있다.
실내 여부 판단 단계(143a)에서, 실외로 판단된 경우, 주변 지물 검출 단계(143b)가 수행될 수 있다.
주변 지물 검출 단계(143b)에서는 주변 환경에서 미리 정해진 지물을 감지할 수 있다.
이와 같이, 지물을 감지하는 단계는, 주변 환경과 데이터베이스를 비교하여 주변 환경의 특정 부분이 미리 정해진 지물과 일치하는 정도를 산출할 수 있다.
여기서, 미리 정해진 지물은 벽, 거치대, 울타리, 도로 경계선 및 출입구 중 적어도 하나를 포함할 수 있다.
일례로, 도 7의 (a)와 같이, 개인용 전동기(10)가 벽을 마주 보고 있는 사진이 업로드된 경우, 서버(100)는 데이터 베이스부(120)로부터 제공받은 빅데이터 사진들과 비교하여, 도 7의 (b)와 같이, 벽을 마주 보고 있는 빅데이터 사진과의 유사도가 높은 것으로 판단하여, 주변 환경을 분석하고, 반납 여부 결정 모듈(114)은 분석된 결과 올바른 반납이라고 판단하여 반납을 승인할 수 있다.
이외에 도 8의 (a)와 같이, 개인용 전동기(10)가 거치대에 거치되어 있는 사진이 서버(100)로 업로드된 경우, 서버(100)는 데이터 베이스부(120)로부터 제공받은 빅데이터 사진들과 비교하여, 도 8의 (b)와 같이, 거치대에 거치되어 있는 빅데이터 사진과의 유사도가 높은 것으로 판단하여, 주변 환경을 분석하고, 반납 여부 결정 모듈(114)은 분석된 결과 올바른 반납이라고 판단하여 반납을 승인할 수 있다.
또한, 주변 지물 검출 단계(143b)에서는 주변 환경 분석 모듈(113)은 반납 요청된 개인용 전동기(10)가 주변에 다른 개인용 전동기(10)와 함께 거치되어 있는지, 주변에 울타리가 있는지, 도로 경계석과의 거리는 어느 정도인지, 출입구 근처에 있는지, 등도 함께 분석할 수 있다.
지면 종류 판별 단계(143c)에서는 오브젝트가 위치하는 지면을 감지하여, 오브젝트가 위치하는 지면의 종류를 감지할 수 있다. 여기서, 지면의 종류를 감지할 때, 지면의 형태, 위치, 폭, 색상 등에 기반하여 감지할 수 있다.
즉, 지면의 형태, 위치, 폭 색상 등을 판별하여 지면이, 인도인지, 차도인지, 공원인지 등을 분석할 수 있다. 이를 위해, 서버(100)는 지면에 관한 빅 데이터 사진을 제공받아, PM 오브젝트 추출 단계(S141)에서 추출된 개인용 전동기(10)의 바퀴에 대한 특징점으로부터 바퀴에 맞닿아 있는 지면의 종류를 판단하고, 지면의 종류와 비슷한 데이터의 일치 정도를 판단하여 지면의 종류를 판단하여, 지면이 인도인지, 차도인지, 공원인지 등을 분석할 수 있다.
예를 들어, 도 9의 (a)와 같은 사진이 업로드된 경우, 데이터 베이스부(120)로부터 도 9의 (b)에 도시된 바와 같은 빅데이터 사진을 제공받아, 유사도를 판단하여, 개인용 전동기(10)가 도로와 인도 사이의 경계석 근처에 있음을 분석할 수 있고, 반납 여부 결정 모듈(114)은 도로 경계석과 개인용 전동기(10) 사이의 거리를 분석하여, 거리가 충분히 이격된 경우, 사용자의 반납 요청을 승인할 수 있다.
또한, 도 10의 (a)와 같은 사진이 업로드된 경우, 서버(100)는 실내 여부 판단 단계(143a), 주변 지물 검출 단계(143b)와 지면 종류 판별 단계(143c)를 통해, 도 9의 (b)에 도시된 바와 같은 빅데이터 사진들과 유사하게, 개인용 전동기(10)가 도로와 인접하여 울타리가 있는 인도 상에 위치하고 있는 것을 분석하여, 사용자의 반납 요청을 승인할 수 있다.
또한, 도 11의 (a)와 같은 사진이 업로드된 경우, 서버(100)는 실내 여부 판단 단계(143a), 주변 지물 검출 단계(143b)와 지면 종류 판별 단계(143c)를 통해, 도 11의 (b)에 도시된 바와 같은 빅데이터 사진들과 유사하게, 개인용 전동기(10)가 공원과 인접한 인도 상에 위치하고 있는 것을 분석하여, 사용자의 반납 요청을 승인할 수 있다.
통행 불편 여부 판별 단계(143d)에서는 오브젝트가 일 종류의 지면에서 차지하고 있는 비율을 산출하고, 반납 승인 여부 판단 단계(S150)에서, 산출된 비율이 미리 정해진 레벨을 초과하는 경우, 서버(100)가 사용자의 반납 요청을 거절로 결정할 수 있다.
일례로, 도 12와 같은 사진이 업로드된 경우, 서버(100)는 실내 여부 판단 단계(143a), 주변 지물 검출 단계(143b)와 지면 종류 판별 단계(143c)를 통해, 개인용 전동기(10)가 도로와 인접한 인도상에 위치하는 것으로 분석할 수 있고, 인도폭(D2)과 개인용 전동기(10)가 인도를 가로막고 있는 점유폭(D1)을 분석할 수 있다.
이후, 반납 승인 여부 판단 단계(S150)에서, 인도폭(D2)에 대한 개인용 전동기(10)의 점유폭(D1)의 점유 비율이 미리 정해진 레벨을 초과하는 경우(예를 들어, 50%를 초과하는 경우), 서버(100)가 사용자의 반납 요청을 거절로 결정할 수 있다.
진출입로 판별 단계(143e)에서는 개인용 전동기(10)가 진출입로에 위치하는지를 분석하고, 반납 승인 여부 판단 단계(S150)에서, 오브젝트가 진출입로에 위치하는 것으로 판별된 경우, 서버(100)는 사용자의 반납 요청을 거절로 결정할 수 있다.일례로, 도 13의 (a)와 같은 사진이 업로드된 경우, 서버(100)는 도 13의 (b)와 같은 빅데이터 사진을 비교하여 유사도를 판단하고, 판단 결과 개인용 전동기(10)가 진출입로에 위치한 것으로 분석된 경우, 반납 승인 여부 판단 단계(S150)에서 서버(100)는 사용자의 반납 요청을 거절할 수 있다.
보다 구체적으로, 진출입로 판별 단계(143e)에서는 개인용 전동기(10)가 진출입로에 위치하는지를 분석할 때, 개인용 전동기가 위치한 진출입로의 종류를 판단할 수 있다.
여기서, 진출입로의 종류는 건물 주차장의 진출입로, 건물 출입구의 진출입로 또는 건물 엘리베이터나 에스컬레이터의 진출입로 중 적어도 하나일 수 있다.
반납 승인 여부 판단 단계(S150)에서, 진출입로의 종류에 따라 서로 다른 판단 기준을 적용하여, 사용자의 반납 요청을 승인 또는 거절할 수 있다.
예를 들어, 진출입로가 자동차가 주로 통행하는 건물 주차장의 진출입로인 경우, 건물 주차장의 진출입로 한 가운데 통로, 가장 자리 또는 주변에 오브젝트가 위치한 경우, 반납 승인 여부 판단 단계(S150)에서는 판단 기준을 보다 엄격하게 적용하여, 건물 주차장의 주변에 위치하더라도, 사용자의 반납 요청을 거절할 수 있다. 그러나, 진출입로가 사람이 주로 통행하는 건물 출입구, 건물 엘리베이터나 에스컬레이터의 진출입로인 경우, 반납 승인 여부 판단 단계(S150)에서, 오브젝트가 진출입로의 한 가운데 있지 아니하고, 진출입로의 가장 자리 또는 주변에 위치한 경우, 판단 기준을 보다 느슨하게 적용하여, 사용자의 반납 요청을 승인할 수 있다.
횡단 보도 판별 단계(143f)에서는 오브젝트가 도로 상의 횡단 보도에 위치하는지를 분석하고, 오브젝트가 도로 상의 횡단 보도에 위치하는 것으로 분석된 경우, 반납 승인 여부 판단 단계(S150)에서 서버(100)는 사용자의 반납 요청을 거절할 수 있다.
PM 상태 판별 단계(143G)에서는 오브젝트로 추출된 개인용 전동기(10)가 넘어진 상태인지 여부를 분석하고, 오브젝트로 추출된 개인용 전동기(10)가 넘어진 상태로 판별된 경우, 반납 승인 여부 판단 단계(S150)에서, 서버(100)는 사용자의 반납 요청을 거절할 수 있다.
여기서, 개인용 전동기(10)의 넘어진 상태 여부에 대해서는 업로드된 사진의 오브젝트 이미지 또는 개인용 전동기(10)에 구비된 자이로 센서로부터 수신된 정보를 확인하여, 반납 요청 당시 개인용 전동기(10)가 세워져 있는지, 넘어져 있는지 등을 확인할 수 있다.
이외에 도 14에 도시된 바와 같이, 본 발명에 따른 서버(100)는 (a) 개인용 전동기(10)가 도로 상에 위치한 경우, (b) 공원 상의 인도에 대한 점유폭이 과도한 경우, (c) 실외이나 계단 아래에 위치하여, 다른 이용자가 개인용 전동기(10)를 찾기 어려운 경우, (d) 벤치 뒤에 넘어져 은폐되어 있는 경우, (e) 벤치에 기대어 다른 벤치 이용자의 방해를 초래하는 경우, (f) 계단 위에 위치하여 개인용 전동기(10)가 파손될 위험이 있는 경우에 사용자의 반납 요청을 거절할 수 있다.
본 발명은 상술한 실시예 및 첨부한 도면에 한정되는 것은 아니며, 각 실시예에 개시된 기술적 특징들은 해당 실시예에만 한정되는 것은 아니고, 각 실시예에 기재된 기술적 특징들은 서로 양립 불가능하지 않은 이상, 서로 다른 실시예에 병합되어 적용될 수 있다.
따라서, 각 실시예에서는 각각의 기술적 특징을 위주로 설명하지만, 각 기술적 특징이 서로 양립 불가능하지 않은 이상, 서로 병합되어 적용될 수 있다.
본 발명이 속하는 분야에서 통상의 지식을 가진 자의 관점에서 다양한 수정 및 변형이 가능할 것이다. 따라서 본 발명의 범위는 본 명세서의 청구범위 뿐만 아니라 이 청구범위와 균등한 것들에 의해 정해져야 한다.

Claims (13)

  1. AI 사진 분석 모듈을 포함하는 서버가 사진을 분석하는 방법에 있어서,
    분석대상 사진을 업로드 받는 단계;
    상기 AI 사진 분석 모듈이 상기 사진을 분석하는 단계; 및
    상기 분석하는 단계의 결과를 기반으로 승인 또는 거절을 결정하는 단계를 포함하고,
    상기 사진을 분석하는 단계는,
    상기 사진에서 미리 정해진 오브젝트와 상기 오브젝트의 주변 환경을 구분하는 단계;
    상기 주변 환경이 실내인지, 실외인지 판단하는 단계; 및
    상기 주변 환경에서 미리 정해진 지물을 감지하는 단계를 포함하는 서버가 사진을 분석하는 방법.
  2. 제1 항에 있어서,
    상기 서버는 상기 미리 정해진 지물의 이미지를 포함하는 데이터베이스를 포함하거나, 상기 데이터베이스에 접근 가능하고,
    상기 지물을 감지하는 단계는,
    상기 주변 환경과 상기 데이터베이스를 비교하여 상기 주변 환경의 특정 부분이 상기 미리 정해진 지물과 일치하는 정도를 산출하는 것을 특징으로 하는 서버가 사진을 분석하는 방법.
  3. 제2 항에 있어서,
    상기 미리 정해진 지물은 벽, 거치대, 울타리, 도로 경계선 및 출입구 중 적어도 하나를 포함하는 서버가 사진을 분석하는 방법.
  4. 제1 항에 있어서,
    상기 사진을 분석하는 단계는,
    상기 오브젝트가 위치하는 지면을 감지하는 단계를 더 포함하는 서버가 사진을 분석하는 방법.
  5. 제4 항에 있어서,
    상기 사진을 분석하는 단계는,
    상기 오브젝트가 위치하는 지면의 종류를 감지하는 단계를 더 포함하는 서버가 사진을 분석하는 방법.
  6. 제5 항에 있어서,
    상기 지면의 종류를 감지하는 단계는,
    상기 지면의 형태, 위치, 폭, 색상 등에 기반하여 감지하는 것을 특징으로 하는 서버가 사진을 분석하는 방법.
  7. 제4 항에 있어서,
    상기 사진을 분석하는 단계는,
    상기 오브젝트가 일 종류의 지면에서 차지하고 있는 비율을 산출하는 단계를 더 포함하는 서버가 사진을 분석하는 방법.
  8. 제7 항에 있어서,
    상기 승인 또는 거절을 결정하는 단계는,
    상기 산출된 비율이 미리 정해진 레벨을 초과하는 경우, 거절로 결정하는 서버가 사진을 분석하는 방법.
  9. 제2 항에 있어서,
    상기 사진을 분석하는 단계에서, 상기 오브젝트가 실내에 위치하는 것으로 판별된 경우,
    상기 승인 또는 거절을 결정하는 단계는, 거절로 결정하는 서버가 사진을 분석하는 방법.
  10. 제2 항에 있어서,
    상기 사진을 분석하는 단계는 상기 오브젝트로 추출된 개인용 전동기가 넘어진 상태인지 여부를 분석하고,
    상기 승인 또는 거절을 결정하는 단계는, 상기 오브젝트로 추출된 개인용 전동기가 넘어진 상태로 판별된 경우, 거절로 결정하는 서버가 사진을 분석하는 방법.
  11. 제2 항에 있어서,
    상기 사진을 분석하는 단계는 상기 오브젝트가 도로 상의 횡단 보도에 위치하는지를 분석하고,
    상기 승인 또는 거절을 결정하는 단계는, 상기 오브젝트가 도로 상의 횡단 보도에 위치하는 것으로 판별된 경우, 거절로 결정하는 서버가 사진을 분석하는 방법.
  12. 제1 항에 있어서,
    상기 사진을 분석하는 단계는, 상기 오브젝트가 진출입로에 위치하는지를 분석하는 단계를 더 포함하고,
    상기 승인 또는 거절을 결정하는 단계는, 상기 오브젝트가 상기 진출입로에 위치하는 것으로 판별된 경우, 거절로 결정하는 서버가 사진을 분석하는 방법.
  13. 제12 항에 있어서,
    상기 진출입로에 위치하는지를 분석하는 단계는, 상기 진출입로의 종류를 판단하는 단계를 포함하고,
    상기 승인 또는 거절을 결정하는 단계는, 상기 진출입로의 종류에 따라 서로 다른 판단 기준을 적용하는 서버가 사진을 분석하는 방법.
PCT/KR2019/016371 2019-10-25 2019-11-26 Ai 사진 분석 모듈을 포함하는 서버가 사진을 분석하는 방법 WO2021080081A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190133688A KR102316309B1 (ko) 2019-10-25 2019-10-25 Ai 사진 분석 모듈을 포함하는 서버가 사진을 분석하는 방법
KR10-2019-0133688 2019-10-25

Publications (1)

Publication Number Publication Date
WO2021080081A1 true WO2021080081A1 (ko) 2021-04-29

Family

ID=75620767

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/016371 WO2021080081A1 (ko) 2019-10-25 2019-11-26 Ai 사진 분석 모듈을 포함하는 서버가 사진을 분석하는 방법

Country Status (2)

Country Link
KR (1) KR102316309B1 (ko)
WO (1) WO2021080081A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140031418A (ko) * 2012-08-27 2014-03-13 주식회사 얼라이드인터내셔널 무인 자동화 차량대여 시스템 및 그 방법
KR101814937B1 (ko) * 2016-10-24 2018-01-05 (주)씨어스테크놀로지 이미지를 이용한 실내외 구분 방법 및 장치
JP2018160125A (ja) * 2017-03-23 2018-10-11 アイシン・エィ・ダブリュ株式会社 車両管理システム、撮影システム、車両管理プログラムおよび撮影プログラム
JP2018530808A (ja) * 2015-08-04 2018-10-18 ゴゴロ インク 電動車両共有のための装置、方法および物品
KR20190031951A (ko) * 2017-09-19 2019-03-27 삼성전자주식회사 운송 장치에 구비된 전자 장치 및 이의 제어 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140031418A (ko) * 2012-08-27 2014-03-13 주식회사 얼라이드인터내셔널 무인 자동화 차량대여 시스템 및 그 방법
JP2018530808A (ja) * 2015-08-04 2018-10-18 ゴゴロ インク 電動車両共有のための装置、方法および物品
KR101814937B1 (ko) * 2016-10-24 2018-01-05 (주)씨어스테크놀로지 이미지를 이용한 실내외 구분 방법 및 장치
JP2018160125A (ja) * 2017-03-23 2018-10-11 アイシン・エィ・ダブリュ株式会社 車両管理システム、撮影システム、車両管理プログラムおよび撮影プログラム
KR20190031951A (ko) * 2017-09-19 2019-03-27 삼성전자주식회사 운송 장치에 구비된 전자 장치 및 이의 제어 방법

Also Published As

Publication number Publication date
KR20210049413A (ko) 2021-05-06
KR102316309B1 (ko) 2021-10-22

Similar Documents

Publication Publication Date Title
KR100383870B1 (ko) 무인 주차 관리 시스템 및 무인 주차 관리 방법
WO2014092446A1 (ko) 객체 기반 영상 검색시스템 및 검색방법
WO2014073841A1 (ko) 영상기반 실내 위치 검출방법 및 이를 이용한 휴대용 단말기
WO2020141683A1 (ko) 영상 기반의 교통 정보 제공 시스템 및 그 방법
WO2015194907A1 (ko) 주차 위치 확인시스템 및 이를 이용한 주차 위치 확인방법
WO2017065431A1 (ko) 부동산 매물 검색 방법 및 장치
JP2006221355A (ja) 監視装置及び監視システム
CN109345437A (zh) 开放式便捷乘车的地铁站***及应用
WO2012118283A2 (ko) 휴대용 불법단속 및 교통위반단속 시스템
WO2022260264A1 (ko) 실시간 동영상 중계 장치 및 방법
CN106781514A (zh) 一种基于车牌识别获取车主信息与车主联系的方法及***
WO2021080081A1 (ko) Ai 사진 분석 모듈을 포함하는 서버가 사진을 분석하는 방법
KR101517683B1 (ko) 주차 관리 시스템 및 방법
JP7011640B2 (ja) 捜索システム
KR102459934B1 (ko) 전기차 충전기능을 갖는 노상주차 무인 시스템
WO2019083073A1 (ko) 교통정보 제공 방법, 장치 및 그러한 방법을 실행하기 위하여 매체에 저장된 컴퓨터 프로그램
WO2016117738A1 (ko) 실내외 연속 지오코딩 장치 및 그 방법
WO2021187704A1 (ko) 딥러닝과 rtt신호를 이용한 주차지도 제작 및 주차장내 차량위치확인 시스템
JP2020204709A (ja) 地図情報更新システム及び地図情報更新方法
CN115512250A (zh) 一种宅基地闲置废弃的探查与识别装置
CN115115993A (zh) 一种楼宇自控辅助巡线监控管理***
CN114708551A (zh) 一种停车场车道拥堵实时地图方案
WO2021242048A1 (ko) 객체의 번호판 정보를 인식하는 장치 및 방법
WO2023132405A1 (ko) 지도 업데이트를 위한 정보 제공 플랫폼
KR102667443B1 (ko) 주거지용 주차 관리 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19950184

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19950184

Country of ref document: EP

Kind code of ref document: A1