WO2022039322A1 - System for searching for and automatically identifying implant - Google Patents

System for searching for and automatically identifying implant Download PDF

Info

Publication number
WO2022039322A1
WO2022039322A1 PCT/KR2020/015727 KR2020015727W WO2022039322A1 WO 2022039322 A1 WO2022039322 A1 WO 2022039322A1 KR 2020015727 W KR2020015727 W KR 2020015727W WO 2022039322 A1 WO2022039322 A1 WO 2022039322A1
Authority
WO
WIPO (PCT)
Prior art keywords
implant
image
display
search
information
Prior art date
Application number
PCT/KR2020/015727
Other languages
French (fr)
Korean (ko)
Inventor
엄상호
유진용
Original Assignee
(주)헤리바이오
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)헤리바이오 filed Critical (주)헤리바이오
Publication of WO2022039322A1 publication Critical patent/WO2022039322A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C13/00—Dental prostheses; Making same
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C13/00—Dental prostheses; Making same
    • A61C13/0003—Making bridge-work, inlays, implants or the like
    • A61C13/0004—Computer-assisted sizing or machining of dental prostheses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/538—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/56—Information retrieval; Database structures therefor; File system structures therefor of still image data having vectorial format
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually

Definitions

  • the present invention relates to an implant search and automatic identification system. More specifically, it relates to a system for performing implant search and automatic identification based on an implant image.
  • the implant may include an abutment and a prosthesis.
  • the implant fixture means a fixture to be placed in the alveolar bone so as to support the prosthesis for the restoration of the missing tooth to the alveolar bone.
  • the abutment means a column coupled to the implant fixture for connection between the implant fixture and the prosthesis.
  • the prosthesis means that it is manufactured in a shape similar to the patient's teeth.
  • an object of the present invention is to provide an implant search and automatic identification module in order to solve the above-described problem.
  • Another object of the present invention is to provide a function for automatically identifying and searching for an implant based on an implant image.
  • an object of the present invention is to display and store implant information automatically identified and searched based on an implant image, and to share a user experience for using the implant.
  • the system for performing the implant search and automatic identification may be configured by a software module for performing the implant search and automatic identification.
  • a software module for performing implant search and automatic identification may be executed in the user terminal.
  • a user terminal in which a software module for performing implant search and automatic identification is executed may be referred to as an implant search and automatic identification device.
  • the implant detection and automatic identification device may include a display configured to display information associated with an implant image; And when the photographed implant image is located in the guide box on the display, it may include a control unit for controlling to capture the implant image located in the guide box and transmit it to the artificial intelligence server.
  • the control unit receives the implant identification result for the captured implant image from the artificial intelligence server, and displays information related to the first implant image having the highest matching result according to the captured implant image and the identification result on the display.
  • the display may be displayed on the first area, and a summary result according to the identification result may be displayed on the second area of the display.
  • the control unit when a touch input is received in the control area in the second area, the control unit displays a plurality of implant images and a summary result of the display in the order of a matching result according to the identification result from the first implant image. You can control it to be displayed on the entire screen.
  • the controller when a control box disposed adjacent to the summary result displayed on the entire screen is selected, the controller is configured to display an image and detailed information of a specific implant according to the selected summary result on the entire screen. can be controlled
  • the controller when the basic information tab is selected, includes basic information including manufacturer, model name, and size-specific feature information of the specific implant, implant information most similar to the specific implant, and clinical and knowledge sharing platform interlocking control can be controlled to be displayed on the display.
  • the control unit when the detailed information tab is selected, includes dismantling driver information for the specific implant, a compatible scan body, a video provided by a manufacturer related to a procedure, a link to a shopping mall, a video related to the first aid method/surgery tip, and Detailed information including clinical and knowledge sharing platform interworking control can be controlled to be displayed on the display.
  • the control unit controls to display an information input screen for inputting information for clinical and knowledge sharing about the specific implant, and the clinical and knowledge sharing platform is selected.
  • the disclosure range of information for sharing is selected, it is possible to control the clinical and knowledge sharing information and the image and summary results of the specific implant to be displayed on the display.
  • the controller may control the image and detailed information of the specific implant to be displayed on the entire screen.
  • the control unit displays a screen area into which an implant image such as an X-ray image of an implant to be searched can be inputted on the display, a user input is applied to the screen area, and a specific X -
  • an implant image such as a ray image
  • an implant image such as the specific X-ray image including one or more implant images may be displayed on the display.
  • the controller may control to capture the second implant image located in the guide box and transmit it to the artificial intelligence server.
  • the controller may generate a final composite image while synthesizing each characteristic element by searching for each characteristic element for each region from the second implant image.
  • Each of the parts may be a platform part, a coronal part, a middle part, and an apical part.
  • the controller identifies a platform color and a bone/tissue level of the platform part, identifies a design of the coronal part, identifies a shape and design of the middle part, It may be configured to identify the shape of the apical part, the presence or absence of a hole, and the presence or absence of a shape and a groove.
  • the controller displays the second implant image and a final composite image according to the identification information of each identified region on the display, and the final composite image has different characteristic elements for each region. It may be marked to be distinguished from the part.
  • the control unit searches for a specific implant optimally matching the selected specific X-ray image based on the second implant image and the final composite image,
  • the optimal matching specific implant and related information about the specific implant may be displayed on the display.
  • FIG. 1A to 1C show screens before and after execution of an application program capable of performing implant search and automatic identification according to the present invention.
  • 2A and 2B show screens related to image acquisition and image transmission when the scan implant module corresponding to the automatic implant identification function is executed.
  • FIG. 3 shows a detailed configuration of an implant search and automatic identification device and a system including the same according to the present invention.
  • 4A and 4B show a result screen according to the automatic implant identification according to the present invention.
  • 5A and 5B show a screen on which an implant image and detailed information are displayed according to the present invention.
  • 6A and 6B show an execution screen when interworking with a clinical and knowledge sharing platform according to the present invention and a screen displayed when uploading information.
  • FIG. 7A to 7C show screens for performing an implant search function in consideration of each characteristic element according to the present invention.
  • FIG. 8a shows a detailed configuration of an implant according to the invention
  • FIGS. 8B and 8C show a process in which an implant search function is performed according to each characteristic element of a platform part and a coronal part of an implant according to the present invention.
  • 9A and 9B show a process in which an implant search function is performed according to each characteristic element of the middle part and the apical part of the implant according to the present invention.
  • FIG 10 shows the final composite image generated through the identification process for the characteristic elements of the implant according to the present invention.
  • Implant search and automatic identification apparatus configured to display information associated with the implant image; And when the photographed implant image is located in the guide box on the display, comprising a control unit for controlling to capture the implant image located in the guide box and transmit it to an artificial intelligence server, the control unit, the captured from the artificial intelligence server Receives the implant identification result for the implant image, and displays information related to the first implant image having the highest matching result according to the taken implant image and the identification result in a first area on the display, and to the identification result It is characterized in that the summary result is displayed in the second area on the display.
  • a first component may be referred to as a second component, and similarly, a second component may also be referred to as a first component. and/or includes a combination of a plurality of related listed items or any of a plurality of related listed items.
  • a system for performing implant search and automatic identification may be configured by a software module for performing implant search and automatic identification.
  • a software module for performing implant search and automatic identification may be executed in the user terminal.
  • a user terminal in which a software module for performing implant search and automatic identification is executed may be referred to as an implant search and automatic identification device.
  • FIGS. 1A to 1C show screens before and after execution of an application program capable of performing implant search and automatic identification according to the present invention.
  • FIG. 1A shows a state in which an application program capable of performing implant search and automatic identification according to the present invention is displayed on a background screen of a terminal.
  • FIG. 1B shows an initial screen when an application program capable of performing implant search and automatic identification according to the present invention is executed.
  • Two images may be displayed on an initial screen on which an application program capable of performing implant search and automatic identification is executed.
  • a first image in which a crown is inserted into the implant and a second image related to the present application program may be displayed together.
  • the first image may be associated with an implant search and automatic identification module according to the invention, which may be referred to as an implant master.
  • the second image may be associated with a clinical experience and knowledge sharing module. When the clinical experience and knowledge sharing module is executed, articles, photos, videos, etc. about clinical cases can be posted, and a questionnaire and evaluation function can be performed.
  • FIG. 1C shows an initial screen when the implant master associated with the first image is executed.
  • the first icon performs an implant automatic identification function and may be referred to as a scan implant icon.
  • structural classification of an implant image such as an implant X-ray image according to a machine learning technique and an automatic implant reading function using deep learning may be implemented.
  • the second icon performs an implant search function and may be referred to as a pick implant features icon.
  • an intuitive search function of the UI/UX technique according to the implant structural characteristic image may be implemented.
  • the third icon allows to check the stored implant information, and may be referred to as a saved implants icon.
  • an information confirmation function capable of confirming basic information and detailed information about the stored implant may be implemented.
  • FIGS. 2A and 2B show screens associated with image acquisition and image transmission when the scan implant module corresponding to the automatic implant identification function is executed.
  • FIG. 3 shows a detailed configuration of an implant search and automatic identification apparatus and a system including the same according to the present invention.
  • the implant search and automatic identification apparatus of FIG. 3 may be a terminal (electronic device) installed with an implant search and automatic identification module, for example, a mobile terminal or a fixed terminal.
  • the implant search and automatic identification module may be an application program capable of performing implant search and automatic identification.
  • the implant search and automatic identification apparatus 100 may include a display 110 and a controller 120 .
  • the implant search and automatic identification apparatus 100 may include a wireless communication unit 130 and a memory 140 .
  • the implant search and automatic identification device 100 may be configured to work with the artificial intelligence server 200 .
  • the artificial intelligence server 200 may be referred to as an artificial intelligence (AI) recognition server.
  • the wireless communication unit 130 may be operatively coupled to the control unit 120 , and the control unit 120 may be configured to control the wireless communication unit 130 .
  • the wireless communication unit 130 may provide a wireless interface to be operatively coupled to the device 100 and the artificial intelligence server 200 .
  • the wireless communication unit 130 may be configured to transmit information or receive information to the artificial intelligence server 200 through an access point (AP).
  • AP access point
  • the wireless communication unit 130 may be configured to transmit information or receive information to the artificial intelligence server 200 through the base station.
  • the memory 140 may be operatively coupled to the controller 120 , and the controller 120 may be configured to control the memory 140 .
  • Memory 140 may be configured to store relevant information in the implant search and automatic identification process.
  • an initial screen of the application program may be displayed on the display 110 as shown in FIG. 1B.
  • the application program may be executed as shown in FIG. 1C.
  • the implant master is executed, the implant master module associated with the implant master may be executed.
  • the controller 120 corresponding to the processor may interwork with the application program 150 through an application program interface (API). Also, some execution modules of the application program 150 may be executed through the processor of the controller 120 .
  • API application program interface
  • an implant image may be acquired through a camera.
  • Implant image acquisition can be acquired in several ways as follows. 1) Only implant images that require identification from images taken by dental X-ray equipment can be captured separately. In this case, the implant search and automatic identification module may be configured to work directly with the X-ray imaging solution. 2) It can be configured to capture the implant image through a separate agent program. 3) In addition, as shown in Figure 2a, the implant image may be configured to be taken through a camera on a screen or a printed picture.
  • the input implant image can be enlarged, reduced, rotated, and moved with two fingers so that the implant image to be identified is located in the guide box 110a of FIG. 2A .
  • the line of the upper portion of the implant fixture may be defined by adjusting the position of the line 110b at the top of the guide box 110a according to the determination of the user (the dentist).
  • the object of the search or identification is the implant fixture.
  • the device 100 may be configured to capture an implant image located in the guide box 110a and transmit it to the artificial intelligence server 200, and wait for the transmission result. While waiting for the transmission result, a separate notice, advertisement image, video, etc. may be displayed on the display as shown in FIG. 2B .
  • FIGS. 4A and 4B show a result screen according to the automatic implant identification according to the present invention.
  • FIG. 4A is a screen showing the obtained implant image, the automatically identified implant image, and the optimal matching result.
  • FIG. 4B shows a screen on which a plurality of matching results automatically identified according to a user input are displayed when the user desires a plurality of matching results.
  • an implant image photographed by the user may be added to the left screen or the implant image may be re-photographed.
  • a touch input is received in the control area 112a of the lower area of the screen where the optimal matching result is displayed, a plurality of implant images and a summary result as shown in FIG. 4B may be displayed on the entire screen.
  • the implant candidate having the highest matching rate among the recognized results may be displayed in the uppermost area.
  • a list-up configuration may be performed so that a matching candidate having a lower matching rate than an implant candidate having the highest matching rate is displayed in the lower region.
  • the matching rate may be displayed in % units, and candidate groups may be presented in the order of the highest matching rate.
  • the number of candidates can be determined through analysis and research such as AI learning.
  • implant candidate products with a low matching rate lower than the threshold may be configured not to be listed.
  • presentation of implant search results is a process of presenting a model searched in a structural form. Accordingly, the presentation of the implant search results may be presented in alphabetical order without special priority, and there is no limit to the number of search results. However, as the number of search DBs related to these implant search results is accumulated, they may be displayed to have priority in the order in which they are searched the most.
  • control box 113 displayed adjacent to the detailed information about the implant is clicked as shown in FIG. 4B , it is possible to move to the detailed information screen.
  • the implant search and automatic identification apparatus 100 may be configured to include the display 110 and the control unit 120 .
  • the implant search and automatic identification apparatus 100 may include a wireless communication unit 130 and a memory 140 .
  • the implant search and automatic identification device 100 may be configured to work with the artificial intelligence server 200 . Meanwhile, the implant search and automatic identification apparatus 100 may be configured to interface with the dental X-ray equipment 300 .
  • Display 110 may be configured to display information associated with the implant image.
  • the controller 120 may control to capture the implant image located in the guide box and transmit it to the artificial intelligence server 200 .
  • the artificial intelligence server 200 may generate an implant identification result for the captured implant image based on AI and transmit it to the device 100 .
  • the controller 120 may control information related to the first implant image having the highest matching result according to the captured implant image and the identification result to be displayed on the first area 111 on the display 110 .
  • the controller 120 may display a summary result according to the identification result on the second area 112 on the display 110 .
  • the controller 120 displays a plurality of implant images and a summary result on the entire screen of the display 110 .
  • the controller 120 may display a plurality of implant images and a summary result in the order of the matching result according to the identification result from the first implant image having the highest matching rate.
  • FIGS. 5A and 5B show a screen on which an implant image and detailed information are displayed according to the present invention.
  • FIG. 5A shows a screen configuration when the implant image and the basic information tab according to the present invention are selected.
  • FIG. 5B shows a screen configuration when the implant image and the detailed information tab according to the present invention are selected.
  • control unit 120 interlocks with the manufacturer, model name, and size of a specific implant, information on implants most similar to that of a specific implant, and clinical and knowledge sharing platform.
  • Basic information including the control may be controlled to be displayed on the display 120 .
  • the search result only representative models of the same product group are searched, and other models may be displayed in the lower size marking part.
  • a plurality of implant models of different sizes in the same model may be displayed on the screen in the form of left and right scrolling at the bottom.
  • the corresponding implant model when clicked, it may be branched to a detailed screen for the corresponding model.
  • the corresponding implant purchase link button may be disposed adjacent to the corresponding implant image.
  • the implant model having similar characteristics may be arranged to be displayed in a left and right scroll form.
  • other implant models may be listed in the search result list. In this case, when the corresponding implant model is clicked, it may be branched to a detailed screen for the corresponding model.
  • control unit 120 controls dismantling driver information for a specific implant, compatible scan bodies, videos provided by manufacturers related to procedures, links to shopping malls, videos related to first aid/surgery tips, and clinical and clinical and Detailed information including the knowledge sharing platform interworking control may be controlled to be displayed on the display 110 .
  • the detailed information tab when the detailed information tab is selected, information provided by the manufacturer may be displayed.
  • a driver type, an implantation torque, a scan body, a catalog download, a video link, and a URL of a manufacturer/distributor may be displayed.
  • the video provided by the application program module according to the present invention may be a video about a prosthetic method, an inflammation treatment method, an implant removal method, and the like.
  • a video or data search function of the related implant model uploaded to the sharing platform may be added.
  • FIGS. 6A and 6B show an execution screen when interworking with a clinical and knowledge sharing platform according to the present invention and a screen displayed when uploading information.
  • FIG. 6A shows an execution screen when interworking with a clinical and knowledge sharing platform according to the present invention.
  • 6B shows a screen displayed when information is uploaded to the clinical and knowledge sharing platform according to the present invention.
  • the control unit 120 when the clinical and knowledge sharing platform interlocking control 114 is selected, the control unit 120 provides an information input screen 115 for inputting information for clinical and knowledge sharing for a specific implant. You can control the display. In this case, a tag including brief information of the implant model may be disposed at the bottom of the text writing field. On the other hand, a screen interface to which the input X-ray image of the implant can be attached may be arranged.
  • the controller 120 selects information 116 for clinical and knowledge sharing and an image and summary result of a specific implant ( 117 may be controlled to be displayed on the display 110 .
  • the controller 120 may control the image and detailed information of the specific implant to be displayed on the entire screen.
  • the implant search and automatic identification apparatus may perform an implant search function in consideration of each characteristic element of the implant.
  • FIGS. 7A to 7C show screens for performing an implant search function in consideration of each characteristic element according to the present invention.
  • the implant search function can be performed by arranging an implant image such as an implant X-ray image to be searched on the left side, and searching for each characteristic element expressed in the form of an image while synthesizing it. there is.
  • a manufacturer search function through input of a search word may be supported.
  • Implant images such as input X-ray images can be utilized as AI learning data for automatic implant identification.
  • AI learning for automatic implant identification may be performed by the device 100 or may be performed in conjunction with the device 100 and the artificial intelligence server 200 . Even if the AI module included in the application program supports AI learning for automatic implant identification, the device 100 may interwork with the artificial intelligence server 200 in order to utilize the AI learning function performed by various users.
  • an implant image may be taken. For example, when a plurality of implants are mounted on a patient's teeth, an implant image including the plurality of implants and a crown may be captured. Referring to FIGS. 3, 7B and 7C , the input implant image can be enlarged, reduced, rotated, or moved with two fingers so that the implant image to be searched is located in the guide box.
  • the controller 120 may perform the implant image detection process for the aforementioned implant image search. Referring to FIGS. 3, 7B and 7C , the controller 120 may display, on the display 110 , a screen area into which an implant image such as an X-ray image of an implant to be searched can be input. When a user input is applied to the screen area and an implant image such as a specific X-ray image is selected, the controller 120 displays an implant image such as a specific X-ray image including one or more implant images on the display 110 . can be displayed in In this case, one or more implant images may be captured by a camera or obtained in conjunction with dental X-ray equipment. When the second implant image is placed in the guide box among one or more implant images, the controller 120 may control to capture the second implant image located in the guide box and transmit it to the artificial intelligence server 200 .
  • FIG. 8a shows a detailed configuration of an implant according to the invention.
  • the implant 1100 may include a platform part 1110 , a coronal part 1120 , a middle part 1130 , and an apical part 1140 .
  • the platform part 1110 may be classified into a level, a connection type, and a platform color.
  • the coronal part 1120 may be classified as a coronal part design.
  • the middle part 1130 may be classified into a middle part shape and design.
  • the apical part 1140 may be classified according to the shape of the apical part, the hole type, and the presence or absence of a groove.
  • FIGS. 8B and 8C show a process in which an implant search function is performed according to each characteristic element of the platform part and the coronal part of the implant according to the present invention.
  • FIG. 8B an identification and search process for the platform part 1110 is shown.
  • the connection type may be external and the platform color may be identified as no color.
  • the level may be a bone level.
  • the coronal part design may be identified as No micro-thread and rounded.
  • FIGS. 9A and 9B show a process in which an implant search function is performed according to each characteristic element of the middle part and the apical part of the implant according to the present invention.
  • an identification and search process for the middle part 1130 is shown.
  • the middle part design may be identified as V-shaped.
  • the shape of the middle part may be identified as tapered.
  • apical part 1140 in the process of identifying and searching for the apical part 1140 , it may be identified that an apical part groove exists. Also, in the process of identifying and searching for the apical part 1140 , it may be identified that the shape of the apical part is flat.
  • FIG. 10 shows the final composite image generated through the identification process for the characteristic elements of the implant according to the present invention.
  • the controller 1200 searches for each feature element for each region from the second implant image obtained from a camera or X-ray image, and synthesizes each feature element to obtain a final composite image. can be created and displayed.
  • each part associated with each characteristic element may include a platform part 1110 , a coronal part 1120 , a middle part 1130 , and an apical part 1140 as described above.
  • the controller 120 may display the acquired second implant image on the left side of the screen.
  • the controller 120 may display the final composite image and characteristic elements of each component to be highlighted on the right side of the screen.
  • the controller 120 may identify a platform color and a bone/tissue level of the platform part 1110 , and may identify a design of the coronal part 1120 . In relation to the design of the coronal part 1120 , the presence or absence of a micro-thread may be identified and a specific design/shape may be identified. Thereafter, the controller 120 may identify the shape and design of the middle part 1130 , and identify the shape of the apical part 1140 , the presence or absence of a hole, and the presence or absence of a shape and a groove.
  • the automatic implant identification process is a process of automatically identifying an implant in the server by inputting an image to be recognized and adjusting only the guide.
  • several factors may be added.
  • the controller 120 may control to display the second implant image and the final composite image according to the identification information of each identified region on the display 110 .
  • the final composite image may be displayed so that each feature element is distinguished from other parts for each part. Accordingly, if the user determines that there may be an erroneous result in each characteristic element identified for each part, the identification and search for the corresponding part may be performed again through a user input for the part including the corresponding characteristic element. Accordingly, it is possible to improve the processing time required for automatic identification and search while improving the accuracy of automatic implant identification and search.
  • a specific implant may be an implant model optimally matched to an implant image such as a specific X-ray image.
  • the controller 120 may display the optimally matched specific implant and related information on the specific implant on the display in the configuration shown in FIGS. 5A and 5B , respectively.
  • Fig. 5a shows the screen configuration when the implant image and the basic information tab according to the present invention are selected.
  • FIG. 5B shows a screen configuration when the implant image and the detailed information tab according to the present invention are selected.
  • the controller 120 may display the optimally matched specific implant on the display in the configuration shown in FIG. 5A .
  • the control unit 120 may display the relevant information on a specific implant that is optimally matched with the configuration shown in FIG. 5B on the display.
  • the method of increasing the matching rate can be applied by applying the AI learning set according to the location information (country, etc.) of the user who uses this implant search and automatic identification system.
  • the software code may be implemented as a software application written in a suitable programming language.
  • the software code may be stored in a memory and executed by a controller or a processor.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Library & Information Science (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Epidemiology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Mathematical Physics (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

A system for searching for and automatically identifying an implant may include: a display configured to display information associated with an implant image; and a control unit which, when a photographed implant image is located in a guide box on the display, captures the photographed implant image located in the guide box and transmits the implant image to an artificial intelligence server. The control unit may receive an implant identification result about the captured implant image from the artificial intelligence server, display information related to a first implant image having the highest matching result with respect to the photographed implant image according to the identification result, on a first area of the display, and display a summary result according to the identification result in a second area on the display (representative drawing: figure 3).

Description

임플란트 검색 및 자동 식별을 수행하는 시스템A system that performs implant discovery and automatic identification
본 발명은 임플란트 검색 및 자동 식별 시스템에 관한 것이다. 보다 상세하게는, 임플란트 이미지에 기반하여 임플란트 검색 및 자동 식별을 수행하는 시스템에 대한 것이다.The present invention relates to an implant search and automatic identification system. More specifically, it relates to a system for performing implant search and automatic identification based on an implant image.
임플란트는 어버트먼트(abutment)와 보철물을 포함하여 이루어질 수 있다. 이와 관련하여, 임플란트 픽스처는, 결손된 치아의 수복을 위한 보철물을 치조골에 지지시켜 줄 수 있도록, 치조골에 식립되는 고정체를 의미한다. 한편, 어버트먼트는, 상기 임플란트 픽스처와 보철물 간의 연결을 위한 임플란트 픽스처에 결합되는 기둥을 의미한다. 또한, 보철물은 환자의 치아와 유사한 형태로 제작되는 것을 의미한다.The implant may include an abutment and a prosthesis. In this regard, the implant fixture means a fixture to be placed in the alveolar bone so as to support the prosthesis for the restoration of the missing tooth to the alveolar bone. On the other hand, the abutment means a column coupled to the implant fixture for connection between the implant fixture and the prosthesis. In addition, the prosthesis means that it is manufactured in a shape similar to the patient's teeth.
한편, 이러한 임플란트가 장착된 잇몸을 포함하는 카메라 이미지 또는 X-ray 이미지와 같은 임플란트 이미지로부터 해당 모델에 대한 검색 및 자동 식별이 수행될 필요가 있다. 특히, 치과 의사와 같은 사용자가 카메라 이미지 또는 X-ray 이미지와 같은 임플란트 이미지로부터 해당 모델에 대한 검색 및 자동 식별이 필요하다. 하지만, 환자가 임플란트 모델에 대하여 알고 있지 않은 경우, 어느 임플란트 모델인지를 알 수 없다는 문제점이 있다.On the other hand, it is necessary to perform a search and automatic identification of the model from an implant image such as a camera image or an X-ray image including the gum on which the implant is mounted. In particular, it is necessary for a user such as a dentist to search for and automatically identify a corresponding model from an implant image such as a camera image or an X-ray image. However, if the patient does not know about the implant model, there is a problem that it is impossible to know which implant model it is.
또한, 환자가 임플란트 모델에 대하여 알고 있거나 이전 시술 정보로부터 임플란트 모델을 알 수 있는 경우에도, 임플란트 이미지로부터 해당 모델에 대한 검색 및 자동 식별을 통해 해당 모델에 대한 검증이 필요하다.In addition, even when the patient knows about the implant model or can know the implant model from previous procedure information, it is necessary to verify the model through search and automatic identification of the model from the implant image.
또한, 여러 제조사에서 제조하는 다양한 모델과 다양한 사이즈의 임플란트 모델에 대한 상세 정보가 제공될 필요가 있다. 치과 의사와 같은 사용자가 임플란트 모델을 이전 시술 정보로부터 알 수 있는 경우에도, 해당 임플란트 모델에 대한 상세 정보를 다시 검색해야 하는 문제점이 있다. 또한, 해당 임플란트 모델에 대한 시술 방법 등에 대한 노하우를 별도로 습득해야 하는 문제점이 있다.In addition, detailed information on various models manufactured by various manufacturers and implant models of various sizes needs to be provided. Even when a user such as a dentist can know the implant model from previous operation information, there is a problem in that detailed information about the implant model must be searched again. In addition, there is a problem in that it is necessary to separately acquire know-how on a surgical method for the corresponding implant model.
따라서, 본 발명의 목적은 전술한 문제를 해결하기 위해, 임플란트 검색 및 자동 식별 모듈을 제공함에 있다. Accordingly, an object of the present invention is to provide an implant search and automatic identification module in order to solve the above-described problem.
또한, 본 발명의 목적은 임플란트 이미지에 기반하여 임플란트를 자동으로 식별하고 검색하는 기능을 제공함에 있다. Another object of the present invention is to provide a function for automatically identifying and searching for an implant based on an implant image.
또한, 본 발명의 목적은 임플란트 이미지에 기반하여 자동으로 식별 및 검색된 임플란트 정보를 표시 및 저장하고 해당 임플란트 사용에 대한 사용자 경험을 공유함에 있다. In addition, an object of the present invention is to display and store implant information automatically identified and searched based on an implant image, and to share a user experience for using the implant.
상기와 같은 과제를 해결하기 위한 본 발명에 따른 임플란트 검색 및 자동 식별을 수행하는 시스템이 제공된다. 상기 임플란트 검색 및 자동 식별을 수행하는 시스템은 임플란트 검색 및 자동 식별을 수행하는 소프트웨어 모듈에 의해 구성될 수 있다. 한편, 임플란트 검색 및 자동 식별을 수행하는 소프트웨어 모듈이 사용자 단말에서 실행될 수 있다. 임플란트 검색 및 자동 식별을 수행하는 소프트웨어 모듈이 실행되는 사용자 단말을 임플란트 검색 및 자동 식별 장치로 지칭할 수 있다. 상기 임플란트 검색 및 자동 식별 장치는 임플란트 이미지와 연관된 정보를 표시하도록 구성된 디스플레이; 및 촬영된 임플란트 이미지가 상기 디스플레이 상의 가이드 박스 내에 위치되면, 상기 가이드 박스 내에 위치한 임플란트 이미지를 캡처하여 인공지능 서버로 전송하도록 제어하는 제어부를 포함할 수 있다. 상기 제어부는 상기 인공지능 서버로부터 상기 캡처된 임플란트 이미지에 대한 임플란트 식별 결과를 수신하고, 상기 촬영된 임플란트 이미지와 상기 식별 결과에 따라 가장 높은 매칭 결과를 갖는 제1 임플란트 이미지와 연관된 정보를 상기 디스플레이 상의 제1 영역에 표시하고, 상기 식별 결과에 따른 요약 결과를 상기 디스플레이 상의 제2 영역에 표시할 수 있다.There is provided a system for performing an implant search and automatic identification according to the present invention for solving the above problems. The system for performing the implant search and automatic identification may be configured by a software module for performing the implant search and automatic identification. On the other hand, a software module for performing implant search and automatic identification may be executed in the user terminal. A user terminal in which a software module for performing implant search and automatic identification is executed may be referred to as an implant search and automatic identification device. The implant detection and automatic identification device may include a display configured to display information associated with an implant image; And when the photographed implant image is located in the guide box on the display, it may include a control unit for controlling to capture the implant image located in the guide box and transmit it to the artificial intelligence server. The control unit receives the implant identification result for the captured implant image from the artificial intelligence server, and displays information related to the first implant image having the highest matching result according to the captured implant image and the identification result on the display. The display may be displayed on the first area, and a summary result according to the identification result may be displayed on the second area of the display.
일 실시 예에 따르면, 상기 제어부는 상기 제2 영역 내의 컨트롤 영역에 터치 입력이 수신되면, 상기 제1 임플란트 이미지부터 상기 식별 결과에 따른 매칭 결과 순으로 복수의 임플란트 이미지들과 요약 결과를 상기 디스플레이의 전체 화면 상에 표시되도록 제어할 수 있다.According to an embodiment, when a touch input is received in the control area in the second area, the control unit displays a plurality of implant images and a summary result of the display in the order of a matching result according to the identification result from the first implant image. You can control it to be displayed on the entire screen.
일 실시 예에 따르면, 상기 제어부는 상기 전체 화면 상에 표시되는 요약 결과와 인접하게 배치된 컨트롤 박스가 선택되면, 상기 선택된 요약 결과에 따른 특정 임플란트의 이미지와 상세 정보가 상기 전체 화면 상에 표시되도록 제어할 수 있다. According to an embodiment, when a control box disposed adjacent to the summary result displayed on the entire screen is selected, the controller is configured to display an image and detailed information of a specific implant according to the selected summary result on the entire screen. can be controlled
일 실시 예에 따르면, 상기 제어부는 기본 정보 탭이 선택된 경우, 상기 특정 임플란트의 제조사, 모델명, 사이즈 별 특징 정보, 상기 특정 임플란트와 가장 유사한 임플란트 정보 및 임상 및 지식공유 플랫폼 연동 컨트롤을 포함하는 기본 정보가 상기 디스플레이에 표시되도록 제어할 수 있다.According to an embodiment, when the basic information tab is selected, the controller includes basic information including manufacturer, model name, and size-specific feature information of the specific implant, implant information most similar to the specific implant, and clinical and knowledge sharing platform interlocking control can be controlled to be displayed on the display.
일 실시 예에 따르면, 상기 제어부는 상세 정보 탭이 선택된 경우, 상기 특정 임플란트에 대한 해체 드라이버 정보, 호환가능 스캔바디, 시술법과 연관된 제조사 제공 동영상, 쇼핑몰 연결 링크, 응급처치법/수술 팁과 연관된 동영상 및 임상 및 지식공유 플랫폼 연동 컨트롤을 포함하는 상세 정보가 상기 디스플레이에 표시되도록 제어할 수 있다. According to an embodiment, when the detailed information tab is selected, the control unit includes dismantling driver information for the specific implant, a compatible scan body, a video provided by a manufacturer related to a procedure, a link to a shopping mall, a video related to the first aid method/surgery tip, and Detailed information including clinical and knowledge sharing platform interworking control can be controlled to be displayed on the display.
일 실시 예에 따르면, 상기 제어부는 상기 임상 및 지식공유 플랫폼 연동 컨트롤이 선택되면, 상기 특정 임플란트에 대한 임상 및 지식공유를 위한 정보를 입력하기 위한 정보 입력 화면이 표시되도록 제어하고, 상기 임상 및 지식공유를 위한 정보의 공개 범위가 선택되면, 상기 임상 및 지식공유를 위한 정보 및 상기 특정 임플란트의 이미지와 요약 결과가 상기 디스플레이 상에 표시되도록 제어할 수 있다.According to an embodiment, when the clinical and knowledge sharing platform interlocking control is selected, the control unit controls to display an information input screen for inputting information for clinical and knowledge sharing about the specific implant, and the clinical and knowledge sharing platform is selected. When the disclosure range of information for sharing is selected, it is possible to control the clinical and knowledge sharing information and the image and summary results of the specific implant to be displayed on the display.
일 실시 예에 따르면, 상기 제어부는 상기 특정 임플란트의 이미지와 요약 결과가 표시된 영역에 터치 입력이 인가되면, 상기 특정 임플란트의 이미지와 상세 정보가 상기 전체 화면 상에 표시되도록 제어할 수 있다.According to an embodiment, when a touch input is applied to an area where the image of the specific implant and the summary result are displayed, the controller may control the image and detailed information of the specific implant to be displayed on the entire screen.
일 실시 예에 따르면, 상기 제어부는 검색하고자 하는 임플란트의 X-ray 이미지와 같은 임플란트 이미지가 입력할 수 있는 화면 영역을 상기 디스플레이 상에 표시하고, 상기 화면 영역 상에 사용자 입력이 인가되고, 특정 X-ray 이미지와 같은 임플란트 이미지가 선택되면, 하나 이상의 임플란트 이미지가 포함된 상기 특정 X-ray 이미지와 같은 임플란트 이미지를 상기 디스플레이 상에 표시할 수 있다. 상기 제어부는 상기 하나 이상의 임플란트 이미지 중 가이드 박스 내에 제2 임플란트 이미지가 배치되면, 상기 가이드 박스 내에 위치한 제2 임플란트 이미지를 캡처하여 인공지능 서버로 전송하도록 제어할 수 있다. According to an embodiment, the control unit displays a screen area into which an implant image such as an X-ray image of an implant to be searched can be inputted on the display, a user input is applied to the screen area, and a specific X - When an implant image such as a ray image is selected, an implant image such as the specific X-ray image including one or more implant images may be displayed on the display. When the second implant image is placed in the guide box among the one or more implant images, the controller may control to capture the second implant image located in the guide box and transmit it to the artificial intelligence server.
일 실시 예에 따르면, 상기 제어부는 상기 제2 임플란트 이미지로부터 각 부위 별로 각 특징 요소를 검색하여 상기 각 특징 요소를 합성하면서 최종 합성 이미지를 생성할 수 있다. 상기 각 부위는 platform part, coronal part, middle part 및 apical part일 수 있다.According to an embodiment, the controller may generate a final composite image while synthesizing each characteristic element by searching for each characteristic element for each region from the second implant image. Each of the parts may be a platform part, a coronal part, a middle part, and an apical part.
일 실시 예에 따르면, 상기 제어부는 상기 platform part의 platform color 및 bone/tissue level을 식별하고, 상기 coronal part의 설계(design)을 식별하고, 상기 middle part의 형상(shape) 및 설계를 식별하고, 상기 apical part의 형상, 홀 유무 및 형상과 그루브 유무를 식별하도록 구성될 수 있다.According to an embodiment, the controller identifies a platform color and a bone/tissue level of the platform part, identifies a design of the coronal part, identifies a shape and design of the middle part, It may be configured to identify the shape of the apical part, the presence or absence of a hole, and the presence or absence of a shape and a groove.
일 실시 예에 따르면, 상기 제어부는 상기 제2 임플란트 이미지와 상기 식별된 각 부위의 식별 정보에 따른 최종 합성 이미지를 상기 디스플레이 상에 표시하고, 상기 최종 합성 이미지는 상기 각 부위 별로 각 특징 요소가 다른 부분과 구별되도록 표시될 수 있다.According to an embodiment, the controller displays the second implant image and a final composite image according to the identification information of each identified region on the display, and the final composite image has different characteristic elements for each region. It may be marked to be distinguished from the part.
일 실시 예에 따르면, 상기 제어부는 상기 디스플레이 상에 표시된 검색 버튼이 선택되면, 상기 제2 임플란트 이미지와 상기 최종 합성 이미지에 기반하여 상기 선택된 특정 X-ray 이미지에 최적 매칭되는 특정 임플란트를 검색하고, 상기 최적 매칭되는 특정 임플란트와 상기 특정 임플란트에 대한 연관 정보를 상기 디스플레이 상에 표시할 수 있다. According to an embodiment, when the search button displayed on the display is selected, the control unit searches for a specific implant optimally matching the selected specific X-ray image based on the second implant image and the final composite image, The optimal matching specific implant and related information about the specific implant may be displayed on the display.
본 발명의 적어도 일 실시 예에 따르면, 임플란트 이미지에 기반하여 임플란트를 자동으로 식별하고 검색하는 기능을 제공할 수 있다는 장점이 있다.According to at least one embodiment of the present invention, there is an advantage that it is possible to provide a function for automatically identifying and searching for an implant based on an implant image.
또한, 본 발명의 목적은 임플란트 이미지에 기반하여 자동으로 식별 및 검색된 임플란트 정보를 표시 및 저장하고 해당 임플란트 사용에 대한 사용자 경험을 공유할 수 있는 장점이 있다. In addition, it is an object of the present invention to display and store implant information automatically identified and searched based on an implant image, and to share a user experience for using the implant.
상술한 본 발명의 특징 및 효과는 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다.The features and effects of the present invention described above will become more apparent through the following detailed description in relation to the accompanying drawings, whereby those of ordinary skill in the art to which the present invention pertains can easily implement the technical idea of the present invention. will be able
도 1a 내지 도 1c는 본 발명에 따른 임플란트 검색 및 자동 식별을 수행할 수 있는 어플리케이션 프로그램의 실행 전 및 실행 후의 화면을 나타낸다. 1A to 1C show screens before and after execution of an application program capable of performing implant search and automatic identification according to the present invention.
도 2a 및 도 2b는 임플란트 자동 식별 기능에 해당하는 scan implant 모듈이 실행되는 경우, 이미지 취득 및 이미지 전송과 연관된 화면을 나타낸다.2A and 2B show screens related to image acquisition and image transmission when the scan implant module corresponding to the automatic implant identification function is executed.
도 3은 본 발명에 따른 임플란트 검색 및 자동 식별 장치와 이를 포함하는 시스템의 상세 구성을 나타낸다. 3 shows a detailed configuration of an implant search and automatic identification device and a system including the same according to the present invention.
도 4a 및 도 4b는 본 발명에 따른 임플란트 자동 식별에 따른 결과 화면을 나타낸다. 4A and 4B show a result screen according to the automatic implant identification according to the present invention.
도 5a 및 도 5b는 본 발명에 따른 임플란트 이미지와 상세 정보가 표시된 화면을 나타낸다. 5A and 5B show a screen on which an implant image and detailed information are displayed according to the present invention.
도 6a 및 도 6b는 본 발명에 따른 임상 및 지식공유 플랫폼 연동 시 실행 화면과 정보 업로드 시 표시되는 화면을 나타낸다. 6A and 6B show an execution screen when interworking with a clinical and knowledge sharing platform according to the present invention and a screen displayed when uploading information.
도 7a 내지 도 7c는 본 발명에 따른 각 특징 요소를 고려하여 임플란트 검색 기능을 수행하는 화면을 나타낸다.7A to 7C show screens for performing an implant search function in consideration of each characteristic element according to the present invention.
도 8a는 본 발명에 따른 임플란트의 상세 구성부를 나타낸다.8a shows a detailed configuration of an implant according to the invention;
도 8b 및 도 8c는 본 발명에 따른 임플란트의 platform part 및 coronal part의 각 특징 요소에 따른 임플란트 검색 기능이 수행되는 과정을 나타낸다. 8B and 8C show a process in which an implant search function is performed according to each characteristic element of a platform part and a coronal part of an implant according to the present invention.
도 9a 및 도 9b는 본 발명에 따른 임플란트의 middle part 및 apical part의 각 특징 요소에 따른 임플란트 검색 기능이 수행되는 과정을 나타낸다.9A and 9B show a process in which an implant search function is performed according to each characteristic element of the middle part and the apical part of the implant according to the present invention.
도 10은 본 발명에 따른 임플란트의 특징 요소에 대한 식별 과정을 통해 생성된 최종 합성 이미지를 나타낸다.10 shows the final composite image generated through the identification process for the characteristic elements of the implant according to the present invention.
본 발명에 실시예에 따른 임플란트 검색 및 자동 식별 장치는, 임플란트 이미지와 연관된 정보를 표시하도록 구성된 디스플레이; 및 촬영된 임플란트 이미지가 상기 디스플레이 상의 가이드 박스 내에 위치되면, 상기 가이드 박스 내에 위치한 임플란트 이미지를 캡처하여 인공지능 서버로 전송하도록 제어하는 제어부를 포함하고, 상기 제어부는, 상기 인공지능 서버로부터 상기 캡처된 임플란트 이미지에 대한 임플란트 식별 결과를 수신하고, 상기 촬영된 임플란트 이미지와 상기 식별 결과에 따라 가장 높은 매칭 결과를 갖는 제1 임플란트 이미지와 연관된 정보를 상기 디스플레이 상의 제1 영역에 표시하고, 상기 식별 결과에 따른 요약 결과를 상기 디스플레이 상의 제2 영역에 표시하는 것에 특징이 있다.Implant search and automatic identification apparatus according to an embodiment of the present invention, a display configured to display information associated with the implant image; And when the photographed implant image is located in the guide box on the display, comprising a control unit for controlling to capture the implant image located in the guide box and transmit it to an artificial intelligence server, the control unit, the captured from the artificial intelligence server Receives the implant identification result for the implant image, and displays information related to the first implant image having the highest matching result according to the taken implant image and the identification result in a first area on the display, and to the identification result It is characterized in that the summary result is displayed in the second area on the display.
상술한 본 발명의 특징 및 효과는 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. The features and effects of the present invention described above will become more apparent through the following detailed description in relation to the accompanying drawings, whereby those of ordinary skill in the art to which the present invention pertains can easily implement the technical idea of the present invention. will be able
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 구체적으로 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.Since the present invention can have various changes and can have various embodiments, specific embodiments are illustrated in the drawings and will be described in detail in the detailed description. However, this is not intended to limit the present invention to specific embodiments, and it should be understood to include all modifications, equivalents, and substitutes included in the spirit and scope of the present invention.
각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용한다.In describing each figure, like reference numerals are used for like elements.
제1, 제2등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.Terms such as first, second, etc. may be used to describe various elements, but the elements should not be limited by the terms. The above terms are used only for the purpose of distinguishing one component from another.
예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.For example, without departing from the scope of the present invention, a first component may be referred to as a second component, and similarly, a second component may also be referred to as a first component. and/or includes a combination of a plurality of related listed items or any of a plurality of related listed items.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs.
일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않아야 한다.Terms such as those defined in a commonly used dictionary should be interpreted as having a meaning consistent with the meaning in the context of the related art, and should not be interpreted in an ideal or excessively formal meaning unless explicitly defined in the present application. shouldn't
이하의 설명에서 사용되는 구성요소에 대한 접미사 모듈, 블록 및 부는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. The suffix module, block, and part for the components used in the following description are given or mixed in consideration of only the ease of writing the specification, and do not have distinct meanings or roles by themselves.
이하, 본 발명의 바람직한 실시 예를 첨부한 도면을 참조하여 당해 분야에 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 설명한다. 하기에서 본 발명의 실시 예를 설명함에 있어, 관련된 공지의 기능 또는 공지의 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. Hereinafter, preferred embodiments of the present invention will be described with reference to the accompanying drawings so that those of ordinary skill in the art can easily implement them. In the following description of embodiments of the present invention, if it is determined that a detailed description of a related known function or a known configuration may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted.
이하에서는, 본 발명에 따른 임플란트 검색 및 자동 식별 장치 및 임플란트 이미지에 기반하여 임플란트 검색 및 자동 식별을 수행하는 시스템에 대해 설명한다. 임플란트 검색 및 자동 식별을 수행하는 시스템은 임플란트 검색 및 자동 식별을 수행하는 소프트웨어 모듈에 의해 구성될 수 있다. 한편, 임플란트 검색 및 자동 식별을 수행하는 소프트웨어 모듈이 사용자 단말에서 실행될 수 있다. 임플란트 검색 및 자동 식별을 수행하는 소프트웨어 모듈이 실행되는 사용자 단말을 임플란트 검색 및 자동 식별 장치로 지칭할 수 있다. Hereinafter, a system for performing an implant search and automatic identification based on an implant search and automatic identification device and an implant image according to the present invention will be described. A system for performing implant search and automatic identification may be configured by a software module for performing implant search and automatic identification. On the other hand, a software module for performing implant search and automatic identification may be executed in the user terminal. A user terminal in which a software module for performing implant search and automatic identification is executed may be referred to as an implant search and automatic identification device.
이와 관련하여, 도 1a 내지 도 1c는 본 발명에 따른 임플란트 검색 및 자동 식별을 수행할 수 있는 어플리케이션 프로그램의 실행 전 및 실행 후의 화면을 나타낸다. 구체적으로, 도 1a는 본 발명에 따른 임플란트 검색 및 자동 식별을 수행할 수 있는 어플리케이션 프로그램이 단말기의 바탕 화면(background screen) 상에 표시된 상태를 나타낸다. In this regard, FIGS. 1A to 1C show screens before and after execution of an application program capable of performing implant search and automatic identification according to the present invention. Specifically, FIG. 1A shows a state in which an application program capable of performing implant search and automatic identification according to the present invention is displayed on a background screen of a terminal.
한편, 도 1b는 본 발명에 따른 임플란트 검색 및 자동 식별을 수행할 수 있는 어플리케이션 프로그램이 실행된 경우 초기화면을 나타낸다. 임플란트 검색 및 자동 식별을 수행할 수 있는 어플리케이션 프로그램이 실행된 초기 화면에 두 개의 이미지가 표시될 수 있다. 일 예로, 크라운(crown)이 임플란트에 삽입된 제1 이미지와 본 어플리케이션 프로그램과 관련된 제2 이미지가 함께 표시될 수 있다. 제1 이미지는 임플란트 마스터(implant master)라 지칭될 수 있는 본 발명에 따른 임플란트 검색 및 자동 식별 모듈과 연관될 수 있다. 제2 이미지는 임상 경험 및 지식 공유 모듈과 연관될 수 있다. 임상 경험 및 지식 공유 모듈이 실행되면 임상 케이스에 대한 글, 사진, 동영상 등을 게시할 수 있고, 설문 및 평가 기능이 수행될 수 있다.Meanwhile, FIG. 1B shows an initial screen when an application program capable of performing implant search and automatic identification according to the present invention is executed. Two images may be displayed on an initial screen on which an application program capable of performing implant search and automatic identification is executed. For example, a first image in which a crown is inserted into the implant and a second image related to the present application program may be displayed together. The first image may be associated with an implant search and automatic identification module according to the invention, which may be referred to as an implant master. The second image may be associated with a clinical experience and knowledge sharing module. When the clinical experience and knowledge sharing module is executed, articles, photos, videos, etc. about clinical cases can be posted, and a questionnaire and evaluation function can be performed.
제1 이미지와 연관된 임플란트 마스터가 실행된 경우 초기화면과 이후의 과정에 대해 설명하면 다음과 같다. 이와 관련하여, 도 1c는 제1 이미지와 연관된 임플란트 마스터가 실행된 경우 초기화면을 나타낸다.When the implant master associated with the first image is executed, the initial screen and subsequent processes will be described as follows. In this regard, FIG. 1C shows an initial screen when the implant master associated with the first image is executed.
도 1c를 참조하면, 임플란트 마스터가 실행되면 3개의 아이콘이 디스플레이 상의 화면에 표시될 수 있다. 제1 아이콘은 임플란트 자동 식별 기능을 수행하며, 스캔 임플란트(scan implant) 아이콘으로 지칭될 수 있다. 제1 아이콘이 선택되면, 머신러닝 기법에 따른 임플란트 X-ray 이미지와 같은 임플란트 이미지의 구조적 분류와 딥러닝을 활용한 임플란트 자동 판독 기능이 구현될 수 있다. Referring to FIG. 1C , when the implant master is executed, three icons may be displayed on the screen on the display. The first icon performs an implant automatic identification function and may be referred to as a scan implant icon. When the first icon is selected, structural classification of an implant image such as an implant X-ray image according to a machine learning technique and an automatic implant reading function using deep learning may be implemented.
제2 아이콘은 임플란트 검색 기능을 수행하며, pick implant features 아이콘으로 지칭될 수 있다. 제2 아이콘이 선택되면, 임플란트 구조적 특성 이미지에 따른 UI/UX 기법의 직관적인 검색 기능이 구현될 수 있다. The second icon performs an implant search function and may be referred to as a pick implant features icon. When the second icon is selected, an intuitive search function of the UI/UX technique according to the implant structural characteristic image may be implemented.
제3 아이콘은 저장된 임플란트 정보를 확인할 수 있도록 하며, saved implants 아이콘으로 지칭될 수 있다. 제3 아이콘이 선택되면, 저장된 임플란트에대한 기본 정보 및 상세 정보를 확인할 수 있는 정보 확인 기능이 구현될 수 있다. The third icon allows to check the stored implant information, and may be referred to as a saved implants icon. When the third icon is selected, an information confirmation function capable of confirming basic information and detailed information about the stored implant may be implemented.
전술한 바와 같이, 본 발명에 따른 임플란트 자동 식별 기능에 해당하는 scan implant 모듈이 실행된 경우에 대해 상세하게 설명하면 다음과 같다. 이와 관련하여, 도 2a 및 도 2b는 임플란트 자동 식별 기능에 해당하는 scan implant 모듈이 실행되는 경우, 이미지 취득 및 이미지 전송과 연관된 화면을 나타낸다. 한편, 도 3은 본 발명에 따른 임플란트 검색 및 자동 식별 장치와 이를 포함하는 시스템의 상세 구성을 나타낸다. 도 3의 임플란트 검색 및 자동 식별 장치는 임플란트 검색 및 자동 식별 모듈이 설치된 단말기 (전자 기기), 예컨대 이동 단말기 또는 고정 단말기일 수 있다. 이 경우, 임플란트 검색 및 자동 식별 모듈은 임플란트 검색 및 자동 식별을 수행할 수 있는 어플리케이션 프로그램일 수 있다.As described above, a case in which the scan implant module corresponding to the automatic implant identification function according to the present invention is executed will be described in detail as follows. In this regard, FIGS. 2A and 2B show screens associated with image acquisition and image transmission when the scan implant module corresponding to the automatic implant identification function is executed. Meanwhile, FIG. 3 shows a detailed configuration of an implant search and automatic identification apparatus and a system including the same according to the present invention. The implant search and automatic identification apparatus of FIG. 3 may be a terminal (electronic device) installed with an implant search and automatic identification module, for example, a mobile terminal or a fixed terminal. In this case, the implant search and automatic identification module may be an application program capable of performing implant search and automatic identification.
도 3을 참조하면, 임플란트 검색 및 자동 식별 장치(100)는 디스플레이(110) 및 제어부(120)를 포함할 수 있다. 임플란트 검색 및 자동 식별 장치(100)는 무선 통신부(130) 및 메모리(140)를 포함할 수 있다. 임플란트 검색 및 자동 식별 장치(100)는 인공지능 서버(200)와 연동하도록 구성될 수 있다. 인공지능 서버(200)는 AI(artificial intelligence) 인식 서버로 지칭될 수 있다. Referring to FIG. 3 , the implant search and automatic identification apparatus 100 may include a display 110 and a controller 120 . The implant search and automatic identification apparatus 100 may include a wireless communication unit 130 and a memory 140 . The implant search and automatic identification device 100 may be configured to work with the artificial intelligence server 200 . The artificial intelligence server 200 may be referred to as an artificial intelligence (AI) recognition server.
무선 통신부(130)는 제어부(120)와 동작 가능하게 결합될 수 있고, 제어부(120)는 무선 통신부(130)를 제어하도록 구성될 수 있다. 무선 통신부(130)는 장치(100)와 인공 지능 서버(200)와 동작 가능하게 결합되도록 무선 인터페이스를 제공할 수 있다. 무선 통신부(130)는 AP(access point)를 통해 인공 지능 서버(200)로 정보를 송신하거나 정보를 수신하도록 구성될 수 있다. 또한, 무선 통신부(130)는 기지국을 통해 인공 지능 서버(200)로 정보를 송신하거나 정보를 수신하도록 구성될 수 있다. The wireless communication unit 130 may be operatively coupled to the control unit 120 , and the control unit 120 may be configured to control the wireless communication unit 130 . The wireless communication unit 130 may provide a wireless interface to be operatively coupled to the device 100 and the artificial intelligence server 200 . The wireless communication unit 130 may be configured to transmit information or receive information to the artificial intelligence server 200 through an access point (AP). In addition, the wireless communication unit 130 may be configured to transmit information or receive information to the artificial intelligence server 200 through the base station.
메모리(140)는 제어부(120)와 동작 가능하게 결합될 수 있고, 제어부(120)는 메모리(140)를 제어하도록 구성될 수 있다. 메모리(140)는 임플란트 검색 및 자동 식별 과정에서 관련 정보를 저장하도록 구성될 수 있다. The memory 140 may be operatively coupled to the controller 120 , and the controller 120 may be configured to control the memory 140 . Memory 140 may be configured to store relevant information in the implant search and automatic identification process.
도 1a와 같이 디스플레이(110)의 바탕 화면상에 임플란트 검색 및 자동 식별을 수행할 수 있는 어플리케이션 프로그램 아이콘이 선택되면, 도 1b와 같이 어플리케이션 프로그램이 초기 화면이 디스플레이(110) 상에 표시될 수 있다. 도 1b의 초기 화면에서 제1 이미지가 선택되거나 또는 기본 셋팅으로 임플란트 마스터가 실행되면 도 1c와 같이 어플리케이션 프로그램이 실행될 수 있다. 구체적으로, 임플란트 마스터가 실행되면 임플란트 마스터와 연관된 임플란트 마스터 모듈이 실행될 수 있다. 이 경우, 프로세서에 해당하는 제어부(120)는 어플리케이션 프로그램 인터페이스(API)를 통해 어플리케이션 프로그램(150)과 연동될 수 있다. 또한, 어플리케이션 프로그램(150)의 일부 실행 모듈이 제어부(120)의 프로세서를 통해 실행될 수 있다.When an application program icon capable of performing implant search and automatic identification is selected on the desktop screen of the display 110 as shown in FIG. 1A, an initial screen of the application program may be displayed on the display 110 as shown in FIG. 1B. . When the first image is selected on the initial screen of FIG. 1B or the implant master is executed with default settings, the application program may be executed as shown in FIG. 1C. Specifically, when the implant master is executed, the implant master module associated with the implant master may be executed. In this case, the controller 120 corresponding to the processor may interwork with the application program 150 through an application program interface (API). Also, some execution modules of the application program 150 may be executed through the processor of the controller 120 .
도 2a를 참조하면, 카메라를 통해 임플란트 이미지가 취득될 수 있다. 임플란트 이미지 취득은 다음과 같이 여러 방식으로 취득될 수 있다. 1) 치과용 X-ray 장비에서 촬영한 이미지에서 식별이 필요한 임플란트 이미지만 별도로 캡쳐될 수 있다. 이 경우, 임플란트 검색 및 자동 식별 모듈은 X-ray 촬영 솔루션과의 직접 연동되도록 구성될 수 있다. 2) 임플란트 이미지를 별도의 agent 프로그램을 통해서 캡쳐되도록 구성될 수 있다. 3) 또한, 도 2a와 같이 임플란트 이미지가 화면이나 인쇄된 사진에서 카메라를 통하여 촬영되도록 구성될 수 있다.Referring to FIG. 2A , an implant image may be acquired through a camera. Implant image acquisition can be acquired in several ways as follows. 1) Only implant images that require identification from images taken by dental X-ray equipment can be captured separately. In this case, the implant search and automatic identification module may be configured to work directly with the X-ray imaging solution. 2) It can be configured to capture the implant image through a separate agent program. 3) In addition, as shown in Figure 2a, the implant image may be configured to be taken through a camera on a screen or a printed picture.
한편, 입력된 임플란트 이미지를 두 손가락으로 확대 및 축소, 회전, 이동을 하여 도 2a의 가이드 박스(110a) 안에 식별하고자 하는 임플란트 이미지가 위치하도록 할 수 있다. 이와 관련하여, 사용자(치과의사)의 판단에 의하여 가이드 박스(110a) 상단의 라인(110b) 위치를 조정하여 임플란트 픽스쳐의 상단 부분의 라인을 정의할 수 있다. 이와 관련하여, 검색이나 식별의 대상은 임플란트 픽스쳐이다.On the other hand, the input implant image can be enlarged, reduced, rotated, and moved with two fingers so that the implant image to be identified is located in the guide box 110a of FIG. 2A . In this regard, the line of the upper portion of the implant fixture may be defined by adjusting the position of the line 110b at the top of the guide box 110a according to the determination of the user (the dentist). In this regard, the object of the search or identification is the implant fixture.
도 2a, 도 2b 및 도 3을 참조하면, 장치(100)는 가이드 박스(110a) 내에 위치한 임플란트 이미지를 캡쳐하여 인공지능 서버(200)로 전송하고, 전송 결과를 대기하도록 구성될 수 있다. 전송 결과를 대기하는 동안, 도 2b와 같이 디스플레이 상에 별도의 공지 사항 및 광고 이미지, 동영상 등을 표시할 수 있다.2A, 2B and 3 , the device 100 may be configured to capture an implant image located in the guide box 110a and transmit it to the artificial intelligence server 200, and wait for the transmission result. While waiting for the transmission result, a separate notice, advertisement image, video, etc. may be displayed on the display as shown in FIG. 2B .
한편, 도 4a 및 도 4b는 본 발명에 따른 임플란트 자동 식별에 따른 결과 화면을 나타낸다. 구체적으로, 도 4a는 취득된 임플란트 이미지와 자동 식별된 임플란트 이미지 및 최적의 매칭 결과를 나타낸 화면이다. 또한, 도 4b는 사용자가 복수의 매칭 결과를 원하는 경우, 사용자 입력에 따라 자동 식별된 복수의 매칭 결과가 표시된 화면을 나타낸다.Meanwhile, FIGS. 4A and 4B show a result screen according to the automatic implant identification according to the present invention. Specifically, FIG. 4A is a screen showing the obtained implant image, the automatically identified implant image, and the optimal matching result. Also, FIG. 4B shows a screen on which a plurality of matching results automatically identified according to a user input are displayed when the user desires a plurality of matching results.
도 4a를 참조하면, 왼쪽 화면에 사용자가 촬영한 임플란트 이미지가 추가되거나 또는 임플란트 이미지가 재촬영되도록 할 수 있다. 최적 매칭 결과가 표시된 화면 하부 영역의 컨트롤 영역(112a)에 터치 입력이 수신되면, 도 4b와 같은 복수의 임플란트 이미지들과 요약 결과가 전체 화면 상에 표시될 수 있다. 이와 관련하여, 인식된 결과 중 가장 매칭율이 높은 임플란트 후보를 가장 상부 영역에 표시할 수 있다. 또한, 가장 매칭율이 높은 임플란트 후보 보다 낮은 매칭 후보를 하부 영역에 표시되도록 리스트 업 구성을 수행할 수 있다. Referring to FIG. 4A , an implant image photographed by the user may be added to the left screen or the implant image may be re-photographed. When a touch input is received in the control area 112a of the lower area of the screen where the optimal matching result is displayed, a plurality of implant images and a summary result as shown in FIG. 4B may be displayed on the entire screen. In this regard, the implant candidate having the highest matching rate among the recognized results may be displayed in the uppermost area. In addition, a list-up configuration may be performed so that a matching candidate having a lower matching rate than an implant candidate having the highest matching rate is displayed in the lower region.
임플란트 자동식별에 따른 결과 화면에서 매칭율이 % 단위로 표시될 수 있고, 매칭율이 높은 순서대로 후보군이 제시될 수 있다. 임플란트 자동식별과 관련하여, AI 학습 등 분석과 연구를 통해 후보군의 개수가 결정될 수 있다. 이와 관련하여, 임계 치보다 낮은 낮은 매칭율의 임플란트 후보 제품은리스트 업이 되지 않도록 구성될 수 있다.On the result screen according to the automatic implant identification, the matching rate may be displayed in % units, and candidate groups may be presented in the order of the highest matching rate. In relation to automatic implant identification, the number of candidates can be determined through analysis and research such as AI learning. In this regard, implant candidate products with a low matching rate lower than the threshold may be configured not to be listed.
한편, 임플란트 검색 결과의 제시는 구조적 형태로 검색되는 모델을 제시하는 과정이다. 따라서, 임플란트 검색 결과의 제시는 특별한 우선 순위 없이 알파벳 순서대로 제시될 수 있고, 검색 결과의 개수에 대한 제한은 없다. 다만,이러한 임플란트 검색 결과와 관련된 검색 DB가 많이 축적될수록, 많이 검색되는 순서대로 우선순위를 갖도록 표시될 수 있다.On the other hand, presentation of implant search results is a process of presenting a model searched in a structural form. Accordingly, the presentation of the implant search results may be presented in alphabetical order without special priority, and there is no limit to the number of search results. However, as the number of search DBs related to these implant search results is accumulated, they may be displayed to have priority in the order in which they are searched the most.
한편, 도 4b와 같이 해당 임플란에 대한 상세 정보에 인접하게 표시된 컨트롤 박스(113)를 클릭하면 상세 제공 정보 화면으로 이동할 수 있다.Meanwhile, if the control box 113 displayed adjacent to the detailed information about the implant is clicked as shown in FIG. 4B , it is possible to move to the detailed information screen.
전술한 바와 같이 임플란트 검색 및 자동 식별을 수행하는 임플란트 검색 및 자동 식별 장치의 각 구성 별 상세 동작을 도 2a 내지 도 4b를 참조하여 설명하면 다음과 같다. 전술한 바와 같이 임플란트 검색 및 자동 식별 장치(100)는 디스플레이(110) 및 제어부(120)를 포함하도록 구성될 수 있다. 임플란트 검색 및 자동 식별 장치(100)는 무선 통신부(130) 및 메모리(140)를 포함할 수 있다. Detailed operations for each configuration of the implant search and automatic identification apparatus for performing implant search and automatic identification as described above will be described with reference to FIGS. 2A to 4B . As described above, the implant search and automatic identification apparatus 100 may be configured to include the display 110 and the control unit 120 . The implant search and automatic identification apparatus 100 may include a wireless communication unit 130 and a memory 140 .
임플란트 검색 및 자동 식별 장치(100)는 인공지능 서버(200)와 연동하도록 구성될 수 있다. 한편, 임플란트 검색 및 자동 식별 장치(100)는 치과용 X-ray 장비(300)과 인터페이스되도록 구성될 수 있다. The implant search and automatic identification device 100 may be configured to work with the artificial intelligence server 200 . Meanwhile, the implant search and automatic identification apparatus 100 may be configured to interface with the dental X-ray equipment 300 .
디스플레이(110)는 임플란트 이미지와 연관된 정보를 표시하도록 구성될 수 있다. 제어부(120)는 촬영된 임플란트 이미지가 디스플레이(110) 상의 가이드 박스(110a) 내에 위치되면, 가이드 박스 내에 위치한 임플란트 이미지를 캡처하여 인공지능 서버(200)로 전송하도록 제어할 수 있다. Display 110 may be configured to display information associated with the implant image. When the photographed implant image is located in the guide box 110a on the display 110 , the controller 120 may control to capture the implant image located in the guide box and transmit it to the artificial intelligence server 200 .
이에 대응하여, 인공지능 서버(200)는 AI 기반으로 캡처된 임플란트 이미지에 대한 임플란트 식별 결과를 생성하여, 장치(100)로 전송할 수 있다. 이와 관련여, 제어부(120)는 촬영된 임플란트 이미지와 식별 결과에 따라 가장 높은 매칭 결과를 갖는 제1 임플란트 이미지와 연관된 정보를 디스플레이(110) 상의 제1 영역(111)에 표시되도록 제어할 수 있다. 또한, 제어부(120)는 식별 결과에 따른 요약 결과를 디스플레이(110) 상의 제2 영역(112)에 표시할 수 있다.In response to this, the artificial intelligence server 200 may generate an implant identification result for the captured implant image based on AI and transmit it to the device 100 . In this regard, the controller 120 may control information related to the first implant image having the highest matching result according to the captured implant image and the identification result to be displayed on the first area 111 on the display 110 . . Also, the controller 120 may display a summary result according to the identification result on the second area 112 on the display 110 .
한편, 제어부(120)는 제2 영역(112) 내의 컨트롤 영역(112a)에 터치 입력이 수신 (도 4a 참조)되면, 복수의 임플란트 이미지들과 요약 결과를 디스플레이(110)의 전체 화면 상에 표시 (도 4b 참조)되도록 제어할 수 있다. 이 경우, 제어부(120)는 가장 매칭율이 높은 제1 임플란트 이미지부터 식별 결과에 따른 매칭 결과 순으로 복수의 임플란트 이미지들과 요약 결과를 표시할 수 있다.Meanwhile, when a touch input is received in the control area 112a in the second area 112 (see FIG. 4A ), the controller 120 displays a plurality of implant images and a summary result on the entire screen of the display 110 . (See Fig. 4b) can be controlled to be. In this case, the controller 120 may display a plurality of implant images and a summary result in the order of the matching result according to the identification result from the first implant image having the highest matching rate.
한편, 제어부(120)는 전체 화면 상에 표시되는 요약 결과와 인접하게 배치된 컨트롤 박스(113)가 선택되면, 선택된 요약 결과에 따른 특정 임플란트의 이미지와 상세 정보가 전체 화면 상에 표시되도록 제어할 수 있다. 이와 관련하여, 도 5a 및 도 5b는 본 발명에 따른 임플란트 이미지와 상세 정보가 표시된 화면을 나타낸다. 구체적으로, 도 5a는 본 발명에 따른 임플란트 이미지와 기본 정보 탭이 선택된 경우 화면 구성을 나타낸다. 한편, 도 5b는 본 발명에 따른 임플란트 이미지와 상세 정보 탭이 선택된 경우 화면 구성을 나타낸다. On the other hand, when the control box 113 disposed adjacent to the summary result displayed on the entire screen is selected, the controller 120 controls so that an image and detailed information of a specific implant according to the selected summary result are displayed on the entire screen. can In this regard, FIGS. 5A and 5B show a screen on which an implant image and detailed information are displayed according to the present invention. Specifically, FIG. 5A shows a screen configuration when the implant image and the basic information tab according to the present invention are selected. Meanwhile, FIG. 5B shows a screen configuration when the implant image and the detailed information tab according to the present invention are selected.
도 3, 도 5a 및 도 5b를 참조하면, 기본 정보 탭이 선택된 경우, 제어부(120)는 특정 임플란트의 제조사, 모델명, 사이즈 별 특징 정보, 특정 임플란트와 가장 유사한 임플란트 정보 및 임상 및 지식공유 플랫폼 연동 컨트롤을 포함하는 기본 정보가 디스플레이(120)에 표시되도록 제어할 수 있다. 3, 5A and 5B, when the basic information tab is selected, the control unit 120 interlocks with the manufacturer, model name, and size of a specific implant, information on implants most similar to that of a specific implant, and clinical and knowledge sharing platform. Basic information including the control may be controlled to be displayed on the display 120 .
도 5a를 참조하면, 검색결과는 같은 제품군의 대표 모델만 검색이 되며, 다른 모델들은 하단 사이즈 표기부분에 표시될 수 있다. 동일 모델에 다른 사이즈의 복수의 임플란트 모델이 있는 하단에 좌우 스크롤 형태로 화면에 표시될 수 있다. 이 경우, 해당 임플란트 모델을 클릭 시, 해당 모델에 대한 상세 화면으로 분기될 수 있다. 한편, 해당 임플란트 구입 링크 버튼이 해당 임플란트 이미지에 인접하게 배치될 수 있다. 또한, 비슷한 특성을 가진 임플란트 모델을 좌우 스크롤 형태로 표시되도록 배치될 수 있다. 일 예로, 검색결과 리스트에서 다른 임플란트 모델을 나열할 수 있다. 이 경우, 해당 임플란트 모델을 클릭 시, 해당 모델에 대한 상세 화면으로 분기될 수 있다. Referring to FIG. 5A , in the search result, only representative models of the same product group are searched, and other models may be displayed in the lower size marking part. A plurality of implant models of different sizes in the same model may be displayed on the screen in the form of left and right scrolling at the bottom. In this case, when the corresponding implant model is clicked, it may be branched to a detailed screen for the corresponding model. Meanwhile, the corresponding implant purchase link button may be disposed adjacent to the corresponding implant image. In addition, the implant model having similar characteristics may be arranged to be displayed in a left and right scroll form. As an example, other implant models may be listed in the search result list. In this case, when the corresponding implant model is clicked, it may be branched to a detailed screen for the corresponding model.
반면에, 상세 정보 탭이 선택된 경우, 제어부(120)는 특정 임플란트에 대한 해체 드라이버 정보, 호환가능 스캔바디, 시술법과 연관된 제조사 제공 동영상, 쇼핑몰 연결 링크, 응급처치법/수술 팁과 연관된 동영상 및 임상 및 지식공유 플랫폼 연동 컨트롤을 포함하는 상세 정보가 디스플레이(110)에 표시되도록 제어할 수 있다. On the other hand, when the detailed information tab is selected, the control unit 120 controls dismantling driver information for a specific implant, compatible scan bodies, videos provided by manufacturers related to procedures, links to shopping malls, videos related to first aid/surgery tips, and clinical and clinical and Detailed information including the knowledge sharing platform interworking control may be controlled to be displayed on the display 110 .
도 5b를 참조하면, 상세 정보 탭이 선택된 경우, 제조사에서 제공하는 정보가 표시될 수 있다. 이와 관련하여, 드라이버 종류, 식립 토크, 스캔바디, 카탈로그 다운로드, 비디오 링크 및 제조사/유통사의 URL 등이 표시될 수 있다. 한편, 본 발명에 따른 어플리케이션 프로그램 모듈에서 제공하는 동영상은 보철방법, 염증처치법, 임플란트 제거법 등에 관한 동영상일 수 있다. 한편, 본 발명에 따른 어플리케이션 프로그램 모듈에서 제공하는 동영상 및 자료와 관련하여, 공유플랫폼에 업로드된 관련 임플란트 모델의 동영상이나 자료 검색 기능이 추가될 수 있다.Referring to FIG. 5B , when the detailed information tab is selected, information provided by the manufacturer may be displayed. In this regard, a driver type, an implantation torque, a scan body, a catalog download, a video link, and a URL of a manufacturer/distributor may be displayed. Meanwhile, the video provided by the application program module according to the present invention may be a video about a prosthetic method, an inflammation treatment method, an implant removal method, and the like. On the other hand, in relation to the video and data provided by the application program module according to the present invention, a video or data search function of the related implant model uploaded to the sharing platform may be added.
한편, 본 발명에 따르면, 임상 및 지식공유 플랫폼 연동 컨트롤이 선택되면,정보 입력 화면이 표시되고, 이에 따라 임상 및 지식공유가 이루어질 수 있다. 이와 관련하여, 도 6a 및 도 6b는 본 발명에 따른 임상 및 지식공유 플랫폼 연동 시 실행 화면과 정보 업로드 시 표시되는 화면을 나타낸다. 구체적으로, 도 6a는 본 발명에 따른 임상 및 지식공유 플랫폼 연동 시 실행 화면을 나타낸다. 도 6b는 본 발명에 따른 임상 및 지식공유 플랫폼에 정보 업로드 시 표시되는 화면을 나타낸다. Meanwhile, according to the present invention, when the clinical and knowledge sharing platform interlocking control is selected, an information input screen is displayed, and thus clinical and knowledge sharing can be performed. In this regard, FIGS. 6A and 6B show an execution screen when interworking with a clinical and knowledge sharing platform according to the present invention and a screen displayed when uploading information. Specifically, FIG. 6A shows an execution screen when interworking with a clinical and knowledge sharing platform according to the present invention. 6B shows a screen displayed when information is uploaded to the clinical and knowledge sharing platform according to the present invention.
도 3 및 도 6a를 참조하면, 제어부(120)는 임상 및 지식공유 플랫폼 연동 컨트롤(114)이 선택되면, 특정 임플란트에 대한 임상 및 지식공유를 위한 정보를 입력하기 위한 정보 입력 화면(115)이 표시되도록 제어할 수 있다. 이 경우, 본문 작성란 하단에 임플란트 모델의 간략한 정보 포함한 태그가 배치될 수도 있다. 한편, 입력한 임플란트 X-ray 사진을 첨부할 수 있는 화면 인터페이스가 배치될 수도 있다.Referring to FIGS. 3 and 6A , when the clinical and knowledge sharing platform interlocking control 114 is selected, the control unit 120 provides an information input screen 115 for inputting information for clinical and knowledge sharing for a specific implant. You can control the display. In this case, a tag including brief information of the implant model may be disposed at the bottom of the text writing field. On the other hand, a screen interface to which the input X-ray image of the implant can be attached may be arranged.
도 3, 도 6a 및 도 6b를 참조하면, 제어부(120)는 임상 및 지식공유를 위한 정보의 공개 범위가 선택되면, 임상 및 지식공유를 위한 정보(116) 및 특정 임플란트의 이미지와 요약 결과(117)가 디스플레이(110) 상에 표시되도록 제어할 수 있다.Referring to FIGS. 3, 6A and 6B , when the disclosure range of information for clinical and knowledge sharing is selected, the controller 120 selects information 116 for clinical and knowledge sharing and an image and summary result of a specific implant ( 117 may be controlled to be displayed on the display 110 .
도 3 및 도 6b를 참조하면, 제어부(120)는 특정 임플란트의 이미지와 요약 결과가 표시된 영역에 터치 입력이 인가되면, 특정 임플란트의 이미지와 상세 정보가 전체 화면 상에 표시되도록 제어할 수 있다.Referring to FIGS. 3 and 6B , when a touch input is applied to an area in which an image of a specific implant and a summary result are displayed, the controller 120 may control the image and detailed information of the specific implant to be displayed on the entire screen.
한편, 본 발명에 따른 임플란트 검색 및 자동 식별 장치는 임플란트의 각 특징 요소를 고려한 임플란트 검색 기능을 수행할 수 있다. 이와 관련하여, 도 7a 내지 도 7c는 본 발명에 따른 각 특징 요소를 고려하여 임플란트 검색 기능을 수행하는 화면을 나타낸다.On the other hand, the implant search and automatic identification apparatus according to the present invention may perform an implant search function in consideration of each characteristic element of the implant. In this regard, FIGS. 7A to 7C show screens for performing an implant search function in consideration of each characteristic element according to the present invention.
도 3 및 도 7a를 참조하면, 검색하고자 하는 임플란트 X-ray 이미지와 같은 임플란트 이미지를 좌측에 배치하고, 이미지 형태로 표현된 각 특징요소를 찾아서 합성하면서 검색하는 방식으로 임플란트 검색 기능이 수행될 수 있다. 또한, 도 7a에 도시된 바와 같이, 검색어 입력을 통한 제조사 검색 기능이 지원될 수 있다. 입력된 X-ray 이미지와 같은 임플란트 이미지는 임플란트 자동식별을 위한 AI 학습 데이터로 활용될 수 있다. 이와 관련하여, 임플란트 자동식별을 위한 AI 학습은 장치(100)에 의해 수행되거나 장치(100)와 인공지능 서버(200)와 연동하여 수행될 수 있다. 어플리케이션 프로그램에 포함된 AI 모듈이 임플란트 자동식별을 위한 AI 학습을 지원하더라도, 다양한 사용자에 의해 수행된 AI 학습 기능을 활용하기 위해 장치(100)는 인공지능 서버(200)와 연동할 수 있다.Referring to FIGS. 3 and 7A , the implant search function can be performed by arranging an implant image such as an implant X-ray image to be searched on the left side, and searching for each characteristic element expressed in the form of an image while synthesizing it. there is. In addition, as shown in FIG. 7A , a manufacturer search function through input of a search word may be supported. Implant images such as input X-ray images can be utilized as AI learning data for automatic implant identification. In this regard, AI learning for automatic implant identification may be performed by the device 100 or may be performed in conjunction with the device 100 and the artificial intelligence server 200 . Even if the AI module included in the application program supports AI learning for automatic implant identification, the device 100 may interwork with the artificial intelligence server 200 in order to utilize the AI learning function performed by various users.
도 3, 도 7b를 참조하면, 임플란트 이미지가 촬영될 수 있다. 일 예로, 환자의 치아에 복수의 임플란트가 장착된 경우, 복수의 임플란트와 크라운을 포함한 임플란트 이미지가 촬영될 수 있다. 도 3, 도 7b 및 도 7c를 참조하면, 입력된 임플란트 이미지를 두 손가락으로 확대 및 축소, 회전, 이동을 하여 가이드 박스 안에 검색하고자 하는 임플란트 이미지가 위치하도록 할 수 있다. Referring to FIGS. 3 and 7B , an implant image may be taken. For example, when a plurality of implants are mounted on a patient's teeth, an implant image including the plurality of implants and a crown may be captured. Referring to FIGS. 3, 7B and 7C , the input implant image can be enlarged, reduced, rotated, or moved with two fingers so that the implant image to be searched is located in the guide box.
전술한 임플란트 이미지 검색을 위한 임플란트 이미지 검출 과정을 제어부(120)가 수행할 수 있다. 도 3, 도 7b 및 도 7c를 참조하면, 제어부(120)는 검색하고자 하는 임플란트의 X-ray 이미지와 같은 임플란트 이미지가 입력할 수 있는 화면 영역을 디스플레이(110) 상에 표시할 수 있다. 제어부(120)는 화면 영역 상에 사용자 입력이 인가되고, 특정 X-ray 이미지와 같은 임플란트 이미지가 선택되면, 하나 이상의 임플란트 이미지가 포함된 특정 X-ray 이미지와 같은 임플란트 이미지를 디스플레이(110) 상에 표시할 수 있다. 이 경우, 하나 이상의 임플란트 이미지는 카메라에 의해 촬영되거나 또는 치과용 X-ray 장비와 연동되어 획득될 수 있다. 하나 이상의 임플란트 이미지 중 가이드 박스 내에 제2 임플란트 이미지가 배치되면, 제어부(120)는 가이드 박스 내에 위치한 제2 임플란트 이미지를 캡처하여 인공지능 서버(200)로 전송하도록 제어할 수 있다.The controller 120 may perform the implant image detection process for the aforementioned implant image search. Referring to FIGS. 3, 7B and 7C , the controller 120 may display, on the display 110 , a screen area into which an implant image such as an X-ray image of an implant to be searched can be input. When a user input is applied to the screen area and an implant image such as a specific X-ray image is selected, the controller 120 displays an implant image such as a specific X-ray image including one or more implant images on the display 110 . can be displayed in In this case, one or more implant images may be captured by a camera or obtained in conjunction with dental X-ray equipment. When the second implant image is placed in the guide box among one or more implant images, the controller 120 may control to capture the second implant image located in the guide box and transmit it to the artificial intelligence server 200 .
한편, 본 발명에 따른 각 특징 요소에 기반한 임플란트 검색 기능과 관련하여, 임플란트의 각 구성부가 정의될 필요가 있다. 이와 관련하여, 도 8a는 본 발명에 따른 임플란트의 상세 구성부를 나타낸다. 도 8a를 참조하면, 임플란트(1100)는 platform part(1110), coronal part(1120), middle part(1130) 및 apical part(1140)로 구성될 수 있다. platform part(1110)는 level, connection type 및 platform color로 분류될 수 있다. coronal part(1120)는 coronal part design으로 분류될 수 있다. middle part(1130)는 middle part shape 및 design으로 분류될 수 있다. apical part(1140)는 apical part shape, hole type 및 groove 유무에 따라 분류될 수 있다.Meanwhile, in relation to the implant search function based on each characteristic element according to the present invention, each component of the implant needs to be defined. In this regard, FIG. 8a shows a detailed configuration of an implant according to the invention. Referring to FIG. 8A , the implant 1100 may include a platform part 1110 , a coronal part 1120 , a middle part 1130 , and an apical part 1140 . The platform part 1110 may be classified into a level, a connection type, and a platform color. The coronal part 1120 may be classified as a coronal part design. The middle part 1130 may be classified into a middle part shape and design. The apical part 1140 may be classified according to the shape of the apical part, the hole type, and the presence or absence of a groove.
전술한 임플란트의 각 특징 요소에 따른 임플란트 검색 기능이 수행될 수 있다. 이와 관련하여, 도 8b 및 도 8c는 본 발명에 따른 임플란트의 platform part 및 coronal part의 각 특징 요소에 따른 임플란트 검색 기능이 수행되는 과정을 나타낸다. 도 8b를 참조하면, platform part(1110)에 대한 식별 및 검색 과정을 나타낸다. platform part(1110)에 대한 식별 및 검색 과정에서, connection type이 external이고, platform color는 no color로 식별될 수 있다. 또한, platform part(1110)에 대한 식별 및 검색 과정에서, level은 bone level일 수 있다.An implant search function according to each characteristic element of the aforementioned implant may be performed. In this regard, FIGS. 8B and 8C show a process in which an implant search function is performed according to each characteristic element of the platform part and the coronal part of the implant according to the present invention. Referring to FIG. 8B , an identification and search process for the platform part 1110 is shown. In the process of identifying and searching for the platform part 1110 , the connection type may be external and the platform color may be identified as no color. Also, in the identification and search process for the platform part 1110, the level may be a bone level.
도 8c를 참조하면, coronal part(1120)에 대한 식별 및 검색 과정을 나타낸다. coronal part(1120)에 대한 식별 및 검색 과정에서, coronal part design은 No micro-thread 및 rounded로 식별될 수 있다. 일 예로, coronal part(1120)가 micro-thread 설계인지 여부를 식별하고, coronal part(1120)가 micro-thread 설계가 아니면 Square, rounded, v-shaped, buttress 또는 reverse buttress 중 어느 형상인지를 식별할 수 있다 Referring to FIG. 8C , an identification and search process for the coronal part 1120 is shown. In the process of identification and search for the coronal part 1120, the coronal part design may be identified as No micro-thread and rounded. As an example, it is possible to identify whether the coronal part 1120 is a micro-thread design, and if the coronal part 1120 is not a micro-thread design, it is possible to identify which shape is a square, rounded, v-shaped, buttress, or reverse buttress. can
한편, 도 9a 및 도 9b는 본 발명에 따른 임플란트의 middle part 및 apical part의 각 특징 요소에 따른 임플란트 검색 기능이 수행되는 과정을 나타낸다. 도 9a를 참조하면, middle part(1130)에 대한 식별 및 검색 과정을 나타낸다. middle part(1130)에 대한 식별 및 검색 과정에서, middle part design이 V-shaped로 식별될 수 있다. 또한, middle part(1130)에 대한 식별 및 검색 과정에서, middle part shape이 tapered로 식별될 수 있다. Meanwhile, FIGS. 9A and 9B show a process in which an implant search function is performed according to each characteristic element of the middle part and the apical part of the implant according to the present invention. Referring to FIG. 9A , an identification and search process for the middle part 1130 is shown. In the identification and search process for the middle part 1130, the middle part design may be identified as V-shaped. Also, in the process of identification and search for the middle part 1130 , the shape of the middle part may be identified as tapered.
도 9b를 참조하면, apical part(1140)에 대한 식별 및 검색 과정에서, apical part groove가 존재하는 것으로 식별될 수 있다. 또한, apical part(1140)에 대한 식별 및 검색 과정에서, apical part shape이 flat한 것으로 식별될 수 있다.Referring to FIG. 9B , in the process of identifying and searching for the apical part 1140 , it may be identified that an apical part groove exists. Also, in the process of identifying and searching for the apical part 1140 , it may be identified that the shape of the apical part is flat.
전술한 바와 같이 임플란트의 각 구성부에 대한 상세한 식별 과정을 통해, 임플란트에 대한 최종 합성 이미지가 생성될 수 있다. 이와 관련하여, 도 10은 본 발명에 따른 임플란트의 특징 요소에 대한 식별 과정을 통해 생성된 최종 합성 이미지를 나타낸다. As described above, through a detailed identification process for each component of the implant, a final composite image of the implant may be generated. In this regard, FIG. 10 shows the final composite image generated through the identification process for the characteristic elements of the implant according to the present invention.
도 3 및 도 8a 내지 도 10을 참조하면, 제어부(1200)는 카메라 또는 X-ray 영상에서 획득된 제2 임플란트 이미지로부터 각 부위 별로 각 특징 요소를 검색하여 각 특징 요소를 합성하면서 최종 합성 이미지를 생성하여 표시할 수 있다. 이 경우, 각 특징 요소와 연관된 각 부위는 전술한 바와 같이 platform part(1110), coronal part(1120), middle part(1130) 및 apical part(1140)을 포함할 수 있다.3 and 8A to 10 , the controller 1200 searches for each feature element for each region from the second implant image obtained from a camera or X-ray image, and synthesizes each feature element to obtain a final composite image. can be created and displayed. In this case, each part associated with each characteristic element may include a platform part 1110 , a coronal part 1120 , a middle part 1130 , and an apical part 1140 as described above.
제어부(120)는 화면의 좌측에 획득된 제2 임플란트 이미지를 표시할 수 있다. 제어부(120)는 화면의 우측에 최종 합성 이미지와 각 구성부의 특징 요소가 하이라이트되도록 표시할 수 있다.The controller 120 may display the acquired second implant image on the left side of the screen. The controller 120 may display the final composite image and characteristic elements of each component to be highlighted on the right side of the screen.
제어부(120)는 platform part(1110)의 platform color 및 bone/tissue level을 식별하고, coronal part(1120)의 설계(design)을 식별할 수 있다. coronal part(1120)의 설계와 관련하여, micro-thread의 유무를 식별하고 구체적인 설계/형상을 식별할 수 있다. 이후, 제어부(120)는 middle part(1130)의 형상(shape) 및 설계를 식별하고, apical part(1140)의 형상, 홀 유무 및 형상과 그루브 유무를 식별할 수 있다. The controller 120 may identify a platform color and a bone/tissue level of the platform part 1110 , and may identify a design of the coronal part 1120 . In relation to the design of the coronal part 1120 , the presence or absence of a micro-thread may be identified and a specific design/shape may be identified. Thereafter, the controller 120 may identify the shape and design of the middle part 1130 , and identify the shape of the apical part 1140 , the presence or absence of a hole, and the presence or absence of a shape and a groove.
본 발명에 따른 임플란트 자동식별 프로세스는 인식대상 이미지를 입력하고 가이드만 조정하면, 서버에서 자동으로 식별하는 과정이다. 한편, 임플란트 자동식별에 따른 매칭율을 높이기 위해서 몇 가지 요소가 추가될 수도 있다. 이와 관련하여, 임플란트 자동식별 시 일부 검색 요소의 추가를 통한 검색 정확도 향상이 가능하다. 예를 들면, 일부 검색 요소(레벨이나 커넥션 타입/피쳐 등)의 입력을 사용자 단말에게 요청할 수도 있다.The automatic implant identification process according to the present invention is a process of automatically identifying an implant in the server by inputting an image to be recognized and adjusting only the guide. On the other hand, in order to increase the matching rate according to the automatic identification of the implant, several factors may be added. In this regard, it is possible to improve the search accuracy by adding some search elements when automatically identifying the implant. For example, input of some search elements (level, connection type/feature, etc.) may be requested from the user terminal.
이와 관련하여, 제어부(120)는 제2 임플란트 이미지와 식별된 각 부위의 식별 정보에 따른 최종 합성 이미지를 디스플레이(110) 상에 표시하도록 제어할 수 있다. 이와 관련하여, 최종 합성 이미지는 각 부위 별로 각 특징 요소가 다른 부분과 구별되도록 표시될 수 있다. 따라서, 사용자가 각 부위 별로 식별된 각 특징 요소에 잘못된 결과가 있을 수 있다고 판단되면, 해당 특징 요소가 포함된 부분에 대한 사용자 입력을 통해 해당 부분에 대한 식별 및 검색을 다시 수행하도록 할 수 있다. 이에 따라, 임플란트 자동 식별 및 검색 정확도를 향상시키면서도 자동 식별 및 검색에 소요되는 처리 시간을 개선할 수 있다.In this regard, the controller 120 may control to display the second implant image and the final composite image according to the identification information of each identified region on the display 110 . In this regard, the final composite image may be displayed so that each feature element is distinguished from other parts for each part. Accordingly, if the user determines that there may be an erroneous result in each characteristic element identified for each part, the identification and search for the corresponding part may be performed again through a user input for the part including the corresponding characteristic element. Accordingly, it is possible to improve the processing time required for automatic identification and search while improving the accuracy of automatic implant identification and search.
제어부(120)는 디스플레이(110) 상에 표시된 검색 버튼(118)이 선택되면, 제2 임플란트 이미지와 최종 합성 이미지에 기반하여 선택된 특정 임플란트를 검색하여 출력할 수 있다. 이와 관련하여, 특정 임플란트는 특정 X-ray 이미지와 같은 임플란트 이미지에 최적 매칭되는 임플란트 모델일 수 있다. 제어부(120)는 최적 매칭되는 특정 임플란트와 특정 임플란트에 대한 연관 정보를 각각 도 5a 및 도 5b와 같은 구성으로 디스플레이 상에 표시할 수 있다. 이와 관련하여, 도 5a는 본 발명에 따른 임플란트 이미지와 기본 정보 탭이 선택된 경우 화면 구성을 나타낸다. 한편, 도 5b는 본 발명에 따른 임플란트 이미지와 상세 정보 탭이 선택된 경우 화면 구성을 나타낸다. 따라서, 제어부(120)는 최적 매칭되는 특정 임플란트를 도 5a와 같은 구성으로 디스플레이 상에 표시할 수 있다. 또한, 제어부(120)는 최적 매칭되는 특정 임플란트에 대한 연관 정보를 도 5b와 같은 구성으로 디스플레이 상에 표시할 수 있다.When the search button 118 displayed on the display 110 is selected, the controller 120 may search for and output the selected specific implant based on the second implant image and the final composite image. In this regard, a specific implant may be an implant model optimally matched to an implant image such as a specific X-ray image. The controller 120 may display the optimally matched specific implant and related information on the specific implant on the display in the configuration shown in FIGS. 5A and 5B , respectively. In this regard, Fig. 5a shows the screen configuration when the implant image and the basic information tab according to the present invention are selected. Meanwhile, FIG. 5B shows a screen configuration when the implant image and the detailed information tab according to the present invention are selected. Accordingly, the controller 120 may display the optimally matched specific implant on the display in the configuration shown in FIG. 5A . In addition, the control unit 120 may display the relevant information on a specific implant that is optimally matched with the configuration shown in FIG. 5B on the display.
추가적으로, 전세계적으로 유통되는 임플란트의 갯수가 매우 많기 때문에, 임플란트 자동 인식율을 높이기 위해서 지역별(국가별 등)로 유통되는 모델들에 대해 별도로 AI 학습데이터 세트를 구성할 필요가 있다. 따라서, 본 임플란트 검색 및 자동 식별 시스템을 사용하는 사용자의 위치정보 (국가 등)에 따라 AI 학습세트를 적용하는 방법으로 매칭율을 높이는 방법이 적용될 수 있다.In addition, since the number of implants distributed worldwide is very large, it is necessary to separately configure AI learning data sets for models distributed by region (country, etc.) in order to increase the automatic implant recognition rate. Therefore, the method of increasing the matching rate can be applied by applying the AI learning set according to the location information (country, etc.) of the user who uses this implant search and automatic identification system.
이상에서는 본 발명에 따른 임플란트 검색 및 자동 식별 장치에 대해 살펴보았다. 본 발명에 따른 기술적 효과에 대해 살펴보면 다음과 같다.In the above, the implant search and automatic identification device according to the present invention has been described. Looking at the technical effects of the present invention are as follows.
본 발명의 적어도 일 실시 예에 따르면, 임플란트 이미지에 기반하여 임플란트를 자동으로 식별하고 검색하는 기능을 제공할 수 있다는 장점이 있다.According to at least one embodiment of the present invention, there is an advantage that it is possible to provide a function for automatically identifying and searching for an implant based on an implant image.
또한, 본 발명의 목적은 임플란트 이미지에 기반하여 자동으로 식별 및 검색된 임플란트 정보를 표시 및 저장하고 해당 임플란트 사용에 대한 사용자 경험을 공유할 수 있는 장점이 있다. In addition, it is an object of the present invention to display and store implant information automatically identified and searched based on an implant image, and to share a user experience for using the implant.
상술한 본 발명의 특징 및 효과는 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. The features and effects of the present invention described above will become more apparent through the following detailed description in relation to the accompanying drawings, whereby those of ordinary skill in the art to which the present invention pertains can easily implement the technical idea of the present invention. will be able
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 구체적으로 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.Since the present invention can have various changes and can have various embodiments, specific embodiments are illustrated in the drawings and will be described in detail in the detailed description. However, this is not intended to limit the present invention to specific embodiments, and it should be understood to include all modifications, equivalents, and substitutes included in the spirit and scope of the present invention.
소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능뿐만 아니라 각각의 구성 요소들에 대한 설계 및 파라미터 최적화는 별도의 소프트웨어 모듈로도 구현될 수 있다. 적절한 프로그램 언어로 쓰여진 소프트웨어 어플리케이션으로 소프트웨어 코드가 구현될 수 있다. 상기 소프트웨어 코드는 메모리에 저장되고, 제어부(controller) 또는 프로세서(processor)에 의해 실행될 수 있다.According to the software implementation, not only the procedures and functions described in this specification but also the design and parameter optimization for each component may be implemented as a separate software module. The software code may be implemented as a software application written in a suitable programming language. The software code may be stored in a memory and executed by a controller or a processor.

Claims (10)

  1. 임플란트 검색 및 자동 식별 장치에 있어서,In the implant search and automatic identification device,
    임플란트 이미지와 연관된 정보를 표시하도록 구성된 디스플레이; 및a display configured to display information associated with the implant image; and
    촬영된 임플란트 이미지가 상기 디스플레이 상의 가이드 박스 내에 위치되면, 상기 가이드 박스 내에 위치한 임플란트 이미지를 캡처하여 인공지능 서버로 전송하도록 제어하는 제어부를 포함하고,When the photographed implant image is located in the guide box on the display, comprising a control unit for controlling to capture the implant image located in the guide box and transmit it to an artificial intelligence server,
    상기 제어부는,The control unit is
    상기 인공지능 서버로부터 상기 캡처된 임플란트 이미지에 대한 임플란트 식별 결과를 수신하고,Receive an implant identification result for the captured implant image from the artificial intelligence server,
    상기 촬영된 임플란트 이미지와 상기 식별 결과에 따라 가장 높은 매칭 결과를 갖는 제1 임플란트 이미지와 연관된 정보를 상기 디스플레이 상의 제1 영역에 표시하고,Displaying information related to the first implant image having the highest matching result according to the taken implant image and the identification result in a first area on the display,
    상기 식별 결과에 따른 요약 결과를 상기 디스플레이 상의 제2 영역에 표시하는, 임플란트 검색 및 자동 식별 장치.Displaying a summary result according to the identification result in a second area on the display, implant search and automatic identification device.
  2. 제1 항에 있어서,According to claim 1,
    상기 제어부는,The control unit is
    상기 제2 영역 내의 컨트롤 영역에 터치 입력이 수신되면, 상기 제1 임플란트 이미지부터 상기 식별 결과에 따른 매칭 결과 순으로 복수의 임플란트 이미지들과 요약 결과를 상기 디스플레이의 전체 화면 상에 표시되도록 제어하는, 임플란트 검색 및 자동 식별 장치.When a touch input is received in the control area within the second area, controlling a plurality of implant images and a summary result to be displayed on the entire screen of the display in the order of a matching result according to the identification result from the first implant image, Implant detection and automatic identification device.
  3. 제2 항에 있어서,3. The method of claim 2,
    상기 제어부는,The control unit is
    상기 전체 화면 상에 표시되는 요약 결과와 인접하게 배치된 컨트롤 박스가 선택되면, 상기 선택된 요약 결과에 따른 특정 임플란트의 이미지와 상세 정보가 상기 전체 화면 상에 표시되도록 제어하는, 임플란트 검색 및 자동 식별 장치.When a control box disposed adjacent to the summary result displayed on the entire screen is selected, an implant search and automatic identification device for controlling to display an image and detailed information of a specific implant according to the selected summary result on the entire screen .
  4. 제3 항에 있어서,4. The method of claim 3,
    기본 정보 탭이 선택된 경우, 상기 특정 임플란트의 제조사, 모델명, 사이즈 별 특징 정보, 상기 특정 임플란트와 가장 유사한 임플란트 정보 및 임상 및 지식공유 플랫폼 연동 컨트롤을 포함하는 기본 정보가 상기 디스플레이에 표시되도록 제어되고,When the basic information tab is selected, basic information including manufacturer, model name, size-specific feature information of the specific implant, implant information most similar to the specific implant, and clinical and knowledge sharing platform interlocking control is controlled to be displayed on the display,
    상세 정보 탭이 선택된 경우, 상기 특정 임플란트에 대한 해체 드라이버 정보, 호환가능 스캔바디, 시술법과 연관된 제조사 제공 동영상, 쇼핑몰 연결 링크, 응급처치법/수술 팁과 연관된 동영상 및 임상 및 지식공유 플랫폼 연동 컨트롤을 포함하는 상세 정보가 상기 디스플레이에 표시되도록 제어하는, 임플란트 검색 및 자동 식별 장치.When the detailed information tab is selected, disassembly driver information for the specific implant, compatible scan body, video provided by the manufacturer related to the procedure, link to shopping mall, video related to first aid/surgery tips, and clinical and knowledge sharing platform interlocking controls are included. Controlling the detailed information to be displayed on the display, implant search and automatic identification device.
  5. 제4 항에 있어서,5. The method of claim 4,
    상기 제어부는,The control unit is
    상기 임상 및 지식공유 플랫폼 연동 컨트롤이 선택되면, 상기 특정 임플란트에 대한 임상 및 지식공유를 위한 정보를 입력하기 위한 정보 입력 화면이 표시되도록 제어하고,When the clinical and knowledge sharing platform interlocking control is selected, an information input screen for inputting information for clinical and knowledge sharing for the specific implant is controlled to be displayed,
    상기 임상 및 지식공유를 위한 정보의 공개 범위가 선택되면, 상기 임상 및 지식공유를 위한 정보 및 상기 특정 임플란트의 이미지와 요약 결과가 상기 디스플레이 상에 표시되도록 제어하고,When the disclosure range of information for clinical and knowledge sharing is selected, the information for clinical and knowledge sharing and the image and summary result of the specific implant are controlled to be displayed on the display,
    상기 특정 임플란트의 이미지와 요약 결과가 표시된 영역에 터치 입력이 인가되면, 상기 특정 임플란트의 이미지와 상세 정보가 상기 전체 화면 상에 표시되도록 제어하는, 임플란트 검색 및 자동 식별 장치.When a touch input is applied to an area where the image and summary result of the specific implant are displayed, the implant search and automatic identification device for controlling to display the image and detailed information of the specific implant on the entire screen.
  6. 제1 항에 있어서,According to claim 1,
    상기 제어부는,The control unit is
    검색하고자 하는 임플란트의 X-ray 이미지가 입력할 수 있는 화면 영역을 상기 디스플레이 상에 표시하고,a screen area in which an X-ray image of an implant to be searched can be input is displayed on the display;
    상기 화면 영역 상에 사용자 입력이 인가되고, 특정 X-ray 이미지가 선택되면, 하나 이상의 임플란트 이미지가 포함된 상기 특정 X-ray 이미지를 상기 디스플레이 상에 표시하고,When a user input is applied to the screen area and a specific X-ray image is selected, the specific X-ray image including one or more implant images is displayed on the display,
    상기 하나 이상의 임플란트 이미지 중 가이드 박스 내에 제2 임플란트 이미지가 배치되면, 상기 가이드 박스 내에 위치한 제2 임플란트 이미지를 캡처하여 인공지능 서버로 전송하도록 제어하는, 임플란트 검색 및 자동 식별 장치.When a second implant image is placed in the guide box among the one or more implant images, capturing the second implant image located in the guide box and controlling to transmit it to an artificial intelligence server, implant search and automatic identification device.
  7. 제6 항에 있어서,7. The method of claim 6,
    상기 제어부는,The control unit is
    상기 제2 임플란트 이미지로부터 각 부위 별로 각 특징 요소를 검색하여 상기 각 특징 요소를 합성하면서 최종 합성 이미지를 생성하고,Searching for each characteristic element for each region from the second implant image and synthesizing each characteristic element to generate a final composite image,
    상기 각 부위는 platform part, coronal part, middle part 및 apical part인 것을 특징으로 하는, 임플란트 검색 및 자동 식별 장치.Each of the parts is a platform part, a coronal part, a middle part and an apical part, characterized in that the implant search and automatic identification device.
  8. 제7 항에 있어서,8. The method of claim 7,
    상기 제어부는,The control unit is
    상기 platform part의 platform color를 식별하고, 상기 coronal part의 설계(design)을 식별하고, 상기 middle part의 형상(shape) 및 설계를 식별하고, 상기 apical part의 형상, 홀 유무 및 형상과 그루브 유무를 식별하는, 임플란트 검색 및 자동 식별 장치.Identify the platform color of the platform part, identify the design of the coronal part, identify the shape and design of the middle part, and determine the shape of the apical part, whether there is a hole, and whether there is a shape and a groove Identifying, implant detection and automatic identification devices.
  9. 제8 항에 있어서,9. The method of claim 8,
    상기 제어부는,The control unit is
    상기 제2 임플란트 이미지와 상기 식별된 각 부위의 식별 정보에 따른 최종 합성 이미지를 상기 디스플레이 상에 표시하고,Displaying the second implant image and the final composite image according to the identification information of each identified region on the display,
    상기 최종 합성 이미지는 상기 각 부위 별로 각 특징 요소가 다른 부분과 구별되도록 표시되는, 임플란트 검색 및 자동 식별 장치.The final composite image is displayed so that each characteristic element for each part is distinguished from other parts, implant search and automatic identification device.
  10. 제9 항에 있어서,10. The method of claim 9,
    상기 제어부는,The control unit is
    상기 디스플레이 상에 표시된 검색 버튼이 선택되면, 상기 제2 임플란트 이미지와 상기 최종 합성 이미지에 기반하여 상기 선택된 특정 X-ray 이미지에 최적 매칭되는 특정 임플란트를 검색하고,When the search button displayed on the display is selected, a specific implant optimally matching the selected specific X-ray image is searched based on the second implant image and the final composite image,
    상기 최적 매칭되는 특정 임플란트와 상기 특정 임플란트에 대한 연관 정보를 상기 디스플레이 상에 표시하는, 임플란트 검색 및 자동 식별 장치.An implant search and automatic identification device for displaying the optimal matching specific implant and related information on the specific implant on the display.
PCT/KR2020/015727 2020-08-18 2020-11-11 System for searching for and automatically identifying implant WO2022039322A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0103530 2020-08-18
KR1020200103530A KR102445053B1 (en) 2020-08-18 2020-08-18 System for performing automatic identification and retrieval for implants

Publications (1)

Publication Number Publication Date
WO2022039322A1 true WO2022039322A1 (en) 2022-02-24

Family

ID=80322925

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/015727 WO2022039322A1 (en) 2020-08-18 2020-11-11 System for searching for and automatically identifying implant

Country Status (2)

Country Link
KR (1) KR102445053B1 (en)
WO (1) WO2022039322A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024136072A1 (en) * 2022-12-22 2024-06-27 오스템임플란트 주식회사 Implant identification method using deep learning scheme and system to which same method is applied

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240069315A (en) * 2022-11-11 2024-05-20 오스템임플란트 주식회사 Hazard Guide Method, Computing Device and a Computer-readable Recording Medium therefor
KR20240098470A (en) * 2022-12-21 2024-06-28 연세대학교 산학협력단 Apparatus and method for determining implant prosthetic option using machine learning model

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080089437A (en) * 2005-12-30 2008-10-06 쓰리엠 이노베이티브 프로퍼티즈 컴파니 System and method for managing data relating to dental products and manufacturing processes
KR101544773B1 (en) * 2015-04-01 2015-08-17 주식회사 디오 method for providing guide information of operation using surgical guide
KR101630024B1 (en) * 2005-07-15 2016-06-13 덴츠플리 임플란츠 엔.브이. Method for automated or semi-automated dental implant planning
US20180168780A1 (en) * 2016-12-16 2018-06-21 Align Technology, Inc. Augmented reality enhancements for dental practitioners
KR20190077859A (en) * 2017-12-26 2019-07-04 오스템임플란트 주식회사 Dental implant planning method using user interface for adjusting objects, apparatus and recording medium thereof

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160009163A (en) * 2014-07-15 2016-01-26 오스템임플란트 주식회사 Implant product choosing system and method
JP2020502717A (en) * 2016-12-19 2020-01-23 ロマ リンダ ユニヴァーシティ Method and system for implant identification using imaging data
KR102026707B1 (en) * 2017-03-17 2019-09-30 엄상호 Solution for implant fixture auto serching and compatible driver guide with smart phone
KR102048971B1 (en) * 2018-03-27 2019-11-27 (주)두드림 Implant inspection apparatus and implant inspection method
KR20200001887A (en) * 2018-06-28 2020-01-07 십일번가 주식회사 Supporting Method for Image Searching and service device thereof
KR102053818B1 (en) * 2019-06-05 2019-12-09 주식회사 시메이션 Method and apparatus for image matching

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101630024B1 (en) * 2005-07-15 2016-06-13 덴츠플리 임플란츠 엔.브이. Method for automated or semi-automated dental implant planning
KR20080089437A (en) * 2005-12-30 2008-10-06 쓰리엠 이노베이티브 프로퍼티즈 컴파니 System and method for managing data relating to dental products and manufacturing processes
KR101544773B1 (en) * 2015-04-01 2015-08-17 주식회사 디오 method for providing guide information of operation using surgical guide
US20180168780A1 (en) * 2016-12-16 2018-06-21 Align Technology, Inc. Augmented reality enhancements for dental practitioners
KR20190077859A (en) * 2017-12-26 2019-07-04 오스템임플란트 주식회사 Dental implant planning method using user interface for adjusting objects, apparatus and recording medium thereof

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024136072A1 (en) * 2022-12-22 2024-06-27 오스템임플란트 주식회사 Implant identification method using deep learning scheme and system to which same method is applied

Also Published As

Publication number Publication date
KR102445053B1 (en) 2022-09-21
KR20220022400A (en) 2022-02-25

Similar Documents

Publication Publication Date Title
WO2022039322A1 (en) System for searching for and automatically identifying implant
WO2019132168A1 (en) System for learning surgical image data
WO2016171341A1 (en) Cloud-based pathology analysis system and method
WO2018084516A1 (en) Electronic device, display apparatus, and control method thereof
WO2013125801A1 (en) Method of controlling image diagnosis apparatus and mobile terminal for the same, and method of operating image diagnosis apparatus and image diagnosis apparatus for the same
EP3063587A1 (en) Apparatus and method for head mounted display indicating process of 3d printing
WO2014038871A1 (en) Microscope and method for controlling same
WO2021045367A1 (en) Method and computer program for determining psychological state through drawing process of counseling recipient
WO2021006472A1 (en) Multiple bone density displaying method for establishing implant procedure plan, and image processing device therefor
WO2020032562A2 (en) Bioimage diagnosis system, bioimage diagnosis method, and terminal for executing same
WO2023153631A1 (en) System and method for recommending interior design in communication system
WO2023282454A1 (en) Implant class classification method for ai learning
KR20050116398A (en) Medical image recording system
WO2021085987A1 (en) Uterine cervical image acquisition apparatus
WO2020209496A1 (en) Dental object detection method, and image matching method and device using dental object
WO2015093754A1 (en) Method and device for sharing connection information in electronic device
WO2019164273A1 (en) Method and device for predicting surgery time on basis of surgery image
WO2021246643A1 (en) Method and apparatus for predicting missing tooth in oral image
WO2018169219A1 (en) Printing through automatic sorting
WO2021040200A1 (en) Data transmission system and data transmission method for transmitting/receiving medical information data
WO2022019514A1 (en) Apparatus, method, and computer-readable recording medium for decision-making in hospital
WO2021118184A1 (en) User terminal and control method therefor
CN1185304A (en) Method for making up pathology working station system
WO2019231119A1 (en) Apparatus and method for congestion visualization
WO2015129959A1 (en) Apparatus for assembling robot

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20950402

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20950402

Country of ref document: EP

Kind code of ref document: A1