WO2016200201A1 - Device and method for ear reconstruction and the need for reconstruction - Google Patents

Device and method for ear reconstruction and the need for reconstruction Download PDF

Info

Publication number
WO2016200201A1
WO2016200201A1 PCT/KR2016/006178 KR2016006178W WO2016200201A1 WO 2016200201 A1 WO2016200201 A1 WO 2016200201A1 KR 2016006178 W KR2016006178 W KR 2016006178W WO 2016200201 A1 WO2016200201 A1 WO 2016200201A1
Authority
WO
WIPO (PCT)
Prior art keywords
ear
information
image
modeling data
angle
Prior art date
Application number
PCT/KR2016/006178
Other languages
French (fr)
Korean (ko)
Inventor
최태현
김성완
김희찬
김석화
이치원
김명준
전병준
박우정
Original Assignee
서울대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울대학교산학협력단 filed Critical 서울대학교산학협력단
Publication of WO2016200201A1 publication Critical patent/WO2016200201A1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/50—Prostheses not implantable in the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/50—Prostheses not implantable in the body
    • A61F2/5044—Designing or manufacturing processes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/50—Prostheses not implantable in the body
    • A61F2/5044—Designing or manufacturing processes
    • A61F2/5046—Designing or manufacturing processes for designing or making customized prostheses, e.g. using templates, finite-element analysis or CAD-CAM techniques
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B29—WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
    • B29C—SHAPING OR JOINING OF PLASTICS; SHAPING OF MATERIAL IN A PLASTIC STATE, NOT OTHERWISE PROVIDED FOR; AFTER-TREATMENT OF THE SHAPED PRODUCTS, e.g. REPAIRING
    • B29C67/00—Shaping techniques not covered by groups B29C39/00 - B29C65/00, B29C70/00 or B29C73/00
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/50—Prostheses not implantable in the body
    • A61F2/5044—Designing or manufacturing processes
    • A61F2/5046—Designing or manufacturing processes for designing or making customized prostheses, e.g. using templates, finite-element analysis or CAD-CAM techniques
    • A61F2002/5047—Designing or manufacturing processes for designing or making customized prostheses, e.g. using templates, finite-element analysis or CAD-CAM techniques using mathematical models
    • A61F2002/5049—Computer aided shaping, e.g. rapid prototyping

Definitions

  • the present invention relates to an apparatus and method for precisely scanning each part of the ear to generate 3D modeling data and to generate artificial ears based thereon.
  • Microticism is an abnormality in which one or both ears are much smaller than normal and deformed. As a cause of microticism, the importance of environmental factors has already been identified, but genetic factors are also expected to be significant. One out of every 7,000 to 8,000 babies is born, about 95% of them appear in only one ear, and about 5% appear in both ears.
  • Ear scanning and ear reconstruction techniques are essential to the treatment of such microtia.
  • the structure of the fossa, the concha, and the external auditory meatus is hidden by the structure of the two-wheel, antihelix, and tragus. There is a problem that the structure is not scanned correctly.
  • the present invention is to solve the above-mentioned problems of the prior art, the present application is to solve the above-described problem, to provide an apparatus and method that can generate 3D modeling data for the ear by accurately photographing and scanning the internal structure of the ear
  • the present application is to solve the above-described problem, to provide an apparatus and method that can generate 3D modeling data for the ear by accurately photographing and scanning the internal structure of the ear
  • the present application accurately controls the position and Euler angle for scanning each part of the ear to obtain a 2D image through scanning and photographing each part of the ear, and the depth information calculated based on the shape information obtained through scanning It is an object of the present invention to provide an apparatus and method capable of increasing the accuracy of 3D modeling data required for artificial ear generation by converting a 2D image into a 3D image.
  • the present invention collects Cartesian coordinates and Euler angles in the corresponding parts during the imaging and scanning of each part of the ear, and based on this, by matching the 3D image to generate 3D modeling data corresponding to the ear model, the data for each part of the ear
  • An object of the present invention is to provide an apparatus and method for increasing accuracy in matching.
  • the present invention provides an apparatus and method for producing artificial ears suitable for a patient by 3D printing the 3D modeling data using a mixture of biocompatible materials and soluble crystals such as salts for porous structures. It aims to provide.
  • An object of the present disclosure is to provide an apparatus and method for producing an artificial ear of a desired shape by providing an editing interface capable of editing 3D modeling data for artificial ear generation.
  • the artificial ear generating device is an information acquisition unit for photographing and scanning each part of the ear, the location of the photographing and scanning connected to the information acquisition unit and A position adjuster for changing an angle and outputting information on the position and angle, information on the position and angle, shape information on each part of the ear generated through the scanning, and a 2D image generated through the photographing.
  • Image processing to generate a 3D image based on the provided control unit and the shape information, the position and angle information and the 2D image, and merging the 3D image based on the position and angle information. It may include wealth.
  • an artificial ear generating apparatus includes an information acquisition unit for photographing and scanning each part of the ear; A position adjusting unit connected to the information obtaining unit to change a photographing and scanning position and angle of each part of the ear, and outputting information on the position and angle of the information obtaining unit; The operation signal is applied to the position adjusting unit to adjust the photographing and scanning positions and angles of the information obtaining unit, the position and angle information of each part of the ear, and each part of the ear generated by scanning the information obtaining unit.
  • a controller configured to receive shape information about and a 2D image generated by photographing the information acquirer; And generating a 3D image based on the shape information on each part of the ear, information on the position and angle, and a 2D image corresponding to each part of the ear, and generating the 3D image based on the information on the position and angle.
  • the image processing unit may generate a 3D modeling data by merging the 3D images.
  • the position adjusting unit may include a linear stage providing the Cartesian coordinates and the Euler angle as information on the position and the angle, and an actuator to which the information acquisition unit is connected at the end thereof.
  • the position adjusting unit may be a six-axis robot arm to which the information acquisition unit is connected to the distal portion.
  • control unit may include a feature point extraction module for extracting feature points of a portion photographed from the 2D image acquired through the photographing of the information acquisition unit; And an operation signal generation module configured to generate an operation signal for adjusting the position and angle of the information acquisition unit by operating the position adjusting unit through comparison between the extracted feature point and feature point information for each part of the ear previously stored.
  • a marker is attached to each part of the ear, and the feature point extracting module may extract the feature point by extracting the marker from the photographed 2D image.
  • each part of the ear may be at least one of, for example, fossa, concha, external auditory meatus, helix, antihelix and tragus. have.
  • the image processing unit may include a depth information calculation module that calculates depth information of the 2D image based on the shape information of the 2D image.
  • a conversion module for converting the 2D image into a 3D image based on depth information of the 2D image; And a matching module for generating 3D modeling data by matching the 3D image based on the position and angle information.
  • the image processing unit may further include a transformation module for converting the 3D modeling data for the healthy ear into 3D modeling data corresponding to the affected ear by applying a mirroring transformation technique when the 3D modeling data is for the healthy ear. Can be.
  • the image processing unit may provide an editing interface for editing the 3D modeling data, and may further include an editing module for converting the 3D modeling data based on information input through the editing interface. have.
  • the artificial ear generating device may further include an output unit configured to output an ear corresponding to the 3D modeling data through 3D printing using a predetermined biocompatible material.
  • the output unit may output an artificial ear corresponding to the 3D modeling data through 3D printing using a non-biocompatible material.
  • the output unit may produce a mold for the output artificial ear, and output the artificial ear based on the produced mold.
  • the mold may be manufactured based on the 3D modeling data.
  • the output unit may output an artificial ear through a plastic molding method for a predetermined biocompatible material.
  • the biocompatible material is polycaprolactone (PCL), polyglycolic acid (PGA), polylactic acid (PLA), poly (D, L-lactic- co -glycolic-acid) (PLGA), poly (alkyl cyanoacrylate (PAC), hyaluronic acid (HA), hydrogel, titanium, tricalcium, phosphate, hydroxylapatite, silicone, acrylates, collagen, gelatin, chitosan, high density polyethylene (HDPE), low density polyethylene (LDPE), polyethylene (PE), Linear low-density polyethylene (LLDPE), Medium-density polyethylene (MDPE), Ultra-high-molecular-weight polyethylene (UHMWPE), polymethyl methacrylate (PMMA), polytetrafluoroethylene (PTFE), polydimethylsiloxane (PDMS) and It may be a mixture of at least one or more of fibrinogen.
  • PCL polycaprolactone
  • PGA polyglycolic acid
  • PLA polylactic acid
  • the artificial ear generating method is an information acquisition unit and the information acquisition unit for providing 2D image and shape information through the imaging and scanning of each part of the ear
  • the artificial ear generating method comprising: Controlling the position adjusting unit for photographing and scanning; collecting 2D image of each part of the ear; collecting information of the position and angle; and shape information obtained through scanning; and obtaining the 2D image, of the position and angle Generate a 3D image of each part of the ear based on the information and shape information, and the position and angle Based on information in the matching of the 3D image may include the step of generating a 3D modeling data.
  • the artificial ear generating method is an information acquisition unit and the information acquisition unit for providing 2D image and shape information through the imaging and scanning of each part of the ear
  • the position and angle information may be generated through a coordinate system generated based on the Cartesian coordinates and Euler angles or the Cartesian coordinates and Euler angles.
  • the controlling may include extracting feature points of a portion photographed from the 2D image acquired through photographing of the information obtaining unit; And controlling the position and angle of the information obtaining unit by operating the position adjusting unit by comparing the extracted feature point with feature point information for each part of the ear.
  • a marker is attached to each part of the ear, and the extracting of the feature point may extract the feature point by extracting the marker from the photographed 2D image.
  • the generating of the 3D modeling data may include calculating depth information of the 2D image based on shape information of the 2D image; Converting the 2D image into a 3D image based on depth information of the 2D image; And generating 3D modeling data by matching the 3D image based on the position and angle information.
  • the artificial ear generation method further includes converting 3D modeling data for the healthy ear to 3D modeling data corresponding to the affected ear by applying a mirroring transformation technique when the 3D modeling data is for the healthy ear. can do.
  • the artificial ear generating method may include providing an editing interface capable of editing the 3D modeling data; And converting the 3D modeling data based on the information input through the editing interface.
  • the artificial ear generating method may include outputting an ear corresponding to the 3D modeling data through 3D printing using a predetermined biocompatible material.
  • the artificial ear generating method may include outputting an artificial ear corresponding to the 3D modeling data through 3D printing using a non-biocompatible material.
  • the outputting step may produce a mold for the output artificial ear, and output the artificial ear based on the manufactured mold.
  • the outputting step may output the artificial ear through a plastic molding method for a predetermined biocompatible material.
  • any one of the problem solving means of the present invention described above by precisely controlling the position and Euler angle for scanning each part of the ear to obtain a 2D image through scanning and photographing each part of the ear, By converting the 2D image into the 3D image using the depth information calculated based on the shape information, the accuracy of the 3D modeling data required for artificial ear generation may be increased.
  • the present invention collects Cartesian coordinates and Euler angles in the corresponding parts during the imaging and scanning of each part of the ear, and based on this, by matching the 3D image to generate 3D modeling data corresponding to the ear model, to each part of the ear Accuracy in data matching
  • the present application can produce artificial ears suitable for a child by 3D printing 3D modeling data using a biocompatible material.
  • the present application provides an editing interface that can edit the 3D modeling data for artificial ear generation, it is possible to produce the artificial ear of the desired shape of the user.
  • FIG. 1 is a view showing an artificial ear generating device according to an embodiment of the present application.
  • FIG. 2 is a block diagram showing the detailed configuration of the artificial ear generating device according to an embodiment of the present application.
  • Figure 3 is an exemplary view attached a marker applied to the artificial ear generating device according to an embodiment of the present application.
  • FIGS. 4A and 4B are diagrams for describing a mirroring transformation technique applied to an artificial ear generating apparatus according to an embodiment of the present application.
  • FIG. 5 is a flowchart schematically illustrating an artificial ear generation process according to an exemplary embodiment of the present application.
  • FIG. 6 is a flowchart illustrating an artificial ear generation process in detail according to an exemplary embodiment of the present application.
  • FIG. 7 is a flowchart illustrating an artificial ear generation process according to another exemplary embodiment of the present application.
  • FIG. 8 is a flowchart illustrating an artificial ear generation process according to another exemplary embodiment of the present application.
  • FIG. 9 is a flowchart illustrating an artificial ear generation process according to another exemplary embodiment of the present application.
  • FIG. 1 is a view showing an artificial ear generating device according to an embodiment of the present application
  • Figure 2 is a block diagram showing a detailed configuration of the artificial ear generating device according to an embodiment of the present application.
  • the artificial ear generating apparatus may include an information obtaining unit 100, a position adjusting unit 110, a control unit 120, an image processing unit 130, and an output unit 140.
  • the information acquisition unit 100 may include an image capturing means, for example, a camera 102 and a 3D scanner 104, to photograph or scan an ear and output the same through the control unit 120.
  • the information acquisition unit 100 according to an embodiment of the present application is physically connected to the position adjusting unit 110, is moved in the X, Y and Z axis direction by the position adjusting unit 110 corresponds to the object
  • the ear may be scanned to provide shape information and an image of the ear to the controller 120.
  • the camera 102 of the information acquisition unit 100 may photograph a portion of the ear to be scanned and provide the captured image to the controller 120.
  • the 3D scanner 104 may obtain the shape information of the object by projecting the laser, infrared, and white light onto the ear, and may provide the same to the controller 120.
  • the ear may be an ear seen from a living ear.
  • the ear may be a gypsum bone modeled after the real ear in addition to the real ear, and the information acquisition unit 100 may photograph and scan each part of the ear.
  • the gypsum bone is covered with cotton wool, the rectangular acrylic frame is fixed to the ear, poured alginate and waited until it hardens, and then the alginate having the engraved shape of the ear is separated to the engraved alginate. It can be made by injecting plaster.
  • the method of shaping a living ear is not limited to the gypsum bone as shown in the example, and the ear can be made in various ways.
  • a bone for a living ear can be made directly by an expert, but can also be made using a mechanical device.
  • the position adjusting unit 110 may move the physically connected information obtaining unit 100 in the X, Y, and Z axis directions or change the Euler angles (yaw, pitch, roll) under the control of the controller 120. have.
  • the position controller 110 may provide the controller 120 with position information of the information acquirer 100, that is, information about a position and an angle at which the information acquirer 100 captures and scans.
  • the position controller 110 may provide the controller 120 with Cartesian coordinates and an Euler angle with respect to the ear region to be photographed and scanned by the information acquirer 100.
  • Position adjuster 110 has a structure in which the actuator 114, for example, hip joint actuator, ball joint actuator, etc. are connected to the XYZ linear stage (112), the actuator 114
  • the information acquisition unit 100 may be physically connected to the information acquisition unit 100 to move the information acquisition unit 100 to various angles and positions, thereby photographing and scanning the target ear.
  • the position adjusting unit 110 changes the position of the information obtaining unit 100 by moving the XYZ linear stage 112 under the control of the control unit 120, and various angles through the driving of the actuator 114.
  • the photographing and scanning angles of the information obtaining unit 100 may be changed so that the photographing and scanning may be performed.
  • the position adjusting unit 110 obtains Cartesian coordinates of the area photographed and scanned by using the XYZ linear stage 112, and obtains information about Euler angles through the actuator 114, such as Cartesian coordinate system information and Euler.
  • the angle may be provided to the controller 120.
  • Euler angle means roll, pitch, yaw, etc.
  • Cartesian coordinates are relative X, Y, Z coordinates at the origin, that is, the camera 102 And position information of the 3D scanner 104.
  • the pitch is the angle of rotation around the axis in the horizontal plane perpendicular to the direction of movement of the XYZ linear stage 112
  • the roll is the angle of rotation of the axis in the horizontal plane parallel to the direction of movement
  • the yaw is relative to the direction of movement. It can mean the angle of rotation around the axis in the vertical vertical plane.
  • a new coordinate system may be defined using Cartesian coordinates and Euler angles.
  • the position adjusting unit 110 is implemented using a combination of the XYZ linear stage 112 and the actuator 114, but may be implemented using a 6-axis robot arm. That is, by attaching the information acquisition unit 100 to the end-effector of the six-axis robot arm to obtain Cartesian coordinates and Euler angles, the camera 102 and the 3D scanner 104 of the information acquisition unit 100 It is also possible to change the shooting and scanning position and angle.
  • the controller 120 captures an image captured by the 3D scanner 104 based on Cartesian coordinates and Euler angles provided from the position controller 110 and shape information obtained through the scanning of the 3D scanner 104 (hereinafter, ' Depth information of a " 2D image " As described above, a new type of coordinate system defined by Cartesian coordinates and Euler angles or a new type of coordinate system defined by other parameters may be used instead of Cartesian coordinates and Euler angles, respectively.
  • control unit 120 may define a new coordinate system using the Cartesian coordinates and Euler angles provided from the position adjusting unit 110, and photograph the new coordinate system, the Cartesian coordinates, the O'Hiller angle, and the 3D scanner 104. Depth information of the received image may be obtained.
  • the controller 120 may provide an operation signal for adjusting the position controller 110 by comparing the 2D image provided from the camera 102 with the feature point information for each ear region stored in the storage medium 122. Based on the operation signal, the XYZ linear stage 112 and the actuator 114 may be operated to adjust the photographing and scanning positions and angles of the information acquisition unit 100.
  • controller 120 may store the 2D image, the shape information, the Cartesian coordinates, and the Euler angle in the storage medium 122.
  • the controller 120 may include a storage medium 122, a feature point extraction module 124, an operation signal generation module 126, a control module 128, and the like.
  • the storage medium 122 is internal to each part of the ear, such as fossa, concha, external auditory meatus, helix, antihelix, tragus, etc.
  • the comparison image and the feature point information about the structure are stored.
  • the comparison image and the feature point information may be used for comparison with an image provided from the camera 102 of the information acquisition unit 100.
  • the feature point extraction module 124 may extract a feature point of a portion photographed from the 2D image received from the camera 102 of the information acquisition unit 100, and provide the extracted feature point to the operation signal generation module 126.
  • each major part of the ear farnesoida
  • concha concha
  • external auditory meatus helix
  • bihelix helix
  • antihelix tragus
  • tragus tragus
  • the feature point extraction module 124 may extract feature points for each part of the ear through marker extraction from the 2D image.
  • the marker may be attached to each part of the ear in the form of a predetermined recognition character, for example, a number, or may have a circular shape recognizable when taking an image by the camera 102, but is not limited thereto.
  • the operation signal generation module 126 generates an operation signal for adjusting the position and angle of the information acquisition unit 100 by comparing the extracted feature point and the feature point information for each part of the ear stored in the storage medium 122 to control the module 128. ) Can be provided.
  • the control module 128 may output a control signal corresponding to the operation signal to the position controller 110 to control the XYZ lineage stage 112 and the actuator 114 of the position controller 110. Accordingly, the position adjusting unit 110 may drive the XYZ lineage stage 112 and the actuator 114 to adjust the photographing and scanning positions and angles of the information obtaining unit 100.
  • control module 128 may match the Cartesian coordinates inputted from the position controller 110 with the Euler angles, the 2D image inputted from the information acquirer 100, and the shape information, and store them in the storage medium 122.
  • the image processing unit 130 calculates depth information of the 2D image based on data stored in the storage medium 122, that is, Cartesian coordinates, Euler angles and shape information, and based on the calculated depth information, the 2D image. Can be converted into a 3D image.
  • the image processing unit 130 may generate 3D modeling data for the ear by matching each of the converted 3D images based on Cartesian coordinates and Euler angles.
  • the image processing unit 130 may display 3D modeling data and an editing interface capable of editing the same on a display unit (not shown) to convert the 3D modeling data according to a user's editing interface manipulation.
  • the image processing unit 130 as described above may include the depth information calculation module 132, the conversion module 134, the matching module 135, the transformation module 136, and the editing module 138. ) May be included.
  • the depth information calculation module 132 may calculate depth information for each 2D image by using Cartesian coordinates, Euler angles, and shape information matched with the 2D image, and provide the calculated depth information to the conversion module 134. have.
  • the conversion module 134 may convert each 2D image into a 3D image based on the depth information.
  • the registration module 135 may generate 3D modeling data corresponding to the ear photographed and scanned by the information acquisition unit 100 by matching the 3D image with the 3D image based on the Cartesian coordinates and the Euler angle.
  • the transformation module 136 may generate 3D modeling data for the annular ear by mirroring the 3D modeling data for the healthy ear.
  • the deformation module 136 may generate 3D modeling data of the affected ear by applying a mirroring transformation technique based on a preset reference point, for example, a face center portion of the ear scanning target.
  • the transformation module 136 may use the mirroring transformation technique to generate 3D modeling data for the architectural ear for the affected ear as shown in FIG. 4B. Transform into 3D modeling data.
  • the healthy ear may be the left ear
  • the affected ear may be the right ear
  • the healthy ear may be the right ear
  • the affected ear may be the left ear.
  • the editing module 138 provides 3D modeling data, such as 3D modeling data modified by the deformation module 136 or 3D modeling data generated through registration of the matching module 135, and an editing interface for editing the 3D modeling data.
  • the 3D modeling data can be converted and provided based on the information input through the editing interface.
  • the editing interface is used to describe the internal structures of each area of the ear, such as fossa, concha, external auditory meatus, helix, antihelix, tragus, and the like. It can mean an interface that can be changed.
  • the output unit 140 may receive the 3D modeling data and output an ear corresponding to the 3D modeling data through 3D printing.
  • the output unit 140 may output the liquid and powder biocompatible materials by shaping the ears in a laminate manufacturing method, a photocurable resin molding method, a laser sintering method, a powder spray method, or the like based on 3D modeling data.
  • various methods may be adopted without being limited thereto.
  • biocompatible materials used in the output unit 140 include polycaprolactone (PCL), polyglycolic acid (PGA), polylactic acid (PLA), poly (D, L-lactic- co -glycolic-acid) (PLGA), poly (alkyl cyanoacrylate) (PAC), hyaluronic acid (HA), hydrogel, titanium, tricalcium, phosphate, hydroxylapatite, silicone, acrylates, collagen, gelatin, chitosan, high density polyethylene (HDPE), low density polyethylene ( LDPE), polyethylene (PE), Linear low-density polyethylene (LLDPE), Medium-density polyethylene (MDPE), Ultra-high-molecular-weight polyethylene (UHMWPE), polymethyl methacrylate (PMMA), polytetrafluoroethylene (PTFE), polydimethylsiloxane ( It may be, but is not limited to, a mixture of at least one of substances for generating a cellular support such as PDMS) and fibrinogen.
  • the output unit 140 has been described as an example included in the artificial ear generating device, but the output unit 140 is connected to the artificial ear generating device through a network to provide 3D modeling data. It can also be sent over the network and output.
  • the ear corresponding to the 3D modeling data output through the 3D printing may be used as a sample when carving the ear with the rib cartilage of the patient.
  • the sample ear may be output by 3D printing using a general molding material rather than a biocompatible material.
  • the ear output through 3D printing using a biocompatible material can serve as a scaffold of the affected ear, the ear can be reconstructed without using the patient's rib cartilage.
  • the output unit 140 may output an artificial ear to be like an actual ear using a set non-biocompatible material, and may manufacture a mold using the same.
  • the produced mold may be based on 3D modeling data.
  • the non-biocompatible material may be a mixture of at least one or more of non-biocompatible sand, plastic, gypsum, lead, alloys, and metals.
  • the output unit 140 may output an artificial ear to be like an actual ear using a biocompatible material, and may manufacture a mold using the same.
  • the manufacturing method of the mold may be one of a bottom molding method, a hybrid molding method, an assembly molding method, a rotation molding method, an even mold molding method, and a three-dimensional printing method.
  • a bottom molding method For example, an artificial ear that is output between two frames filled with sand may be fixed to overlap the two frames, and then a mold for the ear model may be manufactured.
  • a three-dimensional printing technique may be used to create a mold for the artificial ear. You can also print directly. In the case of artificial ears, a porous structure of hundreds of micrometers must be made, which can be realized using a high resolution 3D printer.
  • the material of the mold is not limited to a specific material.
  • place the ear output by 3D printing in a suitable container pour a mixture of Polydimethylsiloxane (PDMS) base and curing agent in a certain ratio, remove the air bubbles in the desiccator, and then at a certain time at 70 ° C Incubate for a while to harden PDMS.
  • PDMS can be manufactured by cutting or puncturing the PDMS to remove the ear output by 3D printing, and oxygen plasma treatment on the cut surface of the cut PDMS having an intaglio shape.
  • the mold may be made of a rigid material, but according to various embodiments of the present invention, it may be a flexible mold.
  • an artificial ear output as a filament made of a material such as PVA, which is soluble in water may be melted in water without making a mold, thereby making an intaglio.
  • a material that is soluble in a specific solvent such as PLA may be used, and various methods may be used to remove artificial ears output from a mold other than a flame retardant material.
  • the output unit 140 may manufacture an artificial ear corresponding to 3D modeling data through a plastic molding method for a predetermined biocompatible material.
  • the output unit 140 is a material that is soluble only in water or a specific solvent, such as salt crystals in the case of manufacturing artificial ears by dissolving a biocompatible material in a pre-made mold, such as salt crystals (in this case, a material having a very high melting point) Grind several hundred micrometers together, mix them together, inject them into a pre-made mold, and then melt the material in a specific solvent to make artificial ears with a porous structure. .
  • a porous structure can be manufactured by generating a lot of bubbles and then hardening them immediately before injecting the biocompatible material into the mold.
  • a porous structure may be essential.
  • the method may be used as a pre-output material made by adding soluble crystals together with the biocompatible material, or by adding soluble crystals to the molten biocompatible material before being put into the mold.
  • a method of generating bubbles in the molten state of the biocompatible material and rapidly solidifying the same may be used.
  • the plastic molding method may be at least one of compression molding, transfer molding, injection molding, extrusion molding, laminated molding, blow molding, vacuum molding and rotational molding, but various molding methods are not limited thereto.
  • various molding methods are not limited thereto.
  • FIG. 5 is a flowchart schematically illustrating an artificial ear generation process according to an exemplary embodiment of the present application.
  • the process may include a control step S210, a data collection step S220, a 3D modeling data generation step S230, and an output step S240.
  • the control step (S210) is for controlling the position and angle of the camera 102 and the 3D scanner 104 of the information acquisition unit 100 to photograph and scan.
  • the control step S210 includes fossa and concha, which are parts of the ear. Position of the camera 102 and the 3D scanner 104 such that the internal structure of the external auditory meatus, the helix, the antihelix, the tragus, etc. can be read. And control the angle. Specifically, the control step (S210) determines whether the part to be photographed and scanned of the ear is well displayed on the basis of the 2D image captured by the camera 102, based on the control of the position adjusting unit 110 The position and angle of the 102 and the 3D scanner 104 are changed.
  • the data collection step (S220) receives the Cartesian coordinates and Euler angles corresponding to the corresponding position and angle from the position adjusting unit 110 when the internal structure of the portion to be photographed and scanned is readable.
  • the 2D image and the shape information output from the camera 102 and the 3D scanner 104 of the information acquisition unit 100 are collected and stored.
  • 3D modeling data generation step (S230) calculates depth information based on the data collected in the data collection step (S220), 2D image, shape information, Cartesian coordinates, and Euler angle, and generates the 2D image using the calculated depth information. Convert it to a 3D image and match it to generate 3D modeling data.
  • the 3D modeling data may be deformed (mirror deformation) or edited according to a user's request.
  • the output step S240 may output an artificial ear through 3D printing using a biocompatible material based on the 3D modeling data generated in the 3D modeling data generation step S230, or generate an artificial ear by carving cartilage of a patient's ribs. have.
  • FIG. 6 is a flowchart illustrating an artificial ear generation process in detail according to an exemplary embodiment of the present application.
  • the ear means a healthy ear
  • a process of generating an ear model to be attached to the affected ear by generating 3D modeling data for the healthy ear will be described as an example.
  • control unit 120 receives a 2D image from the camera 102 of the information acquisition unit 100 and receives information on Cartesian coordinates and Euler angles from the position adjusting unit 110. It is provided (S302).
  • the controller 120 extracts the feature points from the 2D image (S304), and determines whether the information acquisition unit 100 is disposed at the correct position and angle by comparing the extracted feature points with the feature point information stored in the storage medium 122. (S306).
  • the controller 120 matches the 2D image and shape information input from the information acquisition unit 100 with the Cartesian coordinates and Euler angles input from the position adjusting unit 110 and the storage medium 122. Stored in step S308).
  • the control unit 120 when not disposed, the control unit 120 based on the Cartesian coordinates and Euler angles input from the position adjusting unit 110, the actuator XYZ lineage stage 112 and the actuator 114 of the position adjusting unit 110 By generating a control signal for operating the) to operate the position adjusting unit 110 to change the position and angle of the information acquisition unit 100 (S310). Then, the control unit 120 proceeds to S302 and performs the subsequent steps.
  • control unit 120 photographs the fossa, the concha, the external auditory meatus, the helix, the antihelix, the tragus, and the like at various angles and positions. And collect shape information, 2D images, Cartesian coordinates, Euler angles, and the like for each part by scanning and storing the shape information in the storage medium 122.
  • the image processing unit 130 calculates depth information for each 2D image based on the shape information, the Cartesian coordinates, and the Euler angle for each 2D image (S312).
  • the image processing unit 130 converts the 2D image into a 3D image based on each depth information (S314) and stores the 2D image in the storage medium 122.
  • the image processing unit 130 generates 3D modeling data for the healthy ear by matching the 3D image based on Cartesian coordinates and Euler angles for each 3D image (S316).
  • the image processing unit 130 generates 3D modeling data corresponding to the annular ear by applying a mirroring transformation technique to the 3D modeling data (S318).
  • the image processing unit 130 requests the output by providing the 3D modeling data generated in S318 to the output unit 140 or the internal output unit 140 connected through a network (not shown) (S320).
  • the output unit 140 outputs the ear model by 3D printing the 3D modeling data using the biocompatible material (S322).
  • FIG. 7 is a flowchart illustrating an artificial ear generation process according to another exemplary embodiment of the present application.
  • control unit 120 receives a 2D image from the camera 102 of the information acquisition unit 100 and provides information on Cartesian coordinates and Euler angles from the position adjusting unit 110. It is provided (S402).
  • the controller 120 determines whether the marker is extracted from the 2D image (S404). When the marker is extracted, the controller 120 determines the 2D image and the shape information input from the information acquisition unit 100. Matching Cartesian coordinates and Euler angles inputted from and position adjusting unit 110 and stored in the storage medium 122 (S406).
  • the control unit 120 is based on the Cartesian coordinates and Euler angle input from the position adjusting unit 110 and the actuator XYZ lineage stage 112 of the position adjusting unit 110 By generating a control signal for operating the 114 to operate the position adjusting unit 110 to change the position and angle of the information obtaining unit 100 (S408). Then, the controller 120 proceeds to S402 to perform the subsequent step.
  • the ear is scanned at various angles and positions and stored in the storage medium 122.
  • the control unit 120 photographs the fossa, the concha, the external auditory meatus, the helix, the antihelix, the tragus, and the like at various angles and positions. And collect shape information, 2D images, Cartesian coordinates, Euler angles, and the like for each part by scanning and storing the shape information in the storage medium 122.
  • steps S410 to S420 are the same as steps S312 to S322 described with reference to FIG. 6, a description thereof will be omitted.
  • step S801 ears cut out from the living body ear may be manufactured. At this time, the ear cut may be made of gypsum but is not limited thereto. 3D modeling data corresponding to the ear seen in step S802 may be generated. Step S802 is the same as the artificial ear generation process described with reference to FIGS. 6 to 7, and thus a detailed description thereof will be omitted.
  • step S803 a mold may be manufactured using the biocompatible material.
  • a mixture of polydimethylsiloxane (PDMS) base and curing agent is poured to a certain ratio to harden the PDMS, cut or puncture the PDMS to remove the ear output by 3D printing, and have a negative cut PDMS Oxygen plasma treatment on the cut surface of the PDMS template can be produced using a biocompatible material.
  • PDMS polydimethylsiloxane
  • the artificial ear corresponding to the 3D modeling data may be manufactured by plastic molding using the biocompatible material in the mold made in advance.
  • the artificial ear may be manufactured by grinding and dissolving a substance that is dissolved only in a specific solvent, such as salt crystals, by several hundred micrometers, and then putting it in a mold. have.
  • step S901 is a flowchart illustrating an artificial ear generation process according to another exemplary embodiment of the present application.
  • operation S901 the ear which is seen from the living ear may be manufactured. Since step S901 is the same as the operation of step S801, detailed description is omitted.
  • step S801 ears cut out from the living body ear may be manufactured.
  • the ear cut may be made of gypsum but is not limited thereto.
  • 3D modeling data corresponding to the ear seen in step S902 may be generated.
  • Step S902 is the same as the artificial ear generation process described with reference to FIGS. 6 to 7, and thus a detailed description thereof will be omitted.
  • a mold can be made using the non-biocompatible material.
  • a mold for an ear model can be made by overlapping two frames by fixing previously printed artificial ears between two sand-filled frames, and extracting the artificial ears, and using a three-dimensional printing technique. You can also output
  • the artificial ear corresponding to the 3D modeling data may be manufactured by plastic molding using the biocompatible material in the mold previously manufactured.
  • the artificial ear generating method as described above may also be implemented in the form of a recording medium including instructions executable by a computer, such as a program module executed by a computer.
  • Computer readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media.
  • Computer readable media may include both computer storage media and communication media.
  • Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data.
  • Communication media typically includes computer readable instructions, data structures, program modules, or other data in a modulated data signal such as a carrier wave, or other transmission mechanism, and includes any information delivery media.

Abstract

An artificial ear regeneration device comprises: an information acquisition unit for imaging and scanning various portions of an ear; a position adjusting unit which is linked to the information acquisition unit, changes the position and angle of the imaging and scanning, and outputs information about the position and angle; a control unit which receives position and angle information, shape information about the various portions of the ear generated by means of the scanning, and a 2D image generated by means of the imaging; an image-processing unit which generates a 3D image on the basis of the shape information, the position and angle information and the 2D image, and generates 3D modelling data by combining the 3D images on the basis of the position and angle data; and an output unit which uses 3D printing in order to output an artificial ear corresponding to the 3D modelling data.

Description

귀 재건 및 재건의 필요성을 위한 장치 및 방법Apparatus and method for ear reconstruction and the need for reconstruction
본원은 귀의 각 부분을 정확하게 스캐닝하여 3D 모델링 데이터를 생성하고, 이를 기반으로 인공 귀를 생성하는 장치 및 방법에 관한 것이다. The present invention relates to an apparatus and method for precisely scanning each part of the ear to generate 3D modeling data and to generate artificial ears based thereon.
소이증은 한쪽 또는 양쪽의 귀가 정상보다 훨씬 작고 모양이 변형되어 있는 기형을 말한다. 소이증의 원인으로써, 환경적인 요인의 중요성이 이미 밝혀진 바 있으나, 유전적 요인 또한 영향이 클 것으로 추정되고 있다. 신생아 7000~8000명 중 1명꼴로 나타나며, 약 95%는 한쪽 귀에서만 나타나고, 약 5% 정도는 양쪽 귀에서 나타나고 있다.Microticism is an abnormality in which one or both ears are much smaller than normal and deformed. As a cause of microticism, the importance of environmental factors has already been identified, but genetic factors are also expected to be significant. One out of every 7,000 to 8,000 babies is born, about 95% of them appear in only one ear, and about 5% appear in both ears.
상기와 같은 소이증을 치료하기 위해서는 귀 스캐닝 및 귀 재건 기술이 필수적이다.Ear scanning and ear reconstruction techniques are essential to the treatment of such microtia.
그러나, 다른 신체 부위와 달리 귀의 경우 포사(fossa), 이갑개(concha), 외이도(external auditory meatus)의 구조가 이륜(helix), 대이륜(antihelix), 이주(tragus) 등의 구조에 가려져서 내부 구조가 정확하게 스캐닝되지 않는 문제점이 있다.However, unlike other body parts, in the ear, the structure of the fossa, the concha, and the external auditory meatus is hidden by the structure of the two-wheel, antihelix, and tragus. There is a problem that the structure is not scanned correctly.
본원의 배경기 되는 기술은 한국공개특허공보 제2009-0049761호에 개시되어 있다.Background art of the present application is disclosed in Korea Patent Publication No. 2009-0049761.
본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 본원은 전술한 문제점을 해결하기 위한 것으로서, 귀의 내부 구조를 정확하게 촬영 및 스캐닝하여 귀에 대한 3D 모델링 데이터를 생성할 수 있는 장치 및 방법을 제공하는 것을 목적으로 한다.The present invention is to solve the above-mentioned problems of the prior art, the present application is to solve the above-described problem, to provide an apparatus and method that can generate 3D modeling data for the ear by accurately photographing and scanning the internal structure of the ear For the purpose of
또한, 본원은 귀의 각 부분을 스캐닝하기 위한 위치와 오일러 각도를 정확하게 제어하여 귀 각 부분에 대한 스캐닝과 촬영을 통해 2D 이미지를 획득하고, 스캐닝을 통해 획득한 형상 정보를 기반으로 산출된 뎁스 정보를 이용하여2D 이미지를 3D 이미지로 변환함으로써, 인공 귀 생성에 있어서 필요한 3D 모델링 데이터에 대한 정확도를 높일 수 있는 장치 및 방법을 제공하는 것을 목적으로 한다. In addition, the present application accurately controls the position and Euler angle for scanning each part of the ear to obtain a 2D image through scanning and photographing each part of the ear, and the depth information calculated based on the shape information obtained through scanning It is an object of the present invention to provide an apparatus and method capable of increasing the accuracy of 3D modeling data required for artificial ear generation by converting a 2D image into a 3D image.
본원은 귀의 각 부분에 대한 촬영 및 스캐닝 시 해당 부분에서의 데카르트 좌표 및 오일러 각도를 수집하고, 이를 기반으로 3D 이미지를 정합하여 귀 모형에 대응하는 3D 모델링 데이터를 생성함으로써, 귀의 각 부분에 대한 데이터 정합 시 정확도를 높일 수 있는 장치 및 방법을 제공하는 것을 목적으로 한다.The present invention collects Cartesian coordinates and Euler angles in the corresponding parts during the imaging and scanning of each part of the ear, and based on this, by matching the 3D image to generate 3D modeling data corresponding to the ear model, the data for each part of the ear An object of the present invention is to provide an apparatus and method for increasing accuracy in matching.
또한, 본원은 3D 모델링 데이터를 생체 적합성 물질 및 생체 적합성 물질과 다공성(Porous) 구조를 위한 소금과 같은 soluble 결정체의 혼합물을 이용하여 3D 프린팅함으로써, 환자에게 적합한 인공 귀를 제작할 수 있는 장치 및 방법을 제공하는 것을 목적으로 한다.In addition, the present invention provides an apparatus and method for producing artificial ears suitable for a patient by 3D printing the 3D modeling data using a mixture of biocompatible materials and soluble crystals such as salts for porous structures. It aims to provide.
본원은 인공 귀 생성을 위한 3D 모델링 데이터를 편집할 수 있는 편집 인터페이스를 제공함으로써, 사용자가 원하는 형태의 인공 귀를 제작할 수 있는 장치 및 방법을 제공하는 것을 목적으로 한다.An object of the present disclosure is to provide an apparatus and method for producing an artificial ear of a desired shape by providing an editing interface capable of editing 3D modeling data for artificial ear generation.
본원은 신체로부터 본 뜬 귀를 이용하여 환자에게 적합한 인공 귀를 제작할 수 있는 장치 및 방법을 제공하는 것을 목적으로 한다.It is an object of the present invention to provide an apparatus and method for manufacturing an artificial ear suitable for a patient using the ear cut out from the body.
본원은 비생체 적합성 또는 생체 적합성 물질을 이용해 제작된 주형을 제작하고, 생체 적합성 물질을 이용하여 성형함으로써 환자에게 적합한 인공 귀를 제작할 수 있는 장치 및 방법을 제공하는 것을 목적으로 한다. It is an object of the present invention to provide an apparatus and a method for manufacturing an artificial ear suitable for a patient by manufacturing a mold made using a non-biocompatible or biocompatible material and molding using the biocompatible material.
다만, 본원의 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들도 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.However, the technical problem to be achieved by the embodiments of the present application is not limited to the technical problems as described above, and other technical problems may exist.
상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본원의 실시예에 따른 인공 귀 생성 장치는 귀의 각 부분에 대한 촬영 및 스캐닝하는 정보 획득부, 상기 정보 획득부에 연결되어 상기 촬영 및 스캐닝의 위치와 각도를 변경시키고, 상기 위치와 각도에 대한 정보를 출력하는 위치 조절부, 상기 위치와 각도의 정보, 상기 스캐닝을 통해 생성된 상기 귀의 각 부분에 대한 형상 정보 및 상기 촬영을 통해 생성된 2D 이미지를 제공받는 제어부 및 상기 형상 정보, 상기 위치와 각도의 정보 및 상기 2D 이미지를 기반으로 3D 이미지를 생성하고, 상기 위치와 각도의 정보를 기반으로 상기 3D 이미지를 병합하여 3D 모델링 데이터를 생성하는 이미지 프로세싱부를 포함할 수 있다.As a technical means for achieving the above technical problem, the artificial ear generating device according to an embodiment of the present application is an information acquisition unit for photographing and scanning each part of the ear, the location of the photographing and scanning connected to the information acquisition unit and A position adjuster for changing an angle and outputting information on the position and angle, information on the position and angle, shape information on each part of the ear generated through the scanning, and a 2D image generated through the photographing. Image processing to generate a 3D image based on the provided control unit and the shape information, the position and angle information and the 2D image, and merging the 3D image based on the position and angle information. It may include wealth.
상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본원의 실시예에 따른 인공 귀 생성 장치는 귀의 각 부분에 대한 촬영 및 스캐닝하는 정보 획득부; 상기 정보 획득부에 연결되어 귀의 각 부분에 대한 촬영 및 스캐닝 위치와 각도를 변경시키며, 상기 정보 획득부의 위치와 각도에 대한 정보를 출력하는 위치 조절부; 상기 위치 조절부에 작동 신호를 인가하여 상기 정보 획득부의 촬영 및 스캐닝 위치 및 각도를 조절하며, 상기 귀의 각 부분에 대한 상기 위치와 각도의 정보, 상기 정보 획득부의 스캐닝을 통해 생성된 상기 귀의 각 부분에 대한 형상 정보 및 상기 정보 획득부의 촬영을 통해 생성된 2D 이미지를 제공받는 제어부; 및 상기 귀의 각 부분에 대한 상기 형상 정보, 상기 위치와 각도에 대한 정보 및 상기 귀의 각 부분에 해당하는 2D 이미지를 기반으로 3D 이미지를 생성하고, 상기 위치와 각도에 대한 정보를 기반으로 상기 생성한 3D 이미지를 병합하여 3D 모델링 데이터를 생성하는 이미지 프로세싱부를 포함할 수 있다.As a technical means for achieving the above technical problem, an artificial ear generating apparatus according to an embodiment of the present invention includes an information acquisition unit for photographing and scanning each part of the ear; A position adjusting unit connected to the information obtaining unit to change a photographing and scanning position and angle of each part of the ear, and outputting information on the position and angle of the information obtaining unit; The operation signal is applied to the position adjusting unit to adjust the photographing and scanning positions and angles of the information obtaining unit, the position and angle information of each part of the ear, and each part of the ear generated by scanning the information obtaining unit. A controller configured to receive shape information about and a 2D image generated by photographing the information acquirer; And generating a 3D image based on the shape information on each part of the ear, information on the position and angle, and a 2D image corresponding to each part of the ear, and generating the 3D image based on the information on the position and angle. The image processing unit may generate a 3D modeling data by merging the 3D images.
본 실시예에 따르면, 상기 위치 조절부는 상기 위치와 각도의 정보로 상기 데카르트 좌표 및 오일러 각도를 제공하는 리니어 스테이지와 끝단에 상기 정보 획득부가 연결되는 액추에이터로 이루어질 수 있다.According to the present exemplary embodiment, the position adjusting unit may include a linear stage providing the Cartesian coordinates and the Euler angle as information on the position and the angle, and an actuator to which the information acquisition unit is connected at the end thereof.
본 실시예에 따르면, 상기 위치 조절부는 말단 부분에 상기 정보 획득부가 연결되는 6축 로봇 팔 일 수 있다.According to the present embodiment, the position adjusting unit may be a six-axis robot arm to which the information acquisition unit is connected to the distal portion.
본 실시예에 따르면, 상기 제어부는 상기 정보 획득부의 촬영을 통해 획득한 2D 이미지에서 촬영한 부분의 특징점을 추출하는 특징점 추출 모듈; 및 상기 추출한 특징점과 기 저장된 귀의 각 부분별 특징점 정보간의 비교를 통해 상기 위치 조절부를 동작시켜 상기 정보 획득부의 위치 및 각도를 조절하기 위한 작동 신호를 발생시키는 작동 신호 발생 모듈을 포함할 수 있다.According to the present embodiment, the control unit may include a feature point extraction module for extracting feature points of a portion photographed from the 2D image acquired through the photographing of the information acquisition unit; And an operation signal generation module configured to generate an operation signal for adjusting the position and angle of the information acquisition unit by operating the position adjusting unit through comparison between the extracted feature point and feature point information for each part of the ear previously stored.
본 실시예에 따르면, 상기 귀의 각 부분에는 마커가 부착되며, 상기 특징점 추출 모듈은 상기 촬영된 2D 이미지에서의 마커 추출을 통해 상기 특징점을 추출할 수 있다.According to this embodiment, a marker is attached to each part of the ear, and the feature point extracting module may extract the feature point by extracting the marker from the photographed 2D image.
본 실시예에 따르면, 상기 귀의 각 부분은 예컨대 포사(fossa), 이갑개(concha), 외이도(external auditory meatus), 이륜(helix), 대이륜(antihelix) 및 이주(tragus) 중 적어도 하나 이상일 수 있다.According to this embodiment, each part of the ear may be at least one of, for example, fossa, concha, external auditory meatus, helix, antihelix and tragus. have.
본 실시예에 따르면, 상기 이미지 프로세싱부는 상기 2D 이미지에 대한 형상 정보를 기반으로 상기 2D 이미지의 뎁스 정보를 산출하는 뎁스 정보 산출 모듈을 포함할 수 있다.According to the present embodiment, the image processing unit may include a depth information calculation module that calculates depth information of the 2D image based on the shape information of the 2D image.
상기 2D 이미지에 대한 뎁스 정보를 기반으로 상기 2D 이미지를 3D 이미지로 변환하는 변환 모듈; 및 상기 위치 및 각도에 대한 정보를 기반으로 상기 3D 이미지를 정합하여 3D 모델링 데이터를 생성하는 정합 모듈을 포함할 수 있다.A conversion module for converting the 2D image into a 3D image based on depth information of the 2D image; And a matching module for generating 3D modeling data by matching the 3D image based on the position and angle information.
본 실시예에 따르면, 상기 이미지 프로세싱부는 상기 3D 모델링 데이터가 건측 귀에 대한 것일 경우 미러링 변환 기법을 적용하여 상기 건측 귀에 대한 3D 모델링 데이터를 환측 귀에 대응하는 3D 모델링 데이터로 변환시키는 변환 모듈을 더 포함할 수 있다.According to the present embodiment, the image processing unit may further include a transformation module for converting the 3D modeling data for the healthy ear into 3D modeling data corresponding to the affected ear by applying a mirroring transformation technique when the 3D modeling data is for the healthy ear. Can be.
본 실시예에 따르면, 상기 이미지 프로세싱부는 상기 3D 모델링 데이터를 편집할 수 있는 편집 인터페이스를 제공하며, 상기 편집 인터페이스를 통해 입력된 정보를 기반으로 상기 3D 모델링 데이터를 변환시키는 편집 모듈을 더 포함 할 수 있다.According to the present embodiment, the image processing unit may provide an editing interface for editing the 3D modeling data, and may further include an editing module for converting the 3D modeling data based on information input through the editing interface. have.
본 실시예에 따르면, 상기 인공 귀 생성 장치는 기 설정된 생체 적합성 물질을 이용하여 3D 프린팅을 통해 상기 3D 모델링 데이터에 대응하는 귀를 출력하는 출력부를 더 포함할 수 있다.According to the present embodiment, the artificial ear generating device may further include an output unit configured to output an ear corresponding to the 3D modeling data through 3D printing using a predetermined biocompatible material.
본 실시예에 따르면, 상기 출력부는 기 설정된 비생체 적합성 물질을 이용하여 3D 프린팅일 통해 상기 3D 모델링 데이터에 대응하는 인공 귀를 출력할 수 있다.According to the present embodiment, the output unit may output an artificial ear corresponding to the 3D modeling data through 3D printing using a non-biocompatible material.
본 실시예에 따르면, 상기 출력부는 상기 출력된 인공 귀에 대한 주형을 제작하고, 상기 제작된 주형에 기초하여 상기 인공 귀를 출력할 수 있다.According to the present embodiment, the output unit may produce a mold for the output artificial ear, and output the artificial ear based on the produced mold.
본 실시예에 따르면, 상기 주형은 상기 3D 모델링 데이터에 기초하여 제작되는 것일 수 있다. According to the present embodiment, the mold may be manufactured based on the 3D modeling data.
본 실시예에 따르면, 상기 출력부는 기 설정된 생체 적합성 물질에 대한 플라스틱 성형 방법을 통해 인공 귀를 출력할 수 있다. According to the present embodiment, the output unit may output an artificial ear through a plastic molding method for a predetermined biocompatible material.
본 실시예에 따르면, 상기 생체 적합성 물질은 polycaprolactone(PCL), polyglycolic acid(PGA), polylactic acid(PLA), poly(D,L-lactic-co-glycolic-acid)(PLGA), poly(alkyl cyanoacrylate)(PAC), hyaluronic acid(HA), hydrogel, 타이타니움, tricalcium, phosphate, hydroxylapatite, 실리콘, acrylates, 콜라겐, 젤라틴, 키토산(chitosan), high density polyethylene(HDPE), low density polyethylene(LDPE), polyethylene(PE), Linear low-density polyethylene (LLDPE), Medium-density polyethylene (MDPE), Ultra-high-molecular-weight polyethylene (UHMWPE), polymethyl methacrylate(PMMA), polytetrafluoroethylene(PTFE), polydimethylsiloxane(PDMS) 및 피브리노겐(fibrinogen) 중 적어도 하나 이상의 혼합물일 수 있다.According to this embodiment, the biocompatible material is polycaprolactone (PCL), polyglycolic acid (PGA), polylactic acid (PLA), poly (D, L-lactic- co -glycolic-acid) (PLGA), poly (alkyl cyanoacrylate (PAC), hyaluronic acid (HA), hydrogel, titanium, tricalcium, phosphate, hydroxylapatite, silicone, acrylates, collagen, gelatin, chitosan, high density polyethylene (HDPE), low density polyethylene (LDPE), polyethylene (PE), Linear low-density polyethylene (LLDPE), Medium-density polyethylene (MDPE), Ultra-high-molecular-weight polyethylene (UHMWPE), polymethyl methacrylate (PMMA), polytetrafluoroethylene (PTFE), polydimethylsiloxane (PDMS) and It may be a mixture of at least one or more of fibrinogen.
상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본원의 실시예에 따른 인공 귀 생성 방법은 귀의 각 부분에 대한 촬영 및 스캐닝을 통해 2D 이미지 및 형상 정보를 제공하는 정보 획득부 및 상기 정보 획득부에 연결되어 귀의 각 부분에 대한 촬영 및 스캐닝 위치와 각도를 변경시키며, 상기 위치와 각도에 대한 정보를 출력하는 위치 조절부를 포함하는 인공 귀 생성 장치를 이용한 인공 귀 생성 방법으로서, 상기 귀의 각 부분에 대한 촬영 및 스캐닝을 위해 상기 위치 조절부를 제어하는 단계, 상기 귀의 각 부분에 대한 2D 이미지, 상기 위치와 각도의 정보 및 스캐닝을 통해 획득한 형상 정보를 수집하는 단계 및 상기 2D 이미지, 상기 위치와 각도의 정보 및 형상 정보를 기반으로 상기 귀의 각 부분에 대한3D 이미지를 생성하고, 상기 위치와 각도의 정보를 기반으로 상기 3D 이미지의 정합하여 3D 모델링 데이터를 생성하는 단계를 포함할 수 있다.As a technical means for achieving the above technical problem, the artificial ear generating method according to an embodiment of the present application is an information acquisition unit and the information acquisition unit for providing 2D image and shape information through the imaging and scanning of each part of the ear An artificial ear generating method using an artificial ear generating device connected to change the photographing and scanning position and angle of each part of the ear, and outputting information on the position and angle, the artificial ear generating method comprising: Controlling the position adjusting unit for photographing and scanning; collecting 2D image of each part of the ear; collecting information of the position and angle; and shape information obtained through scanning; and obtaining the 2D image, of the position and angle Generate a 3D image of each part of the ear based on the information and shape information, and the position and angle Based on information in the matching of the 3D image may include the step of generating a 3D modeling data.
상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본원의 실시예에 따른 인공 귀 생성 방법은 귀의 각 부분에 대한 촬영 및 스캐닝을 통해 2D 이미지 및 형상 정보를 제공하는 정보 획득부 및 상기 정보 획득부에 연결되어 귀의 각 부분에 대한 촬영 및 스캐닝 위치와 각도를 변경시키며, 상기 정보 획득부의 위치와 각도에 대한 정보를 출력하는 위치 조절부를 포함하는 인공 귀 생성 장치를 이용한 인공 귀 생성 방법으로서, 상기 귀의 각 부분에 대한 내부 구조가 판독 가능하도록 상기 위치 조절부를 제어하는 단계; 상기 위치 조절부의 제어를 통해 상기 귀의 각 부분에 대한 2D 이미지, 촬영 및 스캐닝 시 상기 위치 조절부로부터 수신되는 위치와 각도의 정보 및 스캐닝을 통해 획득한 형상 정보를 수집하는 단계; 및 상기 수집된 귀의 각 부분에 대한 2D 이미지, 위치와 각도의 정보 및 형상 정보를 기반으로 상기 귀의 각 부분에 대한3D 이미지를 생성한 후 상기 위치와 각도의 정보를 기반으로 상기 3D 이미지의 정합하여 3D 모델링 데이터를 생성하는 단계를 포함할 수 있다.As a technical means for achieving the above technical problem, the artificial ear generating method according to an embodiment of the present application is an information acquisition unit and the information acquisition unit for providing 2D image and shape information through the imaging and scanning of each part of the ear An artificial ear generating method using an artificial ear generating device connected to change the photographing and scanning position and angle of each part of the ear, and outputting information on the position and angle of the information obtaining unit. Controlling the position adjustment portion so that the internal structure for the portion is readable; Collecting the 2D image of each part of the ear through the control of the position adjusting unit, the position and angle information received from the position adjusting unit during the photographing and the scanning, and the shape information obtained through the scanning; And generating a 3D image of each part of the ear based on the 2D image, position and angle information and shape information of each part of the collected ear, and matching the 3D image based on the position and angle information. Generating 3D modeling data.
본 실시예에 따르면, 상기 위치와 각도의 정보는 상기 데카르트 좌표와 오일러 각도 또는 상기 데카르트 좌표 및 오일러 각도를 기반으로 생성된 좌표계를 통해 생성될 수 있다.According to the present embodiment, the position and angle information may be generated through a coordinate system generated based on the Cartesian coordinates and Euler angles or the Cartesian coordinates and Euler angles.
본 실시예에 따르면, 상기 제어하는 단계는 상기 정보 획득부의 촬영을 통해 획득한 2D 이미지에서 촬영한 부분의 특징점을 추출하는 단계; 및 상기 추출한 특징점과 기 저장된 귀의 각 부분별 특징점 정보간의 비교를 통해 상기 위치 조절부를 동작시켜 상기 정보 획득부의 위치 및 각도를 제어하는 단계를 포함할 수 있다.According to the present exemplary embodiment, the controlling may include extracting feature points of a portion photographed from the 2D image acquired through photographing of the information obtaining unit; And controlling the position and angle of the information obtaining unit by operating the position adjusting unit by comparing the extracted feature point with feature point information for each part of the ear.
본 실시예에 따르면, 상기 귀의 각 부분에는 마커가 부착되며, 상기 특징점을 추출하는 단계는 상기 촬영된 2D 이미지에서의 마커 추출을 통해 상기 특징점을 추출할 수 있다.According to this embodiment, a marker is attached to each part of the ear, and the extracting of the feature point may extract the feature point by extracting the marker from the photographed 2D image.
본 실시예에 따르면, 상기 3D 모델링 데이터를 생성하는 단계는 상기 2D 이미지에 대한 형상 정보를 기반으로 상기 2D 이미지의 뎁스 정보를 산출하는 단계; 상기 2D 이미지에 대한 뎁스 정보를 기반으로 상기 2D 이미지를 3D 이미지로 변환하는 단계; 및 상기 위치 및 각도에 대한 정보를 기반으로 상기 3D 이미지를 정합하여 3D 모델링 데이터를 생성하는 단계를 포함할 수 있다.According to the present embodiment, the generating of the 3D modeling data may include calculating depth information of the 2D image based on shape information of the 2D image; Converting the 2D image into a 3D image based on depth information of the 2D image; And generating 3D modeling data by matching the 3D image based on the position and angle information.
본 실시예에 따르면, 상기 인공 귀 생성 방법은 상기 3D 모델링 데이터가 건측 귀에 대한 것일 경우 미러링 변환 기법을 적용하여 상기 건측 귀에 대한 3D 모델링 데이터를 환측 귀에 대응하는 3D 모델링 데이터로 변환시키는 단계를 더 포함할 수 있다.According to the present embodiment, the artificial ear generation method further includes converting 3D modeling data for the healthy ear to 3D modeling data corresponding to the affected ear by applying a mirroring transformation technique when the 3D modeling data is for the healthy ear. can do.
본 실시예에 따르면, 상기 인공 귀 생성 방법은 상기 3D 모델링 데이터를 편집할 수 있는 편집 인터페이스를 제공하는 단계; 및 상기 편집 인터페이스를 통해 입력된 정보를 기반으로 상기 3D 모델링 데이터를 변환시키는 단계를 더 포함할 수 있다.According to the present embodiment, the artificial ear generating method may include providing an editing interface capable of editing the 3D modeling data; And converting the 3D modeling data based on the information input through the editing interface.
본 실시예에 따르면, 상기 인공 귀 생성 방법은 기 설정된 생체 적합성 물질을 이용하여 3D 프린팅을 통해 상기 3D 모델링 데이터에 대응하는 귀를 출력하는 단계를 포함할 수 있다.According to the present embodiment, the artificial ear generating method may include outputting an ear corresponding to the 3D modeling data through 3D printing using a predetermined biocompatible material.
본 실시예에 따르면, 상기 인공 귀 생성 방법은 비생체 적합성 물질을 이용하여 3D 프린팅을 통해 상기 3D 모델링 데이터에 대응하는 인공 귀를 출력하는 단계를 포함할 수 있다. According to the present embodiment, the artificial ear generating method may include outputting an artificial ear corresponding to the 3D modeling data through 3D printing using a non-biocompatible material.
본 실시예에 따르면, 상기 출력하는 단계는 상기 출력된 인공 귀에 대한 주형을 제작하고, 상기 제작된 주형에 기초하여 상기 인공 귀를 출력할 수 있다.According to the present embodiment, the outputting step may produce a mold for the output artificial ear, and output the artificial ear based on the manufactured mold.
본 실시예에 따르면, 상기 출력하는 단계는 기 설정된 생체 적합성 물질에 대한 플라스틱 성형 방법을 통해 상기 인공 귀를 출력할 수 있다. According to the present embodiment, the outputting step may output the artificial ear through a plastic molding method for a predetermined biocompatible material.
상술한 과제 해결 수단은 단지 예시적인 것으로서, 본원을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 추가적인 실시예가 존재할 수 있다.The above-mentioned means for solving the problems are merely exemplary and should not be construed as limiting the present application. In addition to the above-described exemplary embodiments, additional embodiments may exist in the drawings and detailed description of the invention.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 귀의 각 부분을 스캐닝하기 위한 위치와 오일러 각도를 정확하게 제어하여 귀 각 부분에 대한 스캐닝과 촬영을 통해 2D 이미지를 획득하고, 스캐닝을 통해 획득한 형상 정보를 기반으로 산출된 뎁스 정보를 이용하여 2D 이미지를 3D 이미지로 변환함으로써, 인공 귀 생성에 있어서 필요한 3D 모델링 데이터에 대한 정확도를 높일 수 있다.According to any one of the problem solving means of the present invention described above, by precisely controlling the position and Euler angle for scanning each part of the ear to obtain a 2D image through scanning and photographing each part of the ear, By converting the 2D image into the 3D image using the depth information calculated based on the shape information, the accuracy of the 3D modeling data required for artificial ear generation may be increased.
또한, 본원은 귀의 각 부분에 대한 촬영 및 스캐닝 시 해당 부분에서의 데카르트 좌표 및 오일러 각도를 수집하고, 이를 기반으로 3D 이미지를 정합하여 귀 모형에 대응하는 3D 모델링 데이터를 생성함으로써, 귀의 각 부분에 대한 데이터 정합 시 정확도를 높일 수 있다.In addition, the present invention collects Cartesian coordinates and Euler angles in the corresponding parts during the imaging and scanning of each part of the ear, and based on this, by matching the 3D image to generate 3D modeling data corresponding to the ear model, to each part of the ear Accuracy in data matching
본원은 3D 모델링 데이터를 생체 적합성 물질을 이용하여 3D 프린팅함으로써, 자에게 적합한 인공 귀를 제작할 수 있다.The present application can produce artificial ears suitable for a child by 3D printing 3D modeling data using a biocompatible material.
또한, 본원은 인공 귀 생성을 위한 3D 모델링 데이터를 편집할 수 있는 편집 인터페이스를 제공함으로써, 사용자가 원하는 형태의 인공 귀를 제작할 수 있다.In addition, the present application provides an editing interface that can edit the 3D modeling data for artificial ear generation, it is possible to produce the artificial ear of the desired shape of the user.
도 1은 본원의 일 실시예에 따른 인공 귀 생성 장치를 도시한 도면이다. 1 is a view showing an artificial ear generating device according to an embodiment of the present application.
도 2는 본원의 일 실시예에 따른 인공 귀 생성 장치의 세부 구성을 도시한 블록도이다. 2 is a block diagram showing the detailed configuration of the artificial ear generating device according to an embodiment of the present application.
도 3은 본원의 일 실시예에 따른 인공 귀 생성 장치에 적용된 마커가 부착된 예시도이다.Figure 3 is an exemplary view attached a marker applied to the artificial ear generating device according to an embodiment of the present application.
도 4a 및 4b는 본원의 일 실시예에 따른 인공 귀 생성 장치에 적용된 미러링 변환 기법을 설명하기 위한 도면이다.4A and 4B are diagrams for describing a mirroring transformation technique applied to an artificial ear generating apparatus according to an embodiment of the present application.
도 5는 본원의 일 실시예에 따른 인공 귀 생성 과정을 개략적으로 도시한 흐름도이다.5 is a flowchart schematically illustrating an artificial ear generation process according to an exemplary embodiment of the present application.
도 6은 본원의 일 실시예에 따른 인공 귀 생성 과정을 상세히 도시한 흐름도이다.6 is a flowchart illustrating an artificial ear generation process in detail according to an exemplary embodiment of the present application.
도 7은 본원의 다른 실시예에 따른 인공 귀 생성 과정을 도시한 흐름도이다.7 is a flowchart illustrating an artificial ear generation process according to another exemplary embodiment of the present application.
도 8은 본원의 다른 실시예에 따른 인공 귀 생성 과정을 도시한 흐름도이다.8 is a flowchart illustrating an artificial ear generation process according to another exemplary embodiment of the present application.
도 9는 본원의 다른 실시예에 따른 인공 귀 생성 과정을 도시한 흐름도이다.9 is a flowchart illustrating an artificial ear generation process according to another exemplary embodiment of the present application.
아래에서는 첨부한 도면을 참조하여 본원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 실시예를 상세히 설명한다. 그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본원을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.DETAILED DESCRIPTION Hereinafter, exemplary embodiments of the present disclosure will be described in detail with reference to the accompanying drawings so that those skilled in the art may easily implement the present disclosure. As those skilled in the art would realize, the described embodiments may be modified in various different ways, all without departing from the spirit or scope of the present invention. In the drawings, parts irrelevant to the description are omitted for simplicity of explanation, and like reference numerals designate like parts throughout the specification.
본원 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. Throughout this specification, when a portion is "connected" to another portion, this includes not only "directly connected" but also "electrically connected" with another element in between. do.
본원 명세서 전체에서, 어떤 부재가 다른 부재 "상에", "상부에", "상단에", "하에", "하부에", "하단에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.Throughout this specification, when a member is said to be located on another member "on", "upper", "top", "bottom", "bottom", "bottom", this means that any member This includes not only the contact but also the presence of another member between the two members.
본원 명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함" 한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.Throughout this specification, when a part is said to "include" a certain component, it means that it can further include other components, without excluding the other components unless specifically stated otherwise.
도 1은 본원의 일 실시예에 따른 인공 귀 생성 장치를 도시한 도면이며, 도 2는 본원의 일 실시예에 따른 인공 귀 생성 장치의 세부 구성을 도시한 블록도이다.1 is a view showing an artificial ear generating device according to an embodiment of the present application, Figure 2 is a block diagram showing a detailed configuration of the artificial ear generating device according to an embodiment of the present application.
도 1에 도시된 바와 같이, 인공 귀 생성 장치는 정보 획득부(100), 위치 조절부(110), 제어부(120), 이미지 프로세싱부(130) 및 출력부(140)로 구성될 수 있다.As shown in FIG. 1, the artificial ear generating apparatus may include an information obtaining unit 100, a position adjusting unit 110, a control unit 120, an image processing unit 130, and an output unit 140.
정보 획득부(100)는 영상 촬영 수단, 예컨대 카메라(102)와 3D 스캐너(104)로 구성되어 귀를 촬영하거나 스캐닝하여 제어부(120)를 통해 출력할 수 있다. 구체적으로, 본원의 일 실시예에 따른 정보 획득부(100)는 위치 조절부(110)에 물리적으로 연결되며, 위치 조절부(110)에 의해 X, Y 및 Z 축 방향으로 이동되어 대상물에 해당하는 귀를 스캐닝하여 형상 정보와 귀의 영상을 제어부(120)에 제공할 수 있다.The information acquisition unit 100 may include an image capturing means, for example, a camera 102 and a 3D scanner 104, to photograph or scan an ear and output the same through the control unit 120. Specifically, the information acquisition unit 100 according to an embodiment of the present application is physically connected to the position adjusting unit 110, is moved in the X, Y and Z axis direction by the position adjusting unit 110 corresponds to the object The ear may be scanned to provide shape information and an image of the ear to the controller 120.
정보 획득부(100)의 카메라(102)는 스캐닝될 귀의 부분을 촬영하고, 촬영한 영상을 제어부(120)에 제공할 수 있다.The camera 102 of the information acquisition unit 100 may photograph a portion of the ear to be scanned and provide the captured image to the controller 120.
3D 스캐너(104)는 레이저, 적외선, 백색광을 귀에 투사하여 대상물의 형상 정보를 취득한 후 이를 제어부(120)에 제공할 수 있다.The 3D scanner 104 may obtain the shape information of the object by projecting the laser, infrared, and white light onto the ear, and may provide the same to the controller 120.
귀는 생체귀로부터 본 뜬 귀일 수 있다. 예를 들면, 귀는 실제 귀 외에 실제 귀를 본 뜬 석고본이 될 수 있고, 정보 획득부(100)는 본 뜬 귀의 각 부분에 대한 촬영 및 스캐닝할 수 있다. 이 경우, 석고본은 귀의 구멍을 솜으로 막고 사각형의 아크릴 틀을 귀에 맞게 고정한 뒤, 알지네이트(Alginate)를 붓고 경화될 때까지 기다린 후, 귀의 음각 형태를 갖고 있는 알지네이트를 분리하여 음각 형태의 알지네이트에 석고를 주입하여 만들 수 있다. 다만, 생체 귀에 대해 본을 뜨는 방법은 예시와 같은 석고본에 한정되는 것은 아니며, 다양한 방식을 통해 본 뜬 귀를 만들 수 있다. 예를 들면, 생체 귀에 대한 본은 전문가에 의해 직접 제작될 수 있으나, 기계 장치를 이용하여 제작될 수도 있다. The ear may be an ear seen from a living ear. For example, the ear may be a gypsum bone modeled after the real ear in addition to the real ear, and the information acquisition unit 100 may photograph and scan each part of the ear. In this case, the gypsum bone is covered with cotton wool, the rectangular acrylic frame is fixed to the ear, poured alginate and waited until it hardens, and then the alginate having the engraved shape of the ear is separated to the engraved alginate. It can be made by injecting plaster. However, the method of shaping a living ear is not limited to the gypsum bone as shown in the example, and the ear can be made in various ways. For example, a bone for a living ear can be made directly by an expert, but can also be made using a mechanical device.
위치 조절부(110)는 제어부(120)의 제어에 의거하여 물리적으로 연결된 정보 획득부(100)를 X, Y 및 Z 축 방향으로 이동시키거나 오일러 각도(yaw, pitch, roll)를 변경시킬 수 있다.The position adjusting unit 110 may move the physically connected information obtaining unit 100 in the X, Y, and Z axis directions or change the Euler angles (yaw, pitch, roll) under the control of the controller 120. have.
또한, 위치 조절부(110)는 정보 획득부(100)의 위치 정보, 즉 정보 획득부(100)가 촬영 및 스캐닝하는 위치와 각도에 대한 정보를 제어부(120)에 제공할 수 있다. 구체적으로, 위치 조절부(110)는 정보 획득부(100)가 촬영 및 스캐닝하고자 하는 귀 영역에 대한 데카르트 좌표(Cartesiancoordinate) 및 오일러 각도(Euler angle)를 제어부(120)에 제공할 수 있다.In addition, the position controller 110 may provide the controller 120 with position information of the information acquirer 100, that is, information about a position and an angle at which the information acquirer 100 captures and scans. In detail, the position controller 110 may provide the controller 120 with Cartesian coordinates and an Euler angle with respect to the ear region to be photographed and scanned by the information acquirer 100.
본원의 일 실시예에 따른 위치 조절부(110)는 XYZ 리니어 스테이지(linear stage)(112)에 액추에이터(114), 예컨대 힙 조인트 액추에이터, 볼 조인트 액추에이터 등을 연결시킨 구조를 가지며, 액추에이터(114)에 정보 획득부(100)를 물리적으로 연결시켜 정보 획득부(100)를 다양한 각도와 위치로 이동시켜 대상물인 귀를 촬영 및 스캐닝할 수 있다. 구체적으로, 위치 조절부(110)는 제어부(120)의 제어에 의거하여 XYZ 리니어 스테이지(112)를 이동시켜 정보 획득부(100)의 위치를 변경시키고, 액추에이터(114)의 구동을 통해 다양한 각도로 촬영 및 스캐닝할 수 있도록 정보 획득부(100)의 촬영 및 스캐닝 각도를 변경시킬 수 있다. Position adjuster 110 according to an embodiment of the present application has a structure in which the actuator 114, for example, hip joint actuator, ball joint actuator, etc. are connected to the XYZ linear stage (112), the actuator 114 The information acquisition unit 100 may be physically connected to the information acquisition unit 100 to move the information acquisition unit 100 to various angles and positions, thereby photographing and scanning the target ear. Specifically, the position adjusting unit 110 changes the position of the information obtaining unit 100 by moving the XYZ linear stage 112 under the control of the control unit 120, and various angles through the driving of the actuator 114. The photographing and scanning angles of the information obtaining unit 100 may be changed so that the photographing and scanning may be performed.
또한, 위치 조절부(110)는 XYZ 리니어 스테이지(112)를 이용하여 촬영 및 스캐닝한 영역에 대한 데카르트 좌표를 획득하고, 액추에이터(114)를 통해 오일러 각도에 대한 정보를 획득하여 데카르트 좌표계 정보와 오일러 각도를 제어부(120)에 제공할 수 있다.In addition, the position adjusting unit 110 obtains Cartesian coordinates of the area photographed and scanned by using the XYZ linear stage 112, and obtains information about Euler angles through the actuator 114, such as Cartesian coordinate system information and Euler. The angle may be provided to the controller 120.
본원의 일 실시예에서 오일러 각도는 롤(roll), 피치(pitch), 요(yaw) 등을 의미하며, 데카르트 좌표는 원점(origin)에서의 상대적인 X, Y, Z 좌표, 즉 카메라(102)와 3D 스캐너(104)의 위치 정보를 의미할 수 있다. 여기에서, 피치는 XYZ 리니어 스테이지(112)의 이동 방향에 대한 수직의 수평면에 있는 축 주위의 회전각도이며, 롤은 이동 방향에 대한 평행한 수평면에 있는 축의 회전각도이며, 요는 이동 방향에 대해 수직의 수직면에 있는 축 주위의 회전각도를 의미할 수 있다. 또한 제어의 용이함을 위하여, 데카르트 좌표 및 오일러 각도를 이용하여 새로운 좌표계가 정의될 수도 있다. In one embodiment of the present invention Euler angle means roll, pitch, yaw, etc., Cartesian coordinates are relative X, Y, Z coordinates at the origin, that is, the camera 102 And position information of the 3D scanner 104. Here, the pitch is the angle of rotation around the axis in the horizontal plane perpendicular to the direction of movement of the XYZ linear stage 112, the roll is the angle of rotation of the axis in the horizontal plane parallel to the direction of movement, and the yaw is relative to the direction of movement. It can mean the angle of rotation around the axis in the vertical vertical plane. Also for ease of control, a new coordinate system may be defined using Cartesian coordinates and Euler angles.
본원의 일 실시예에서는 XYZ 리니어 스테이지(112)와 액추에이터(114)를 결합한 형태를 이용하여 위치 조절부(110)를 구현하였지만, 6축 로봇팔을 이용하여 구현할 수도 있다. 즉, 6축 로봇팔의 말단부(end-effector)에 정보 획득부(100)를 부착하여 데카르트 좌표와 오일러 각도를 획득하고, 정보 획득부(100)의 카메라(102)와 3D 스캐너(104)의 촬영 및 스캐닝 위치 및 각도를 변경시킬 수도 있다.In the exemplary embodiment of the present application, the position adjusting unit 110 is implemented using a combination of the XYZ linear stage 112 and the actuator 114, but may be implemented using a 6-axis robot arm. That is, by attaching the information acquisition unit 100 to the end-effector of the six-axis robot arm to obtain Cartesian coordinates and Euler angles, the camera 102 and the 3D scanner 104 of the information acquisition unit 100 It is also possible to change the shooting and scanning position and angle.
제어부(120)는 위치 조절부(110)로부터 제공받은 데카르트 좌표 및 오일러 각도와 3D 스캐너(104)의 스캐닝을 통해 획득한 형상 정보를 기반으로 3D 스캐너(104)에 의해 촬영된 영상(이하, '2D 이미지'이라고 함)의 뎁스 정보를 획득할 수 있다. 앞서 설명된 바와 같이, 데카르트 좌표 및 오일러 각도 각각 대신 데카르트 좌표 및 오일러 각도에 의해 정의된 새로운 형태의 좌표계 또는 다른 파라미터에 의해 정의된 새로운 형태의 좌표계가 이용될 수도 있다.The controller 120 captures an image captured by the 3D scanner 104 based on Cartesian coordinates and Euler angles provided from the position controller 110 and shape information obtained through the scanning of the 3D scanner 104 (hereinafter, ' Depth information of a " 2D image " As described above, a new type of coordinate system defined by Cartesian coordinates and Euler angles or a new type of coordinate system defined by other parameters may be used instead of Cartesian coordinates and Euler angles, respectively.
또한, 제어부(120)는 위치 조절부(110)로부터 제공받은 데카르트 좌표 및 오일러 각도를 이용하여 새로운 좌표계를 정의할 수 있으며, 새로운 좌표계, 데카르트 좌표, 오릴러 각도 및 3D 스캐너(104)에 의해 촬영된 영상의 뎁스 정보를 획득할 수 있다.In addition, the control unit 120 may define a new coordinate system using the Cartesian coordinates and Euler angles provided from the position adjusting unit 110, and photograph the new coordinate system, the Cartesian coordinates, the O'Hiller angle, and the 3D scanner 104. Depth information of the received image may be obtained.
제어부(120)는 카메라(102)로부터 제공받은 2D 이미지와 저장매체(122)에 저장된 귀 영역별 특징점 정보간의 비교를 통해 위치 조절부(110)의 조절을 위한 작동 신호를 제공할 수 있다. 이러한 작동 신호에 의거하여 XYZ 리니어 스테이지(112)와 액추에이터(114)는 작동되어 정보 획득부(100)의 촬영 및 스캐닝 위치와 각도가 조절될 수 있다. The controller 120 may provide an operation signal for adjusting the position controller 110 by comparing the 2D image provided from the camera 102 with the feature point information for each ear region stored in the storage medium 122. Based on the operation signal, the XYZ linear stage 112 and the actuator 114 may be operated to adjust the photographing and scanning positions and angles of the information acquisition unit 100.
또한, 제어부(120)는 2D 이미지, 형상 정보, 데카르트 좌표 및 오일러 각도를 저장매체(122)에 저장할 수 있다.In addition, the controller 120 may store the 2D image, the shape information, the Cartesian coordinates, and the Euler angle in the storage medium 122.
상술한 바와 같은 제어부(120)는, 도 2에 도시된 바와 같이, 저장매체(122), 특징점 추출 모듈(124) 작동 신호 발생 모듈(126) 및 제어 모듈(128) 등을 포함할 수 있다. As described above, the controller 120 may include a storage medium 122, a feature point extraction module 124, an operation signal generation module 126, a control module 128, and the like.
먼저, 저장매체(122)는 귀의 각 부분, 예컨대 포사(fossa), 이갑개(concha), 외이도(external auditory meatus), 이륜(helix), 대이륜(antihelix), 이주(tragus) 등의 대한 내부 구조에 대한 비교 영상과 특징점 정보를 저장하고 있다. 이러한 비교 영상과 특징점 정보는 정보 획득부(100)의 카메라(102)로부터 제공받은 영상과의 비교를 위해 이용될 수 있다.First, the storage medium 122 is internal to each part of the ear, such as fossa, concha, external auditory meatus, helix, antihelix, tragus, etc. The comparison image and the feature point information about the structure are stored. The comparison image and the feature point information may be used for comparison with an image provided from the camera 102 of the information acquisition unit 100.
특징점 추출 모듈(124)은 정보 획득부(100)의 카메라(102)로부터 입력받은 2D 이미지에서 촬영한 부분의 특징점을 추출하며, 추출한 특징점을 작동 신호 발생 모듈(126)에 제공할 수 있다.The feature point extraction module 124 may extract a feature point of a portion photographed from the 2D image received from the camera 102 of the information acquisition unit 100, and provide the extracted feature point to the operation signal generation module 126.
한편, 도 3에 도시된 바와 같이, 귀의 각 주요 부분 포사(fossa), 이갑개(concha), 외이도(external auditory meatus), 이륜(helix), 대이륜(antihelix), 이주(tragus) 등에 마커를 부착할 경우, 특징점 추출 모듈(124)은 2D 이미지에서 마커 추출을 통해 귀의 각 부분에 대한 특징점을 추출할 수 있다.On the other hand, as shown in Figure 3, each major part of the ear (fossa), concha (concha), external auditory meatus (helix), bihelix (helix), antihelix, tragus (tragus), etc. When attached, the feature point extraction module 124 may extract feature points for each part of the ear through marker extraction from the 2D image.
본원의 실시예에서는 마커는 소정의 인식 문자, 예컨대 숫자 형태로 귀의 각 부분에 부착되거나 카메라(102)에 의해 영상 촬영 시 인식 가능한 원형 형태를 가질 수 있으나, 이에 한정하지는 않는다.In the exemplary embodiment of the present application, the marker may be attached to each part of the ear in the form of a predetermined recognition character, for example, a number, or may have a circular shape recognizable when taking an image by the camera 102, but is not limited thereto.
작동 신호 발생 모듈(126)은 추출한 특징점과 저장매체(122)에 저장된 귀의 각 부분별 특징점 정보간의 비교를 통해 정보 획득부(100)의 위치 및 각도 조절을 위한 작동 신호를 발생시켜 제어 모듈(128)에 제공할 수 있다.The operation signal generation module 126 generates an operation signal for adjusting the position and angle of the information acquisition unit 100 by comparing the extracted feature point and the feature point information for each part of the ear stored in the storage medium 122 to control the module 128. ) Can be provided.
제어 모듈(128)은 작동 신호에 대응하는 제어 신호를 위치 조절부(110)에 출력하여 위치 조절부(110)의 XYZ 리니지 스테이지(112) 및 액추에이터(114)를 제어할 수 있다. 이에 따라, 위치 조절부(110)는 XYZ 리니지 스테이지(112)와 액추에이터(114)를 구동시켜 정보 획득부(100)의 촬영 및 스캐닝 위치 및 각도를 조절할 수 있다.The control module 128 may output a control signal corresponding to the operation signal to the position controller 110 to control the XYZ lineage stage 112 and the actuator 114 of the position controller 110. Accordingly, the position adjusting unit 110 may drive the XYZ lineage stage 112 and the actuator 114 to adjust the photographing and scanning positions and angles of the information obtaining unit 100.
또한, 제어 모듈(128)은 위치 조절부(110)로부터 입력되는 데카르트 좌표와 오일러 각도, 정보 획득부(100)로부터 입력되는 2D 이미지와 형상 정보를 매칭시켜 저장매체(122)에 저장할 수 있다.In addition, the control module 128 may match the Cartesian coordinates inputted from the position controller 110 with the Euler angles, the 2D image inputted from the information acquirer 100, and the shape information, and store them in the storage medium 122.
이미지 프로세싱부(130)는 저장매체(122)에 저장된 데이터, 즉 데카르트 좌표, 오일러 각도 및 형상 정보를 기반으로 2D 이미지에 대한 뎁스(depth) 정보를 산출하며, 산출한 뎁스 정보를 기반으로 2D 이미지를 3D 이미지로 변환시킬 수 있다.The image processing unit 130 calculates depth information of the 2D image based on data stored in the storage medium 122, that is, Cartesian coordinates, Euler angles and shape information, and based on the calculated depth information, the 2D image. Can be converted into a 3D image.
또한, 이미지 프로세싱부(130)는 변환된 3D 이미지 각각을 데카르트 좌표 및 오일러 각도를 기반으로 정합하여 귀에 대한 3D 모델링 데이터를 생성할 수 있다.In addition, the image processing unit 130 may generate 3D modeling data for the ear by matching each of the converted 3D images based on Cartesian coordinates and Euler angles.
한편, 이미지 프로세싱부(130)는 3D 모델링 데이터 및 이를 편집할 수 있는 편집 인터페이스를 표시부(미도시됨)에 디스플레이하여 사용자의 편집 인터페이스 조작에 따라 3D 모델링 데이터를 변환할 수 있다.The image processing unit 130 may display 3D modeling data and an editing interface capable of editing the same on a display unit (not shown) to convert the 3D modeling data according to a user's editing interface manipulation.
상술한 바와 같은 이미지 프로세싱부(130)는, 도 2에 도시된 바와 같이, 뎁스 정보 산출 모듈(132), 변환 모듈(134), 정합 모듈(135), 변형 모듈(136) 및 편집 모듈(138) 등을 포함할 수 있다.As illustrated in FIG. 2, the image processing unit 130 as described above may include the depth information calculation module 132, the conversion module 134, the matching module 135, the transformation module 136, and the editing module 138. ) May be included.
뎁스 정보 산출 모듈(132)은 2D 이미지에 매칭되어 있는 데카르트 좌표, 오일러 각도 및 형상 정보를 이용하여 2D 이미지 각각에 대한 뎁스 정보를 산출하며, 산출한 뎁스 정보를 변환 모듈(134)에 제공할 수 있다.The depth information calculation module 132 may calculate depth information for each 2D image by using Cartesian coordinates, Euler angles, and shape information matched with the 2D image, and provide the calculated depth information to the conversion module 134. have.
변환 모듈(134)은 뎁스 정보를 기반으로 2D 이미지 각각을 3D 이미지로 변환할 수 있다.The conversion module 134 may convert each 2D image into a 3D image based on the depth information.
정합 모듈(135)은 3D 이미지를 데카르트 좌표와 오일러 각도를 기반으로 3D 이미지를 정합하여 정보 획득부(100)에 의해 촬영 및 스캐닝된 귀에 대응하는 3D 모델링 데이터를 생성할 수 있다.The registration module 135 may generate 3D modeling data corresponding to the ear photographed and scanned by the information acquisition unit 100 by matching the 3D image with the 3D image based on the Cartesian coordinates and the Euler angle.
변형 모듈(136)은 건측 귀에 대한 3D 모델링 데이터를 미러링 변환 기법을 이용하여 환측 귀에 대한 3D 모델링 데이터를 생성할 수 있다. 구체적으로, 변형 모듈(136)은 기 설정된 기준점, 예컨대 귀 스캐닝 대상자의 얼굴 중심 부분을 기준으로 미러링 변환 기법을 적용하여 환측 귀에 대한 3D 모델링 데이터를 생성할 수 있다.The transformation module 136 may generate 3D modeling data for the annular ear by mirroring the 3D modeling data for the healthy ear. In detail, the deformation module 136 may generate 3D modeling data of the affected ear by applying a mirroring transformation technique based on a preset reference point, for example, a face center portion of the ear scanning target.
예를 들어, 도 4a에 도시된 바와 같은 건측 귀에 대한 3D 모델링 데이터가 입력되면, 변형 모듈(136)은 미러링 변환 기법을 이용하여 건축 귀에 대한 3D 모델링 데이터를 도 4b에 도시된 바와 같은 환측 귀에 대한 3D 모델링 데이터로 변형할 수 있다. 이 때, 일 예로 건측 귀가 왼쪽 귀이고, 환측 귀가 오른쪽 귀일 수 있으며, 다른 예로, 건측 귀가 오른쪽 귀이고, 환측 귀가 왼쪽 귀일 수도 있다. For example, if 3D modeling data for the healthy ear as shown in FIG. 4A is input, the transformation module 136 may use the mirroring transformation technique to generate 3D modeling data for the architectural ear for the affected ear as shown in FIG. 4B. Transform into 3D modeling data. At this time, for example, the healthy ear may be the left ear, the affected ear may be the right ear, and in another example, the healthy ear may be the right ear, and the affected ear may be the left ear.
편집 모듈(138)은 3D 모델링 데이터, 예컨대 변형 모듈(136)에 의해 변형된 3D 모델링 데이터 또는 정합 모듈(135)의 정합을 통해 생성된 3D 모델링 데이터와 이를 편집할 수 있는 편집 인터페이스를 제공하며, 편집 인터페이스를 통해 입력된 정보를 기반으로 3D 모델링 데이터를 변환시켜 제공할 수 있다. 여기에서, 편집 인터페이스는 귀의 각 영역, 예컨대 포사(fossa), 이갑개(concha), 외이도(external auditory meatus), 이륜(helix), 대이륜(antihelix), 이주(tragus) 등의 대한 내부 구조를 변경할 수 있는 인터페이스를 의미할 수 있다.The editing module 138 provides 3D modeling data, such as 3D modeling data modified by the deformation module 136 or 3D modeling data generated through registration of the matching module 135, and an editing interface for editing the 3D modeling data. The 3D modeling data can be converted and provided based on the information input through the editing interface. Here, the editing interface is used to describe the internal structures of each area of the ear, such as fossa, concha, external auditory meatus, helix, antihelix, tragus, and the like. It can mean an interface that can be changed.
출력부(140)는 3D모델링 데이터를 입력받아 3D 프린팅을 통해 3D 모델링 데이터에 대응하는 귀를 출력할 수 있다. 구체적으로, 출력부(140)는 액체, 파우더 형태의 생체 적합성 물질을 3D 모델링 데이터를 기반으로 적층 제조법, 광경화수지 조형 방식, 레이저 소결 방식, 분말 분사 방식 등으로 귀를 형상화하여 출력할 수 있으나, 이에 한정하지 않고 다양한 방식을 채택할 수 있다.  The output unit 140 may receive the 3D modeling data and output an ear corresponding to the 3D modeling data through 3D printing. In detail, the output unit 140 may output the liquid and powder biocompatible materials by shaping the ears in a laminate manufacturing method, a photocurable resin molding method, a laser sintering method, a powder spray method, or the like based on 3D modeling data. However, various methods may be adopted without being limited thereto.
출력부(140)에서 이용되는 생체 적합성 물질의 예로는 polycaprolactone(PCL), polyglycolic acid(PGA), polylactic acid(PLA), poly(D,L-lactic-co-glycolic-acid)(PLGA), poly(alkyl cyanoacrylate)(PAC), hyaluronic acid(HA), hydrogel, 타이타니움, tricalcium, phosphate, hydroxylapatite, 실리콘, acrylates, 콜라겐, 젤라틴, 키토산(chitosan), high density polyethylene(HDPE), low density polyethylene(LDPE), polyethylene(PE), Linear low-density polyethylene (LLDPE), Medium-density polyethylene (MDPE), Ultra-high-molecular-weight polyethylene (UHMWPE), polymethyl methacrylate(PMMA), polytetrafluoroethylene(PTFE), polydimethylsiloxane(PDMS) 및 피브리노겐(fibrinogen) 등과 같은 세포 지지체 생성을 위한 물질 중 적어도 하나 이상의 혼합물일 수 있으나, 이에 한정하지는 않는다.Examples of biocompatible materials used in the output unit 140 include polycaprolactone (PCL), polyglycolic acid (PGA), polylactic acid (PLA), poly (D, L-lactic- co -glycolic-acid) (PLGA), poly (alkyl cyanoacrylate) (PAC), hyaluronic acid (HA), hydrogel, titanium, tricalcium, phosphate, hydroxylapatite, silicone, acrylates, collagen, gelatin, chitosan, high density polyethylene (HDPE), low density polyethylene ( LDPE), polyethylene (PE), Linear low-density polyethylene (LLDPE), Medium-density polyethylene (MDPE), Ultra-high-molecular-weight polyethylene (UHMWPE), polymethyl methacrylate (PMMA), polytetrafluoroethylene (PTFE), polydimethylsiloxane ( It may be, but is not limited to, a mixture of at least one of substances for generating a cellular support such as PDMS) and fibrinogen.
한편, 본원의 일 실시예에서는 출력부(140)가 인공 귀 생성 장치의 내부에 포함된 것으로 예를 들어 설명하였지만, 출력부(140)가 인공 귀 생성 장치와 네트워크를 통해 연결되어 3D 모델링 데이터를 네트워크를 통해 전송받아 출력할 수도 있다.Meanwhile, in an exemplary embodiment of the present disclosure, the output unit 140 has been described as an example included in the artificial ear generating device, but the output unit 140 is connected to the artificial ear generating device through a network to provide 3D modeling data. It can also be sent over the network and output.
3D 프린팅으로 통해 출력된 3D 모델링 데이터에 대응하는 귀는 환자의 갈비 연골로 귀를 조각할 때의 견본용으로 이용될 수도 있다. 이 경우, 생체 적합성 물질이 아닌 일반적인 조형물질을 이용한 3D 프린팅으로 견본용 귀를 출력할 수 있다. The ear corresponding to the 3D modeling data output through the 3D printing may be used as a sample when carving the ear with the rib cartilage of the patient. In this case, the sample ear may be output by 3D printing using a general molding material rather than a biocompatible material.
또한, 생체 적합성 재료를 이용한 3D 프린팅을 통해 출력되는 귀는 환측 귀의 지지체(scaffold)의 역할을 할 수 있기 때문에 환자의 갈비 연골을 이용하지 않고 귀를 재건할 수 있다. In addition, since the ear output through 3D printing using a biocompatible material can serve as a scaffold of the affected ear, the ear can be reconstructed without using the patient's rib cartilage.
본원의 다른 실시예에 따르면, 출력부(140)는 설정된 비생체 적합성 물질을 이용해 실제 귀와 같도록 인공 귀를 출력하고, 이를 이용해 주형을 제작할 수도 있다. 제작되는 주형은 3D 모델링 데이터에 기초할 수 있다. 일 실시예에 따르면, 비생체 적합성 물질은 비생체 적합성 모래, 플라스틱, 석고, 납, 합금, 및 금속 중 적어도 하나 이상의 혼합물 일 수 있다. According to another exemplary embodiment of the present application, the output unit 140 may output an artificial ear to be like an actual ear using a set non-biocompatible material, and may manufacture a mold using the same. The produced mold may be based on 3D modeling data. According to one embodiment, the non-biocompatible material may be a mixture of at least one or more of non-biocompatible sand, plastic, gypsum, lead, alloys, and metals.
출력부(140)는 생체 적합성 물질을 이용해 실제 귀와 같도록 인공 귀를 출력하고, 이를 이용해 주형을 제작할 수도 있다.The output unit 140 may output an artificial ear to be like an actual ear using a biocompatible material, and may manufacture a mold using the same.
주형의 제작 방법은 바닥 주형법, 혼성 주형법, 조립 주형법, 회전 주형법, 고르개 주형법 및 3차원 프린팅 중 하나일 수 있다. 예를 들어, 모래가 가득한 두 개의 틀 사이에 출력한 인공 귀를 고정하여 두 틀을 겹친 후 귀 모형에 대한 주형을 제작할 수 있으며, 다른 실시예에서 3차원 프린팅 기술을 이용하여 인공 귀에 대한 주형을 직접 출력할 수도 있다. 인공 귀의 경우, 수백 마이크로 미터의 다공성 구조로 만들어야 하므로 해상도가 높은 3D 프린터를 이용하여 이를 구현할 수 있다. The manufacturing method of the mold may be one of a bottom molding method, a hybrid molding method, an assembly molding method, a rotation molding method, an even mold molding method, and a three-dimensional printing method. For example, an artificial ear that is output between two frames filled with sand may be fixed to overlap the two frames, and then a mold for the ear model may be manufactured. In another embodiment, a three-dimensional printing technique may be used to create a mold for the artificial ear. You can also print directly. In the case of artificial ears, a porous structure of hundreds of micrometers must be made, which can be realized using a high resolution 3D printer.
주형의 재질이 특정 물질로 한정되는 것은 아니다. 예를 들어, 적정한 컨테이너에 3차원 프린팅으로 출력된 귀를 위치시키고, Polydimethylsiloxane (PDMS) base와 curing agent를 일정 비율로 섞어 부어준 뒤 desiccator 안에 위치하여 기포를 없애준 이후, 이를 70°C 에서 일정시간 동안 incubation시켜주어 PDMS를 굳혀준다. PDMS를 절단 또는 구멍을 내어 3차원 프린팅으로 출력된 귀를 제거하고, 음각 형태를 가지고 있는 절단된 PDMS의 절단면에 oxygen plasma 처리를 하여 PDMS 주형을 제작할 수 있다.The material of the mold is not limited to a specific material. For example, place the ear output by 3D printing in a suitable container, pour a mixture of Polydimethylsiloxane (PDMS) base and curing agent in a certain ratio, remove the air bubbles in the desiccator, and then at a certain time at 70 ° C Incubate for a while to harden PDMS. PDMS can be manufactured by cutting or puncturing the PDMS to remove the ear output by 3D printing, and oxygen plasma treatment on the cut surface of the cut PDMS having an intaglio shape.
일반적으로, 주형은 단단한 재질로 이루어질 수 있으나, 본원 발명의 다양한 실시예에 따르면, 연성 주형이 될 수도 있다. 일 예로, 물에 녹는 재질인 PVA와 같은 재질의 필라멘트로 출력된 인공귀는 주형을 절단하는 과정 없이 물에서 녹여내 음각을 만들 수도 있다. 이 경우, PVA 외에 PLA와 같이 특정 용매에 녹는 재질을 사용할 수 있으며, 난연성 재질이 아닌 다른 재질로 출력된 인공 귀를 주형에서 제거하기 위해 다양한 방법이 이용될 수 있다. In general, the mold may be made of a rigid material, but according to various embodiments of the present invention, it may be a flexible mold. For example, an artificial ear output as a filament made of a material such as PVA, which is soluble in water, may be melted in water without making a mold, thereby making an intaglio. In this case, besides PVA, a material that is soluble in a specific solvent such as PLA may be used, and various methods may be used to remove artificial ears output from a mold other than a flame retardant material.
출력부(140)는 기 설정된 생체 적합성 물질에 대한 플라스틱 성형 방법을 통해 3D 모델링 데이터에 대응하는 인공 귀를 제작할 수도 있다. 예를 들어, 출력부(140)는 기 제작된 주형에 생체 적합성 물질을 녹여 사출 등으로 인공 귀를 제작하는 경우, 소금 결정과 같이 물이나 특정 용매에만 녹는 물질(이 경우, 녹는 점이 매우 높은 물질이 될 수 있다.)을 수백 마이크로 미터로 갈아 함께 넣어 섞어주는 과정을 거친 후, 이 것을 기 제작된 주형에 주입한 이후, 특정 용매에 해당 물질을 녹여냄으로써 다공성 구조를 갖는 인공 귀를 제작할 수 있다. 또는 특정 물질을 섞고 녹여내지 않더라도 생체 적합성 물질을 주형에 주입하기 전에 많은 기포를 발생시킨 후 이를 바로 굳히는 방법으로 다공성 구조의 인공 귀를 제작할 수도 있다. The output unit 140 may manufacture an artificial ear corresponding to 3D modeling data through a plastic molding method for a predetermined biocompatible material. For example, the output unit 140 is a material that is soluble only in water or a specific solvent, such as salt crystals in the case of manufacturing artificial ears by dissolving a biocompatible material in a pre-made mold, such as salt crystals (in this case, a material having a very high melting point) Grind several hundred micrometers together, mix them together, inject them into a pre-made mold, and then melt the material in a specific solvent to make artificial ears with a porous structure. . Alternatively, even without mixing and dissolving a specific substance, a porous structure can be manufactured by generating a lot of bubbles and then hardening them immediately before injecting the biocompatible material into the mold.
생체 적합성 물질로 인공 귀를 직접 출력하거나, 주형을 통해 제작하는 경우, 다공성(Porous) 구조가 필수적일 수 있다. 다공성 구조를 만드는 방법과 관련하여 soluble 결정체를 생체 적합성 물질과 함께 넣어 만든 출력 전 재료로 이용하거나, 주형에 넣기 전 용융된 상태의 생체 적합성 물질에 soluble 결정체를 첨가하여 제작하는 방법이 이용될 수 있고, 생체 적합성 물질이 용융된 상태에서 기포를 발생시켜 빠르게 굳히는 방법이 이용될 수 있다. In the case of directly outputting the artificial ear with a biocompatible material or manufacturing through a mold, a porous structure may be essential. Regarding the method of making the porous structure, the method may be used as a pre-output material made by adding soluble crystals together with the biocompatible material, or by adding soluble crystals to the molten biocompatible material before being put into the mold. For example, a method of generating bubbles in the molten state of the biocompatible material and rapidly solidifying the same may be used.
본원의 일 실시예에 따르면, 플라스틱 성형 방법은 압축 성형, 이송성형, 사출성형, 압출성형, 적층성형, 블로우성형, 진공성형 및 회전성형 중 적어도 하나일 수 있으나 이에 한정되는 것은 아니며 다양한 성형 방법이 실시될 수 있다. 예를 들어, 기 제작된 주형에 다수의 구멍을 내고, 플라스틱 사출 하듯이 각 구멍에 압출 실린더의 노즐을 고정한 후, 용해상태의 생체 적합성 물질을 주형에 주입하여 생체 적합성 물질로 3D 모델링 데이터에 대응하는 귀를 제작할 수도 있다. According to one embodiment of the present application, the plastic molding method may be at least one of compression molding, transfer molding, injection molding, extrusion molding, laminated molding, blow molding, vacuum molding and rotational molding, but various molding methods are not limited thereto. Can be implemented. For example, a number of holes are made in a pre-made mold, and a nozzle of an extrusion cylinder is fixed to each hole as in plastic injection, and then a biocompatible material in a dissolved state is injected into the mold to respond to the 3D modeling data with the biocompatible material. You can also make ears.
상기와 같은 구성을 갖는 인공 귀 생성 장치가 동작하는 방법에 대해 도 5을 참조하여 설명한다.A method of operating the artificial ear generating device having the above configuration will be described with reference to FIG. 5.
도 5는 본원의 일 실시예에 따른 인공 귀 생성 과정을 개략적으로 도시한 흐름도이다.5 is a flowchart schematically illustrating an artificial ear generation process according to an exemplary embodiment of the present application.
도 5에 도시된 바와 같이, 상기 과정은 제어 단계(S210), 데이터 수집 단계(S220), 3D 모델링 데이터 생성 단계(S230) 및 출력 단계(S240)로 구성될 수 있다.As shown in FIG. 5, the process may include a control step S210, a data collection step S220, a 3D modeling data generation step S230, and an output step S240.
제어 단계(S210)는 정보 획득부(100)의 카메라(102) 및 3D 스캐너(104)가 촬영 및 스캐닝하는 위치와 각도를 제어하기 위한 것으로서, 귀의 각 부분인 포사(fossa), 이갑개(concha), 외이도(external auditory meatus), 이륜(helix), 대이륜(antihelix), 이주(tragus) 등의 내부 구조가 판독될 수 있는 위치와 각도를 갖도록 카메라(102)와 3D 스캐너(104)의 위치와 각도를 제어한다. 구체적으로, 제어 단계(S210)는 카메라(102)에 의해 촬영된 2D 이미지를 기반으로 귀의 촬영 및 스캐닝하고자 하는 부분이 잘 나타나는지를 판단하고, 이를 기반으로 위치 조절부(110)의 제어를 통해 카메라(102)와 3D 스캐너(104)의 위치 및 각도를 변경시킨다.The control step (S210) is for controlling the position and angle of the camera 102 and the 3D scanner 104 of the information acquisition unit 100 to photograph and scan. The control step S210 includes fossa and concha, which are parts of the ear. Position of the camera 102 and the 3D scanner 104 such that the internal structure of the external auditory meatus, the helix, the antihelix, the tragus, etc. can be read. And control the angle. Specifically, the control step (S210) determines whether the part to be photographed and scanned of the ear is well displayed on the basis of the 2D image captured by the camera 102, based on the control of the position adjusting unit 110 The position and angle of the 102 and the 3D scanner 104 are changed.
상기의 제어 단계(S210) 후 데이터 수집 단계(S220)는 촬영 및 스캐닝하고자 하는 부분의 내부 구조가 판독 가능할 경우 해당 위치와 각도에 대응하는 데카르트 좌표 및 오일러 각도를 위치 조절부(110)로부터 제공받아 수집하고, 정보 획득부(100)의 카메라(102)와 3D 스캐너(104)에서 출력되는 2D 이미지와 형상 정보를 수집하여 저장한다.After the control step (S210), the data collection step (S220) receives the Cartesian coordinates and Euler angles corresponding to the corresponding position and angle from the position adjusting unit 110 when the internal structure of the portion to be photographed and scanned is readable. The 2D image and the shape information output from the camera 102 and the 3D scanner 104 of the information acquisition unit 100 are collected and stored.
3D 모델링 데이터 생성 단계(S230)는 데이터 수집 단계(S220)에서 수집한 데이터, 2D 이미지, 형상 정보, 데카르트 좌표 및 오일러 각도를 기반으로 뎁스 정보를 산출하며, 산출한 뎁스 정보를 이용하여 2D 이미지를 3D 이미지로 변환한 후 이를 정합하여 3D 모델링 데이터를 생성한다. 이때, 3D 모델링 데이터는 사용자의 요청에 의거하여 변형(미러링 변형) 또는 편집될 수 있다.3D modeling data generation step (S230) calculates depth information based on the data collected in the data collection step (S220), 2D image, shape information, Cartesian coordinates, and Euler angle, and generates the 2D image using the calculated depth information. Convert it to a 3D image and match it to generate 3D modeling data. In this case, the 3D modeling data may be deformed (mirror deformation) or edited according to a user's request.
출력 단계(S240)는 3D 모델링 데이터 생성 단계(S230)에서 생성된 3D 모델링 데이터를 기반으로 생체 적합성 물질을 이용한 3D 프린팅을 통해 인공 귀를 출력하거나 환자의 갈비 연골을 조각하여 인공귀를 생성할 수 있다.The output step S240 may output an artificial ear through 3D printing using a biocompatible material based on the 3D modeling data generated in the 3D modeling data generation step S230, or generate an artificial ear by carving cartilage of a patient's ribs. have.
도 6은 본원의 일 실시예에 따른 인공 귀 생성 과정을 상세히 도시한 흐름도이다.6 is a flowchart illustrating an artificial ear generation process in detail according to an exemplary embodiment of the present application.
본원의 일 실시예에 따른 과정에 대한 설명에 앞서, 귀는 건측 귀를 의미하며, 건측 귀에 대한 3D 모델링 데이터의 생성을 통해 환측 귀에 부착될 귀 모형을 생성하는 과정을 예를 들어 설명하기로 한다.Prior to the description of the process according to an embodiment of the present application, the ear means a healthy ear, and a process of generating an ear model to be attached to the affected ear by generating 3D modeling data for the healthy ear will be described as an example. .
먼저, 도 6에 도시된 바와 같이, 제어부(120)는 정보 획득부(100)의 카메라(102)로부터 2D 이미지를 제공받음과 더불어 위치 조절부(110)로부터 데카르트 좌표 및 오일러 각도에 대한 정보를 제공받는다(S302).First, as shown in FIG. 6, the control unit 120 receives a 2D image from the camera 102 of the information acquisition unit 100 and receives information on Cartesian coordinates and Euler angles from the position adjusting unit 110. It is provided (S302).
이후, 제어부(120)는 2D 이미지에서 특징점을 추출하고(S304), 추출한 특징점과 저장매체(122)에 저장된 특징점 정보간의 비교를 통해 정보 획득부(100)가 정확한 위치와 각도에 배치되었는지를 판단한다(S306).Thereafter, the controller 120 extracts the feature points from the 2D image (S304), and determines whether the information acquisition unit 100 is disposed at the correct position and angle by comparing the extracted feature points with the feature point information stored in the storage medium 122. (S306).
S306의 판단 결과, 배치된 경우 제어부(120)는 정보 획득부(100)로부터 입력되는 2D 이미지 및 형상 정보와 와 위치 조절부(110)로부터 입력되는 데카르트 좌표 및 오일러 각도를 매칭시켜 저장매체(122)에 저장한다(S308).As a result of the determination in S306, when disposed, the controller 120 matches the 2D image and shape information input from the information acquisition unit 100 with the Cartesian coordinates and Euler angles input from the position adjusting unit 110 and the storage medium 122. Stored in step S308).
한편, S306의 판단 결과, 배치되지 않은 경우 제어부(120)는 위치 조절부(110)로부터 입력된 데카르트 좌표 및 오일러 각도를 기반으로 위치 조절부(110)의 XYZ 리니지 스테이지(112)와 액추에이터(114)를 작동시키기 위한 제어 신호를 발생시켜 위치 조절부(110)를 동작시켜 정보 획득부(100)의 위치와 각도를 변경시킨다(S310). 그런 다음, 제어부(120)는 S302로 진행하여 이후 단계를 수행한다.On the other hand, as a result of the determination in S306, when not disposed, the control unit 120 based on the Cartesian coordinates and Euler angles input from the position adjusting unit 110, the actuator XYZ lineage stage 112 and the actuator 114 of the position adjusting unit 110 By generating a control signal for operating the) to operate the position adjusting unit 110 to change the position and angle of the information acquisition unit 100 (S310). Then, the control unit 120 proceeds to S302 and performs the subsequent steps.
상기와 단계 S302 내지 S310를 반복적으로 수행하여 귀를 다양한 각도와 위치에서 스캐닝하여 저장매체(122)에 저장한다. 구체적으로, 제어부(120)는 귀의 포사(fossa), 이갑개(concha), 외이도(external auditory meatus), 이륜(helix), 대이륜(antihelix), 이주(tragus) 등을 다양한 각도와 위치에서 촬영 및 스캐닝하여 각 부분에 대한 형상 정보, 2D 이미지, 데카르트 좌표 및 오일러 각도 등을 수집하여 저장매체(122)에 저장한다.By repeating the above steps S302 to S310 to store the ear in the storage medium 122 by scanning the ear at various angles and positions. Specifically, the control unit 120 photographs the fossa, the concha, the external auditory meatus, the helix, the antihelix, the tragus, and the like at various angles and positions. And collect shape information, 2D images, Cartesian coordinates, Euler angles, and the like for each part by scanning and storing the shape information in the storage medium 122.
이후, 이미지 프로세싱부(130)는 각각의 2D 이미지에 대한 형상 정보, 데카르트 좌표 및 오일러 각도를 기반으로 2D 이미지 각각에 대한 뎁스 정보를 산출한다(S312).Thereafter, the image processing unit 130 calculates depth information for each 2D image based on the shape information, the Cartesian coordinates, and the Euler angle for each 2D image (S312).
그런 다음, 이미지 프로세싱부(130)는 각 뎁스 정보를 기반으로 2D 이미지를 3D 이미지로 변환(S314)하여 저장매체(122)에 저장한다.Next, the image processing unit 130 converts the 2D image into a 3D image based on each depth information (S314) and stores the 2D image in the storage medium 122.
그리고 나서, 이미지 프로세싱부(130)는 3D 이미지 각각에 대한 데카르트 좌표 및 오일러 각도를 기반으로 3D 이미지를 정합하여 건측 귀에 대한 3D 모델링 데이터를 생성한다(S316).Then, the image processing unit 130 generates 3D modeling data for the healthy ear by matching the 3D image based on Cartesian coordinates and Euler angles for each 3D image (S316).
그런 다음, 이미지 프로세싱부(130)는 3D 모델링 데이터에 대해 미러링 변환 기법을 적용하여 환측 귀에 대응하는 3D 모델링 데이터를 생성한다(S318).Then, the image processing unit 130 generates 3D modeling data corresponding to the annular ear by applying a mirroring transformation technique to the 3D modeling data (S318).
이후, 이미지 프로세싱부(130)는 네트워크(미도시됨)를 통해 연결된 출력부(140) 또는 내부의 출력부(140)에 S318에서 생성한 3D 모델링 데이터를 제공하여 출력을 요청한다(S320).Thereafter, the image processing unit 130 requests the output by providing the 3D modeling data generated in S318 to the output unit 140 or the internal output unit 140 connected through a network (not shown) (S320).
이에 따라, 출력부(140)는생체 적합성 물질을 이용하여 3D 모델링 데이터를 3D 프린팅함으로써, 귀 모형을 출력한다(S322).Accordingly, the output unit 140 outputs the ear model by 3D printing the 3D modeling data using the biocompatible material (S322).
도 7은 본원의 다른 실시예에 따른 인공 귀 생성 과정을 도시한 흐름도이다.7 is a flowchart illustrating an artificial ear generation process according to another exemplary embodiment of the present application.
먼저, 도 7에 도시된 바와 같이, 제어부(120)는 정보 획득부(100)의 카메라(102)로부터 2D 이미지를 제공받음과 더불어 위치 조절부(110)로부터 데카르트 좌표 및 오일러 각도에 대한 정보를 제공받는다(S402).First, as shown in FIG. 7, the control unit 120 receives a 2D image from the camera 102 of the information acquisition unit 100 and provides information on Cartesian coordinates and Euler angles from the position adjusting unit 110. It is provided (S402).
이후, 제어부(120)는 2D 이미지에서 마커가 추출되는지를 판단한다(S404), S404의 판단 결과, 마커가 추출되는 경우 제어부(120)는 정보 획득부(100)로부터 입력되는 2D 이미지 및 형상 정보와 와 위치 조절부(110)로부터 입력되는 데카르트 좌표 및 오일러 각도를 매칭시켜 저장매체(122)에 저장한다(S406).Thereafter, the controller 120 determines whether the marker is extracted from the 2D image (S404). When the marker is extracted, the controller 120 determines the 2D image and the shape information input from the information acquisition unit 100. Matching Cartesian coordinates and Euler angles inputted from and position adjusting unit 110 and stored in the storage medium 122 (S406).
한편, S404의 판단 결과, 마커가 추출되지 않을 경우 제어부(120)는 위치 조절부(110)로부터 입력된 데카르트 좌표 및 오일러 각도를 기반으로 위치 조절부(110)의 XYZ 리니지 스테이지(112)와 액추에이터(114)를 작동시키기 위한 제어 신호를 발생시켜 위치 조절부(110)를 동작시켜 정보 획득부(100)의 위치와 각도를 변경시킨다(S408). 그런 다음, 제어부(120)는 S402로 진행하여 이후 단계를 수행한다.On the other hand, when the marker is not extracted as a result of the determination in S404, the control unit 120 is based on the Cartesian coordinates and Euler angle input from the position adjusting unit 110 and the actuator XYZ lineage stage 112 of the position adjusting unit 110 By generating a control signal for operating the 114 to operate the position adjusting unit 110 to change the position and angle of the information obtaining unit 100 (S408). Then, the controller 120 proceeds to S402 to perform the subsequent step.
상기와 단계 S402 내지 S408를 반복적으로 수행하여 귀를 다양한 각도와 위치에서 스캐닝하여 저장매체(122)에 저장한다. 구체적으로, 제어부(120)는 귀의 포사(fossa), 이갑개(concha), 외이도(external auditory meatus), 이륜(helix), 대이륜(antihelix), 이주(tragus) 등을 다양한 각도와 위치에서 촬영 및 스캐닝하여 각 부분에 대한 형상 정보, 2D 이미지, 데카르트 좌표 및 오일러 각도 등을 수집하여 저장매체(122)에 저장한다.By repeating the above steps and steps S402 to S408, the ear is scanned at various angles and positions and stored in the storage medium 122. Specifically, the control unit 120 photographs the fossa, the concha, the external auditory meatus, the helix, the antihelix, the tragus, and the like at various angles and positions. And collect shape information, 2D images, Cartesian coordinates, Euler angles, and the like for each part by scanning and storing the shape information in the storage medium 122.
이후, 단계인 S410∼S420은 도 6에서 설명한 단계 S312∼S322와 동일하기 때문에 생략하기로 한다. Since steps S410 to S420 are the same as steps S312 to S322 described with reference to FIG. 6, a description thereof will be omitted.
도 8은 본원의 다른 실시예에 따른 인공 귀 생성 과정을 도시한 흐름도이다. 도 8을 참조하면, 단계 S801에서 생체귀로부터 본 뜬 귀를 제작할 수 있다. 이 때, 본 뜬 귀는 석고본으로 제작될 수 있으나 이에 한정되는 것은 아니다. 단계 S802에서 본 뜬 귀에 대응하는 3D 모델링 데이터를 생성할 수 있다. 단계 S802는 도 6 내지 도 7을 통해 설명되는 인공 귀 생성 과정과 동일하므로 자세한 설명은 생략하기로 한다. 단계 S803에서 생체 적합성 물질을 이용해 주형을 제작할 수 있다. 예를 들면, Polydimethylsiloxane (PDMS) base와 curing agent를 일정 비율로 섞어 부어준 뒤 PDMS를 굳히고, PDMS를 절단 또는 구멍을 내어 3차원 프린팅으로 출력된 귀를 제거하고, 음각 형태를 가지고 있는 절단된 PDMS의 절단면에 oxygen plasma 처리를 함으로써, 생체 적합성 물질을 이용한 PDMS 주형을 제작할 수 있다.8 is a flowchart illustrating an artificial ear generation process according to another exemplary embodiment of the present application. Referring to FIG. 8, in step S801, ears cut out from the living body ear may be manufactured. At this time, the ear cut may be made of gypsum but is not limited thereto. 3D modeling data corresponding to the ear seen in step S802 may be generated. Step S802 is the same as the artificial ear generation process described with reference to FIGS. 6 to 7, and thus a detailed description thereof will be omitted. In step S803, a mold may be manufactured using the biocompatible material. For example, a mixture of polydimethylsiloxane (PDMS) base and curing agent is poured to a certain ratio to harden the PDMS, cut or puncture the PDMS to remove the ear output by 3D printing, and have a negative cut PDMS Oxygen plasma treatment on the cut surface of the PDMS template can be produced using a biocompatible material.
단계 S804에서 기 제작된 주형에 생체 적합성 물질을 이용해 플라스틱 성형함으로써 3D 모델링 데이터에 대응하는 인공 귀를 제작할 수 있다. 예를 들면, 주형에 생체 적합성 물질을 녹여 사출 등으로 인공 귀를 제작할 때 소금 결정과 같이 특정 용매에만 녹는 물질을 수백 마이크로미터로 갈아 함께 넣고 섞은 후, 이를 주형에 넣는 방법으로 인공 귀를 제작할 수 있다. In step S804, the artificial ear corresponding to the 3D modeling data may be manufactured by plastic molding using the biocompatible material in the mold made in advance. For example, when manufacturing an artificial ear by dissolving a biocompatible material in a mold, the artificial ear may be manufactured by grinding and dissolving a substance that is dissolved only in a specific solvent, such as salt crystals, by several hundred micrometers, and then putting it in a mold. have.
도 9는 본원의 다른 실시예에 따른 인공 귀 생성 과정을 도시한 흐름도이다. 도 9를 참조하면, 단계 S901에서 생체귀로부터 본 뜬 귀를 제작할 수 있다. 단계 S901은 단계 S801의 동작과 동일하므로 자세한 설명은 생략된다. 9 is a flowchart illustrating an artificial ear generation process according to another exemplary embodiment of the present application. Referring to FIG. 9, in operation S901, the ear which is seen from the living ear may be manufactured. Since step S901 is the same as the operation of step S801, detailed description is omitted.
도 8을 참조하면, 단계 S801에서 생체귀로부터 본 뜬 귀를 제작할 수 있다. 이 때, 본 뜬 귀는 석고본으로 제작될 수 있으나 이에 한정되는 것은 아니다. 단계 S902에서 본 뜬 귀에 대응하는 3D 모델링 데이터를 생성할 수 있다. 단계 S902는 도 6 내지 도 7을 통해 설명되는 인공 귀 생성 과정과 동일하므로 자세한 설명은 생략하기로 한다. 단계 S903에서 비생체 적합성 물질을 이용해 주형을 제작할 수 있다. 예를 들면, 모래가 가득한 두 개의 틀 사이에 기 출력된 인공 귀를 고정하여 두 틀을 겹친 후 인공 귀를 빼내어 귀 모형에 대한 주형을 제작할 수 있고, 3차원 프린팅 기술을 이용하여 인공 귀에 대한 주형을 직접 출력할 수도 있다. 단계 S904에서 기 제작된 주형에 생체 적합성 물질을 이용해 플라스틱 성형함으로써 3D 모델링 데이터에 대응하는 인공 귀를 제작할 수 있다Referring to FIG. 8, in step S801, ears cut out from the living body ear may be manufactured. At this time, the ear cut may be made of gypsum but is not limited thereto. 3D modeling data corresponding to the ear seen in step S902 may be generated. Step S902 is the same as the artificial ear generation process described with reference to FIGS. 6 to 7, and thus a detailed description thereof will be omitted. In step S903 a mold can be made using the non-biocompatible material. For example, a mold for an ear model can be made by overlapping two frames by fixing previously printed artificial ears between two sand-filled frames, and extracting the artificial ears, and using a three-dimensional printing technique. You can also output In step S904, the artificial ear corresponding to the 3D modeling data may be manufactured by plastic molding using the biocompatible material in the mold previously manufactured.
상술한 바와 같은 인공 귀 생성 방법은 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.The artificial ear generating method as described above may also be implemented in the form of a recording medium including instructions executable by a computer, such as a program module executed by a computer. Computer readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media. In addition, computer readable media may include both computer storage media and communication media. Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data. Communication media typically includes computer readable instructions, data structures, program modules, or other data in a modulated data signal such as a carrier wave, or other transmission mechanism, and includes any information delivery media.
전술한 본원의 설명은 예시를 위한 것이며, 본원이 속하는 기술분야의 통상의 지식을 가진 자는 본원의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.The above description of the present application is intended for illustration, and it will be understood by those skilled in the art that the present invention may be easily modified in other specific forms without changing the technical spirit or essential features of the present application. Therefore, it should be understood that the embodiments described above are exemplary in all respects and not restrictive. For example, each component described as a single type may be implemented in a distributed manner, and similarly, components described as distributed may be implemented in a combined form.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본원의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present invention is shown by the following claims rather than the detailed description, and all changes or modifications derived from the meaning and scope of the claims and their equivalents should be construed as being included in the scope of the present application. .

Claims (37)

  1. 귀의 각 부분에 대한 촬영 및 스캐닝하는 정보 획득부;An information acquisition unit for photographing and scanning each part of the ear;
    상기 정보 획득부에 연결되어 상기 촬영 및 스캐닝의 위치와 각도를 변경시키고, 상기 위치와 각도에 대한 정보를 출력하는 위치 조절부;A position adjusting unit connected to the information obtaining unit to change the position and angle of the photographing and scanning, and output information on the position and angle;
    상기 위치와 각도의 정보, 상기 스캐닝을 통해 생성된 상기 귀의 각 부분에 대한 형상 정보 및 상기 촬영을 통해 생성된 2D 이미지를 제공받는 제어부; 및A controller configured to receive the position and angle information, shape information on each part of the ear generated through the scanning, and a 2D image generated through the photographing; And
    상기 형상 정보, 상기 위치와 각도의 정보 및 상기 2D 이미지를 기반으로 3D 이미지를 생성하고, 상기 위치와 각도의 정보를 기반으로 상기 3D 이미지를 병합하여 3D 모델링 데이터를 생성하는 이미지 프로세싱부를 포함하는 인공 귀 생성 장치. And an image processing unit configured to generate a 3D image based on the shape information, the position and angle information, and the 2D image, and generate 3D modeling data by merging the 3D image based on the position and angle information. Ear generating device.
  2. 제 1 항에 있어서, The method of claim 1,
    상기 위치 조절부는, 상기 정보 획득부에 연결되어 귀의 각 부분에 대한 촬영 및 스캐닝 위치와 각도를 변경시키며, 상기 정보 획득부의 위치와 각도에 대한 정보를 출력하되, The position adjusting unit is connected to the information obtaining unit to change the photographing and scanning position and angle for each part of the ear, and outputs information about the position and angle of the information obtaining unit,
    상기 제어부는, 상기 위치 조절부에 작동 신호를 인가하여 상기 정보 획득부의 촬영 및 스캐닝 위치 및 각도를 조절하며, 상기 귀의 각 부분에 대한 상기 위치와 각도의 정보, 상기 정보 획득부의 스캐닝을 통해 생성된 상기 귀의 각 부분에 대한 형상 정보 및 상기 정보 획득부의 촬영을 통해 생성된 2D 이미지를 제공받는 것인, 인공 귀 생성 장치. The control unit applies an operation signal to the position adjusting unit to adjust a photographing and scanning position and angle of the information obtaining unit, and generates information about the position and angle of each part of the ear and scanning the information obtaining unit. Receiving the shape information for each part of the ear and the 2D image generated through the photographing of the information acquisition unit, artificial ear generating device.
  3. 제2항에 있어서,The method of claim 2,
    상기 위치 조절부는The position adjusting unit
    상기 위치와 각도의 정보로 데카르트 좌표 및 오일러 각도를 제공하는 리니어 스테이지와 끝단에 상기 정보 획득부가 연결되는 액추에이터로 이루어진, 인공 귀 생성 장치.An artificial ear generating device, comprising: a linear stage providing Cartesian coordinates and Euler angles as information of the position and angle, and an actuator having the information acquisition unit connected to an end thereof.
  4. 제2항에 있어서,The method of claim 2,
    상기 위치 조절부는The position adjusting unit
    말단 부분에 상기 정보 획득부가 연결되는 6축 로봇팔인, 인공 귀 생성 장치.An artificial ear generating device, which is a six-axis robot arm to which the information acquisition unit is connected to an end portion.
  5. 제2항에 있어서,The method of claim 2,
    상기 제어부는The control unit
    상기 정보 획득부의 촬영을 통해 획득한 2D 이미지에서 촬영한 부분의 특징점을 추출하는 특징점 추출 모듈; 및A feature point extraction module for extracting feature points of a portion photographed from the 2D image obtained by photographing the information acquisition unit; And
    상기 추출한 특징점과 기 저장된 귀의 각 부분별 특징점 정보간의 비교를 통해 상기 위치 조절부를 동작시켜 상기 정보 획득부의 위치 및 각도를 조절하기 위한 작동 신호를 발생시키는 작동 신호 발생 모듈을 포함하는, 인공 귀 생성 장치.And an operation signal generation module configured to generate an operation signal for adjusting the position and angle of the information acquisition unit by operating the position adjusting unit through comparison between the extracted feature point and the feature point information of each part of the pre-stored ear. .
  6. 제5항에 있어서,The method of claim 5,
    상기 귀의 각 부분에는 마커가 부착되며,Markers are attached to each part of the ear,
    상기 특징점 추출 모듈은 상기 촬영된 2D 이미지에서의 마커 추출을 통해 상기 특징점을 추출하는, 인공 귀 생성 장치.The feature point extraction module extracts the feature point by extracting a marker from the photographed 2D image.
  7. 제6항에 있어서,The method of claim 6,
    상기 귀의 각 부분은 예컨대 포사(fossa), 이갑개(concha), 외이도(external auditory meatus), 이륜(helix), 대이륜(antihelix) 및 이주(tragus) 중 적어도 하나 이상인, 인공 귀 생성 장치.Wherein each part of the ear is at least one of, for example, fossa, concha, external auditory meatus, helix, antihelix and tragus.
  8. 제2항에 있어서,The method of claim 2,
    상기 이미지 프로세싱부는The image processing unit
    상기 2D 이미지에 대한 형상 정보를 기반으로 상기 2D 이미지의 뎁스 정보를 산출하는 뎁스 정보 산출 모듈;A depth information calculating module for calculating depth information of the 2D image based on shape information of the 2D image;
    상기 2D 이미지에 대한 뎁스 정보를 기반으로 상기 2D 이미지를 3D 이미지로 변환하는 변환 모듈; 및A conversion module for converting the 2D image into a 3D image based on depth information of the 2D image; And
    상기 위치 및 각도에 대한 정보를 기반으로 상기 3D 이미지를 정합하여 3D 모델링 데이터를 생성하는 정합 모듈을 포함하는, 인공 귀 생성 장치.And a matching module configured to generate 3D modeling data by matching the 3D image based on the position and angle information.
  9. 제2항에 있어서,The method of claim 2,
    상기 이미지 프로세싱부는The image processing unit
    상기 3D 모델링 데이터가 건측 귀에 대한 것일 경우 미러링 변환 기법을 적용하여 상기 건측 귀에 대한 3D 모델링 데이터를 환측 귀에 대응하는 3D 모델링 데이터로 변환시키는 변환 모듈을 더 포함하는, 인공 귀 생성 장치.And a transformation module for converting 3D modeling data for the healthy ear into 3D modeling data corresponding to the affected ear when the 3D modeling data is for the healthy ear.
  10. 제2항에 있어서,The method of claim 2,
    상기 이미지 프로세싱부는The image processing unit
    상기 3D 모델링 데이터를 편집할 수 있는 편집 인터페이스를 제공하며, 상기 편집 인터페이스를 통해 입력된 정보를 기반으로 상기 3D 모델링 데이터를 변환시키는 편집 모듈을 더 포함하는, 인공 귀 생성 장치.And an editing module for editing the 3D modeling data and converting the 3D modeling data based on information input through the editing interface.
  11. 제2항에 있어서,The method of claim 2,
    상기 인공 귀 생성 장치는,The artificial ear generating device,
    3D 프린팅을 통해 상기 3D 모델링 데이터에 대응하는 인공 귀를 출력하는 출력부를 더 포함하는, 인공 귀 생성 장치. And an output unit for outputting an artificial ear corresponding to the 3D modeling data through 3D printing.
  12. 제 11 항에 있어서, The method of claim 11,
    상기 출력부는, The output unit,
    기 설정된 생체 적합성 물질을 이용하여 3D 프린팅을 통해 상기 3D 모델링 데이터에 대응하는 인공 귀를 출력하는 것인, 인공 귀 생성 장치.And an artificial ear corresponding to the 3D modeling data through 3D printing using a predetermined biocompatible material.
  13. 제 11 항에 있어서,The method of claim 11,
    상기 출력부는, The output unit,
    기 설정된 비생체 적합성 물질을 이용하여 3D 프린팅을 통해 상기 3D 모델링 데이터에 대응하는 인공 귀를 출력하는 것인, 인공 귀 생성 장치.And an artificial ear corresponding to the 3D modeling data through 3D printing using a preset non-biocompatible material.
  14. 제 11 항에 있어서, The method of claim 11,
    상기 출력부는, The output unit,
    조형물질을 이용하여 3D 프린팅을 통해 상기 3D 모델링 데이터에 대응하는 견본용 귀를 출력하는 것인, 인공 귀 생성 장치. And an ear for a sample corresponding to the 3D modeling data through 3D printing using a modeling material.
  15. 제 11 항에 있어서,The method of claim 11,
    상기 출력부는 상기 출력된 인공 귀에 대한 주형을 제작하고, 상기 제작된 주형에 기초하여 상기 인공 귀를 출력하는 것인, 인공 귀 생성 장치.The output unit produces a mold for the output artificial ear, and the artificial ear generating device for outputting the artificial ear based on the produced mold.
  16. 제 15항에 있어서, The method of claim 15,
    상기 주형은 상기 3D 모델링 데이터에 기초하여 제작되는 것인, 인공 귀 생성 장치.Wherein the template is manufactured based on the 3D modeling data.
  17. 제 15 항에 있어서,The method of claim 15,
    상기 주형은 비생체 적합성 물질을 이용해 제작되는 것인, 인공 귀 생성 장치.Wherein the mold is made using a non-biocompatible material.
  18. 제 15 항에 있어서,The method of claim 15,
    상기 출력부는 기 설정된 생체 적합성 물질에 대한 플라스틱 성형 방법을 통해 상기 인공 귀를 제작하는 것인, 인공 귀 생성 장치.The output unit is to produce the artificial ear through a plastic molding method for a predetermined biocompatible material, artificial ear generating device.
  19. 제 18 항에 있어서,The method of claim 18,
    상기 출력부는 특정 용매에만 녹는 물질(Soluble 결정체)을 상기 생체 적합성 물질에 첨가하는 방법 또는 상기 생체 적합성 물질이 용융된 상태에서 기포를 발생시켜 빠르게 굳히는 방법 중 적어도 하나를 통해 상기 인공 귀를 제작하되, The output unit may produce the artificial ear by at least one of adding a soluble material (Soluble crystal) to the biocompatible material or generating a bubble in the molten state and rapidly solidifying the biocompatible material.
    상기 인공 귀는 다공성 구조를 가지는 것인, 인공 귀 생성 장치. The artificial ear has a porous structure, artificial ear generating device.
  20. 제 1 항에 있어서,The method of claim 1,
    상기 귀는 생체귀로부터 본 뜬 귀인 것인, 인공 귀 생성 장치.The ear is an artificial ear generating device, which is the ear seen from a living ear.
  21. 제12항에 있어서,The method of claim 12,
    상기 생체 적합성 물질은 polycaprolactone(PCL), polyglycolic acid(PGA), polylactic acid(PLA), poly(D,L-lactic-co-glycolic-acid)(PLGA), poly(alkyl cyanoacrylate)(PAC), hyaluronic acid(HA), hydrogel, 타이타니움, tricalcium, phosphate, hydroxylapatite, 실리콘, acrylates, 콜라겐, 젤라틴, 키토산(chitosan), high density polyethylene(HDPE), low density polyethylene(LDPE), polyethylene(PE), Linear low-density polyethylene (LLDPE), Medium-density polyethylene (MDPE), Ultra-high-molecular-weight polyethylene (UHMWPE), polymethyl methacrylate(PMMA), polytetrafluoroethylene(PTFE), polydimethylsiloxane(PDMS) 및 피브리노겐(fibrinogen) 중 적어도 하나 이상의 혼합물인 것인, 인공 귀 생성 장치.The biocompatible materials are polycaprolactone (PCL), polyglycolic acid (PGA), polylactic acid (PLA), poly (D, L-lactic- co -glycolic-acid) (PLGA), poly (alkyl cyanoacrylate) (PAC), hyaluronic acid (HA), hydrogel, titanium, tricalcium, phosphate, hydroxylapatite, silicone, acrylates, collagen, gelatin, chitosan, high density polyethylene (HDPE), low density polyethylene (LDPE), polyethylene (PE), Linear at least one of low-density polyethylene (LLDPE), Medium-density polyethylene (MDPE), Ultra-high-molecular-weight polyethylene (UHMWPE), polymethyl methacrylate (PMMA), polytetrafluoroethylene (PTFE), polydimethylsiloxane (PDMS), and fibrinogen And at least one mixture.
  22. 귀의 각 부분에 대한 촬영 및 스캐닝을 통해 2D 이미지 및 형상 정보를 제공하는 정보 획득부 및 상기 정보 획득부에 연결되어 귀의 각 부분에 대한 촬영 및 스캐닝 위치와 각도를 변경시키며, 상기 위치와 각도에 대한 정보를 출력하는 위치 조절부를 포함하는 인공 귀 생성 장치를 이용한 인공 귀 생성 방법으로서,It is connected to the information acquisition unit and the information acquisition unit for providing 2D image and shape information through the imaging and scanning of each part of the ear to change the shooting and scanning position and angle for each part of the ear, An artificial ear generating method using an artificial ear generating device including a position adjusting unit for outputting information,
    상기 귀의 각 부분에 대한 촬영 및 스캐닝을 위해 상기 위치 조절부를 제어하는 단계; Controlling the position adjuster for imaging and scanning of each part of the ear;
    상기 귀의 각 부분에 대한 2D 이미지, 상기 위치와 각도의 정보 및 스캐닝을 통해 획득한 형상 정보를 수집하는 단계; 및Collecting 2D images of each part of the ear, information on the position and angle, and shape information obtained through scanning; And
    상기 2D 이미지, 상기 위치와 각도의 정보 및 형상 정보를 기반으로 상기 귀의 각 부분에 대한3D 이미지를 생성하고, 상기 위치와 각도의 정보를 기반으로 상기 3D 이미지의 정합하여 3D 모델링 데이터를 생성하는 단계를 포함하는, 인공 귀 생성 방법.Generating a 3D image of each part of the ear based on the 2D image, the position and angle information, and the shape information, and generating 3D modeling data by matching the 3D image based on the position and angle information; Including, artificial ear generation method.
  23. 제 22항에 있어서, The method of claim 22,
    상기 위치 조절부를 제어하는 단계는 상기 귀의 각 부분에 대한 내부 구조가 판독 가능하도록 상기 위치 조절부를 제어하되, The controlling of the position adjusting unit may include controlling the position adjusting unit so that an internal structure of each part of the ear is readable.
    상기 수집하는 단계는 상기 위치 조절부의 제어를 통해 상기 귀의 각 부분에 대한 2D 이미지, 촬영 및 스캐닝 시 상기 위치 조절부로부터 수신되는 위치와 각도의 정보 및 스캐닝을 통해 획득한 형상 정보를 수집하는 것인, 인공 귀 생성 방법.The collecting step is to collect the 2D image of each part of the ear, the position and angle information received from the position adjusting unit and the shape information obtained by scanning through the control of the position adjusting unit. , Artificial ear generation method.
  24. 제23항에 있어서, The method of claim 23,
    상기 위치와 각도의 정보는 데카르트 좌표와 오일러 각도 또는 상기 데카르트 좌표 및 오일러 각도를 기반으로 생성된 좌표계를 통해 생성되는, 인공 귀 생성 방법.The position and angle information is generated through a Cartesian coordinate and Euler angle or a coordinate system generated based on the Cartesian coordinate and Euler angle.
  25. 제24항에 있어서,The method of claim 24,
    상기 제어하는 단계는The controlling step
    상기 정보 획득부의 촬영을 통해 획득한 2D 이미지에서 촬영한 부분의 특징점을 추출하는 단계; 및Extracting feature points of a portion photographed from the 2D image acquired through photographing of the information acquisition unit; And
    상기 추출한 특징점과 기 저장된 귀의 각 부분별 특징점 정보간의 비교를 통해 상기 위치 조절부를 동작시켜 상기 정보 획득부의 위치 및 각도를 제어하는 단계를 포함하는, 인공 귀 생성 방법.And controlling the position and angle of the information acquiring unit by operating the position adjusting unit through comparison between the extracted feature point and feature point information for each part of the ear previously stored.
  26. 제25항에 있어서,The method of claim 25,
    상기 귀의 각 부분에는 마커가 부착되며,Markers are attached to each part of the ear,
    상기 특징점을 추출하는 단계는 상기 촬영된 2D 이미지에서의 마커 추출을 통해 상기 특징점을 추출하는, 인공 귀 생성 방법.The extracting of the feature point may include extracting the feature point by extracting a marker from the photographed 2D image.
  27. 제26항에 있어서,The method of claim 26,
    상기 귀의 각 부분은 예컨대 포사(fossa), 이갑개(concha), 외이도(external auditory meatus), 이륜(helix), 대이륜(antihelix) 및 이주(tragus) 중 적어도 하나 이상인, 인공 귀 생성 방법.Wherein each part of the ear is at least one of, for example, fossa, concha, external auditory meatus, helix, antihelix and tragus.
  28. 제22항에 있어서,The method of claim 22,
    상기 3D 모델링 데이터를 생성하는 단계는Generating the 3D modeling data
    상기 2D 이미지에 대한 형상 정보를 기반으로 상기 2D 이미지의 뎁스 정보를 산출하는단계;Calculating depth information of the 2D image based on the shape information of the 2D image;
    상기 2D 이미지에 대한 뎁스 정보를 기반으로 상기 2D 이미지를 3D 이미지로 변환하는 단계; 및Converting the 2D image into a 3D image based on depth information of the 2D image; And
    상기 위치 및 각도에 대한 정보를 기반으로 상기 3D 이미지를 정합하여 3D 모델링 데이터를 생성하는 단계를 포함하는, 인공 귀 생성 방법.And generating 3D modeling data by matching the 3D image based on the position and angle information.
  29. 제22항에 있어서,The method of claim 22,
    상기 인공 귀 생성 방법은The artificial ear generation method
    상기 3D 모델링 데이터가 건측 귀에 대한 것일 경우 미러링 변환 기법을 적용하여 상기 건측 귀에 대한 3D 모델링 데이터를 환측 귀에 대응하는 3D 모델링 데이터로 변환시키는 단계를 더 포함하는, 인공 귀 생성 방법.If the 3D modeling data is for a healthy ear, converting the 3D modeling data for the healthy ear to 3D modeling data corresponding to the affected ear by applying a mirroring transformation technique.
  30. 제22항에 있어서,The method of claim 22,
    상기 인공 귀 생성 방법은The artificial ear generation method
    상기 3D 모델링 데이터를 편집할 수 있는 편집 인터페이스를 제공하는 단계; 및Providing an editing interface for editing the 3D modeling data; And
    상기 편집 인터페이스를 통해 입력된 정보를 기반으로 상기 3D 모델링 데이터를 변환시키는 단계를 더 포함하는, 인공 귀 생성 방법.And converting the 3D modeling data based on the information input through the editing interface.
  31. 제22항에 있어서,The method of claim 22,
    상기 인공 귀 생성 방법은The artificial ear generation method
    기 설정된 생체 적합성 물질을 이용하여 3D 프린팅을 통해 상기 3D 모델링 데이터에 대응하는 인공 귀를 출력하는 단계를 포함하는, 인공 귀 생성 방법.And outputting an artificial ear corresponding to the 3D modeling data through 3D printing using a preset biocompatible material.
  32. 제 22 항에 있어서,The method of claim 22,
    상기 인공 귀 생성 방법은The artificial ear generation method
    비생체 적합성 물질을 이용하여 3D 프린팅을 통해 상기 3D 모델링 데이터에 대응하는 인공 귀를 출력하는 단계를 포함하는, 인공 귀 생성 방법.Outputting an artificial ear corresponding to the 3D modeling data through 3D printing using a non-biocompatible material.
  33. 제31항에 있어서,The method of claim 31, wherein
    상기 출력하는 단계는 상기 출력된 인공 귀에 대한 주형을 제작하고, 상기 제작된 주형에 기초하여 상기 인공 귀를 출력하는, 인공 귀 생성 방법.The outputting step may include producing a mold for the output artificial ear, and outputting the artificial ear based on the manufactured mold.
  34. 제33 항에 있어서, The method of claim 33, wherein
    상기 출력하는 단계는 The output step is
    기 설정된 생체 적합성 물질에 대한 플라스틱 성형 방법을 통해 상기 인공 귀를 제작하는 인공 귀 생성 방법.An artificial ear generating method for manufacturing the artificial ear through a plastic molding method for a predetermined biocompatible material.
  35. 제 32 항에 있어서,33. The method of claim 32,
    상기 출력하는 단계는 The output step is
    특정 용매에만 녹는 물질(Soluble 결정체)을 상기 생체 적합성 물질에 첨가하는 방법 또는 상기 생체 적합성 물질이 용융된 상태에서 기포를 발생시켜 빠르게 굳히는 방법 중 적어도 하나를 통해 상기 인공 귀를 제작하되, The artificial ear may be manufactured by at least one of adding a soluble material (Soluble crystal) to the biocompatible material or generating a bubble in the molten state and rapidly solidifying the same.
    상기 인공 귀는 다공성 구조를 가지는 것인, 인공 귀 생성 방법.The artificial ear has a porous structure, artificial ear generation method.
  36. 제31항에 있어서,The method of claim 31, wherein
    상기 생체 적합성 물질은 polycaprolactone(PCL), polyglycolic acid(PGA), polylactic acid(PLA), poly(D,L-lactic-co-glycolic-acid)(PLGA), poly(alkyl cyanoacrylate)(PAC), hyaluronic acid(HA), hydrogel, 타이타니움, tricalcium, phosphate, hydroxylapatite, 실리콘, acrylates, 콜라겐, 젤라틴, 키토산(chitosan), high density polyethylene(HDPE), low density polyethylene(LDPE), polyethylene(PE), Linear low-density polyethylene (LLDPE), Medium-density polyethylene (MDPE), Ultra-high-molecular-weight polyethylene (UHMWPE), polymethyl methacrylate(PMMA), polytetrafluoroethylene(PTFE), polydimethylsiloxane(PDMS) 및 피브리노겐(fibrinogen) 중 적어도 하나 이상의 혼합물인 것인, 인공 귀 생성 방법.The biocompatible materials are polycaprolactone (PCL), polyglycolic acid (PGA), polylactic acid (PLA), poly (D, L-lactic- co -glycolic-acid) (PLGA), poly (alkyl cyanoacrylate) (PAC), hyaluronic acid (HA), hydrogel, titanium, tricalcium, phosphate, hydroxylapatite, silicone, acrylates, collagen, gelatin, chitosan, high density polyethylene (HDPE), low density polyethylene (LDPE), polyethylene (PE), Linear at least one of low-density polyethylene (LLDPE), Medium-density polyethylene (MDPE), Ultra-high-molecular-weight polyethylene (UHMWPE), polymethyl methacrylate (PMMA), polytetrafluoroethylene (PTFE), polydimethylsiloxane (PDMS), and fibrinogen At least one mixture.
  37. 제22항 내지 제36항 중 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.A computer-readable recording medium having recorded thereon a program for executing the method of claim 22 on a computer.
PCT/KR2016/006178 2015-06-12 2016-06-10 Device and method for ear reconstruction and the need for reconstruction WO2016200201A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20150083096 2015-06-12
KR10-2015-0083096 2015-06-12

Publications (1)

Publication Number Publication Date
WO2016200201A1 true WO2016200201A1 (en) 2016-12-15

Family

ID=57504924

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/006178 WO2016200201A1 (en) 2015-06-12 2016-06-10 Device and method for ear reconstruction and the need for reconstruction

Country Status (2)

Country Link
KR (1) KR101818007B1 (en)
WO (1) WO2016200201A1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021061559A1 (en) * 2019-09-23 2021-04-01 The Johns Hopkins University Vacuum forming of thermoplastic bioabsorbable scaffolds for use in auricular reconstruction
CN112686884A (en) * 2021-01-12 2021-04-20 李成龙 Automatic modeling system and method for imaging marking characteristics

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102227735B1 (en) 2020-01-03 2021-03-15 국립암센터 3D Modeling method for organ and 3D organ model
KR102658754B1 (en) 2021-04-21 2024-04-17 부산대학교병원 External ear shaped implant and manufacturing method for the same

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100682889B1 (en) * 2003-08-29 2007-02-15 삼성전자주식회사 Method and Apparatus for image-based photorealistic 3D face modeling
US7826643B2 (en) * 2003-01-31 2010-11-02 Technest Holdings, Inc. Three-dimensional ear biometrics system and method
US20130027515A1 (en) * 2010-03-30 2013-01-31 Michael Vinther Scanning of cavities with restricted accessibility
WO2014039429A1 (en) * 2012-09-04 2014-03-13 Anthrogenesis Corporation Methods of tissue generation
US20140257518A1 (en) * 2013-03-08 2014-09-11 The Trustees Of Princeton University Multi-functional hybrid devices/structures using 3d printing

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101528822A (en) * 2006-07-05 2009-09-09 新加坡科技研究局 Porous polymeric articles
US8417487B2 (en) * 2007-10-05 2013-04-09 3D Systems, Inc. Replaceable fairing for prosthetic limb or brace
AU2014353110B2 (en) * 2013-11-19 2018-05-10 Cornell University Tissue scaffold materials for tissue regeneration and methods of making

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7826643B2 (en) * 2003-01-31 2010-11-02 Technest Holdings, Inc. Three-dimensional ear biometrics system and method
KR100682889B1 (en) * 2003-08-29 2007-02-15 삼성전자주식회사 Method and Apparatus for image-based photorealistic 3D face modeling
US20130027515A1 (en) * 2010-03-30 2013-01-31 Michael Vinther Scanning of cavities with restricted accessibility
WO2014039429A1 (en) * 2012-09-04 2014-03-13 Anthrogenesis Corporation Methods of tissue generation
US20140257518A1 (en) * 2013-03-08 2014-09-11 The Trustees Of Princeton University Multi-functional hybrid devices/structures using 3d printing

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021061559A1 (en) * 2019-09-23 2021-04-01 The Johns Hopkins University Vacuum forming of thermoplastic bioabsorbable scaffolds for use in auricular reconstruction
CN112686884A (en) * 2021-01-12 2021-04-20 李成龙 Automatic modeling system and method for imaging marking characteristics

Also Published As

Publication number Publication date
KR20160146568A (en) 2016-12-21
KR101818007B1 (en) 2018-02-21

Similar Documents

Publication Publication Date Title
WO2016200201A1 (en) Device and method for ear reconstruction and the need for reconstruction
WO2018143497A1 (en) Implant surgery guiding method
CA2160792C (en) Method and arrangement using an articulator and computer equipment
Cheah et al. Integration of laser surface digitizing with CAD/CAM techniques for developing facial prostheses. Part 2: Development of molding techniques for casting prosthetic parts.
ATE412329T1 (en) MANUFACTURING METHOD AND SYSTEM FOR QUICKLY PRODUCING HEARING AID DEVICE SHELL
KR20100066538A (en) Systems and methods for 3d previewing
WO2014073818A1 (en) Implant image creating method and implant image creating system
JP2001166809A (en) Real solid model preparation device, solid data preparation device, pseudo solid data preparation device, and its method
US20140188260A1 (en) Method of digitally constructing a prosthesis
KR100730344B1 (en) Manufacturing method of artificial teeth using ct
US20170290685A1 (en) Advanced Fitment of Prosthetic Devices
JP3984585B2 (en) Manufacturing method of mask
CN107798656A (en) A kind of oral cavity Panorama Mosaic method based on range sensor and gyroscope
KR100469086B1 (en) Device for making models of 3 dimensional bone tissue or soft tissue and application method and model thereof
KR102006593B1 (en) Digital waorking system for special makeup using photogrammetry and 3d printer and the digital working method using this
CN114533325B (en) Flat mucous membrane scanning and optical plastic finishing method and system based on mobility monitoring
JP2017221329A (en) Method for matching organic lower jaw opening/closing axis with virtual articulator opening/closing axis using two-dimensional image
CN104603859A (en) Method for dental prosthodontic and prosthesis digital archiving and fabrication, and teaching and training thereof
KR20080050283A (en) Corelation extract method for generating 3d motion data and motion capture system and method for easy composition of humanoid character to real background image using as the same
WO2022270868A1 (en) Device for processing oral image and method for processing oral image
KR20210068044A (en) A method for integrating photographic facial images and/or films of a person into the planning of a dental and/or cosmetic dental treatment for said person and/or preparation of a restoration
WO2021221443A1 (en) Method and apparatus for calculating support generation position
Santosi et al. An innovative photogrammetric system for 3D digitization of dental models
WO2018186515A1 (en) Three-dimensional printing apparatus using dlp projector and laser scanner in combination
WO2022045650A1 (en) Three-dimensional scanner device, operation method, and computer-readable storage medium in which program for executing same operation method is stored

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16807841

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16807841

Country of ref document: EP

Kind code of ref document: A1