ES2788853T3 - System with 3D user interface integration - Google Patents

System with 3D user interface integration Download PDF

Info

Publication number
ES2788853T3
ES2788853T3 ES18192674T ES18192674T ES2788853T3 ES 2788853 T3 ES2788853 T3 ES 2788853T3 ES 18192674 T ES18192674 T ES 18192674T ES 18192674 T ES18192674 T ES 18192674T ES 2788853 T3 ES2788853 T3 ES 2788853T3
Authority
ES
Spain
Prior art keywords
display
environment
portable device
user interface
scanner
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES18192674T
Other languages
Spanish (es)
Inventor
Henrik Öjelund
David Fischer
Karl-Josef Hollenbeck
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
3Shape AS
Original Assignee
3Shape AS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=72473142&utm_source=***_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=ES2788853(T3) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 3Shape AS filed Critical 3Shape AS
Application granted granted Critical
Publication of ES2788853T3 publication Critical patent/ES2788853T3/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C9/00—Impression cups, i.e. impression trays; Impression methods
    • A61C9/004—Means or methods for taking digitized impressions
    • A61C9/0046—Data acquisition means or methods
    • A61C9/0053—Optical means or methods, e.g. scanning the teeth by a laser or light beam
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0088—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for oral or dental tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C9/00—Impression cups, i.e. impression trays; Impression methods
    • A61C9/004—Means or methods for taking digitized impressions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219—Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7475—User input or interface means, e.g. keyboard, pointing device, joystick

Abstract

Un sistema que comprende: -por lo menos un visualizador (101), donde el por lo menos un visualizador (101) está adaptado para representar visualmente una representación 3D (105) de un entorno 3D (104), y donde el por lo menos un visualizador (101) es un visualizador 3D; y -un dispositivo portátil (100), donde el dispositivo portátil (100) está adaptado para escanear el entorno 3D (104), mediante el cual la representación 3D (105) del entorno 3D (104) se visualiza en el visualizador 3D (101), donde el dispositivo portátil (100) es un escáner 3D intraoral o un escáner 3D auditivo, y está adaptado además para controlar remotamente la vista con la que se representa la representación 3D (105) en el visualizador 3D (101), donde el dispositivo portátil (100) está adaptado para conmutar entre: -escanear el entorno 3D (104), y -controlar remotamente la vista con la que se representa la representación 3D (105) en el visualizador 3D (101), caracterizado por que el dispositivo portátil (100) comprende por lo menos un sensor de movimiento, y por que la vista del entorno 3D (105) representada en el visualizador 3D (101) está determinada al menos parcialmente por el por lo menos un sensor de movimiento.A system comprising: - at least one display (101), where the at least one display (101) is adapted to visually represent a 3D representation (105) of a 3D environment (104), and where the at least A display (101) is a 3D display; and - a portable device (100), where the portable device (100) is adapted to scan the 3D environment (104), whereby the 3D representation (105) of the 3D environment (104) is displayed on the 3D viewer (101 ), where the portable device (100) is an intraoral 3D scanner or an auditory 3D scanner, and is further adapted to remotely control the view with which the 3D representation (105) is represented on the 3D viewer (101), where the portable device (100) is adapted to switch between: - scanning the 3D environment (104), and - remotely controlling the view with which the 3D representation (105) is represented on the 3D viewer (101), characterized in that the device The portable (100) comprises at least one motion sensor, and because the view of the 3D environment (105) represented on the 3D display (101) is at least partially determined by the at least one motion sensor.

Description

DESCRIPCIÓNDESCRIPTION

Sistema con integración de interfaz de usuario 3DSystem with 3D user interface integration

Sector técnico de la invenciónTechnical sector of the invention

Esta invención se refiere, en general, a un método y a un sistema que comprende un dispositivo portátil y por lo menos un visualizador.This invention relates generally to a method and a system comprising a portable device and at least one display.

Antecedentes de la invenciónBackground of the invention

La visualización en 3D es importante en muchos sectores de la industria y la medicina, donde la información 3D es cada vez más predominante.3D visualization is important in many sectors of industry and medicine, where 3D information is increasingly prevalent.

Visualizar e inspeccionar información 3D es intrínsecamente difícil. Para comprender completamente un objeto 3D o todo un entorno en una pantalla, el usuario debería generalmente poder rotar el objeto o la escena, de tal modo que se visualicen muchas o, preferentemente, todas las superficies. Este es el caso incluso para visualizadores 3D, por ejemplo estereoscópicos u holográficos, donde desde una posición de visualización determinada y con un ángulo de visualización determinado, el usuario verá solamente algunas superficies de un entorno 3D arbitrario. A menudo, el usuario donde deseará asimismo ampliar el zoom para ver detalles o reducir el zoom para una visión general.Visualizing and inspecting 3D information is inherently difficult. To fully understand a 3D object or an entire environment on a screen, the user should generally be able to rotate the object or scene so that many or preferably all surfaces are displayed. This is the case even for 3D displays, for example stereoscopic or holographic, where from a certain viewing position and with a certain viewing angle, the user will see only some surfaces of an arbitrary 3D environment. Often times, the user will also want to zoom in for details or zoom out for an overview.

Hay varios dispositivos de interacción con el usuario en uso para software que visualiza datos 3D; estos dispositivos son: ratones 3D, bolas espaciales y pantallas táctiles. El funcionamiento de estos dispositivos de interacción actuales requiere tocarlos físicamente.There are various user interaction devices in use for software that displays 3D data; These devices are: 3D mice, space balls and touch screens. Operation of these current interaction devices requires physical touching.

Tocar físicamente un dispositivo de interacción con el usuario puede ser un inconveniente en aplicaciones médicas, debido a riesgos de contaminación cruzada entre pacientes o entre paciente y operador, o en aplicaciones industriales en entornos sucios.Physically touching a user interaction device can be inconvenient in medical applications, due to risks of cross contamination between patients or between patient and operator, or in industrial applications in dirty environments.

Se han descrito en la literatura diversas interfaces de usuario no táctiles para visualización de datos 3D en aplicaciones médicas. Vogt et al. (2004) describen un sistema interactivo sin contacto para visualización in situ de datos de formación de imágenes médicas 3D. La interfaz de usuario se basa en el rastreo de marcadores reflectantes, estando montada una cámara en la cabeza del médico. Graetzel et al. (2004) describen un sistema sin contacto que interpreta gestos manuales como acciones de ratón. Se basa en visión en estéreo y está destinado a ser utilizado en cirugía mínimamente invasiva. El documento US 2007/172112 describe un sistema de escaneo con un visualizador 3D y una interfaz de usuario para controlar la vista de un modelo digital.Various non-touch user interfaces for 3D data visualization in medical applications have been described in the literature. Vogt et al. (2004) describe a non-contact interactive system for in situ visualization of 3D medical imaging data. The user interface is based on reflective marker tracking, with a camera mounted on the doctor's head. Graetzel et al. (2004) describe a contactless system that interprets manual gestures as mouse actions. It is based on stereo vision and is intended to be used in minimally invasive surgery. US 2007/172112 describes a scanning system with a 3D viewer and a user interface to control the view of a digital model.

Sigue existiendo el problema de mejorar sistemas que requieren interfaces de usuario para el control de las vistas, que se pueden utilizar, por ejemplo, con propósitos clínicos.The problem remains of improving systems that require user interfaces to control views, which can be used, for example, for clinical purposes.

CompendioCompendium

La invención proporciona un sistema según la reivindicación 1.The invention provides a system according to claim 1.

En la siguiente descripción, los ejemplos denominados como “realizaciones” no están abarcados necesariamente por el alcance de la invención, la cual está definida por las reivindicaciones.In the following description, the examples referred to as "embodiments" are not necessarily encompassed by the scope of the invention, which is defined by the claims.

Se da a conocer un sistema que comprende un dispositivo portátil y por lo menos un visualizador, donde el dispositivo portátil está adaptado para llevar a cabo por lo menos una acción en un entorno 3D físico, donde dicho por lo menos un visualizador está adaptado para representar visualmente el entorno 3D físico, y donde el dispositivo portátil está adaptado para controlar remotamente la vista con la que se representa dicho entorno 3D en el visualizador.A system is disclosed comprising a portable device and at least one display, where the portable device is adapted to carry out at least one action in a physical 3D environment, where said at least one display is adapted to represent visually the physical 3D environment, and where the portable device is adapted to remotely control the view with which said 3D environment is represented on the display.

El sistema puede estar adaptado para conmutar entre realizar dicha por lo menos una acción en el entorno 3D físico, y controlar remotamente la vista con la que se representa el entorno 3D en el visualizador.The system may be adapted to switch between performing said at least one action in the physical 3D environment, and remotely controlling the view with which the 3D environment is represented on the display.

El sistema dado a conocer aquí realiza la integración de la funcionalidad de interfaz de usuario 3D con cualquier otro dispositivo portátil con otra funcionalidad operativa, de tal modo que idealmente el operador solamente toca este último dispositivo que está destinado para ser tocado. Un ejemplo particular de un dispositivo portátil de este tipo es uno que registra alguna geometría 3D, por ejemplo, un escáner 3D portátil.The system disclosed herein integrates the 3D user interface functionality with any other portable device with other operational functionality, such that ideally the operator only touches this last device that is intended to be touched. A particular example of such a portable device is one that records some 3D geometry, for example a portable 3D scanner.

El dispositivo portátil es un dispositivo multipropósito, tal como un dispositivo de doble propósito o de dos propósitos, es decir, un dispositivo tanto para llevar a cabo acciones en el entorno 3D físico, tales como medir y manipular, como para controlar remotamente la vista del entorno 3D en el visualizador.The wearable device is a multipurpose device, such as a dual-purpose or dual-purpose device, that is, a device both for carrying out actions in the physical 3D environment, such as measuring and manipulating, and for remotely controlling the view of the 3D environment in the viewer.

Geométricamente, una vista está determinada por la posición y la orientación del observador virtual/cámara con respecto al entorno 3D o su representación visual. Si el visualizador es bidimensional, la vista está determinada asimismo por el tipo de proyección. Una vista puede estar determinada asimismo por un factor de aumento. Geometrically, a view is determined by the position and orientation of the virtual observer / camera relative to the 3D environment or its visual representation. If the viewer is two-dimensional, the view is also determined by the type of projection. A view can also be determined by a magnification factor.

La posición y la orientación del observador virtual y del entorno 3D son siempre relativas entre sí. En términos de la experiencia del usuario en sistemas de software con dispositivos de entrada 3D, el usuario puede sentir, por ejemplo, que se está desplazando en el entorno 3D mientras permanece estacionario, pero existe siempre un movimiento equivalente del observador virtual/cámara que proporciona los mismos resultados en el visualizador. A menudo, las descripciones de sistemas de software 3D utilizan la expresión "barrido" para indicar un movimiento de traslación aparente del entorno 3D, "rotación" para indicar un movimiento de rotación del entorno 3D y "zum" para indicar un cambio en el factor de aumento.The position and orientation of the virtual observer and the 3D environment are always relative to each other. In terms of the user experience in software systems with 3D input devices, the user may feel, for example, that he is moving in the 3D environment while remaining stationary, but there is always an equivalent movement of the virtual observer / camera that provides the same results on the display. Often times, descriptions of 3D software systems use the expression "sweep" to indicate an apparent translational movement of the 3D environment, "rotation" to indicate a rotational movement of the 3D environment, and "zoom" to indicate a change in the factor. increase.

Gráficamente, una vista puede representar un entorno 3D por medio de fotografías o alguna clase de representación virtual tal como un gráfico informático, o similar. Un gráfico informático se puede representar, por ejemplo, con textura y/o sombreado y/o fuentes de luz virtual y/o modelos de luz para propiedades superficiales. Un gráfico informático puede ser asimismo una representación simplificada del entorno 3D, por ejemplo una malla, un contorno o una representación simplificada de otro modo. La totalidad, o partes del entorno 3D, pueden asimismo representarse con algún grado de transparencia. Una vista puede representar el entorno 3D en conjunto o solamente partes del mismo.Graphically, a view can represent a 3D environment by means of photographs or some kind of virtual representation such as a computer graphic, or the like. A computer graphic can be represented, for example, with texture and / or shading and / or virtual light sources and / or light patterns for surface properties. A computer graphic can also be a simplified representation of the 3D environment, for example a mesh, an outline, or an otherwise simplified representation. The whole, or parts, of the 3D environment can also be represented with some degree of transparency. A view can represent the 3D environment as a whole or just parts of it.

Todos los sistemas sin contacto de la técnica anterior son solamente dispositivos de interfaz de usuario 3D. En muchas aplicaciones de la técnica anterior, el operador que utiliza dicho dispositivo de interfaz de usuario asimismo sostendrá y trabajará con otro dispositivo que es realmente el dispositivo central en la aplicación global, por ejemplo, un instrumento médico.All prior art contactless systems are 3D user interface devices only. In many prior art applications, the operator using such a user interface device will also hold and work with another device that is actually the central device in the overall application, for example a medical instrument.

Por lo tanto, una ventaja del presente sistema es que la funcionalidad de interfaz de usuario 3D está integrada en el dispositivo central, que se utiliza para realizar alguna clase de acción.Therefore, an advantage of the present system is that the 3D user interface functionality is built into the central device, which is used to perform some kind of action.

En algunas realizaciones, el dispositivo portátil está adaptado para controlar remotamente el aumento con el que se representa el entorno 3D en el visualizador.In some embodiments, the handheld device is adapted to remotely control the magnification at which the 3D environment is rendered on the display.

En algunas realizaciones, el dispositivo portátil está adaptado para cambiar la representación del entorno 3D en el visualizador.In some embodiments, the portable device is adapted to change the representation of the 3D environment on the display.

En algunas realizaciones, la visualización se define como un ángulo de visualización y/o una posición de visualización.In some embodiments, display is defined as a viewing angle and / or a viewing position.

En algunas realizaciones, dicha por lo menos una acción comprende una o varias de las acciones de:In some embodiments, said at least one action comprises one or more of the actions of:

- medir,- to size,

- registrar,- to register,

- escanear,- scan,

- manipular,- handle,

- modificar.- Modify.

En algunas realizaciones, el entorno 3D comprende uno o varios objetos 3D.In some embodiments, the 3D environment comprises one or more 3D objects.

En algunas realizaciones, el dispositivo portátil está adaptado para que un operador lo sujete en una mano.In some embodiments, the portable device is adapted to be held in one hand by an operator.

En algunas realizaciones, el visualizador está adaptado para representar el entorno 3D desde múltiples visualizaciones.In some embodiments, the display is adapted to represent the 3D environment from multiple displays.

En algunas realizaciones, el visualizador está adaptado para representar el entorno 3D desde diferentes ángulos de visualización y/o posiciones de visualización.In some embodiments, the display is adapted to represent the 3D environment from different viewing angles and / or viewing positions.

En algunas realizaciones, la vista del entorno 3D en dicho por lo menos un visualizador está determinada, por lo menos parcialmente, por el movimiento de la mano, del operador, que sostiene dicho dispositivo.In some embodiments, the view of the 3D environment on said at least one display is determined, at least partially, by the movement of the hand of the operator holding said device.

En algunas realizaciones, el aumento representado por dicho por lo menos un visualizador está determinado, por lo menos parcialmente, por el movimiento de la mano, del operador, que sostiene dicho dispositivo.In some embodiments, the magnification represented by said at least one display is determined, at least partially, by the movement of the hand of the operator holding said device.

En algunas realizaciones, el dispositivo portátil está adaptado para registrar la geometría 3D del entorno 3D.In some embodiments, the portable device is adapted to record the 3D geometry of the 3D environment.

Por tanto, el dispositivo portátil puede ser un escáner dental intraoral, que registra la geometría 3D de los dientes de un paciente. El operador puede desplazar el escáner a lo largo de los dientes del paciente para capturar la geometría 3D de los dientes relevantes, por ejemplo todos los dientes. El escáner puede comprender sensores de movimiento para tener en cuenta el movimiento del escáner mientras crea el modelo 3D de los dientes escaneados. El modelo 3D de los dientes se puede mostrar en un visualizador, y el visualizador puede ser por ejemplo una pantalla de PC y/o similar. Thus, the portable device can be an intraoral dental scanner, which records the 3D geometry of a patient's teeth. The operator can move the scanner along the patient's teeth to capture the 3D geometry of the relevant teeth, for example all teeth. The scanner may comprise motion sensors to account for the movement of the scanner while creating the 3D model of the scanned teeth. The 3D model of the teeth can be displayed on a display, and the display can be for example a PC screen and / or the like.

La funcionalidad de interfaz de usuario puede comprender incorporar sensores de movimiento en el escáner para permitir que el usuario pueda determinar la vista en la pantalla desplazando el escáner. Apuntar el escáner hacia abajo puede hacer que los dientes escaneados se muestren dado un ángulo de visualización descendente. Sostener el escáner en una posición horizontal puede hacer que el ángulo de visualización sea asimismo horizontal.The user interface functionality may comprise incorporating motion sensors into the scanner to allow the user to determine the view on the screen by scrolling the scanner. Aiming the scanner downward can cause the scanned teeth to be displayed given a downward viewing angle. Holding the scanner in a horizontal position can make the viewing angle horizontal as well.

En algunas realizaciones, el dispositivo portátil comprende por lo menos un elemento de interfaz de usuario. Un elemento de interfaz de usuario es un elemento que el usuario puede manipular para activar una función de la interfaz de usuario del software. Habitualmente, la interfaz de usuario se presenta gráficamente en el visualizador del sistema.In some embodiments, the portable device comprises at least one user interface element. A user interface element is an element that the user can manipulate to activate a function of the software user interface. Typically, the user interface is presented graphically on the system display.

El dispositivo portátil puede estar dotado además de un accionador, que conmuta el dispositivo portátil entre realizar dicha por lo menos una acción y controlar remotamente la vista. Al disponer dicha función de conmutación manual que permite al operador conmutar entre realizar dicha por lo menos una acción y controlar remotamente la vista, el operador puede controlar fácilmente lo realizado.The portable device may further be provided with an actuator, which switches the portable device between performing said at least one action and remotely controlling the view. By providing said manual switching function that allows the operator to switch between performing said at least one action and remotely controlling the view, the operator can easily control what is done.

Un accionador de este tipo puede tener, por ejemplo, forma de botón, de conmutador o de contacto. En otras realizaciones, podría ser una superficie o un elemento sensible al tacto.An actuator of this type may be, for example, in the form of a button, a switch or a contact. In other embodiments, it could be a touch-sensitive surface or item.

En otra realización, el accionador podría ser un sensor de movimiento dispuesto en el dispositivo portátil que funciona como el accionador cuando registra un tipo específico de movimiento, por ejemplo, si el operador agita el dispositivo portátil. Se describirán ejemplos de dichos sensores de movimiento en la presente memoria con respecto al elemento de interfaz de usuario, si bien un experto en la materia comprenderá, en base a la exposición del presente documento, que dichos sensores de movimiento pueden asimismo ser utilizados como accionadores, tal como se explica.In another embodiment, the actuator could be a motion sensor disposed on the portable device that functions as the actuator when registering a specific type of movement, for example if the operator shakes the portable device. Examples of such motion sensors will be described herein with respect to the user interface element, although one skilled in the art will understand, based on the discussion herein, that such motion sensors may also be used as actuators. , as explained.

Por ejemplo, en una realización, el dispositivo portátil puede ser un escáner 3D intraoral utilizado por un dentista. El escáner está ajustado para realizar la acción de escaneo de un área dental cuando el accionador está en una posición. Cuando el accionador es conmutado a una segunda posición, el elemento portátil está ajustado para controlar la vista con la que el entorno 3D se representa en el visualizador. Esto podría consistir, por ejemplo, en que cuando el dentista ha escaneado una parte o el área completa deseada de un arco dental, puede activar el accionador, lo que permite a continuación al dentista controlar remotamente la vista de la representación 3D del área escaneada en el visualizador utilizando el dispositivo portátil.For example, in one embodiment, the portable device can be an intraoral 3D scanner used by a dentist. The scanner is set to perform the action of scanning a dental area when the actuator is in position. When the actuator is switched to a second position, the portable element is adjusted to control the view with which the 3D environment is represented on the display. This could for example be that when the dentist has scanned a desired part or entire area of a dental arch, he or she can activate the actuator, which then allows the dentist to remotely control the view of the 3D representation of the scanned area in the viewer using the portable device.

Por ejemplo, el accionador podría ser un botón. Cuando el botón es presionado rápidamente, el dispositivo portátil se prepara para escanear, es decir, se ajusta para llevar a cabo por lo menos una acción, el procedimiento de escaneo, en el entorno 3D físico. El escaneo se detiene cuando el botón se presiona rápidamente una segunda vez. Mientras se realiza el escaneo, se construye visualmente una representación 3D virtual en el visualizador.For example, the actuator could be a button. When the button is rapidly pressed, the handheld device prepares to scan, that is, it adjusts to perform at least one action, the scanning procedure, in the physical 3D environment. Scanning stops when the button is quickly pressed a second time. While scanning is taking place, a virtual 3D representation is visually constructed on the viewer.

El usuario puede a continuación presionar y mantener el botón. Esto pondrá el elemento portátil en un modo de controlador, donde el dispositivo portátil está adaptado para controlar remotamente la vista con la que el entorno 3D, tal como dientes escaneados, se representa en el visualizador. Mientras se mantiene presionado el botón, el sistema utilizará señales procedentes de un sensor de movimiento en el dispositivo portátil para determinar cómo presentar la vista en el entorno 3D virtual. Por lo tanto, si el usuario gira o mueve de otro modo la mano que sostiene el dispositivo portátil, la vista del entorno 3D virtual en el visualizador cambiará en consecuencia.The user can then press and hold the button. This will put the wearable in a controller mode, where the wearable is adapted to remotely control the view with which the 3D environment, such as scanned teeth, is rendered on the display. While the button is held down, the system will use signals from a motion sensor on the handheld to determine how to present the view in the virtual 3D environment. Therefore, if the user rotates or otherwise moves the hand holding the handheld device, the view of the virtual 3D environment on the display will change accordingly.

De este modo, el dentista puede utilizar el mismo dispositivo portátil tanto para escanear un área como para verificar a continuación que el escaneo se ha ejecutado correctamente, sin tener que apartarse del paciente o tocar ningún otro equipo aparte del ya presente en sus manos.In this way, the dentist can use the same portable device both to scan an area and then to verify that the scan has been executed correctly, without having to leave the patient or touch any other equipment apart from what is already in their hands.

En una realización, el elemento de interfaz de usuario es el mismo que el accionador, o cuando están presentes varios elementos de interfaz de usuario, por lo menos uno funciona asimismo como accionador.In one embodiment, the user interface element is the same as the actuator, or when multiple user interface elements are present, at least one also functions as the actuator.

El sistema puede estar equipado con un botón como un elemento adicional que proporciona la funcionalidad de interfaz de usuario.The system may be equipped with a button as an additional element that provides user interface functionality.

En un ejemplo, el dispositivo portátil es un escáner intraoral portátil, y el visualizador es una pantalla de ordenador. El operador o usuario puede ser un dentista, un asistente y/o similar. La funcionalidad operativa del dispositivo puede ser registrar alguna geometría 3D intraoral, y la funcionalidad de interfaz de usuario puede ser girar, hacer un barrido y hacer un zoom de los datos escaneados en la pantalla de ordenador.In one example, the portable device is a portable intraoral scanner, and the display is a computer screen. The operator or user can be a dentist, an assistant and / or the like. The operational functionality of the device can be to record some intraoral 3D geometry, and the user interface functionality can be to rotate, pan and zoom the scanned data on the computer screen.

En algunas realizaciones, dicho por lo menos un elemento de interfaz de usuario es por lo menos un sensor de movimiento.In some embodiments, said at least one user interface element is at least one motion sensor.

De este modo, la integración de la funcionalidad de interfaz de usuario en el dispositivo puede ser proporcionada por sensores de movimiento, que pueden ser acelerómetros en el interior del escáner, cuyas lecturas determinan la orientación de la visualización en la pantalla del modelo 3D de los dientes adquirido por el escáner. Mediante un botón se puede proporcionar funcionalidad adicional, por ejemplo, iniciar/detener el escaneo. El botón puede estar situado cómodamente al alcance del dedo índice del operador o usuario. Thus, the integration of the user interface functionality in the device can be provided by motion sensors, which can be accelerometers inside the scanner, whose readings determine the orientation of the display on the screen of the 3D model of the teeth acquired by the scanner. One button can provide additional functionality, eg start / stop scanning. The button can be conveniently located within reach of the operator's or user's index finger.

Los escáneres intraorales de la técnica anterior utilizan una pantalla táctil, una rueda de desplazamiento o un ratón para determinar la vista en el visualizador. Estos dispositivos de interfaz de usuario de la técnica anterior pueden ser inapropiados, incómodos y difíciles de utilizar, y pueden requerir mucho trabajo, y por lo tanto puede ser costoso esterilizarlos o desinfectarlos. Un escáner intraoral debería desinfectarse siempre entre escaneos a diferentes pacientes debido a que el escáner está, y puede entrar en contacto con la boca u otras partes del paciente al que se está escaneando.Prior art intraoral scanners use a touch screen, scroll wheel, or mouse to determine the view on the display. These prior art user interface devices can be inappropriate, cumbersome and difficult to use, and can be labor intensive, and therefore can be expensive to sterilize or disinfect. An intraoral scanner should always be disinfected between scans to different patients because the scanner is, and can come into contact with, the mouth or other parts of the patient being scanned.

El operador o usuario, por ejemplo el dentista, puede utilizar una o ambas manos para sostener el escáner intraoral durante el escaneo, y el escáner puede ser lo suficientemente ligero y cómodo para ser sostenido solamente con una mano durante un tiempo mayor durante el escaneo.The operator or user, for example the dentist, can use one or both hands to support the intraoral scanner during scanning, and the scanner can be light and comfortable enough to be held with only one hand for a longer time during scanning.

El dispositivo puede asimismo sostenerse con una o dos manos, mientras se utiliza el dispositivo con un mando a distancia para, por ejemplo, cambiar la vista en el visualizador. Una ventaja de la funcionalidad de la interfaz de usuario sin contacto es que, en situaciones clínicas, el operador puede mantener ambas manos limpias, desinfectadas o incluso esterilizadas.The device can also be held with one or two hands, while using the device with a remote control to, for example, change the view on the display. An advantage of the non-contact user interface functionality is that, in clinical situations, the operator can keep both hands clean, disinfected or even sterilized.

Una ventaja del sistema es que permite un proceso de trabajo iterativo en un entorno 3D sin soltar el dispositivo portátil durante dicho proceso. Para el anterior sistema de ejemplo de escaneo intraoral, el operador, por ejemplo el dentista, puede registrar alguna geometría superficial de los dientes con un dispositivo portátil que es un escáner intraoral, inspeccionar la cobertura de la grabación de la superficie utilizando el mismo dispositivo portátil para desplazar, por ejemplo rotar, la superficie registrada en el visualizador, por ejemplo una pantalla de ordenador, detectar posibles intersticios o huecos en la cobertura de los dientes escaneados y a continuación, por ejemplo, disponer el escáner en una zona en la que están situados los intersticios y seguir registrando allí la geometría superficial de los dientes. Durante todo este ciclo iterativo, que se puede repetir más de una vez, tal como muchas veces cuando sea necesario para obtener una cobertura deseada de escaneo de los dientes, el dentista no tiene que soltar de sus manos el escáner intraoral portátil.An advantage of the system is that it allows an iterative work process in a 3D environment without releasing the handheld during said process. For the above example intraoral scanning system, the operator, for example the dentist, can record some surface geometry of the teeth with a portable device which is an intraoral scanner, inspect the coverage of the surface recording using the same portable device to move, for example rotate, the surface registered on the display, for example a computer screen, detect possible gaps or gaps in the coverage of the scanned teeth and then, for example, arrange the scanner in an area where they are located the interstices and continue recording there the surface geometry of the teeth. Throughout this iterative cycle, which can be repeated more than once, such as many times when necessary to obtain a desired scan coverage of the teeth, the dentist does not have to let go of the portable intraoral scanner.

En algunas realizaciones, la funcionalidad de interfaz de usuario 3D se explota en una ubicación separada respecto de la funcionalidad operativa. Para el anterior ejemplo de sistema de escaneo intraoral, la operación de escaneo se lleva a cabo en la cavidad oral del paciente, mientras que la funcionalidad de interfaz de usuario se explota más flexiblemente cuando el escáner está fuera de la boca del paciente. De nuevo, la característica y la ventaja claves de este sistema es que el dentista puede explotar la funcionalidad doble e integrada, que es la operación y la interfaz de usuario, del escáner sin soltarlo de sus manos.In some embodiments, the 3D user interface functionality is exploited in a separate location from the operational functionality. For the above example intraoral scanning system, the scanning operation is carried out in the oral cavity of the patient, while the user interface functionality is exploited more flexibly when the scanner is outside the patient's mouth. Again, the key feature and benefit of this system is that the dentist can exploit the dual and integrated functionality, which is the operation and the user interface, of the scanner without letting go of their hands.

El anterior sistema de escaneo intraoral es un ejemplo de una realización. Otros ejemplos para funcionalidad operativa o realización de acciones podrían ser perforar, soldar, pulir, cortar, efectuar soldadura blanda, fotografiar, filmar, medir, ejecutar algún procedimiento quirúrgico, etc.The above intraoral scanning system is an example of an embodiment. Other examples for operational functionality or performance could be drilling, welding, polishing, cutting, soldering, photographing, filming, measuring, performing a surgical procedure, etc.

El visualizador del sistema puede ser una pantalla de ordenador 2D, un visualizador 3D que proyecta pares de imágenes estereoscópicas, un visualizador volumétrico que crea un efecto 3D, tal como un visualizador de barrido volumétrico, un visualizador de volumen estático, un visualizador de barrera de paralaje, un visualizador holográfico, etc. Incluso con un visualizador 3D, el operador tiene solamente una posición de visualización y un ángulo de visualización con respecto al entorno 3D, en cada momento. El operador puede mover físicamente su cabeza para adoptar otra posición de visualización y/o ángulo de visualización pero, en general, puede ser más cómodo utilizar el dispositivo portátil con su funcionalidad de interfaz de usuario incorporada, por ejemplo el control remoto, para cambiar la posición de visualización y/o el ángulo de visualización representados en el visualizador.The system display may be a 2D computer screen, a 3D display that projects pairs of stereoscopic images, a volumetric display that creates a 3D effect, such as a volumetric scan display, a static volume display, a barrier display of parallax, a holographic display, etc. Even with a 3D viewer, the operator has only one viewing position and viewing angle relative to the 3D environment at any one time. The operator can physically move their head to adopt another viewing position and / or viewing angle, but in general, it may be more comfortable to use the handheld device with its built-in user interface functionality, such as the remote control, to change the viewing position and / or viewing angle represented on the display.

En algunas realizaciones, el sistema comprende múltiples visualizadores, o uno o varios visualizadores que están divididos en zonas. Por ejemplo, varias ventanas secundarias en una pantalla de PC pueden representar diferentes visualizaciones del entorno 3D. El dispositivo portátil puede ser utilizado para cambiar la vista en todas estas, o solamente en algunas.In some embodiments, the system comprises multiple displays, or one or more displays that are divided into zones. For example, multiple sub windows on a PC screen can represent different views of the 3D environment. The portable device can be used to change the view in all of these, or only in some.

En algunas realizaciones, la funcionalidad de interfaz de usuario comprende la utilización de gestos.In some embodiments, the user interface functionality comprises the use of gestures.

Se pueden utilizar gestos realizados, por ejemplo, por el operador, para cambiar, desplazar o alternar entre ventanas secundarias, y la funcionalidad de interfaz de usuario puede estar limitada a una ventana secundaria activa, o a uno de varios visualizadores.Gestures performed, for example, by the operator, can be used to switch, scroll, or toggle between child windows, and the user interface functionality may be limited to an active child window, or to one of several displays.

En algunas realizaciones, los gestos están adaptados para ser detectados mediante por lo menos un sensor de movimiento. Alternativa y/o adicionalmente, los gestos pueden ser detectados por sensores de distancia u otros sensores que registran movimiento corporal.In some embodiments, the gestures are adapted to be detected by at least one motion sensor. Alternatively and / or additionally, the gestures can be detected by distance sensors or other sensors that record body movement.

El operador no tiene que observar constantemente dicho por lo menos un visualizador del sistema. En muchas aplicaciones, el operador cambiará entre la visualización y posible manipulación del visualizador, y la realización de otra operación con el dispositivo portátil. Por lo tanto, una ventaja es que el operador no necesita tocar otros dispositivos de interfaz de usuario. Sin embargo, en algunos casos puede ser imposible que el operador evite completamente tocar otros dispositivos, y en estos casos es una ventaja que se requieren menos contactos en comparación con un sistema en el que un dispositivo portátil no proporciona ninguna funcionalidad de interfaz de usuario en absoluto.The operator does not have to constantly observe said at least one system display. In many applications, the operator will switch between viewing and possible manipulation of the display, and performing another operation with the handheld device. Therefore, an advantage is that the operator does not need to touch other user interface devices. However, in some cases it may be impossible for the operator to completely avoid touching other devices, and in these cases it is an advantage that fewer contacts are required in compared to a system where a handheld device does not provide any user interface functionality at all.

En algunas realizaciones, dicho por lo menos un visualizador está dispuesto separado del dispositivo portátil.In some embodiments, said at least one display is arranged separate from the portable device.

En algunas realizaciones, dicho por lo menos un visualizador está definido como un primer visualizador, y donde sistema comprende además un segundo visualizador.In some embodiments, said at least one display is defined as a first display, and where the system further comprises a second display.

En algunas realizaciones, el segundo visualizador está dispuesto en el dispositivo portátil.In some embodiments, the second display is arranged on the portable device.

En algunas realizaciones, el segundo visualizador está dispuesto en el dispositivo portátil, en una posición tal que el visualizador está adaptado para ser observado por el operador, mientras el operador está manejando el dispositivo portátil.In some embodiments, the second display is arranged on the portable device, in a position such that the display is adapted to be observed by the operator, while the operator is operating the portable device.

En algunas realizaciones, el segundo visualizador indica dónde esta posicionado el dispositivo portátil con respecto al entorno 3D.In some embodiments, the second display indicates where the portable device is positioned relative to the 3D environment.

En algunas realizaciones, el primer visualizador y/o el segundo visualizador proporcionan instrucciones al operador. El visualizador o visualizadores pueden estar dispuestos de múltiples maneras. Por ejemplo, pueden estar montados en una pared, situados en alguna clase de soporte o carrito, colocados en un estante o en una mesa, u otros.In some embodiments, the first display and / or the second display provide instructions to the operator. The display (s) may be arranged in multiple ways. For example, they can be mounted on a wall, placed on some kind of stand or cart, placed on a shelf or on a table, or others.

En algunas realizaciones, por lo menos un visualizador está montado en el propio dispositivo. Puede ser ventajoso tener un visualizador en el propio dispositivo debido a que con dicha disposición, los ojos del operador no tienen que enfocar alternativamente entre diferentes distancias. En algunos casos, la funcionalidad operativa puede requerir un examen minucioso en el dispositivo y en la proximidad del entorno 3D en el que este funciona, y esto puede ser una distancia alejada, como mucho, tanto como la mano del operador. Especialmente en entornos saturados, tales como las consultas de los dentistas, los escenarios de operación quirúrgica o los centros de trabajo industriales, puede ser difícil situar un visualizador externo cerca del dispositivo.In some embodiments, at least one display is mounted on the device itself. It may be advantageous to have a display on the device itself because with such an arrangement, the operator's eyes do not have to alternately focus between different distances. In some cases, operational functionality may require close examination on the device and in close proximity to the 3D environment in which it operates, and this may be as far away as the operator's hand. Especially in crowded environments, such as dentists' offices, surgical operating theaters, or industrial workplaces, it can be difficult to place an external display near the device.

En algunas realizaciones, se proporciona información visual al operador en uno o varios medios aparte del primer visualizador.In some embodiments, visual information is provided to the operator on one or more means other than the first display.

En algunas realizaciones, se proporciona al operador información audible por el operador.In some embodiments, information audible by the operator is provided to the operator.

Por lo tanto, en algunas realizaciones, el sistema proporciona información adicional al operador. En algunas realizaciones, el sistema incluye otras pistas visuales mostradas en otros medios aparte del visualizador o visualizadores, tales como varios LED en el dispositivo. En algunas realizaciones, el sistema proporciona al operador información audible, por ejemplo mediante diferentes sonidos y/o mediante voz.Therefore, in some embodiments, the system provides additional information to the operator. In some embodiments, the system includes other visual cues displayed on other means than the display or displays, such as various LEDs on the device. In some embodiments, the system provides the operator with audible information, for example by different sounds and / or by voice.

Dicha información proporcionada al operador puede comprender instrucciones de uso, alertas y similares.Such information provided to the operator may include instructions for use, alerts and the like.

La información puede ayudar a mejorar el rendimiento de las acciones o a la funcionalidad operativa del dispositivo, por ejemplo, indicando cómo de bien se está realizando una acción u operación, y/o instrucciones para el operador dirigidas a mejorar la facilidad de la acción u operación y/o la calidad de los resultados de la acción u operación. Por ejemplo, un l Ed puede cambiar de color y/o de frecuencia de parpadeo. En un escáner, la información puede estar relacionada con cómo de bien está enfocado el entorno 3D escaneado y/o con la calidad del escaneo y/o con la cobertura del escaneo. La información puede comprender instrucciones sobre cómo posicionar de la mejor manera el escáner para conseguir así una buena calidad de escaneo y/o cobertura de escaneo. Las instrucciones se pueden utilizar para planificar y/o ejecutar la colocación de aparatos dentales. Las instrucciones pueden estar en forma de un sistema de mensajes para el operador.The information can help to improve the performance of actions or the operational functionality of the device, for example, indicating how well an action or operation is being performed, and / or instructions for the operator aimed at improving the ease of action or operation. and / or the quality of the results of the action or operation. For example, a l Ed can change color and / or blink frequency. In a scanner, the information may be related to how well the scanned 3D environment is focused and / or to the quality of the scan and / or to the coverage of the scan. The information may include instructions on how to best position the scanner to achieve good scan quality and / or scan coverage. The instructions can be used to plan and / or execute the placement of dental appliances. The instructions may be in the form of a message system for the operator.

En algunas realizaciones, se proporciona alguna funcionalidad de interfaz de usuario 3D mediante por lo menos un sensor de movimiento incorporado al dispositivo. Ejemplos de sensores de movimiento son acelerómetros, giróscopos y magnetómetros y/o similares. Estos sensores pueden detectar rotaciones, movimiento lateral y/o combinaciones de los mismos. Otros sensores de movimiento utilizan detección por infrarrojos. Por ejemplo, por lo menos un sensor de infrarrojos puede estar montado en el dispositivo y por lo menos un emisor de infrarrojos puede estar montado en el entorno del dispositivo. A la inversa, dicho por lo menos un emisor puede estar montado en el dispositivo, y dicho por lo menos un sensor en el entorno. Otra posibilidad más es utilizar uno o varios reflectores de infrarrojos en el dispositivo y tanto el sensor o sensores como el emisor o emisores en el entorno, o de nuevo a la inversa. Por lo tanto, el movimiento se puede detectar mediante diversos principios.In some embodiments, some 3D user interface functionality is provided by at least one motion sensor built into the device. Examples of motion sensors are accelerometers, gyroscopes and magnetometers and / or the like. These sensors can detect rotations, lateral movement and / or combinations thereof. Other motion sensors use infrared detection. For example, at least one infrared sensor can be mounted on the device and at least one infrared emitter can be mounted around the device. Conversely, said at least one emitter can be mounted on the device, and said at least one sensor in the environment. Yet another possibility is to use one or more infrared reflectors in the device and both the sensor (s) and the emitter (s) in the environment, or the other way around. Therefore, movement can be detected by various principles.

Por medio del procesamiento de señales adecuado, algunos sensores pueden reconocer acciones adicionales del operador; por ejemplo, gestos tales como toques, balanceo o agitación del dispositivo portátil. Por lo tanto, estos gestos se pueden explotar asimismo en la funcionalidad de interfaz de usuario 3D.Through proper signal processing, some sensors can recognize additional operator actions; for example, gestures such as tapping, rocking, or shaking the handheld device. Therefore, these gestures can also be exploited in the 3D user interface functionality.

En algunas realizaciones, el dispositivo portátil comprende por lo menos dos sensores de movimiento que proporcionan fusión de sensores. La fusión de sensores se puede utilizar para conseguir una mejor señal del movimiento a partir de, por ejemplo, datos en bruto de giróscopo, acelerómetro y/o magnetómetro. La fusión de sensores se puede implementar en los IC, tal como en el InvenSense MPU 3000.In some embodiments, the portable device comprises at least two motion sensors that provide sensor fusion. Sensor fusion can be used to get a better signal from the movement from, for example, raw gyro, accelerometer and / or magnetometer data. Sensor fusion can be implemented in ICs, such as the InvenSense MPU 3000.

En algunas realizaciones, el dispositivo portátil comprende por lo menos un elemento de interfaz de usuario aparte de el por lo menos un sensor de movimiento.In some embodiments, the portable device comprises at least one user interface element other than the at least one motion sensor.

En algunas realizaciones, el por lo menos otro elemento de interfaz de usuario es un elemento sensible al tacto. En algunas realizaciones, el por lo menos otro elemento de interfaz de usuario es un botón.In some embodiments, the at least one other user interface element is a touch sensitive element. In some embodiments, the at least one other user interface element is a button.

En algunas realizaciones, dicho por lo menos otro elemento de interfaz de usuario es una rueda de desplazamiento. En algunas realizaciones, la funcionalidad de interfaz de usuario está dispuesta a través de elementos adicionales en el dispositivo. Por lo tanto, estos elementos adicionales pueden ser, por ejemplo, botones, ruedas de desplazamiento, campos sensibles al tacto, sensores de proximidad y/o similares.In some embodiments, the at least one other user interface element is a scroll wheel. In some embodiments, the user interface functionality is provided through additional elements on the device. Therefore, these additional elements can be, for example, buttons, scroll wheels, touch sensitive fields, proximity sensors and / or the like.

Los elementos de interfaz de usuario adicionales pueden ser explotados o utilizados en un flujo de trabajo adecuado para el sector de aplicación del dispositivo. El flujo de trabajo se puede implementar en alguna aplicación de software de usuario que puede asimismo controlar el visualizador y, por lo tanto, la vista representada en el mismo. Un determinado elemento de interfaz puede suministrar múltiples entradas de usuario al software. Por ejemplo, un botón puede proporcionar tanto un solo clic como un doble clic. Por ejemplo, un doble clic puede significar avanzar a una subsiguiente etapa en un flujo de trabajo. Por ejemplo, para un escaneo intraoral, tres etapas dentro del flujo de trabajo pueden ser escanear la boca inferior, la boca superior y la mordedura. Un campo sensible al tacto puede proporcionar trazos en múltiples direcciones, cada uno con un efecto diferente, etc. Proporcionar múltiples entradas de usuario desde un elemento de interfaz de usuario es ventajoso debido a que se puede reducir el número de elementos de interfaz de usuario en el dispositivo con respecto a una situación en la que cada elemento de interfaz de usuario proporciona solamente una entrada de usuario.The additional user interface elements can be exploited or used in a workflow suitable for the application sector of the device. The workflow can be implemented in some user software application that can also control the viewer and therefore the view represented on it. A given interface element can supply multiple user inputs to the software. For example, a button can provide both a single click and a double click. For example, a double click can mean advancing to a subsequent stage in a workflow. For example, for an intraoral scan, three stages within the workflow can be to scan the lower mouth, upper mouth, and the bite. A touch-sensitive field can provide traces in multiple directions, each with a different effect, etc. Providing multiple user inputs from a user interface element is advantageous because the number of user interface elements on the device can be reduced from a situation where each user interface element provides only one user interface input. user.

Los sensores de movimiento se pueden explotar asimismo en un flujo de trabajo. Por ejemplo, elevar el dispositivo, lo cual puede ser detectado por un acelerómetro, puede representar algún tipo de entrada de usuario, por ejemplo para iniciar alguna acción. En un dispositivo que es un escáner, esto puede iniciar el escaneo. A la inversa, devolver el dispositivo a alguna clase de soporte, lo cual puede ser detectado por un acelerómetro como la ausencia de aceleración durante algún periodo de tiempo, puede detener dicha acción.Motion sensors can also be exploited in a workflow. For example, lifting the device, which can be detected by an accelerometer, can represent some type of user input, for example to initiate some action. On a device that is a scanner, this may initiate the scan. Conversely, returning the device to some kind of support, which can be detected by an accelerometer as the absence of acceleration for some period of time, can stop this action.

Si la acción realizada por el dispositivo es alguna clase de registro, por ejemplo un escaneo, por ejemplo un escaneo 3D, los resultados del registro se pueden explotar asimismo como entradas de usuario, posiblemente junto con entradas de usuario procedentes de otros elementos de interfaz de usuario. Por ejemplo, con un escáner 3D con una profundidad de campo limitada, puede ser posible detectar si están presentes algunos objetos dentro del entorno 3D en el volumen correspondiente a esta profundidad de campo, mediante detectar si se registra algún punto 3D. Las entradas de usuario pueden depender de dicha presencia detectada. Por ejemplo, un clic de botón en un escáner intraoral puede proporcionar una entrada de usuario diferente, dependiendo de si el escáner está en la boca, donde son detectables los dientes, o significativamente alejado de la boca y fuera de la misma. Asimismo, el efecto de las señales de los sensores de movimiento se puede interpretar de manera diferente para cada situación. Por ejemplo, el escáner puede cambiar solamente la vista representada en el visualizador cuando está en el exterior de la boca.If the action performed by the device is some kind of registration, for example a scan, for example a 3D scan, the results of the registration can also be exploited as user input, possibly together with user input from other interface elements of the device. user. For example, with a 3D scanner with a limited depth of field, it may be possible to detect whether some objects are present within the 3D environment in the volume corresponding to this depth of field, by detecting whether any 3D points are registered. User inputs can depend on that detected presence. For example, a button click on an intraoral scanner may provide different user input, depending on whether the scanner is in the mouth, where teeth are detectable, or significantly away from and outside of the mouth. Also, the effect of the motion sensor signals can be interpreted differently for each situation. For example, the scanner can only change the view represented on the display when it is outside the mouth.

En algunas realizaciones, el dispositivo portátil está adaptado para cambiar el ángulo de visualización con el que el entorno 3D se representa en dicho por lo menos un visualizador.In some embodiments, the portable device is adapted to change the viewing angle with which the 3D environment is represented on said at least one display.

En algunas realizaciones, el dispositivo portátil está adaptado para cambiar el factor de aumento con el que el entorno 3D se representa en dicho por lo menos un visualizador.In some embodiments, the portable device is adapted to change the magnification factor with which the 3D environment is represented on said at least one display.

En algunas realizaciones, el dispositivo portátil está adaptado para cambiar la posición de visualización con la que el entorno 3D se representa en dicho por lo menos un visualizador.In some embodiments, the portable device is adapted to change the display position with which the 3D environment is represented on said at least one display.

En algunas realizaciones, la vista del entorno 3D comprende un ángulo de visualización, un factor de aumento y/o una posición de visualización.In some embodiments, the 3D environment view comprises a viewing angle, a magnification factor, and / or a viewing position.

En algunas realizaciones, la vista del entorno 3D comprende representar la textura y/o el sombreado.In some embodiments, the 3D environment view comprises rendering the texture and / or the shading.

En algunas realizaciones, dicho por lo menos un visualizador está dividido en múltiples zonas, que muestran cada una el entorno 3D con una vista diferente.In some embodiments, said at least one display is divided into multiple zones, each showing the 3D environment with a different view.

Por lo tanto, en algunas realizaciones, la funcionalidad de interfaz de usuario comprende cambiar la vista con la que se visualiza el entorno 3D. Los cambios en la vista pueden comprender cambios en el ángulo de visualización, la posición de visualización, el aumento y/o similares. Un cambio en el ángulo de visualización puede efectuarse naturalmente rotando el dispositivo. La rotación es detectada naturalmente con la ayuda de giróscopos y/o en relación con la gravedad detectada por un acelerómetro. Hacer zum, es decir cambiar el aumento, puede conseguirse, por ejemplo, empujando el dispositivo portátil hacia delante y hacia atrás, respectivamente. Un cambio de traslación de la posición de visualización, es decir, un barrido, se puede conseguir, por ejemplo, empujando el dispositivo portátil hacia arriba/abajo y/o lateralmente.Therefore, in some embodiments, the user interface functionality comprises changing the view with which the 3D environment is displayed. Changes in view may comprise changes in viewing angle, viewing position, magnification, and / or the like. A change in viewing angle can naturally be effected by rotating the device. Rotation is naturally detected with the help of gyroscopes and / or in relation to gravity detected by an accelerometer. Zooming, ie changing the magnification, can be achieved, for example, by pushing the handheld device forward and backward, respectively. Change Translation of the display position, i.e. a sweep, can be achieved, for example, by pushing the portable device up / down and / or laterally.

En algunas realizaciones, la funcionalidad de interfaz de usuario comprende seleccionar o elegir elementos en un visualizador o cualquier otra funcionalidad proporcionada por interfaces gráficas de usuario en ordenadores conocidas en la técnica. El operador puede realizar la selección. El escáner Lava C.O., comercializado por 3M ESPE, tiene botones adicionales en el dispositivo portátil, pero no es posible manipular con estos la vista. Su único objetivo es permitir la navegación a través de un sistema de menú, e iniciar/detener el escaneo.In some embodiments, the user interface functionality comprises selecting or choosing items on a display or any other functionality provided by graphical user interfaces on computers known in the art. The operator can make the selection. The Lava C.O. scanner, sold by 3M ESPE, has additional buttons on the handheld device, but it is not possible to manipulate the view with them. Its sole purpose is to allow navigation through a menu system, and start / stop the scan.

En algunas realizaciones, la funcionalidad de interfaz de usuario comprende manipular el entorno 3D visualizado en la pantalla. Por ejemplo, el operador puede efectuar deformaciones o cambiar la posición u orientación de objetos en el entorno 3D. Por lo tanto, en algunas realizaciones la funcionalidad de interfaz de usuario comprende funcionalidad virtual de la interfaz de usuario, que puede consistir en que se manipulan los datos 3D pero no se puede manipular el entorno 3D físico en el que funciona el dispositivo.In some embodiments, the user interface functionality comprises manipulating the 3D environment displayed on the screen. For example, the operator can make deformations or change the position or orientation of objects in the 3D environment. Thus, in some embodiments the user interface functionality comprises virtual user interface functionality, which may be that 3D data is manipulated but the physical 3D environment in which the device operates cannot be manipulated.

En algunas realizaciones, el dispositivo portátil es un escáner intraoral y/o un escáner auditivo. Si el escáner comprende una punta, esta punta se puede intercambiar, con lo que el escáner se adecua para escaneo en la boca o en el oído. Dado que el oído es una cavidad más pequeña que la boca, la punta para adaptarse al oído puede ser menor que la punta para adaptarse a la boca.In some embodiments, the portable device is an intraoral scanner and / or an auditory scanner. If the scanner includes a tip, this tip can be interchanged, making the scanner suitable for scanning in the mouth or in the ear. Since the ear is a smaller cavity than the mouth, the tip to fit the ear may be smaller than the tip to fit the mouth.

En algunas realizaciones, el dispositivo portátil es un instrumento quirúrgico. En algunas realizaciones, el instrumento quirúrgico comprende por lo menos un sensor de movimiento, que está incorporado en el instrumento. En algunas realizaciones, el dispositivo portátil es una herramienta mecánica. En algunas realizaciones, la herramienta tiene por lo menos un sensor de movimiento incorporado. En otras realizaciones, están incorporados asimismo otros elementos de interfaz de usuario, por ejemplo botones, ruedas de desplazamiento, campos sensibles al tacto o sensores de proximidad.In some embodiments, the portable device is a surgical instrument. In some embodiments, the surgical instrument comprises at least one motion sensor, which is incorporated into the instrument. In some embodiments, the portable device is a power tool. In some embodiments, the tool has at least one built-in motion sensor. In other embodiments, other user interface elements are also incorporated, for example buttons, scroll wheels, touch sensitive fields, or proximity sensors.

En alguna realización se conoce previamente la geometría 3D del entorno 3D o se conoce previamente una representación 3D del entorno, es decir, antes de que la acción o acciones sean ejecutadas. Por ejemplo en cirugía, puede haberse tomado un escaneo CT antes del procedimiento quirúrgico. El dispositivo portátil de este ejemplo podría ser un instrumento quirúrgico que un médico tiene que aplicar en la posición 3D adecuada. Para asegurarse de que se alcanza esta posición adecuada, podría ser beneficioso visualizar el entorno 3D desde múltiples perspectivas interactivamente, es decir sin tener que soltar el instrumento quirúrgico.In some embodiment, the 3D geometry of the 3D environment is previously known or a 3D representation of the environment is previously known, that is, before the action or actions are executed. For example in surgery, a CT scan may have been taken before the surgical procedure. The portable device in this example could be a surgical instrument that a physician has to apply in the proper 3D position. To ensure this proper position is achieved, it may be beneficial to view the 3D environment from multiple perspectives interactively, that is, without having to let go of the surgical instrument.

Una ventaja del sistema, también en el anterior ejemplo de cirugía, es la capacidad del dispositivo portátil para registrar el entorno 3D, por lo menos parcialmente, habitualmente en un campo de visión 3D que es menor que el volumen representado en los datos previos. Los datos 3D registrados por el dispositivo portátil se pueden registrar en tiempo real con los datos previos, de tal modo que se puede detectar la posición y la orientación del dispositivo. En algunas realizaciones, la geometría 3D comprende una superficie 3D del entorno.An advantage of the system, also in the above surgical example, is the ability of the portable device to record the 3D environment, at least partially, usually in a 3D field of view that is smaller than the volume represented in the previous data. The 3D data recorded by the handheld device can be recorded in real time with the previous data, so that the position and orientation of the device can be detected. In some embodiments, the 3D geometry comprises a 3D surface of the environment.

En algunas realizaciones, la geometría 3D comprende una representación volumétrica 3D del entorno.In some embodiments, the 3D geometry comprises a 3D volumetric representation of the environment.

Por lo tanto, el entorno 3D se puede visualizar como datos volumétricos, o como una superficie o una combinación de los mismos. Los datos volumétricos se representan habitualmente mediante vóxeles. Los vóxeles pueden comprender múltiples valores escalares. Los datos de superficie se representan habitualmente como mallas, tales como mallas triangulares, o nubes de puntos.Therefore, the 3D environment can be visualized as volumetric data, or as a surface or a combination thereof. Volumetric data is usually represented by voxels. Voxels can comprise multiple scalar values. Surface data is typically represented as meshes, such as triangular meshes, or point clouds.

El escaneo se puede llevar a cabo por medio de escaneo LED, escaneo de luz láser, escaneo de luz blanca, escaneo de rayos X y/o escaneo CT.Scanning can be carried out by means of LED scan, laser light scan, white light scan, X-ray scan and / or CT scan.

La presente invención se refiere a diferentes aspectos que incluyen el sistema descrito anteriormente y en lo que sigue, y a sistemas, procedimientos, dispositivos, usos y/o medios de producto correspondientes, cada uno de los cuales proporciona uno o varios de los beneficios y ventajas descritos en relación con el primer aspecto mencionado, y cada uno de los cuales tiene una o varias realizaciones correspondientes a las realizaciones descritas en relación con el primer aspecto mencionado y/o dadas a conocer en las reivindicaciones adjuntas.The present invention relates to different aspects that include the system described above and in what follows, and to corresponding systems, procedures, devices, uses and / or means of product, each of which provides one or more of the benefits and advantages described in relation to the first mentioned aspect, and each of which has one or more embodiments corresponding to the embodiments described in relation to the first mentioned aspect and / or disclosed in the appended claims.

En particular, en la presente memoria se da a conocer un procedimiento de interacción entre un dispositivo portátil y por lo menos un visualizador, donde el procedimiento comprende las etapas de:In particular, in the present specification an interaction procedure between a portable device and at least one display is disclosed, where the procedure comprises the steps of:

- llevar a cabo por lo menos una acción en un entorno 3D físico por medio del dispositivo portátil;- carry out at least one action in a physical 3D environment by means of the portable device;

- representar visualmente el entorno 3D físico mediante dicho por lo menos un visualizador; y- visually representing the physical 3D environment by means of said at least one display; Y

- controlar remotamente la vista del entorno 3D representado en el visualizador, por medio del dispositivo portátil. Además, la invención se refiere a un producto de programa informático que comprende medios de código de programa para hacer que un sistema de procesamiento de datos lleve a cabo el procedimiento según cualquiera de las realizaciones, cuando dichos medios de código de programa se ejecutan en el sistema de procesamiento de datos, y un producto de programa informático, que comprende un medio legible por ordenador que tiene almacenados los medios de código de programa.- remotely control the view of the 3D environment represented on the display, by means of the portable device. Furthermore, the invention relates to a computer program product comprising program code means for making a data processing system carry out the method according to any of the embodiments, when said program code means is executed in the processing system data, and a computer program product, comprising a computer-readable medium that has the program code means stored.

De acuerdo con otro aspecto, se da a conocer un sistema que comprende un dispositivo portátil para funcionar en un entorno 3D y por lo menos un visualizador para visualizar dicho entorno, donde el visualizador está adaptado para representar dicho entorno desde múltiples perspectivas,According to another aspect, a system is disclosed comprising a portable device for operating in a 3D environment and at least one display for displaying said environment, where the display is adapted to represent said environment from multiple perspectives,

donde dicho dispositivo está adaptado para ser sostenido en una mano por un operador, y donde la perspectiva representada en dicho por lo menos un visualizador está determinada, por lo menos parcialmente, por el movimiento de la mano del operador que sujeta dicho dispositivo.wherein said device is adapted to be held in one hand by an operator, and where the perspective represented on said at least one display is determined, at least partially, by the movement of the operator's hand holding said device.

De acuerdo con otro aspecto, se da a conocer un sistema que comprende un dispositivo portátil para funcionar en un entorno 3D y por lo menos un visualizador para visualizar dicho entorno, donde el visualizador está adaptado para representar dicho entorno en múltiples visualizaciones,According to another aspect, a system is disclosed that comprises a portable device to operate in a 3D environment and at least one display to display said environment, where the display is adapted to represent said environment in multiple displays,

donde dicho dispositivo está adaptado para ser sostenido en una mano por un operador, donde la vista representada en dicho por lo menos un visualizador está determinada, por lo menos parcialmente, por el movimiento de la mano del operador que sostiene dicho dispositivo, y donde el dispositivo tiene por lo menos un elemento de interfaz de usuario sensible al tacto.wherein said device is adapted to be held in one hand by an operator, where the view represented on said at least one display is determined, at least partially, by the movement of the operator's hand holding said device, and where the device has at least one touch-sensitive user interface element.

El movimiento de la mano del operador se determina habitualmente mediante un sensor de movimiento dispuesto en el dispositivo portátil.The movement of the operator's hand is usually determined by a motion sensor provided on the portable device.

DefinicionesDefinitions

Geometría 3D: una constelación de materia o su representación visual en un espacio tridimensional.3D geometry: a constellation of matter or its visual representation in three-dimensional space.

Entorno 3D: una constelación de objetos físicos, cada uno con una geometría 3D en un espacio tridimensional. Vista: el modo en que un entorno 3D se representa en un visualizador. Geométricamente, una vista está determinada por la posición y orientación del observador virtual/cámara. Si el visualizador es bidimensional, la vista está determinada asimismo por el tipo de proyección. Una vista puede estar determinada asimismo por un factor de aumento. Gráficamente, una vista puede mostrar el entorno 3D por medio de fotografías o como alguna clase de representación visual, tal como un gráfico de ordenador, o similar. Un gráfico informático se puede representar, por ejemplo, con textura y/o sombreado y/o fuentes de luz virtual y/o modelos de luz para propiedades superficiales. Un gráfico informático puede ser asimismo una representación simplificada del entorno 3D, por ejemplo una malla, un contorno o una representación simplificada de otro modo. La totalidad, o partes del entorno 3D, pueden asimismo representarse con algún grado de transparencia. Una vista puede representar el entorno 3D en conjunto o solamente partes del mismo.3D environment: a constellation of physical objects, each with 3D geometry in three-dimensional space. View - The way a 3D environment is rendered on a viewer. Geometrically, a view is determined by the position and orientation of the virtual observer / camera. If the viewer is two-dimensional, the view is also determined by the type of projection. A view can also be determined by a magnification factor. Graphically, a view can show the 3D environment by means of photographs or as some kind of visual representation, such as a computer graphic, or the like. A computer graphic can be represented, for example, with texture and / or shading and / or virtual light sources and / or light patterns for surface properties. A computer graphic can also be a simplified representation of the 3D environment, for example a mesh, an outline, or an otherwise simplified representation. The whole, or parts, of the 3D environment can also be represented with some degree of transparency. A view can represent the 3D environment as a whole or just parts of it.

Funcionalidad: un objetivo o uso previsto.Functionality: an objective or intended use.

Realización de una o varias acciones o funcionalidad operativa: acciones o funcionalidad que incluyen algún tipo de interacción con un entorno 3D, tal como medir, modificar, manipular, registrar, tocar, detectar, escanear, mover, transformar, cortar, soldar, tratar químicamente, limpiar, etc. El término "operativo" no está por lo tanto dirigido a procedimientos quirúrgicos, pero operativo puede comprender procedimientos quirúrgicos.Performing one or more actions or operational functionality: actions or functionality that include some type of interaction with a 3D environment, such as measuring, modifying, manipulating, registering, touching, detecting, scanning, moving, transforming, cutting, welding, chemically treating , clean, etc. The term "operative" is therefore not directed to surgical procedures, but operative can comprise surgical procedures.

Funcionalidad de interfaz de usuario: funcionalidad para interacción entre un usuario humano y una máquina con un visualizador.User interface functionality: functionality for interaction between a human user and a machine with a viewer.

Dispositivo portátil: un objeto que tiene por lo menos una funcionalidad y que es sostenido por una o ambas manos de un operador humano mientras lleva a cabo está por lo menos una funcionalidad.Portable device: an object that has at least one functionality and that is held by one or both hands of a human operator while performing at least one functionality.

Escáner 3D: un dispositivo que analiza un objeto o entorno 3D del mundo real para recoger datos sobre su forma y posiblemente su aspecto.3D scanner: a device that analyzes a real-world 3D object or environment to collect data about its shape and possibly its appearance.

Cobertura de escaneo: en qué medida una superficie física está representada por datos registrados después de una operación de escaneo.Scan Coverage - The extent to which a physical surface is represented by logged data after a scan operation.

Sensor de movimiento: un sensor que detecta el movimiento. El movimiento se puede detectar mediante: sonido (sensores acústicos), opacidad (sensores ópticos y de infrarrojos y procesadores de imagen de video), geomagnetismo (sensores magnéticos, magnetómetros), reflexión de energía transmitida (radar de láser infrarrojo, sensores ultrasónicos y sensores de radar de microondas), inducción electromagnética (detectores de bucle inductivo) y vibración (sensores triboeléctricos, sísmicos y de conmutación inercial). Son ejemplos de sensores de movimiento los acelerómetros MEMS, giróscopos y magnetómetros.Motion Sensor - A sensor that detects motion. Movement can be detected by: sound (acoustic sensors), opacity (optical and infrared sensors and video image processors), geomagnetism (magnetic sensors, magnetometers), reflection of transmitted energy (infrared laser radar, ultrasonic sensors and sensors microwave radar), electromagnetic induction (inductive loop detectors) and vibration (triboelectric, seismic and inertial switching sensors). Examples of motion sensors are MEMS accelerometers, gyroscopes, and magnetometers.

Flujo de trabajo: una secuencia de tareas implementadas en software.Workflow: a sequence of tasks implemented in software.

Breve descripción de los dibujos Brief description of the drawings

Los anteriores y/u otros objetivos, características y ventajas de la presente invención se aclararán en mayor medida mediante la siguiente descripción detallada ilustrativa y no limitativa de realizaciones haciendo referencia a los dibujos adjuntos, en los que:The foregoing and / or other objectives, features and advantages of the present invention will be further clarified by the following illustrative and non-limiting detailed description of embodiments with reference to the accompanying drawings, in which:

La figura 1 muestra un ejemplo de sistema que comprende un dispositivo portátil y un visualizador.Figure 1 shows an example of a system comprising a portable device and a display.

La figura 2 muestra un ejemplo de funcionalidad de interfaz de usuario, en forma de control remoto que utiliza el dispositivo portátil.Figure 2 shows an example of user interface functionality, in the form of a remote control using the handheld device.

La figura 3 muestra un ejemplo del dispositivo portátil.Figure 3 shows an example of the portable device.

La figura 4 muestra un ejemplo de un diagrama de flujo de un procedimiento de interacción entre un dispositivo portátil y un visualizador.Figure 4 shows an example of a flow chart of an interaction procedure between a portable device and a display.

Descripción detalladaDetailed description

En la siguiente descripción se hace referencia a los dibujos adjuntos que muestran de manera ilustrativa cómo se puede practicar la invención.In the following description reference is made to the accompanying drawings which illustratively show how the invention can be practiced.

La figura 1 muestra un ejemplo del sistema que comprende un dispositivo portátil y un visualizador. El dispositivo portátil 100 es, en este ejemplo, un escáner dental intraoral, que registra la geometría 3D de los dientes del paciente. El operador 102 desplaza el escáner a lo largo de los dientes del paciente 104 para capturar la geometría 3D de los dientes relevantes, por ejemplo todos los dientes. El escáner comprende sensores de movimiento (no visibles) para tener en cuenta el movimiento del escáner durante la creación del modelo 3D 105 de los dientes escaneados. En este ejemplo, el visualizador 101 es una pantalla de PC que visualiza los datos registrados por el escáner.Figure 1 shows an example of the system comprising a portable device and a display. The portable device 100 is, in this example, an intraoral dental scanner, which records the 3D geometry of the patient's teeth. The operator 102 moves the scanner along the patient's teeth 104 to capture the 3D geometry of the relevant teeth, eg all teeth. The scanner comprises movement sensors (not visible) to take into account the movement of the scanner during the creation of the 3D model 105 of the scanned teeth. In this example, the display 101 is a PC screen that displays the data recorded by the scanner.

La figura 2 muestra un ejemplo de funcionalidad de interfaz de usuario, en forma de control remoto que utiliza el dispositivo portátil. Los sensores de movimiento (no mostrados) en el dispositivo portátil 100, por ejemplo un escáner, hacen que el usuario 102 pueda determinar la vista mostrada en el visualizador 101, por ejemplo la pantalla, desplazando el dispositivo portátil 100.Figure 2 shows an example of user interface functionality, in the form of a remote control using the handheld device. Motion sensors (not shown) on portable device 100, eg, a scanner, enable user 102 to determine the view displayed on display 101, eg, screen, by scrolling portable device 100.

La figura 2a) muestra que apuntar el dispositivo 100 hacia abajo puede hacer que el modelo 3D 105 de los dientes escaneados se muestre desde un ángulo de visualización descendente.Figure 2a) shows that pointing device 100 downward can cause 3D model 105 of scanned teeth to be displayed from a downward viewing angle.

La figura 2b) muestra que sostener el escáner en una posición horizontal puede hacer que el ángulo de visualización sea igualmente desde delante, de tal modo que el modelo 3D 105 de los dientes escaneados se muestra desde delante.Figure 2b) shows that holding the scanner in a horizontal position can make the viewing angle equally from the front, such that the 3D model 105 of the scanned teeth is displayed from the front.

La figura 3 muestra un ejemplo del dispositivo portátil.Figure 3 shows an example of the portable device.

En este ejemplo, el dispositivo portátil 100 es un escáner intraoral con una empuñadura de pistola. El escáner comprende un cuerpo envolvente 106 que comprende la parte de empuñadura de pistola 107, y una punta 108 adaptada para su introducción en la boca del paciente. En este ejemplo, el escáner está asimismo equipado con un botón 103 que es un elemento adicional que proporciona funcionalidad de interfaz de usuario.In this example, the portable device 100 is an intraoral scanner with a pistol grip. The scanner comprises a housing 106 comprising the pistol grip portion 107, and a tip 108 adapted for introduction into the patient's mouth. In this example, the scanner is also equipped with a button 103 which is an additional element that provides user interface functionality.

El sistema de ejemplo mostrado en la figura 1, la figura 2 y la figura 3 comprende un dispositivo 100 que es un escáner intraoral portátil y un visualizador 101 que es una pantalla de ordenador. El operador 102 puede ser un dentista, un asistente y/o similar. En un ejemplo, el rendimiento de la acción o la funcionalidad de la operación del dispositivo 100 es para registrar alguna geometría 3D intraoral, y la funcionalidad de interfaz de usuario es para girar, hacer un barrido y hacer zum del modelo 3D 105 de los datos escaneados, en la pantalla 101. La integración de la funcionalidad de interfaz de usuario en el dispositivo 100 se proporciona mediante sensores de movimiento (no visibles), que pueden ser acelerómetros en el interior del escáner 100 cuyas lecturas determinan la orientación, tal como se ve en las figuras 2a y 2b, de la visualización en la pantalla del modelo 3D 105 de los dientes, adquirido por el escáner 100. Se puede proporcionar funcionalidad adicional, por ejemplo para iniciar/detener el escaneo, mediante el botón 103 que se ve en la figura 3. En el sistema de ejemplo, el botón 103 está situado en un lugar que el dedo del usuario puede alcanzar cómodamente.The example system shown in Figure 1, Figure 2, and Figure 3 comprises a device 100 that is a portable intraoral scanner and a display 101 that is a computer screen. Operator 102 can be a dentist, assistant, and / or the like. In one example, the action performance or operation functionality of the device 100 is to record some intraoral 3D geometry, and the user interface functionality is to rotate, pan, and zoom the 3D model 105 of the data. scanned, on screen 101. Integration of user interface functionality into device 100 is provided by motion sensors (not visible), which may be accelerometers inside scanner 100 whose readings determine orientation, as shown. See figures 2a and 2b, of the on-screen display of the 3D model 105 of the teeth, acquired by the scanner 100. Additional functionality, for example to start / stop the scan, can be provided by means of the button 103 that is seen in Figure 3. In the example system, the button 103 is located in a location that the user's finger can comfortably reach.

En la figura 1, el dentista 102 utiliza dos manos para sostener el escáner intraoral 100 durante el escaneo, pero se comprende que el escáner 100 puede asimismo sostenerse con una mano durante el escaneo. El dispositivo 100 se puede sostener asimismo con una o dos manos, mientras se cambia la perspectiva del modelo 3D 105 en el visualizador 101. El ejemplo mostrado en la figura 1 ilustra por lo tanto la ventaja de la funcionalidad de interfaz de usuario sin contacto, debido a que en muchas situaciones clínicas el operador 102 debería mantener ambas manos libres, desinfectadas o incluso esterilizadas.In FIG. 1, dentist 102 uses two hands to hold intraoral scanner 100 during scanning, but it is understood that scanner 100 can also be held with one hand during scanning. Device 100 can also be held with one or two hands, while changing the perspective of 3D model 105 on display 101. The example shown in Figure 1 therefore illustrates the advantage of contactless user interface functionality, because in many clinical situations the operator 102 should keep both hands free, disinfected or even sterilized.

La funcionalidad de interfaz de usuario 3D se puede explotar en una ubicación separada de la funcionalidad operativa. Para el anterior ejemplo de sistema de escaneo intraoral, la operación de escaneo se realiza en la cavidad oral del paciente, ver la figura 1, mientras que la funcionalidad de interfaz de usuario se explota más flexiblemente cuando el escáner está fuera de la boca del paciente, ver las figuras 2 y 3. The 3D user interface functionality can be exploited in a separate location from the operational functionality. For the above example intraoral scanning system, the scanning operation is performed in the patient's oral cavity, see figure 1, while the user interface functionality is exploited more flexibly when the scanner is outside the patient's mouth. , see figures 2 and 3.

La figura 4 muestra un ejemplo de un diagrama de flujo de un procedimiento de interacción entre un dispositivo portátil y un visualizador.Figure 4 shows an example of a flow chart of an interaction procedure between a portable device and a display.

En la etapa 1010, se lleva a cabo por lo menos una acción en un entorno 3D físico por medio del dispositivo portátil. Esta acción puede ser el escaneo de los dientes que se muestra en la figura 1.In step 1010, at least one action is carried out in a physical 3D environment by means of the handheld device. This action can be the scan of the teeth shown in figure 1.

En la etapa 1020, el entorno 3D físico es representado visualmente mediante dicho por lo menos un visualizador. Esto puede ser la visualización del modelo 3D de los dientes escaneados que se ve en la figura 1.In step 1020, the physical 3D environment is displayed by said at least one display. This may be the visualization of the 3D model of the scanned teeth seen in figure 1.

En la etapa 1030, la vista del entorno 3D representado mostrado en el visualizador se controla remotamente en el visualizador por medio del dispositivo portátil. Esto puede ser el control del ángulo de visualización del modelo 3D, como se ve en la figura 2.In step 1030, the view of the rendered 3D environment displayed on the display is remotely controlled on the display by means of the handheld device. This can be controlling the viewing angle of the 3D model, as seen in Figure 2.

Todas las etapas del procedimiento se pueden repetir una o varias veces. El orden en el que se llevan a cabo las etapas puede ser diferente al orden descrito anteriormente, que se indica mediante la línea de trazos en la figura. Si una o varias etapas se llevan a cabo más veces, el orden de las etapas puede asimismo ser diferente.All stages of the procedure can be repeated one or more times. The order in which the steps are carried out may be different from the order described above, which is indicated by the dashed line in the figure. If one or more stages are carried out more times, the order of the stages may also be different.

Aunque se han descrito y mostrado en detalle algunas realizaciones, la invención no se limita a estas, sino que se puede realizar asimismo de otros modos dentro de la materia objeto, que se define en las reivindicaciones siguientes. En particular, se debe entender que pueden ser utilizadas otras realizaciones y se pueden realizar modificaciones estructurales y funcionales, sin apartarse del alcance de la presente invención.Although some embodiments have been described and shown in detail, the invention is not limited thereto, but may also be carried out in other ways within the subject matter, which is defined in the following claims. In particular, it should be understood that other embodiments can be used and structural and functional modifications can be made, without departing from the scope of the present invention.

En reivindicaciones de dispositivo que enumeran varios medios, varios de estos medios pueden ser realizados por un mismo elemento de hardware. El mero hecho de que determinadas medidas se enuncien en reivindicaciones dependientes mutuamente diferentes o se describan en realizaciones diferentes no indica que no se pueda utilizar ventajosamente una combinación de estas medidas.In device claims that list several means, several of these means can be realized by the same piece of hardware. The mere fact that certain measures are set forth in mutually different dependent claims or described in different embodiments does not indicate that a combination of these measures cannot be used to advantage.

Se debe destacar que la expresión "comprende/que comprende", cuando se utiliza en esta memoria descriptiva, es para especificar la presencia de características, números enteros, etapas o componentes indicados, pero no excluye la presencia o adición de una o varias características, números enteros, etapas, componentes o grupos adicionales de los mismos.It should be noted that the expression "comprises / comprising", when used in this specification, is to specify the presence of indicated characteristics, integers, steps or components, but does not exclude the presence or addition of one or more characteristics, whole numbers, steps, components or additional groups thereof.

Las características del procedimiento descrito anteriormente y en lo que sigue, se pueden implementar en software y llevarse a cabo en un sistema de procesamiento de datos u otros medios de procesamiento a causa de la ejecución de instrucciones ejecutables por ordenador. Las instrucciones pueden ser medios de código de programa cargados en una memoria, tal como una RAM, desde un medio de almacenamiento o desde otro ordenador por medio de una red informática. Alternativamente, las características descritas pueden ser implementadas por circuitos de hardware en lugar de software, o en combinación con software.The features of the method described above and in the following can be implemented in software and carried out in a data processing system or other processing means due to the execution of computer-executable instructions. The instructions may be program code means loaded into a memory, such as RAM, from a storage medium or from another computer via a computer network. Alternatively, the features described can be implemented by hardware circuitry instead of software, or in combination with software.

Bibliografía:Bibliography:

C. Graetzel, T. Fong, S. Grange y C. Baur., "A Non-Contact Mouse for Surgeon-Computer Interaction". Technology and Health Care, 12(3), 2004.C. Graetzel, T. Fong, S. Grange and C. Baur., "A Non-Contact Mouse for Surgeon-Computer Interaction." Technology and Health Care, 12 (3), 2004.

Vogt S., Khamene A., Niemann H., Sauer F., "An AR system with intuitive user interface for manipulation and visualization of 3D medical data", Stud. Health Technol. Inform. 2004; 98, pp. 397-403. Vogt S., Khamene A., Niemann H., Sauer F., "An AR system with intuitive user interface for manipulation and visualization of 3D medical data", Stud. Health Technol. Inform. 2004; 98, pp. 397-403.

Claims (8)

REIVINDICACIONES 1. Un sistema que comprende:1. A system comprising: -por lo menos un visualizador (101),-at least one display (101), donde el por lo menos un visualizador (101) está adaptado para representar visualmente una representación 3D (105) de un entorno 3D (104),wherein the at least one display (101) is adapted to visually represent a 3D representation (105) of a 3D environment (104), yY donde el por lo menos un visualizador (101) es un visualizador 3D; ywherein the at least one display (101) is a 3D display; Y -un dispositivo portátil (100),-a portable device (100), donde el dispositivo portátil (100) está adaptado para escanear el entorno 3D (104), mediante el cual la representación 3D (105) del entorno 3D (104) se visualiza en el visualizador 3D (101),wherein the portable device (100) is adapted to scan the 3D environment (104), whereby the 3D representation (105) of the 3D environment (104) is displayed on the 3D viewer (101), donde el dispositivo portátil (100) es un escáner 3D intraoral o un escáner 3D auditivo,where the portable device (100) is an intraoral 3D scanner or an auditory 3D scanner, y está adaptado además para controlar remotamente la vista con la que se representa la representación 3D (105) en el visualizador 3D (101),and is further adapted to remotely control the view with which the 3D representation (105) is represented on the 3D display (101), donde el dispositivo portátil (100) está adaptado para conmutar entre:where the portable device (100) is adapted to switch between: -escanear el entorno 3D (104), y-scan the 3D environment (104), and -controlar remotamente la vista con la que se representa la representación 3D (105) en el visualizador 3D (101), caracterizado por que el dispositivo portátil (100) comprende por lo menos un sensor de movimiento, y por que la vista del entorno 3D (105) representada en el visualizador 3D (101) está determinada al menos parcialmente por el por lo menos un sensor de movimiento.- remotely control the view with which the 3D representation (105) is represented on the 3D viewer (101), characterized in that the portable device (100) comprises at least one motion sensor, and that the view of the 3D environment (105) represented on the 3D display (101) is at least partially determined by the at least one motion sensor. 2. El sistema según la reivindicación 1, donde el visualizador 3D está configurado para proyectar pares de imágenes estereoscópicas de la representación 3D (105).The system according to claim 1, wherein the 3D display is configured to project pairs of stereoscopic images of the 3D representation (105). 3. El sistema según la reivindicación 1, donde el visualizador 3D es un visualizador volumétrico configurado para crear un efecto 3D de la representación 3D (105).The system according to claim 1, wherein the 3D display is a volumetric display configured to create a 3D effect of the 3D representation (105). 4. Un sistema según cualquiera de las reivindicaciones anteriores,4. A system according to any of the preceding claims, donde el dispositivo portátil (100) comprende además un accionador configurado para conmutar entre escanear el entorno 3D (104) y controlar remotamente la vista con la que se representa la representación 3D (105) en el visualizador 3D.wherein the portable device (100) further comprises an actuator configured to switch between scanning the 3D environment (104) and remotely controlling the view with which the 3D representation (105) is represented on the 3D display. 5. El sistema según cualquiera de las reivindicaciones anteriores, donde el dispositivo portátil (100) está adaptado para cambiar un factor de aumento con el que se representa el entorno 3D (104) en el visualizador 3D, y/o donde el dispositivo portátil (100) está adaptado para cambiar una posición de visualización con la que se representa el entorno 3D (104) en el visualizador 3D.The system according to any of the preceding claims, wherein the portable device (100) is adapted to change a magnification factor with which the 3D environment (104) is represented on the 3D viewer, and / or where the portable device ( 100) is adapted to change a display position with which the 3D environment 104 is represented on the 3D display. 6. El sistema según cualquiera de las reivindicaciones anteriores, donde el visualizador 3D está configurado de modo que el operador (102) tiene solo una posición de visualización y un ángulo de visualización relativo al entorno 3D (104) a la vez.The system according to any of the preceding claims, wherein the 3D display is configured so that the operator (102) has only one display position and one display angle relative to the 3D environment (104) at a time. 7. El sistema según cualquiera de las reivindicaciones anteriores, donde el por lo menos un visualizador (101) es el visualizador 3D y un segundo visualizador.The system according to any of the preceding claims, wherein the at least one display (101) is the 3D display and a second display. 8. El sistema según la reivindicación 7, donde el primer visualizador (101) y/o el segundo visualizador (101) proporciona(n) instrucciones para el operador (102). The system according to claim 7, wherein the first display (101) and / or the second display (101) provide (s) instructions for the operator (102).
ES18192674T 2010-12-06 2011-12-05 System with 3D user interface integration Active ES2788853T3 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US42013810P 2010-12-06 2010-12-06
DKPA201001104 2010-12-06

Publications (1)

Publication Number Publication Date
ES2788853T3 true ES2788853T3 (en) 2020-10-23

Family

ID=72473142

Family Applications (1)

Application Number Title Priority Date Filing Date
ES18192674T Active ES2788853T3 (en) 2010-12-06 2011-12-05 System with 3D user interface integration

Country Status (2)

Country Link
US (1) USRE48221E1 (en)
ES (1) ES2788853T3 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5654583B2 (en) 2009-06-17 2015-01-14 ３シェイプ アー／エス Focus control device
US10010387B2 (en) 2014-02-07 2018-07-03 3Shape A/S Detecting tooth shade
CN114201082A (en) * 2021-11-25 2022-03-18 武汉尺子科技有限公司 Interaction method, equipment and storage medium for 3D scanning synthetic interface
FR3139003A1 (en) * 2022-08-31 2024-03-01 Dental Monitoring Method for acquiring a set of images of an oral object

Family Cites Families (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5181181A (en) 1990-09-27 1993-01-19 Triton Technologies, Inc. Computer apparatus input device for three-dimensional information
US5131844A (en) 1991-04-08 1992-07-21 Foster-Miller, Inc. Contact digitizer, particularly for dental applications
US6485413B1 (en) 1991-04-29 2002-11-26 The General Hospital Corporation Methods and apparatus for forward-directed optical scanning instruments
US5377011A (en) 1991-09-06 1994-12-27 Koch; Stephen K. Scanning system for three-dimensional object digitizing
US5722412A (en) 1996-06-28 1998-03-03 Advanced Technology Laboratories, Inc. Hand held ultrasonic diagnostic instrument
US6135961A (en) 1996-06-28 2000-10-24 Sonosite, Inc. Ultrasonic signal processor for a hand held ultrasonic diagnostic instrument
US6962566B2 (en) 2001-04-19 2005-11-08 Sonosite, Inc. Medical diagnostic ultrasound instrument with ECG module, authorization mechanism and methods of use
IL125659A (en) 1998-08-05 2002-09-12 Cadent Ltd Method and apparatus for imaging three-dimensional structure
US6967644B1 (en) * 1998-10-01 2005-11-22 Canon Kabushiki Kaisha Coordinate input apparatus and control method thereof, and computer readable memory
US6227850B1 (en) 1999-05-13 2001-05-08 Align Technology, Inc. Teeth viewing system
US6361489B1 (en) 1998-11-25 2002-03-26 Jory Tsai Medical inspection device
SE514495C2 (en) 1999-08-05 2001-03-05 Jama Mining Equipment Ab Device for mounting rock bolt in rock reinforcement
US7625335B2 (en) 2000-08-25 2009-12-01 3Shape Aps Method and apparatus for three-dimensional optical scanning of interior surfaces
US6592371B2 (en) 2000-10-25 2003-07-15 Duane Durbin Method and system for imaging and modeling a three dimensional structure
US6645148B2 (en) 2001-03-20 2003-11-11 Vermon Ultrasonic probe including pointing devices for remotely controlling functions of an associated imaging system
US7213214B2 (en) 2001-06-12 2007-05-01 Idelix Software Inc. Graphical user interface with zoom for detail-in-context presentations
US7141020B2 (en) 2002-02-20 2006-11-28 Koninklijke Philips Electronics N.V. Portable 3D ultrasound system
US7831292B2 (en) * 2002-03-06 2010-11-09 Mako Surgical Corp. Guidance system and method for surgical procedures with improved feedback
US20060146009A1 (en) 2003-01-22 2006-07-06 Hanno Syrbe Image control
EP1610708B1 (en) * 2003-04-03 2019-11-27 Align Technology, Inc. Method and system for fabricating a dental coping
US20050057745A1 (en) 2003-09-17 2005-03-17 Bontje Douglas A. Measurement methods and apparatus
US7221332B2 (en) 2003-12-19 2007-05-22 Eastman Kodak Company 3D stereo OLED display
US7711179B2 (en) 2004-04-21 2010-05-04 Nextengine, Inc. Hand held portable three dimensional scanner
US20060020204A1 (en) 2004-07-01 2006-01-26 Bracco Imaging, S.P.A. System and method for three-dimensional space management and visualization of ultrasound data ("SonoDEX")
US7683883B2 (en) * 2004-11-02 2010-03-23 Pierre Touma 3D mouse and game controller based on spherical coordinates system and system for use
US8199107B2 (en) 2004-12-22 2012-06-12 University Of Waterloo Input interface device with transformable form factor
ES2632937T3 (en) 2005-03-03 2017-09-18 Align Technology, Inc. System and procedure to explore an intraoral cavity
KR101170120B1 (en) 2005-07-27 2012-07-31 삼성전자주식회사 Stereoscopic display apparatus
US20070031774A1 (en) * 2005-08-03 2007-02-08 3M Innovative Properties Company Registering physical and virtual tooth structures with markers
US7840040B2 (en) 2005-09-30 2010-11-23 Siemens Medical Solutions Usa, Inc. Method and apparatus for controlling ultrasound imaging systems having positionable transducers
US8411034B2 (en) 2009-03-12 2013-04-02 Marc Boillot Sterile networked interface for medical systems
US7840042B2 (en) 2006-01-20 2010-11-23 3M Innovative Properties Company Superposition for visualization of three-dimensional data acquisition
US8035637B2 (en) * 2006-01-20 2011-10-11 3M Innovative Properties Company Three-dimensional scan recovery
US20100009308A1 (en) 2006-05-05 2010-01-14 Align Technology, Inc. Visualizing and Manipulating Digital Models for Dental Treatment
US8384665B1 (en) * 2006-07-14 2013-02-26 Ailive, Inc. Method and system for making a selection in 3D virtual environment
US8270689B2 (en) 2006-09-12 2012-09-18 Carestream Health, Inc. Apparatus for caries detection
US20090061381A1 (en) 2007-09-05 2009-03-05 Duane Milford Durbin Systems and methods for 3D previewing
US20090066648A1 (en) 2007-09-07 2009-03-12 Apple Inc. Gui applications for use with 3d remote controller
US8830309B2 (en) 2008-01-04 2014-09-09 3M Innovative Properties Company Hierarchical processing using image deformation
DE102008010717A1 (en) 2008-02-22 2009-08-27 Siemens Aktiengesellschaft Device and method for displaying medical image information and imaging system with such a device
CN102239423A (en) 2008-12-03 2011-11-09 皇家飞利浦电子股份有限公司 Ultrasound assembly and system comprising interchangable transducers and displays
EP2200332A1 (en) 2008-12-17 2010-06-23 Robert Bosch GmbH Autostereoscopic display
JP5654583B2 (en) 2009-06-17 2015-01-14 ３シェイプ アー／エス Focus control device
WO2011011193A1 (en) 2009-07-21 2011-01-27 Dimensional Photonics International, Inc. Integrated display in a hand-held three-dimensional metrology system
EP2568870B1 (en) 2010-03-30 2018-05-02 3Shape A/S Scanning of cavities with restricted accessibility
EP2596477B1 (en) * 2010-07-19 2021-01-06 Align Technology, Inc. Methods and systems for creating and interacting with three dimensional virtual models
US20120062557A1 (en) * 2010-09-10 2012-03-15 Dimensional Photonics International, Inc. Systems and methods for processing and displaying intra-oral measurement data
US20120133958A1 (en) 2010-11-30 2012-05-31 Widman Michael F Laser confocal sensor metrology system
US9329675B2 (en) 2010-12-06 2016-05-03 3Shape A/S System with 3D user interface integration
CN103491897B (en) 2010-12-21 2016-01-20 3形状股份有限公司 Motion blur compensation
US20120179035A1 (en) 2011-01-07 2012-07-12 General Electric Company Medical device with motion sensing
EP2664272A4 (en) 2011-01-11 2014-06-25 Advance Kk Oral imaging and display system
DK2732434T3 (en) 2011-07-15 2018-12-17 3Shape As DETECTING A MOVABLE ITEM BY 3D SCANNING OF A RIGGET ITEM
US8903746B2 (en) 2012-03-22 2014-12-02 Audrey Kudritskiy System and method for viewing, modifying, storing, and running artificial neural network components

Also Published As

Publication number Publication date
USRE48221E1 (en) 2020-09-22

Similar Documents

Publication Publication Date Title
ES2705531T3 (en) System with 3D user interface integration
US20210196152A1 (en) Gesture control using an intraoral scanner
US7773074B2 (en) Medical diagnostic imaging three dimensional navigation device and methods
ES2835598T3 (en) Gesture interface
US9301672B2 (en) Dental scanner device and system and methods of use
Song et al. WYSIWYF: exploring and annotating volume data with a tangible handheld device
JP6774367B2 (en) Head-mounted display control device, its operation method and operation program, and image display system
US20100013764A1 (en) Devices for Controlling Computers and Devices
EP3145436B1 (en) Novel dental scanner device and system and methods of use
ES2788853T3 (en) System with 3D user interface integration
EP3681150A1 (en) Multiple-viewpoint video image viewing system and camera system
ES2941511T3 (en) Handheld Scanner 3D Scanner System
CN108712898B (en) Dental instrument bridge with novel display
JP5570801B2 (en) Medical treatment equipment
JP2019512299A (en) Apparatus and method for movement tracking and simulation
US20140055448A1 (en) 3D Image Navigation Method
JP6488153B2 (en) Cursor control method, cursor control program, scroll control method, scroll control program, cursor display system, and medical device
WO2012007645A2 (en) A method, an apparatus and an arrangement for visualizing information
JPWO2019130889A1 (en) Surgical image display device, control method of surgical image display device, and program
JP6632652B2 (en) Image processing apparatus and image processing program
JP2021133170A (en) Medical image processing apparatus, medical image processing method and medical image processing program
Chi et al. WYSIWYF: Exploring and Annotating Volume Data with a Tangible Handheld Device