WO2019116644A1 - 内視鏡システムおよび制御方法 - Google Patents
内視鏡システムおよび制御方法 Download PDFInfo
- Publication number
- WO2019116644A1 WO2019116644A1 PCT/JP2018/032421 JP2018032421W WO2019116644A1 WO 2019116644 A1 WO2019116644 A1 WO 2019116644A1 JP 2018032421 W JP2018032421 W JP 2018032421W WO 2019116644 A1 WO2019116644 A1 WO 2019116644A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- unit
- terminal device
- voice command
- processor
- endoscope
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 230000002093 peripheral effect Effects 0.000 claims abstract description 97
- 230000006854 communication Effects 0.000 claims description 146
- 238000004891 communication Methods 0.000 claims description 146
- 238000012545 processing Methods 0.000 claims description 59
- 238000001356 surgical procedure Methods 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 description 27
- 230000000875 corresponding effect Effects 0.000 description 17
- 238000001514 detection method Methods 0.000 description 11
- 238000002604 ultrasonography Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000007257 malfunction Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 3
- 230000001276 controlling effect Effects 0.000 description 3
- 238000005401 electroluminescence Methods 0.000 description 3
- CURLTUGMZLYLDI-UHFFFAOYSA-N Carbon dioxide Chemical compound O=C=O CURLTUGMZLYLDI-UHFFFAOYSA-N 0.000 description 2
- 230000007175 bidirectional communication Effects 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 210000001015 abdomen Anatomy 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 239000002775 capsule Substances 0.000 description 1
- 229910002092 carbon dioxide Inorganic materials 0.000 description 1
- 239000001569 carbon dioxide Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000005674 electromagnetic induction Effects 0.000 description 1
- 238000002674 endoscopic surgery Methods 0.000 description 1
- 238000012277 endoscopic treatment Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000009774 resonance method Methods 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
- 238000004148 unit process Methods 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00011—Operational features of endoscopes characterised by signal transmission
- A61B1/00016—Operational features of endoscopes characterised by signal transmission using wireless means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00039—Operational features of endoscopes provided with input arrangements for the user
- A61B1/0004—Operational features of endoscopes provided with input arrangements for the user for electronic operation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00039—Operational features of endoscopes provided with input arrangements for the user
- A61B1/00042—Operational features of endoscopes provided with input arrangements for the user for mechanical operation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00059—Operational features of endoscopes provided with identification means for the endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/12—Diagnosis using ultrasonic, sonic or infrasonic waves in body cavities or body tracts, e.g. by using catheters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
- A61B8/467—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/56—Details of data transmission or power supply
- A61B8/565—Details of data transmission or power supply involving data transmission via a network
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/117—Identification of persons
- A61B5/1171—Identification of persons based on the shapes or appearances of their bodies or parts thereof
- A61B5/1172—Identification of persons based on the shapes or appearances of their bodies or parts thereof using fingerprinting
Definitions
- the present invention relates to an endoscope system and control method for inserting an endoscope into a subject and displaying image data obtained by imaging the inside of the subject.
- the present invention has been made in view of the above, and it is an object of the present invention to provide an endoscope system and a control method capable of preventing an erroneous operation even when a plurality of voice input units are used. Do.
- an endoscope system performs image processing on endoscope image data acquired by an endoscope that observes the inside of a subject, A first voice command input instructing driving of any one of the plurality of peripheral devices based on voice data generated by the voice input unit that can be connected to a plurality of peripheral devices and receives voice input
- a processor that can receive, a terminal device that can wirelessly communicate with the processor, and can receive an input of a second voice command that instructs driving of any one of the plurality of peripheral devices by voice;
- the first voice command that can be accepted by the processor and the terminal device receives the first voice command when the terminal device can communicate with the terminal device
- At least a portion of the command content for the second voice command that can be characterized in that it comprises a setting unit that sets differently.
- the processor when the processor and the terminal device can communicate, the processor can input the first voice command and the second voice command from the terminal device.
- a drive control unit for driving any one of the plurality of peripheral devices based on the priority voice command selected by the selection unit. It is characterized by
- an acquiring unit for acquiring operator identification information for identifying an operator of the endoscope, each of a plurality of the operator identification information, and the plurality And a recording unit for recording in association with a level at which each operation of the peripheral device is permitted, in association with the first voice command and the second voice command from the terminal device by the processor.
- the priority voice command is selected based on the level of the operator acquired by the acquisition unit and the level of the user who uses the terminal device.
- the terminal system further includes a system controller connected to each of the processor and the plurality of peripheral devices to control driving of the plurality of peripheral devices.
- an authentication unit that authenticates whether the user of the terminal device is a registered user registered in advance, the processor may execute the plurality of processing based on the first voice command or the second voice command.
- the terminal system further includes a system controller connected to each of the processor and the plurality of peripheral devices to control driving of the plurality of peripheral devices.
- An authentication unit that authenticates whether or not the user of the terminal device is a registered user registered in advance; and the setting unit, wherein the setting unit is the user authenticated by the authentication unit.
- setting the plurality of peripheral devices operable by the second voice command through the system controller based on the level assigned to the plurality of peripheral devices.
- the endoscope image data is transmitted to the terminal.
- the communication control unit may further include a communication control unit that transmits to the device.
- the processor associates the tag information related to the content of the first voice command or the second voice command with the endoscope image data to be the terminal
- the communication control unit may further include a communication control unit that transmits to the device.
- the terminal device further comprises a display unit capable of displaying an image, and a display control unit controlling a display mode of the display unit, the display
- the control unit is characterized in that an endoscope image corresponding to the endoscope image data is displayed on the display unit for each tag information.
- the endoscope system further includes a server connected to the terminal device and the processor via a network and recording related image data related to the endoscope image
- the terminal device further includes a communication control unit that acquires the related image data recorded by the server based on the tag information, and the display control unit relates to the endoscopic image and the related image data. An image is displayed on the display unit.
- the terminal device records the second voice command received by the terminal device and the endoscope image data in the recording unit in association with each other. And a recording control unit.
- the terminal device associates the authentication result of the authentication unit, the tag information regarding the content of the second voice command, and the endoscope image data.
- the communication control unit may further include a communication control unit that transmits to a server connected to the network.
- the first voice command is constituted by a command capable of operating all of the plurality of peripheral devices
- the second voice command is direct to surgery. It is characterized by comprising commands capable of operating peripheral devices not related to.
- image processing is performed on endoscope image data acquired by an endoscope that observes the inside of a subject, and connection settings can be made to a plurality of peripheral devices.
- a processor having a setting unit, a terminal device capable of wirelessly communicating with the processor, and capable of receiving an input of a voice command instructing the driving of any one of the plurality of peripheral devices by voice; And a system controller connected to each of the plurality of peripheral devices to control driving of the plurality of peripheral devices, and in the terminal device, whether the user of the terminal device is a registered user registered in advance
- An authentication unit that authenticates whether or not the system control unit is configured to perform the system control based on the level assigned to the user authenticated by the authentication unit; Through and sets the plurality of peripheral devices operable by the voice command.
- control method image processing is performed on endoscope image data acquired by an endoscope that observes the inside of a subject, and connection to a plurality of peripheral devices is possible.
- a processor capable of receiving an input of a first voice command instructing driving of any one of the plurality of peripheral devices based on voice data generated by a voice input unit receiving an input, and wirelessly communicating with the processor
- a control method executed by an endoscope system comprising: a terminal device capable of receiving an input of a second voice command instructing voice driving of any one of the plurality of peripheral devices.
- the processor and the terminal device can communicate with each other, the first voice command that can be received by the processor is received by the terminal device.
- said second voice command that can be attached characterized in that it comprises a setting step of at least partially be set differently.
- FIG. 1 is a block diagram showing a functional configuration of an endoscope system according to a first embodiment of the present invention.
- FIG. 2 is a block diagram showing a functional configuration of the terminal apparatus according to Embodiment 1 of the present invention.
- FIG. 3 is a flowchart showing an outline of processing executed by the processor according to the first embodiment of the present invention.
- FIG. 4 is a flowchart showing an outline of the connection process of FIG.
- FIG. 5 is a flowchart showing an outline of the speech input unit processing of FIG.
- FIG. 6 is a flowchart showing an outline of the terminal device processing of FIG.
- FIG. 7 is a flowchart showing an outline of processing performed by the terminal device according to Embodiment 1 of the present invention.
- FIG. 1 is a block diagram showing a functional configuration of an endoscope system according to a first embodiment of the present invention.
- FIG. 2 is a block diagram showing a functional configuration of the terminal apparatus according to Embodiment 1 of the present invention.
- FIG. 8 is a flowchart showing an outline of the authentication process of FIG.
- FIG. 9 is a flowchart showing an outline of the connection process of FIG.
- FIG. 10 is a block diagram showing a functional configuration of an endoscope system according to a second embodiment of the present invention.
- FIG. 11 is a block diagram showing a functional configuration of a terminal apparatus according to Embodiment 2 of the present invention.
- FIG. 12 is a flowchart showing an outline of processing executed by the processor according to the second embodiment of the present invention.
- FIG. 13 is a flowchart showing an outline of the authentication process performed by the terminal device according to Embodiment 2 of the present invention.
- an endoscope system including an endoscope for imaging a body cavity of a subject such as a patient and displaying an image is taken as an example. explain. Further, the present invention is not limited by the embodiment. Furthermore, in the description of the drawings, the same parts are given the same reference numerals.
- FIG. 1 is a block diagram showing a functional configuration of an endoscope system according to a first embodiment of the present invention.
- a medical worker including at least a doctor performs endoscopic surgery, endoscopic examination or endoscopic treatment on a subject such as a patient in an operating room 100 in a hospital. It is used when doing.
- the endoscope system 1 includes an endoscope 2, a processor 3, a wireless unit 4, a terminal device 5, a display device 6, a system controller 7, a voice input unit 8, an ultrasound device 9,
- the belly device 10, the electric scalpel device 11, the printer 12, the room light 13, the electric operating table 14, and the wireless power feeding device 15 are provided.
- the endoscope 2 is inserted into a subject.
- the endoscope 2 is configured using a rigid endoscope or a flexible endoscope.
- the endoscope 2 emits illumination light to the inside of the subject under the control of the processor 3, and images an area inside the subject irradiated with the illumination light to generate endoscope image data.
- the generated endoscopic image data is output to the processor 3.
- the endoscope 2 includes an imaging element 21 that images the inside of a subject to generate image data.
- the imaging device 21 is configured using an image sensor such as a charge coupled device (CCD) or a complementary metal oxide semiconductor (CMOS), an A / D conversion circuit, or the like.
- CCD charge coupled device
- CMOS complementary metal oxide semiconductor
- the endoscope 2 is communicably connected to the processor 3 bi-directionally by wire or wirelessly.
- the endoscope image data generated by the endoscope 2 may be wirelessly transmitted to the endoscope image data may be sequentially transmitted to the processor 3 via the wireless unit 4 described later, or via the network N100.
- the endoscope image data may be sequentially transmitted to the server 200 installed in the hospital outside the operating room 100.
- the processor 3 controls the endoscope 2 and performs predetermined image processing on endoscope image data sequentially input from the endoscope 2 and sequentially outputs the image data to the display device 6 and a plurality of peripheral devices Can be connected, and can receive an input of a first voice command instructing driving of any of a plurality of peripheral devices based on voice data generated by the voice input unit 8 that receives voice input.
- the first voice command is configured of a command capable of operating all of the plurality of peripheral devices.
- the processor 3 includes a video processing unit 31, a communication unit 32, a recording unit 33, an operation unit 34, an acquisition unit 35, and a processor control unit 36.
- the image processing unit 31 performs predetermined image processing on endoscope image data input from the endoscope 2 and outputs the processed image data to the display device 6.
- the predetermined image processing includes synchronization processing, demosaicing processing (when the imaging device 21 has a Bayer arrangement), white balance adjustment processing, ⁇ correction processing, saturation adjustment processing, format conversion processing, and the like.
- the video processing unit 31 is configured using a field programmable gate array (FPGA), an application specific integrated circuit (ASIC), a graphics processing unit (GPU), and the like.
- the communication unit 32 is configured using a communication module, and bidirectionally communicates with the terminal device 5 according to a predetermined communication standard. Further, the communication unit 32 bidirectionally communicates with the server 200 installed in the hospital via the wireless unit 4 or the terminal device 5 or the network N100.
- a predetermined communication standard Wi-Fi (Wireless Fidelity) (registered trademark) communication, Bluetooth (registered trademark) communication, Bluetooth Low Energy (registered trademark) communication (hereinafter referred to simply as "BLE communication"), etc. is there.
- the station connects to a wireless network established by the access point It becomes a relationship.
- the wireless unit 4 which is an access point establishes a wireless network and broadcasts its own network identifier (SSID).
- the communication unit 32 of the processor 3 which is a station searches for a broadcasted network identifier (SSID), and connects to a desired network (access point). Since a network with many devices is assumed, the coverage is wide, and strict identification steps will be taken while considering the problem of interference. For this reason, connection establishment may take time.
- data communication can transmit and receive data at the timing of each access point and station.
- the communication unit 32 may employ communication using 4G wireless.
- the communication unit 32 performs communication using 3G wireless, communication using 5G wireless, WiMAX (Worldwide Interoperability for Microwave Access (registered trademark) communication, infrared data communication (IrDA (Infrared Data Association) (registered trademark)), etc.
- WiMAX Worldwide Interoperability for Microwave Access (registered trademark) communication
- IrDA Infrared Data Association
- Other communications may be employed.
- the recording unit 33 records various programs executed by the processor 3, data being processed, endoscopic image data, and the like.
- the recording unit 33 is configured using a flash memory, a synchronous dynamic random access memory (SDRAM), a memory card, a solid state drive (SSD), and the like.
- the recording unit 33 stores an authentication information recording unit 331 that records the device address of the device that has authenticated mutual wireless communication and connection determination information, and a processor IP address recording unit 332 that records a processor IP address that identifies the processor 3.
- a voice command information recording unit 333 for recording a template for recognizing the control content of the voice command based on the voice data generated by the voice input unit 8.
- the authentication information recording unit 331 permits each operation of each of a plurality of operator identification information (hereinafter referred to as “operator ID”) for identifying the operator of the endoscope 2 and each of a plurality of peripheral devices. Correspond to the level and record it.
- operator ID operator identification information
- the operation unit 34 receives input of various information related to the endoscope system 1, and outputs the received information to the processor control unit 36.
- the operation unit 34 is configured using, for example, a switch, a button, a touch panel, and the like.
- the operation unit 34 receives an input of an operator ID identifying an operator who performs treatment on a subject, and outputs the operator ID to the processor control unit 36.
- the acquisition unit 35 acquires the operator ID provided on the ID card of the operator of the endoscope 2, and outputs the operator ID to the processor control unit 36.
- the operator ID includes the operator level indicating the level of the ID information, the post and the name.
- the operator level is information indicating permission of operation of each of the plurality of peripheral devices for each level. For example, at the operator level of a surgeon who is an operator (operator), all operations of a plurality of peripheral devices are permitted, and at the operator level of a doctor who is an assistant, some peripheral devices such as ultrasonic devices 9. Allow operations other than the electrosurgical unit 11 and the motorized operating table 14.
- the acquisition unit 35 is configured using, for example, an RFID reader or a communication module capable of Bluetooth communication.
- the processor control unit 36 controls each unit of the processor 3 and each device constituting the endoscope system 1.
- the processor control unit 36 is configured using a CPU (Central Processing Unit) or the like.
- the processor control unit 36 includes a connection determination unit 361, a display control unit 362, a communication control unit 363, a setting unit 364, a drive control unit 365, a voice recognition unit 366, and a selection unit 367.
- the connection determination unit 361 determines, based on the terminal IP address transmitted from the terminal device 5 and the authentication result, whether the terminal device 5 is a connection destination capable of mutual wireless communication.
- the display control unit 362 controls the display mode of the display device 6. Specifically, the display control unit 362 causes the display device 6 to display the endoscopic image corresponding to the endoscopic image data subjected to the image processing by the video processing unit 31. Further, when the mutual wireless communication between the processor 3 and the terminal device 5 is established, the display control unit 362 causes the display device 6 to display information indicating that the processor 3 and the terminal device 5 can communicate with each other wirelessly.
- the communication control unit 363 permits communication between the terminal device 5 and the plurality of peripheral devices based on the determination result of the connection determination unit 361 and the authentication result transmitted from the terminal device 5.
- the setting unit 364 sets the terminal device 5 via the system controller 7 based on the level assigned to the registered user of the authentication result transmitted from the terminal device 5 and the authentication information recorded by the authentication information recording unit 331.
- a plurality of peripheral devices operable by the second voice command receiving the input are set.
- the setting unit 364 is configured such that the voice input unit 8 receives an input via the system controller 7 based on the operator ID acquired by the acquisition unit 35 and the authentication information recorded by the authentication information recording unit 331. Set multiple peripheral devices that can be operated by voice command.
- the drive control unit 365 controls the system controller 7 based on a voice command recognized by the voice recognition unit 366 described later and a request signal or an operation signal input from the terminal device 5 via the communication unit 32. Control the drive of peripheral devices. Further, when the peripheral device corresponding to the second voice command input from the terminal device 5 is not set to be operable by the setting unit 364, the drive control unit 365 causes the second voice command input from the terminal device 5 to be input. Disable and do not execute control of peripheral devices.
- the voice recognition unit 366 recognizes the content of the voice command based on the voice data input from the voice input unit 8 with reference to the voice command information recorded by the voice command information recording unit 333. Specifically, the voice recognition unit 366 performs well-known pattern matching on voice data using a template indicating a waveform for each voice command included in the voice command information recorded by the voice command information recording unit 333. The controller recognizes the content of a voice command (first voice command) indicating the drive or control content of any of the plurality of peripheral devices, and outputs the recognition result to the drive control unit 365.
- the voice recognition unit 366 recognizes and identifies the operator who has input the voice to the voice input unit 8 based on the voice data, based on the voiceprint or the feature amount of the operator ID registered in advance. It is also good. Furthermore, the voice recognition unit 366 may recognize the content of the voice command for the voice data transmitted from the terminal device 5 via the communication unit 32.
- the selection unit 367 is prioritized. Select the preferred voice command. Specifically, when the processor 3 receives the input of the first voice command and the second voice command from the terminal device 5, the selection unit 367 uses the level of the operator and the terminal device 5 acquired by the acquisition unit 35. Based on the user's level, the priority voice command to be prioritized is selected from the first voice command and the second voice command.
- the wireless unit 4 is connected to the server 200 via the network N100, and is communicably connected to the processor 3 and the terminal 5 bi-directionally according to a predetermined communication standard.
- the wireless unit 4 employs Wi-Fi communication.
- the wireless unit 4 is installed on the periphery of the processor 3, a wall surface in the operating room 100, or the like.
- the terminal device 5 bi-directionally communicates with the processor 3 according to a predetermined communication standard, and receives and displays the case image data from the server 200 via the endoscope image data generated by the endoscope 2 and the wireless unit 4 Do.
- the terminal device 5 can receive the input of the second voice command instructing the drive of any one of the plurality of peripheral devices by voice.
- the second voice command is configured of a command capable of operating peripheral devices not directly related to the operation. The detailed configuration of the terminal device 5 will be described later.
- the display device 6 displays an image corresponding to the image data input from the video processing unit 31 and various information of the endoscope system 1 under the control of the display control unit 362.
- the display device 6 is configured using a display monitor of liquid crystal or organic EL (Electro Luminescence), a speaker that externally outputs sound, or the like.
- the system controller 7 is connected to the processor 3 by wire or wirelessly, and according to an instruction signal input from the processor 3, the voice input unit 8, the ultrasonic device 9, the insufflation device 10, the electrosurgical device 11, the printer 12, the room light 13.
- the electric operating table 14 and the wireless power feeder 15 are individually controlled.
- the system controller 7 is connected to each peripheral device by wire or wirelessly.
- the system controller 7 is configured using a CPU, a flash memory, and the like.
- the voice input unit 8 picks up a voice emitted from a sound source or a speaker, converts it into an analog voice signal (electric signal), and converts the voice signal into an A / D signal. Conversion processing and gain adjustment processing are performed to generate digital audio data, which is output to the processor 3 through the system controller 7.
- the voice input unit 8 is configured using any one microphone of a unidirectional microphone, a nondirectional microphone, and a bidirectional microphone, an A / D conversion circuit, a signal processing circuit, and the like.
- the voice input unit 8 is attached to the operator of the endoscope.
- the voice input unit 8 may be provided in the operating room 100 as well as the operator, or may be attached to a nurse or an assistant other than the operator.
- the number of voice input units 8 need not be one, and may be changed as appropriate. For example, the number may be the same as the number of medical workers present in the operating room 100 including the operator.
- the ultrasound apparatus 9 is connected to the endoscope 2 and transmits and receives ultrasound via an ultrasound transducer provided at the tip of the endoscope 2 under the control of the system controller 7. In addition, the ultrasound apparatus 9 outputs ultrasound image data based on ultrasound received via the endoscope 2 to the system controller 7. The ultrasound apparatus 9 may generate ultrasound image data of the subject via a dedicated ultrasound probe.
- the insufflation apparatus 10 delivers insufflation gas such as carbon dioxide into the subject.
- the electric knife device 11 drives the electric knife by applying a predetermined voltage to the electric knife under the control of the system controller 7.
- the printer 12 outputs an image corresponding to the image data input from the processor 3 under the control of the system controller 7.
- a plurality of room lights 13 are provided in the operating room 100, and project light from the subject or the operating room 100 at a predetermined illuminance under the control of the system controller 7.
- the room light 13 is configured using an LED (Light Emitting Diode) lamp, a light adjustment switch, and the like.
- the electrically operated operating table 14 changes the position and posture of the subject by moving the operating table in the vertical direction and the horizontal direction under the control of the system controller 7.
- the electrically operated operating table 14 is configured using a vertically and horizontally movable operating table and a drive unit such as a motor for driving the operating table.
- the wireless power feeding device 15 wirelessly feeds power to the terminal device 5 under the control of the system controller 7.
- the wireless power supply device 15 is configured using any one of an electromagnetic induction method, a magnetic field resonance method, an electrolytic coupling method, and a radio wave transmission and reception method.
- the server 200 is installed in a hospital outside the operating room 100, associates and records endoscopic image data transmitted from the processor 3 or the terminal device 5 via the network N100 with a patient ID for identifying a patient.
- server 200 receives an image request signal for requesting case image data and endoscopic image data via network N 100 or wireless unit 4, the case image is sent to processor 3 or terminal device 5 that issued the image request signal.
- the endoscopic image data includes moving image data and still image data (captured image data).
- FIG. 2 is a block diagram showing a functional configuration of the terminal device 5.
- the terminal device 5 shown in FIG. 2 includes a battery unit 50, a communication unit 51, an imaging unit 52, a fingerprint information detection unit 53, a voice input unit 54, a display unit 55, a recording unit 56, and an operation unit 57. And a terminal control unit 58.
- the battery unit 50 includes a battery 501 for supplying power to each unit constituting the terminal device 5, and a receiving unit 502 for receiving the electromagnetic wave fed from the wireless power supply device 15, converting it into a current and supplying it to the battery 501.
- a battery 501 for supplying power to each unit constituting the terminal device 5
- a receiving unit 502 for receiving the electromagnetic wave fed from the wireless power supply device 15, converting it into a current and supplying it to the battery 501.
- the communication unit 51 is configured using a communication module, and bidirectionally communicates with the processor 3 in accordance with a predetermined communication standard.
- the communication unit 51 bidirectionally communicates with the server 200 via the wireless unit 4 and the in-hospital network N100.
- Wi-Fi communication is assumed as the predetermined communication standard.
- the communication unit 51 may adopt communication using 4G wireless.
- the communication unit 51 may adopt other communication such as Bluetooth communication, BLE communication, communication using 3G wireless, communication using 5G wireless, WiMAX communication, infrared communication, and the like.
- the imaging unit 52 images a user of the terminal device 5 to generate image data, and outputs the image data to the terminal control unit 58.
- the imaging unit 52 is configured using an image sensor such as a CCD or a CMOS, an A / D conversion process, an image processing engine realized using an FPGA or a GPU, or the like.
- the imaging unit 52 is provided with an infrared lamp capable of emitting infrared light and an image sensor provided with a pixel capable of capturing infrared light emitted by the infrared lamp, whereby the user's face surface is provided. You may make it acquire the unevenness of.
- the fingerprint information detection unit 53 detects fingerprint information of the finger of the user touched from the outside, and outputs the detection result to the terminal control unit 58.
- the fingerprint information detection unit 53 is configured using a fingerprint sensor.
- the fingerprint information detection unit 53 may be, for example, a slide type other than the press type. Of course, the fingerprint information detection unit 53 may detect the vein of the user in addition to the fingerprint.
- the voice input unit 54 picks up the voice emitted from the sound source or the speaker and converts it into an analog voice signal (electric signal). D-conversion processing and gain adjustment processing are performed to generate digital audio data and output to the terminal control unit 58.
- the voice input unit 54 is configured using a microphone of any one of a unidirectional microphone, a nondirectional microphone and a bidirectional microphone, an A / D conversion circuit, a signal processing circuit, and the like.
- the display unit 55 displays the image data and various information input from the terminal control unit 58.
- the display unit 55 is configured using a display panel such as a liquid crystal or an organic EL.
- the recording unit 56 records various programs executed by the terminal device 5, data being processed, image data, and the like.
- the recording unit 56 is configured using a flash memory, an SSD, a memory card, and the like. Further, the recording unit 56 controls the voice command based on the authentication information recording unit 561, the terminal IP address recording unit 562 for recording the terminal IP address for identifying the terminal 5, and the voice data input from the voice input unit 54. And a voice command information recording unit 563 for recording a template for recognizing contents.
- the operation unit 57 receives an input of an instruction signal according to an operation from the user.
- the operation unit 57 is configured using a touch panel, a button, a switch, and the like.
- the terminal control unit 58 centrally controls the units that constitute the terminal device 5.
- the terminal control unit 58 also analyzes the voice data input from the voice input unit 54, generates a voice command based on the analysis result, and transmits the voice command to the processor 3.
- the terminal control unit 58 is configured using a CPU or the like.
- the terminal control unit 58 includes a connection determination unit 581, an authentication unit 582, a communication control unit 583, a display control unit 584, a recording control unit 585, an imaging control unit 586, and a voice recognition unit 587.
- the connection determination unit 581 determines, based on the authentication information received by the communication unit 51 from the processor 3, whether the processor 3 is a connection destination capable of mutual wireless communication.
- the authentication unit 582 authenticates whether the user of the terminal device 5 is a registered user registered in advance. Specifically, the authentication unit 582 performs authentication by acquiring one or more of a face image of the user of the terminal device 5, biometric information of the user, and gesture information of the user. For example, the authentication unit 582 determines whether the feature of the user's face image shown in the image corresponding to the image data generated by the imaging unit 52 matches the feature of the registered user's face recorded by the recording unit 56 or not. judge.
- Communication control unit 583 permits mutual wireless communication between processor 3 and terminal device 5 or mutual wireless communication between network N 100 and terminal device 5 based on the determination result of connection determination unit 581 and the authentication result of authentication unit 582. .
- the display control unit 584 controls the display mode of the display unit 55. Specifically, the display control unit 584 causes the display unit 55 to display the endoscopic image corresponding to the endoscopic image data and the case image corresponding to the case image data in a comparable manner.
- the recording control unit 585 associates the patient round-trip time included in the schedule information acquired by the communication control unit 583 with the endoscopic image data and causes the recording unit 56 to record.
- the imaging control unit 586 validates the imaging function of the imaging unit 52 by the user of the terminal device 5 when the authentication unit 582 authenticates the user as a registered user.
- the voice recognition unit 587 recognizes the content of the voice command based on the voice data input from the voice input unit 54 with reference to the voice command information recorded by the voice command information recording unit 563. Specifically, the voice recognition unit 587 performs well-known pattern matching on voice data using a template indicating a waveform for each voice command included in the voice command information recorded by the voice command information recording unit 563. Recognizes the content of the voice command indicating the drive or control content of any of the plurality of peripheral devices, and outputs the recognition result to the communication control unit 583.
- FIG. 3 is a flowchart showing an outline of processing executed by the processor 3.
- the processor 3 executes a connection process for making a connection for bi-directional communication with the terminal device 5 (step S101). After step S101, the processor 3 proceeds to step S102 described later.
- FIG. 4 is a flowchart showing an outline of connection processing.
- the communication control unit 363 transmits a processor IP address (SSID) and authentication information to the terminal device 5 via the communication unit 32 (step S201).
- the authentication information is information for requesting an authentication result of the authentication unit 582 functioning as a password for performing the inter-wireless communication of the terminal device 5.
- step S202: Yes when the terminal IP address and the authentication result authenticated by the authentication unit 582 are received from the terminal device 5 via the communication unit 32 (step S202: Yes), the processor 3 proceeds to step S203 described later.
- step S202: No when the terminal IP address and the authentication result authenticated by the authentication unit 582 have not been received from the terminal device 5 via the communication unit 32 (step S202: No), the processor 3 proceeds to step S205 described later. Do.
- step S203 the connection determination unit 361 determines whether the terminal device 5 is a connection destination capable of mutual wireless communication, based on the terminal IP address received by the communication unit 32 and the authentication result authenticated by the authentication unit 582. (Step S203). Specifically, the connection determination unit 361 determines whether the terminal IP address received by the communication unit 32, the authentication result authenticated by the authentication unit 582, and the authentication information recorded by the authentication information recording unit 331 match. When they match, it is determined that the terminal device 5 is a connection destination capable of mutual wireless communication, while when they do not match, it is determined that the terminal device 5 is not a connection destination capable of mutual wireless communication.
- step S203: Yes the processor 3 proceeds to step S204 described later.
- step S203: No the processor 3 proceeds to step S205 described later.
- step S204 the communication control unit 363 connects the processor 3 and the terminal device 5 so as to allow mutual communication.
- the processor 3 is in a state capable of communicating with the terminal device 5.
- the display control unit 362 may cause the display device 6 to display that mutual wireless communication between the processor 3 and the terminal device 5 is possible. That is, the display control unit 362 functions as a notification unit.
- the processor 3 returns to the main routine of FIG.
- step S205 the display control unit 362 causes the display device 6 to display a warning that the terminal device 5 is not a connection destination capable of mutual wireless communication.
- the display control unit 362 causes the display device 6 to display a warning that the terminal device 5 is not a connection destination capable of mutual wireless communication, for example, connection where the terminal device 5 can mutually wirelessly communicate with a speaker (not shown) You may alert
- the processor 3 returns to the main routine of FIG.
- step S102 when the processor 3 and the terminal device 5 are in the mutual communication state (step S102: Yes), the acquisition unit 35 acquires the operator ID (step S103).
- the setting unit 364 transmits the voice input unit via the system controller 7 based on the operator ID level acquired by the acquisition unit 35 and the level assigned to the registered user of the authentication result received from the terminal device 5.
- a communication connection with each of a plurality of peripheral devices that can be operated by the voice command received by each of 8 and the terminal device 5 is set (step S104). Specifically, when the operator ID level and the level of the registered user are at the doctor level, setting unit 364 sets peripheral devices operable via terminal device 5 to be operable by all peripheral devices.
- peripheral devices operable through the terminal device 5 are set to predetermined peripheral devices only, eg peripheral devices not related to surgery, more specifically Sets the printer 12, the room light 13, the wireless power feeding device 15 and the like to be operable.
- the setting unit 364 may set peripheral devices that can be operated by the voice input unit 8 and the terminal device 5 more finely based on the operator ID level and the level of the registered user.
- step S105 when there is a voice command from the voice input unit 8 or the terminal device 5 (step S105: Yes), when there are a plurality of voice commands in a predetermined time (for example, 1 to 2 seconds) (step S106: Yes)
- the selection unit 367 selects a voice command to be prioritized based on the level (step S107). Specifically, the selection unit 367 compares the operator ID level of the voice input unit 8 with the level of the registered user, and preferentially selects the voice command of the higher level.
- step S108: Yes when a voice command is input from the voice input unit 8 (step S108: Yes), the processor 3 proceeds to step S109 described later.
- step S108: No when the voice command is not input from the voice input unit 8 (step S108: No), the processor 3 shifts to step S110 described later.
- step S109 the processor 3 executes an audio input unit process for driving the peripheral device in accordance with the audio command input from the audio input unit 8. After step S109, the processor 3 proceeds to step S111 described later.
- FIG. 5 is a flowchart showing an outline of the voice input unit processing.
- step S301 when the voice command input from the voice input unit 8 instructs recording of endoscope image data (step S301: Yes), the communication control unit 363 via the communication unit 32 The endoscope image data is transmitted to the terminal device 5 (step S302). After step S302, the processor 3 proceeds to step S303 described later.
- step S301 when the voice command input from the voice input unit 8 does not instruct recording of endoscope image data (step S301: No), the processor 3 proceeds to step S303 described later.
- step S303 when the peripheral device to be controlled according to the voice command input from the voice input unit 8 is the control-permitted peripheral device set by the setting unit 364 (step S303: Yes), the drive control unit 365 The peripheral device is controlled with the control content corresponding to the voice command recognized by the voice recognition unit 366 (step S304).
- the communication control unit 363 associates the tag information related to the content of the voice command with the endoscopic image data via the communication unit 32, and transmits the tag information to the terminal device 5 (step S305).
- the processor 3 returns to the main routine of FIG.
- step S303 when the peripheral device to be controlled according to the voice command input from the voice input unit 8 is not the control-permitted peripheral device set by the setting unit 364 (step S303: No), the display control unit 362 selects the peripheral device. A warning that the device can not be controlled is displayed on the display device 6 (step S306). After step S306, the processor 3 returns to the main routine of FIG.
- step S110 the processor 3 executes a terminal device process for driving the peripheral device in accordance with the voice command input from the terminal device 5. After step S110, the processor 3 proceeds to step S111 described later.
- FIG. 6 is a flowchart showing an outline of terminal device processing.
- step S401 when the voice command input from the terminal device 5 instructs transmission of endoscope image data (step S401: Yes), the communication control unit 363 transmits the command via the communication unit 32.
- the endoscope image data is transmitted to the terminal device 5 (step S402).
- step S402 the processor 3 proceeds to step S403 described later.
- step S402 when the voice command input from the terminal device 5 does not instruct transmission of endoscope image data (step S401: No), the processor 3 shifts to step S403 described later.
- step S403 when the peripheral device to be controlled according to the voice command input from the terminal device 5 is the peripheral device of the control permission set by the setting unit 364 (step S403: Yes), the drive control unit 365 The peripheral device is controlled with the control content corresponding to the voice command recognized by the recognition unit 366 (step S404).
- the communication control unit 363 associates the tag information related to the content of the voice command with the endoscopic image data via the communication unit 32, and transmits the tag information to the terminal device 5 (step S405).
- the processor 3 returns to the main routine of FIG.
- step S403 when the peripheral device to be controlled according to the voice command input from the terminal device 5 is not the peripheral device of the control permission set by the setting unit 364 (step S403: No), the communication control unit 363 A control disable signal indicating that the peripheral device can not be operated is transmitted to the terminal device 5 through 32 (step S406). After step S406, the processor 3 returns to the main routine of FIG.
- step S111 when the instruction signal instructing the end is input from the operation unit 34 or the terminal device 5 (step S111: Yes), the processor 3 proceeds to step S112 described later.
- step S111: No when the instruction
- step S102 No
- the processor 3 ends the present process.
- step S105 when there is no voice command from the voice input unit 8 or the terminal device 5 (step S105: No), the processor 3 shifts to step S111.
- step S106 when there are not a plurality of voice commands within the predetermined time (step S106: No), the processor 3 shifts to step S108.
- step S112 the communication control unit 363 records the terminal IP address of the terminal device 5 in the recording unit 33. Thereby, when the terminal device 5 is powered on in the operating room 100, the communication state between the processor 3 and the terminal device 5 can be immediately connected. After step S112, the processor 3 ends the present process.
- FIG. 7 is a flowchart showing an outline of the process performed by the terminal device 5.
- the terminal device 5 executes an authentication process to authenticate the user of the terminal device 5 whether or not the user is the registered user who can operate the terminal device 5 (Step S701). After step S701, the terminal device 5 proceeds to step S702 described later.
- FIG. 8 is a flowchart showing an outline of the authentication process.
- the authentication unit 582 acquires user information of the terminal device 5 (step S801). Specifically, the authentication unit 582 includes image data obtained by imaging the user of the terminal device 5 by the imaging unit 52, fingerprint information of the user detected by the fingerprint information detection unit 53, and voice data generated by the voice input unit 54. One of them is acquired from any one of the imaging unit 52, the fingerprint information detection unit 53, and the voice input unit 54.
- the authentication unit 582 determines whether the user is a registered user based on the user information of the terminal device 5 and the authentication information recorded by the authentication information recording unit 561 (step S802). Specifically, based on the image data generated by the imaging unit 52 and the authentication information recorded by the authentication information recording unit 561, the authentication unit 582 authenticates whether the user is a registered user. More specifically, the authentication unit 582 uses the feature points of the user's face captured in the image corresponding to the image data generated by the imaging unit 52 and the registered use included in the authentication information recorded by the authentication information recording unit 561.
- the authentication unit 582 authenticates whether the user is a registered user based on the fingerprint information detected by the fingerprint information detection unit 53 and the authentication information recorded by the authentication information recording unit 561. More specifically, the authentication unit 582 is characterized by the feature point of the fingerprint information of the user detected by the fingerprint information detection unit 53 and the feature of the fingerprint information of the registered user included in the authentication information recorded by the authentication information recording unit 561.
- the authentication unit 582 authenticates whether the user is a registered user, based on the voice data generated by the voice input unit 54 and the authentication information recorded by the authentication information recording unit 561. More specifically, the authentication unit 582 includes the feature points of the voiceprint of the voice data generated by the voice input unit 54 and the feature points of the voiceprint of the registered user included in the authentication information recorded by the authentication information recording unit 561.
- the authentication unit 582 indicates that the user's gesture information captured in the image corresponding to the image data generated by the imaging unit 52 and the gesture information included in the authentication information recorded by the authentication information recording unit 561 have a predetermined coincidence. If the degree of coincidence is the predetermined degree of coincidence, the user is authenticated as a registered user. If the degree of coincidence is not the predetermined degree of coincidence, the person is authenticated as not a registered user.
- the gesture information is, for example, the number of blinks of the user's eyes, the shape of the mouth, the movement of the face, the movement of the hand, and the like.
- the display control unit 584 causes the display unit 55 to display a GUI or the like that can receive an input of the user's operation (step S804).
- the display control unit 584 may notify the user that the use of the terminal device 5 is permitted using a speaker or the like (not shown). Good. That is, the display control unit 584 functions as a notification unit that notifies that mutual wireless communication between the processor 3 and the terminal device 5 or mutual wireless communication between the network N 100 and the terminal device 5 is possible.
- the terminal device 5 returns to the main routine of FIG. 7 described above.
- step S802 when the authentication unit 582 determines that the user of the terminal device 5 is not a registered user (step S802: No), the authentication unit 582 prohibits the user from using the terminal device 5 (step S802). Step S805).
- the display control unit 584 hides the display unit 55 or displays a warning on the display unit 55 (step S806).
- the display control unit 584 hides the display unit 55 or displays a warning on the display unit 55, the warning may be output using a speaker or the like (not shown).
- the terminal device 5 returns to the main routine of FIG. 7 described above.
- step S702 the terminal device 5 executes connection processing for performing connection for bidirectional communication with the processor 3 (step S702). After step S702, the terminal device 5 proceeds to step S703 described later.
- FIG. 9 is a flowchart showing details of the connection process.
- the connection determination unit 581 determines whether or not the processor IP address (SSID) and the authentication information have been received from the processor 3 via the communication unit 51 (step S901).
- the authentication information is information for requesting an authentication result of the authentication unit 582 functioning as a password for performing mutual wireless communication with the processor 3.
- the display control unit 584 may cause the display unit 55 to display information related to the processor IP address. In this case, the user may select a desired address via the operation unit 57 when the display unit 55 displays a plurality of addresses.
- step S901: Yes If it is determined by the connection determination unit 581 that the processor IP address and the authentication information have been received from the processor 3 via the communication unit 51 (step S901: Yes), the terminal device 5 proceeds to step S902 described later. On the other hand, when the connection determination unit 581 determines that the processor IP address and the authentication information are not received from the processor 3 via the communication unit 51 (step S901: No), the terminal device 5 performs this determination. It is performed every predetermined time (for example, every 10 seconds).
- the communication control unit 583 causes the communication unit 51 to transmit the terminal IP address recorded by the terminal IP address recording unit 562 recorded by the recording unit 56 and the authentication result authenticated by the authentication unit 582 to the processor 3 (Ste S902).
- the communication control unit 583 transmits the terminal IP address and the authentication result to the communication unit 51 to the access point (the SSID of the processor 3 or the SSID of the wireless unit 4) previously selected by the user via the operation unit 57.
- the access point is the processor 3 or the wireless unit 4 in the first embodiment
- the terminal device 5 may be the access point.
- the communication control unit 583 may transmit a terminal IP address (SSID) indicating that the terminal device 5 exists within a predetermined range, for example, a communication range of Wi-Fi, via the communication unit 51.
- SSID terminal IP address
- step S903 the connection determination unit 581 determines whether the processor IP address received by the communication unit 51 is a connection destination that can mutually communicate with the terminal device 5 (step S903). Specifically, the connection determination unit 581 determines whether or not the processor IP address (SSID) is selected by the user via the operation unit 57. When it is determined by the connection determination unit 581 that the processor IP address received by the communication unit 51 is a connection destination capable of mutual communication with the terminal device 5 (step S903: Yes), the terminal device 5 proceeds to step S904 described later Do.
- SSID processor IP address
- step S903 when it is determined by the connection determination unit 581 that the processor IP address received by the communication unit 51 is not a connection destination capable of mutual communication with the terminal device 5 (step S903: No), the terminal device 5 will be described later It transfers to step S906.
- step S904 the communication control unit 583 communicably connects the processor 3 and the terminal device 5. As a result, the terminal device 5 can communicate with the processor 3.
- the display control unit 584 causes the display unit 55 to display a connection completion indicating that the connection with the processor 3 is completed (step S905).
- the terminal device 5 returns to the main routine of FIG.
- the display control unit 584 causes the display unit 55 to display the connection completion
- the display control unit 584 is not limited to this, and for example, even when the connection with the processor 3 is output using a speaker (not shown) is output Alternatively, a notification may be generated by driving a vibration unit (not shown) such as a motor.
- step S 906 the display control unit 584 causes the display unit 55 to display connection impossibility that connection with the processor 3 can not be made. As a result, the user can intuitively understand that connection with the processor 3 can not be made.
- step S906 the terminal device 5 returns to the main routine of FIG.
- step S703 when the terminal device 5 and the processor 3 are in the mutual communication state (step S703: Yes), the terminal device 5 proceeds to step S704 described later. On the other hand, when the terminal device 5 and the processor 3 are not in the mutual communication state (step S703: No), the terminal device 5 ends the present process.
- step S704 when the voice command is input from the voice input unit 54 (step S704: Yes), the communication control unit 583 transmits the voice command input from the voice input unit 54 to the processor 3 via the communication unit 51. (Step S705). After step S705, the terminal device 5 proceeds to step S706 described later. On the other hand, when the voice command is not input from the voice input unit 54 (step S704: No), the terminal device 5 ends the present process.
- step S706 when endoscopic image data is received from the processor 3 (step S706: Yes), when tag information relating to the control content of the voice command is received from the processor 3 (step S707: Yes), the recording control unit 585 The endoscope image data and the tag information related to the control content of the voice command are correlated and recorded in the recording unit 56 (step S 708).
- the communication control unit 583 acquires related image data from the server 200 via the communication unit 51 and the network N100 based on the tag information received from the processor 3 (step S709).
- the related image data is image data related to tag information, for example, case image data such as endoscopic image data obtained by imaging another subject after execution of a voice command.
- the recording control unit 585 may cause the recording unit 56 to record the related image data acquired by the communication control unit 583 in association with the tag information and the endoscope image data.
- the display control unit 584 causes the display unit 55 to display the endoscope image corresponding to the endoscope image data and the related image data corresponding to the related image data (step S710).
- the display control unit 584 causes endoscope images corresponding to the endoscope image data in chronological order. Make it update sequentially.
- the display control unit 584 causes the display unit 55 to display the endoscopic image and the related image so that they can be compared.
- the display control unit 584 causes the display unit 55 to display the endoscope image and the related image in parallel and displays the related image reduced at a predetermined ratio on the endoscope image. An endoscopic image reduced at a predetermined ratio may be superimposed and displayed on the related image.
- the communication control unit 583 associates the endoscope image data, the tag information, and the authentication result of the authentication unit 582 via the communication unit 51 and the network N100, and transmits them to the server 200 (step S711). .
- the terminal device 5 proceeds to step S713 described later.
- step S706 when the endoscope image data is not received from the processor 3 (step S706: No), the terminal device 5 proceeds to step S713 described later.
- step S707 when the tag information related to the control content of the voice command is not received from the processor 3 (step S707: No), the recording control unit 585 records the endoscope image data received from the processor 3 in the recording unit 56. (Step S712). After step S712, the terminal device 5 proceeds to step S713 described later.
- step S713 when an instruction signal for ending the operation of the endoscope system 1 is input from the operation unit 57 while communicating with the processor 3 (step S713: Yes), the terminal device 5 proceeds to step S714 described later. Do. On the other hand, when the instruction signal for ending the operation of the endoscope system 1 is not input while communicating with the processor 3 from the operation unit 57 (step S713: No), the terminal device 5 performs the above-described step S704.
- step S714 the recording control unit 585 records the processor IP address of the processor 3 in the recording unit 56. After step S714, the terminal device 5 ends the present process.
- the setting unit 364 can receive the first voice command that can be received by the processor 3 and the terminal device 5 Since the content of at least a part of the second voice command is different from that of the second voice command, it is possible to prevent a malfunction as the endoscope system 1.
- the processor 3 and the terminal device 5 can communicate, when the processor 3 receives the input of the first voice command and the second voice command from the terminal device 5, Since the selection unit 367 selects the prioritized voice command, even if a plurality of voice commands are input, malfunction can be prevented.
- the processor 3 when the processor 3 receives the input of the first voice command and the input of the second voice command from the terminal device 5, the endoscope acquired by the acquisition unit 35 by the selection unit 367 Since the priority voice command to be prioritized is selected based on the level 2 of the operator and the level of the user using the terminal device 5, malfunction can be reliably prevented.
- the terminal device 5 can be operated by the second voice command based on the level assigned to the user of the terminal device 5 whose setting unit 364 has been authenticated by the authentication unit 582 It is possible to prevent the peripheral devices from being operated by mistake.
- the communication control unit 363 transmits an endoscope to the terminal device 5. Since the image data is transmitted to the communication unit 32, the operator can confirm the situation at the time of the operation of the subject such as the patient on the terminal device 5.
- the communication control unit 363 associates the tag information related to the content of the first voice command or the second voice command with the endoscopic image data, and transmits it to the terminal device 5.
- the endoscope image data can be easily searched using the tag information after the operation of the subject.
- display control unit 584 displays an endoscope image corresponding to endoscope image data for each tag information related to the content of the first voice command or the second voice command. As a result, the list of endoscopic image groups linked for each tag information can be confirmed.
- the communication control unit 583 acquires related image data recorded by the server 200 based on the tag information, and the display control unit 584 acquires the endoscopic image and the related image. Since the information is displayed on the display unit 55, browsing can be performed while comparing the endoscopic image and the related image.
- the communication control unit 583 associates the authentication result of the authentication unit 582, the tag information regarding the content of the second voice command, and the endoscopic image data, and is connected to the network N100. Since the information is transmitted to the server 200, the endoscope image data can be easily searched using the tag information after the operation of the subject.
- the processor 3 side sets peripheral devices that can be operated by the voice command based on the level of the registered user of the terminal device 5, but in the second embodiment, the terminal device side Set the peripheral devices that can be operated by voice commands based on the level of the registered user.
- symbol is attached
- FIG. 10 is a block diagram showing a functional configuration of an endoscope system according to a second embodiment of the present invention.
- An endoscope system 1a shown in FIG. 1 includes a processor 3a and a terminal device 5a in place of the processor 3 and the terminal device 5 of the endoscope system 1 according to the first embodiment described above.
- the processor 3a includes a processor control unit 36a in place of the processor control unit 36 of the processor 3 according to the first embodiment described above.
- the processor control unit 36a includes a setting unit 364a in place of the setting unit 364 of the processor control unit 36 according to the first embodiment described above.
- the setting unit 364a is a first voice command received by the voice input unit 8 via the system controller 7 based on the operator ID acquired by the acquisition unit 35 and the authentication information recorded by the authentication information recording unit 331. Set multiple peripheral devices that can be operated by.
- FIG. 11 is a block diagram showing a functional configuration of the terminal device 5a.
- the terminal device 5a shown in FIG. 5 includes a terminal control unit 58a in place of the terminal control unit 58 of the terminal device 5 according to the first embodiment described above.
- the terminal control unit 58a further includes a setting unit 588 in addition to the configuration of the terminal control unit 58 according to the above-described first embodiment.
- the setting unit 588 can be operated by the second voice command via the system controller 7 based on the level assigned to the registered user of the authentication result of the authentication unit 582 and the authentication information recorded by the authentication information recording unit 331. Set multiple peripheral devices.
- FIG. 12 is a flowchart showing an outline of processing executed by the processor 3a.
- the processor 3a executes the same process as the process described in the first embodiment described above, and executes step S104a instead of step S104. Thus, step S104a will be described below.
- step S104a the setting unit 364a sets the plurality of peripheral devices operable by the voice command received by the voice input unit 8 via the system controller 7 based on the operator ID level acquired by the acquisition unit 35. Set up a communication connection with each other.
- the processor 3a proceeds to step S105.
- the terminal device 5a executes the same processing as the terminal device 5 according to the first embodiment described above, and only the authentication processing is different. Therefore, in the following, an authentication process performed by the terminal device 5a will be described.
- FIG. 13 is a flowchart showing an outline of the authentication process performed by the terminal device 5a. Steps S901 to S903 in FIG. 13 correspond to steps S801 to S803 in FIG. 8 described above.
- step S 904 setting unit 588 sets the second voice via system controller 7 based on the level assigned to the registered user of the authentication result of authentication unit 582 and the authentication information recorded by authentication information recording unit 331. Each of a plurality of peripheral devices operable by the command is set.
- the display control unit 584 causes the display unit 55 to display a GUI or the like of a peripheral device operable by the voice command set by the setting unit 588 (step S905).
- the terminal device 5a returns to the main routine of FIG. 7 described above.
- Steps S906 and S907 correspond to steps S805 and S806 in FIG. 8 described above, respectively.
- the terminal device 5a After step S907, the terminal device 5a returns to the main routine of FIG. 7 described above.
- the second voice command is issued via the system controller 7 based on the level assigned to the user of the terminal 5 a whose setting unit 588 has been authenticated by the authentication unit 582. Since a plurality of operable peripheral devices can be set by the above, erroneous operations can be prevented.
- the processor is provided with the light source device, but may be formed separately.
- the endoscope system is used.
- a capsule endoscope, a video microscope for imaging an object, a mobile phone having an imaging function, and a tablet type having an imaging function Even a terminal can be applied.
- the endoscope system is provided with a medical endoscope.
- the present invention can be applied to an endoscope system provided with an industrial endoscope. it can.
- the “unit” described above can be read as “means”, “circuit” or the like.
- the control unit can be read as control means or a control circuit.
- the program to be executed in the embodiment of the present invention is file data of an installable format or an executable format, such as CD-ROM, flexible disk (FD), CD-R, DVD (Digital Versatile Disk), USB
- the program is provided by being recorded on a computer-readable recording medium such as a medium or a flash memory.
- the program to be executed in the embodiment of the present invention may be stored on a computer connected to a network such as the Internet, and may be provided by being downloaded via the network. Furthermore, the program to be executed by the embodiment of the present invention may be provided or distributed via a network such as the Internet.
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Surgery (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Molecular Biology (AREA)
- Optics & Photonics (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Mechanical Engineering (AREA)
- Astronomy & Astrophysics (AREA)
- Endoscopes (AREA)
Abstract
複数の音声入力部を用いた場合であっても、誤操作を防止することができる内視鏡システムおよび制御方法を提供する。内視鏡システム(1)は、複数の周辺機器のいずれかの駆動を指示する第1音声コマンドの入力を受け付け可能なプロセッサ(3)と、プロセッサ(3)に対して無線で通信可能であるとともに、音声によって複数の周辺機器のいずれかの駆動を指示する第2音声コマンドの入力を受け付け可能な端末装置(5)と、プロセッサ(3)と端末装置(5)とが通信可能な場合において、プロセッサ(3)において受け付け可能な第1音声コマンドおよび端末装置(5)において受け付け可能な第2音声コマンドについて少なくとも一部のコマンド内容を異なるように設定する設定部(364)と、を備える。
Description
本発明は、被検体内に内視鏡を挿入して該被検体の体内を撮像した画像データを表示する内視鏡システムおよび制御方法に関する。
近年、内視鏡システムにおいて、音声入力によって複数の電子機器を制御する技術が知られている(特許文献1参照)。この技術では、音声入力部によって入力された音声コマンドに基づき電子機器の制御を実行する際に、実行の承認要求を告知することによって、音声入力による誤操作を防止する。
しかしながら、上述した特許文献1では、複数の音声入力部を用いた内視鏡システムが考慮されていないため、複数の音声入力手段の各々から互いに異なる音声コマンドがあった場合、誤認識してしまうことで、誤動作してしまうという問題点があった。
本発明は、上記に鑑みてなされたものであって、複数の音声入力部を用いた場合であっても、誤操作を防止することができる内視鏡システムおよび制御方法を提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明に係る内視鏡システムは、被検体内を観察する内視鏡が取得した内視鏡画像データに対して画像処理を施すとともに、複数の周辺機器に対して接続可能であり、音声の入力を受け付ける音声入力部によって生成された音声データに基づいて、前記複数の周辺機器のいずれかの駆動を指示する第1音声コマンドの入力を受け付け可能なプロセッサと、前記プロセッサに対して無線で通信可能であるとともに、音声によって前記複数の周辺機器のいずれかの駆動を指示する第2音声コマンドの入力を受け付け可能な端末装置と、前記プロセッサと前記端末装置とが通信可能な場合において、前記プロセッサにおいて受け付け可能な前記第1音声コマンドおよび前記端末装置において受け付け可能な前記第2音声コマンドについて少なくとも一部のコマンド内容が異なるように設定する設定部と、を備えることを特徴とする。
また、本発明に係る内視鏡システムは、上記発明において、前記プロセッサと前記端末装置とが通信可能な場合において、前記プロセッサが前記第1音声コマンドおよび前記端末装置から前記第2音声コマンドの入力を受け付けたとき、優先する優先音声コマンドを選択する選択部と、前記選択部が選択した前記優先音声コマンドに基づいて、前記複数の周辺機器のいずれかを駆動する駆動制御部と、をさらに備えることを特徴とする。
また、本発明に係る内視鏡システムは、上記発明において、前記内視鏡の操作者を識別する操作者識別情報を取得する取得部と、複数の前記操作者識別情報の各々と、前記複数の周辺機器の各々の操作を許可するレベルとを対応付けて記録する記録部と、をさらに備え、前記選択部は、前記プロセッサが前記第1音声コマンドおよび前記端末装置から前記第2音声コマンドの入力を受け付けたとき、前記取得部が取得した前記操作者のレベルと前記端末装置を使用する使用者のレベルとに基づいて、前記優先音声コマンドを選択することを特徴とする。
また、本発明に係る内視鏡システムは、上記発明において、前記プロセッサおよび前記複数の周辺機器の各々に接続され、前記複数の周辺機器の駆動を制御するシステムコントローラをさらに備え、前記端末装置は、前記端末装置の使用者が予め登録された登録使用者であるか否かを認証する認証部をさらに備え、前記プロセッサは、前記第1音声コマンドまたは前記第2音声コマンドに基づいて、前記複数の周辺機器のいずれかを駆動する駆動制御部と、前記設定部と、を備え、前記設定部は、前記認証部によって認証された前記使用者に割当てられたレベルに基づいて、前記システムコントローラを介して前記端末装置が前記第2音声コマンドによって操作可能な前記複数の周辺機器を設定し、前記駆動制御部は、前記端末装置から入力された前記第2音声コマンドに対応する前記周辺機器が前記設定部によって操作可能に設定されていない場合、前記端末装置から入力された前記第2音声コマンドを無効とすることを特徴とする。
また、本発明に係る内視鏡システムは、上記発明において、前記プロセッサおよび前記複数の周辺機器の各々に接続され、前記複数の周辺機器の駆動を制御するシステムコントローラをさらに備え、前記端末装置は、前記端末装置の使用者が予め登録された登録使用者であるか否かを認証する認証部と、前記設定部と、を備え、前記設定部は、前記認証部によって認証された前記使用者に割当てられたレベルに基づいて、前記システムコントローラを介して前記第2音声コマンドによって操作可能な前記複数の周辺機器を設定することを特徴とする。
また、本発明に係る内視鏡システムは、上記発明において、前記第1音声コマンドまたは前記第2音声コマンドが前記内視鏡画像データの記録を指示する場合、前記内視鏡画像データを前記端末装置へ送信する通信制御部をさらに備えることを特徴とする。
また、本発明に係る内視鏡システムは、上記発明において、前記プロセッサは、前記第1音声コマンドまたは前記第2音声コマンドの内容に関するタグ情報と前記内視鏡画像データとを対応付けて前記端末装置へ送信する通信制御部をさらに備えることを特徴とする。
また、本発明に係る内視鏡システムは、上記発明において、前記端末装置は、画像を表示可能な表示部と、前記表示部の表示態様を制御する表示制御部と、をさらに備え、前記表示制御部は、前記タグ情報毎に前記内視鏡画像データに対応する内視鏡画像を前記表示部に表示させることを特徴とする。
また、本発明に係る内視鏡システムは、上記発明において、ネットワークを介して前記端末装置および前記プロセッサに接続され、前記内視鏡画像に関連する関連画像データを記録するサーバをさらに備え、前記端末装置は、前記タグ情報に基づいて、前記サーバが記録する前記関連画像データを取得する通信制御部をさらに備え、前記表示制御部は、前記内視鏡画像と前記関連画像データに対応する関連画像とを前記表示部に表示させることを特徴とする。
また、本発明に係る内視鏡システムは、上記発明において、前記端末装置は、前記端末装置が入力を受け付けた前記第2音声コマンドと前記内視鏡画像データとを対応付けて記録部に記録する記録制御部をさらに備えることを特徴とする。
また、本発明に係る内視鏡システムは、上記発明において、前記端末装置は、前記認証部の認証結果と前記第2音声コマンドの内容に関するタグ情報と前記内視鏡画像データとを対応付けてネットワークに接続されたサーバに送信する通信制御部をさらに備えることを特徴とする。
また、本発明に係る内視鏡システムは、上記発明において、前記第1音声コマンドは、前記複数の周辺機器の全てを操作可能なコマンドにより構成され、前記第2音声コマンドは、手術に直接的に関係しない周辺機器を操作可能なコマンドにより構成されることを特徴とする。
また、本発明に係る内視鏡システムは、被検体内を観察する内視鏡が取得した内視鏡画像データに対して画像処理を施すとともに、複数の周辺機器に対して接続設定が可能な設定部を有するプロセッサと、前記プロセッサに対して無線で通信可能であるとともに、音声によって前記複数の周辺機器のいずれかの駆動を指示する音声コマンドの入力を受け付け可能な端末装置と、前記プロセッサおよび前記複数の周辺機器の各々に接続され、前記複数の周辺機器の駆動を制御するシステムコントローラと、を備え、前記端末装置は、当該端末装置の使用者が予め登録された登録使用者であるか否かを認証する認証部を備え、前記設定部は、前記認証部によって認証された前記使用者に割当てられたレベルに基づいて、前記システムコントローラを介して前記音声コマンドによって操作可能な前記複数の周辺機器を設定することを特徴とする。
また、本発明に係る制御方法は、被検体内を観察する内視鏡が取得した内視鏡画像データに対して画像処理を施すとともに、複数の周辺機器に対して接続可能であり、音声の入力を受け付ける音声入力部によって生成された音声データに基づいて、前記複数の周辺機器のいずれかの駆動を指示する第1音声コマンドの入力を受け付け可能なプロセッサと、前記プロセッサに対して無線で通信可能であるとともに、音声によって前記複数の周辺機器のいずれかの駆動を指示する第2音声コマンドの入力を受け付け可能な端末装置と、を備えた内視鏡システムが実行する制御方法であって、前記プロセッサと前記端末装置とが通信可能な場合において、前記プロセッサにおいて受け付け可能な前記第1音声コマンドと、前記端末装置において受け付け可能な前記第2音声コマンドとを、少なくとも一部が異なるように設定する設定ステップを含むことを特徴とする。
本発明によれば、複数の音声入力部を用いた場合であっても、誤動作を防止することができるという効果を奏する。
以下、本発明を実施するための形態(以下、「実施の形態」という)として、患者等の被検体の体腔内を撮像して画像を表示する内視鏡を備える内視鏡システムを例に説明する。また、この実施の形態により、この発明が限定されるものではない。さらに、図面の記載において、同一部分には同一の符号を付している。
(実施の形態1)
〔内視鏡システムの構成〕
図1は、本発明の実施の形態1に係る内視鏡システムの機能構成を示すブロック図である。図1に示す内視鏡システム1は、病院内の手術室100内において、少なくとも医者を含む医療従事者が患者等の被検体に内視鏡外科手術、内視鏡検査または内視鏡治療を行う際に用いられる。内視鏡システム1は、内視鏡2と、プロセッサ3と、ワイヤレスユニット4と、端末装置5と、表示装置6と、システムコントローラ7と、音声入力部8と、超音波装置9と、気腹装置10と、電気メス装置11と、プリンタ12と、ルームライト13と、電動手術台14と、無線給電装置15と、を備える。
〔内視鏡システムの構成〕
図1は、本発明の実施の形態1に係る内視鏡システムの機能構成を示すブロック図である。図1に示す内視鏡システム1は、病院内の手術室100内において、少なくとも医者を含む医療従事者が患者等の被検体に内視鏡外科手術、内視鏡検査または内視鏡治療を行う際に用いられる。内視鏡システム1は、内視鏡2と、プロセッサ3と、ワイヤレスユニット4と、端末装置5と、表示装置6と、システムコントローラ7と、音声入力部8と、超音波装置9と、気腹装置10と、電気メス装置11と、プリンタ12と、ルームライト13と、電動手術台14と、無線給電装置15と、を備える。
まず、内視鏡2の構成について説明する。内視鏡2は、被検体に挿入される。内視鏡2は、硬性内視鏡または軟性内視鏡を用いて構成される。内視鏡2は、プロセッサ3の制御のもと、被検体内に対して照明光を照射するとともに、照明光が照射された被検体内の領域を撮像して内視鏡画像データを生成し、この生成した内視鏡画像データをプロセッサ3へ出力する。内視鏡2は、被検体内を撮像して画像データを生成する撮像素子21を備える。撮像素子21は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)のイメージセンサやA/D変換回路等を用いて構成される。なお、内視鏡2は、有線または無線によってプロセッサ3に双方向に通信可能に接続される。また、内視鏡2が生成した内視鏡画像データを無線によって送信する場合、後述するワイヤレスユニット4を介してプロセッサ3に内視鏡画像データを順次送信してもよいし、ネットワークN100を介して手術室100外の院内に設置されたサーバ200に内視鏡画像データを順次送信してもよい。
次に、プロセッサ3の構成について説明する。プロセッサ3は、内視鏡2を制御するとともに、内視鏡2から順次入力された内視鏡画像データに対して所定の画像処理を行って表示装置6へ順次出力するとともに、複数の周辺機器に対して接続可能であり、音声の入力を受け付ける音声入力部8によって生成された音声データに基づいて、複数の周辺機器のいずれかの駆動を指示する第1音声コマンドの入力を受け付け可能である。ここで、第1音声コマンドとは、複数の周辺機器の全てを操作可能なコマンドにより構成される。プロセッサ3は、映像処理部31と、通信部32と、記録部33と、操作部34と、取得部35と、プロセッサ制御部36と、を備える。
映像処理部31は、内視鏡2から入力された内視鏡画像データに対して所定の画像処理を行って表示装置6へ出力する。ここで、所定の画像処理とは、同時化処理、デモザイキング処理(撮像素子21がベイヤー配列の場合)、ホワイトバランス調整処理、γ補正処理、彩度調整処理およびフォーマット変換処理等である。映像処理部31は、FPGA(Field Programmable Gate Array)、ASIC(Application Specific Integrated Circuit)およびGPU(Graphics Processing Unit)等を用いて構成される。
通信部32は、通信モジュールを用いて構成され、所定の通信規格に従って端末装置5と双方向に通信を行う。また、通信部32は、ワイヤレスユニット4を介して端末装置5またはネットワークN100を介して院内に設置されたサーバ200と双方向に通信を行う。ここで、所定の通信規格としては、Wi-Fi(Wireless Fidelity)(登録商標)通信、Bluetooth(登録商標)通信およびBluetooth Low Energy(登録商標)通信(以下、単に「BLE通信」という)等である。例えば、Wi-Fiの場合、ローカルネットワークを想定し、機器の役割として、アクセスポイント、ステーションの関係があり、概略の接続処理としては、アクセスポイントが構築している無線ネットワークに、ステーションが接続する関係となる。大まかな接続シーケンスとしては、まず、アクセスポイントであるワイヤレスユニット4は、無線ネットワークを構築し、自分のネットワーク識別子(SSID)を報知する。続いて、ステーションであるプロセッサ3の通信部32は、報知されているネットワーク識別子(SSID)を検索し、所望のネットワーク(アクセスポイント)に接続する。多くの機器とのネットワークを想定するので、カバー範囲も広く、干渉の問題を考慮しながら厳密な識別ステップを踏むことになる。このため、接続確立に時間がかかることがある。ただし、データ通信は、アクセスポイント、ステーションそれぞれのタイミングでデータの送受信が可能である。なお、通信部32は、Wi-Fi通信以外に、4G無線を利用した通信を採用してもよい。もちろん、通信部32は、3G無線を利用した通信、5G無線を利用した通信およびWiMAX(Worldwide Interoperability for Microwave Access)(登録商標)通信および赤外線通信(IrDA(Infrared Data Association)(登録商標))等、他の通信を採用してもよい。
記録部33は、プロセッサ3が実行する各種プログラム、処理中のデータおよび内視鏡画像データ等を記録する。記録部33は、Flashメモリ、SDRAM(Synchronous Dynamic Random Access Memory)、メモリカードおよびSSD(Solid State Drive)等を用いて構成される。また、記録部33は、相互無線通信を認証した機器の機器アドレスと接続可否判定情報とを記録する認証情報記録部331と、プロセッサ3を識別するプロセッサIPアドレスを記録するプロセッサIPアドレス記録部332と、音声入力部8が生成した音声データに基づく音声コマンドの制御内容を認識するためのテンプレートを記録する音声コマンド情報記録部333と、を有する。また、認証情報記録部331は、内視鏡2の操作者を識別する複数の操作者識別情報(以下、「操作者ID」という)の各々と、複数の周辺機器の各々の操作を許可するレベルとを対応付けて記録する。
操作部34は、内視鏡システム1に関する各種情報の入力を受け付け、この受け付けた情報をプロセッサ制御部36へ出力する。操作部34は、例えば、スイッチ、ボタンおよびタッチパネル等を用いて構成される。また、操作部34は、被検体に対して処置を行う術者を識別する操作者IDの入力を受け付け、この操作者IDをプロセッサ制御部36へ出力する。
取得部35は、内視鏡2の操作者のIDカードに設けられた操作者IDを取得し、この操作者IDをプロセッサ制御部36へ出力する。ここで、操作者IDには、ID情報のレベルを示す操作者レベルおよび役職および氏名が含まれる。さらに、操作者レベルとは、レベル毎に複数の周辺機器の各々の操作の許可を示す情報である。例えば、操作者(術者)である執刀医の操作者レベルでは、複数の周辺機器の全ての操作を許可し、助手である医師の操作者レベルでは、一部の周辺機器、例えば超音波装置9、電気メス装置11および電動手術台14以外の操作を許可し、麻酔科医の操作者レベルでは、気腹装置10、プリンタ12、ルームライト13および電動手術台14の操作を許可し、機械出し看護師の操作者レベルでは、プリンタ12およびルームライト13の操作を許可し、外回り看護師の操作者レベルでは、プリンタ12の操作を許可する。取得部35は、例えばRFIDリーダやBluetooth通信可能な通信モジュールを用いて構成される。
プロセッサ制御部36は、プロセッサ3の各部および内視鏡システム1を構成する各装置を制御する。プロセッサ制御部36は、CPU(Central Processing Unit)等を用いて構成される。プロセッサ制御部36は、接続判定部361と、表示制御部362と、通信制御部363と、設定部364と、駆動制御部365と、音声認識部366と、選択部367と、を有する。
接続判定部361は、端末装置5から送信された端末IPアドレスと認証結果とに基づいて、端末装置5が相互無線通信可能な接続先であるか否かを判定する。
表示制御部362は、表示装置6の表示態様を制御する。具体的には、表示制御部362は、映像処理部31が画像処理を施した内視鏡画像データに対応する内視鏡画像を表示装置6に表示させる。また、表示制御部362は、プロセッサ3と端末装置5との相互無線通信が確立された場合、プロセッサ3と端末装置5とが相互無線通信可能である旨の情報を表示装置6に表示させる。
通信制御部363は、接続判定部361の判定結果および端末装置5から送信された認証結果に基づいて、端末装置5と複数の周辺機器との通信を許可する。
設定部364は、端末装置5から送信された認証結果の登録使用者に割当てられたレベルと認証情報記録部331が記録する認証情報とに基づいて、システムコントローラ7を介して、端末装置5が入力を受け付けた第2音声コマンドによって操作可能な複数の周辺機器を設定する。また、設定部364は、取得部35が取得した操作者IDと認証情報記録部331が記録する認証情報とに基づいて、システムコントローラ7を介して、音声入力部8が入力を受け付けた第1音声コマンドによって操作可能な複数の周辺機器を設定する。
駆動制御部365は、後述する音声認識部366によって認識された音声コマンド、通信部32を介して端末装置5から入力された要求信号や操作信号に基づいて、システムコントローラ7を制御することによって、周辺機器の駆動を制御する。また、駆動制御部365は、端末装置5から入力された第2音声コマンドに対応する周辺機器が設定部364によって操作可能に設定されていない場合、端末装置5から入力された第2音声コマンドを無効とし、周辺機器の制御を実行しない。
音声認識部366は、音声コマンド情報記録部333が記録する音声コマンド情報を参照して、音声入力部8から入力された音声データに基づく音声コマンドの内容を認識する。具体的には、音声認識部366は、音声コマンド情報記録部333が記録する音声コマンド情報に含まれる音声コマンド毎の波形を示すテンプレートを用いて、音声データに対して周知のパターンマッチングを行うことによって複数の周辺機器のいずれかの駆動や制御内容を示す音声コマンド(第1音声コマンド)の内容を認識し、この認識結果を駆動制御部365へ出力する。また、音声認識部366は、音声データに基づいて、予め登録された操作者IDの声紋または特徴量に基づいて、音声入力部8に音声の入力を行った操作者を認識して特定してもよい。さらに、音声認識部366は、通信部32を介して端末装置5から送信された音声データに対して音声コマンドの内容を認識してもよい。
選択部367は、プロセッサ3と端末装置5とが通信可能な場合において、プロセッサ3が音声入力部8を介して第1音声コマンドおよび端末装置5から第2音声コマンドの入力を受け付けたとき、優先する優先音声コマンドを選択する。具体的には、選択部367は、プロセッサ3が第1音声コマンドおよび端末装置5から第2音声コマンドの入力を受け付けたとき、取得部35が取得した操作者のレベルと端末装置5を使用する使用者のレベルとに基づいて、第1音声コマンドおよび第2音声コマンドのうち優先する優先音声コマンドを選択する。
次に、ワイヤレスユニット4の構成について説明する。ワイヤレスユニット4は、ネットワークN100を介してサーバ200に接続されるとともに、プロセッサ3および端末装置5と所定の通信規格に従って双方向に通信可能に接続される。ワイヤレスユニット4は、Wi-Fi通信を採用している。また、ワイヤレスユニット4は、プロセッサ3の周辺や手術室100内の壁面等に設置される。
次に、端末装置5の構成について説明する。端末装置5は、プロセッサ3と所定の通信規格に従って双方向に通信するとともに、内視鏡2が生成した内視鏡画像データおよびワイヤレスユニット4を介してサーバ200から症例画像データを受信して表示する。また、端末装置5は、音声によって複数の周辺機器のいずれかの駆動を指示する第2音声コマンドの入力を受け付け可能である。ここで、第2音声コマンドとは、手術に直接的に関係しない周辺機器を操作可能なコマンドにより構成される。なお、端末装置5の詳細な構成は、後述する。
次に、表示装置6の構成について説明する。表示装置6は、表示制御部362の制御のもと、映像処理部31から入力された画像データに対応する画像および内視鏡システム1の各種情報を表示する。表示装置6は、液晶または有機EL(Electro Luminescence)の表示モニタおよび音声を外部に出力するスピーカ等を用いて構成される。
システムコントローラ7は、プロセッサ3に有線または無線によって接続され、プロセッサ3から入力された指示信号に従って、音声入力部8、超音波装置9、気腹装置10、電気メス装置11、プリンタ12、ルームライト13、電動手術台14および無線給電装置15の各々を個別に制御する。以下、音声入力部8、超音波装置9、気腹装置10、電気メス装置11、プリンタ12、ルームライト13、電動手術台14および無線給電装置15のいずれか1つを指す場合を単に「周辺機器」という。また、システムコントローラ7は、各周辺機器と有線または無線によって接続される。システムコントローラ7は、CPUおよびFlashメモリ等を用いて構成される。
音声入力部8は、システムコントローラ7の制御のもと、音源や話者から発せられた音声を収音してアナログの音声信号(電気信号)に変換し、この音声信号に対してA/D変換処理やゲイン調整処理を行ってデジタルの音声データを生成してシステムコントローラ7を介してプロセッサ3へ出力する。音声入力部8は、単一指向性マイク、無指向性マイクおよび双指向性マイクのいずれか1つのマイクロホン、A/D変換回路および信号処理回路等を用いて構成される。また、音声入力部8は、内視鏡の操作者に装着される。もちろん、音声入力部8は、操作者以外にも、手術室100内に設けられてもよいし、操作者以外の看護師や助手等にも装着してもよい。さらに、音声入力部8の数は、1つである必要はなく適宜変更することができ、例えば操作者を含む手術室100内に存在する医療従事者の数だけ設けてもよい。
超音波装置9は、内視鏡2と接続し、システムコントローラ7の制御のもと、内視鏡2の先端に設けられた超音波振動子を介して超音波を送受信する。また、超音波装置9は、内視鏡2を介して受信した超音波に基づく超音波画像データをシステムコントローラ7へ出力する。なお、超音波装置9は、専用の超音波プローブを介して被検体の超音波画像データを生成するものであってもよい。
気腹装置10は、システムコントローラ7の制御のもと、被検体内に気腹ガス、例えば二酸化炭素を送出する。
電気メス装置11は、システムコントローラ7の制御のもと、電気メスに対して所定の電圧を印加することによって電気メスを駆動する。
プリンタ12は、システムコントローラ7の制御のもと、プロセッサ3から入力された画像データに対応する画像を出力する。
ルームライト13は、手術室100内に複数設けられ、システムコントローラ7の制御のもと、所定の照度で被検体や手術室100を投光する。ルームライト13は、LED(Light Emitting Diode)ランプおよび調光スイッチ等を用いて構成される。
電動手術台14は、被検体が手術台に配置される。電動手術台14は、システムコントローラ7の制御のもと、手術台を垂直方向および水平方向へ移動することによって、被検体の位置や姿勢を変更する。電動手術台14は、垂直方向および水平方向へ移動可能な手術台と、手術台を駆動するモータ等の駆動部を用いて構成される。
無線給電装置15は、システムコントローラ7の制御のもと、端末装置5に無線で給電する。無線給電装置15は、電磁誘導方式、磁界共鳴方式、電解結合方式および電波送受信方式のいずれか1つを用いて構成される。
サーバ200は、手術室100外の院内に設置され、ネットワークN100を介してプロセッサ3または端末装置5から送信された内視鏡画像データと患者を識別する患者IDとを対応付けて記録する。また、サーバ200は、ネットワークN100またはワイヤレスユニット4を介して症例画像データおよび内視鏡画像データを要求する画像要求信号を受信した場合、画像要求信号を発したプロセッサ3または端末装置5へ症例画像データおよび内視鏡画像データを送信する。なお、ここで、内視鏡画像データとは、動画データおよび静止画データ(キャプチャー画像データ)を含む。
〔端末装置の構成〕
次に、図1で説明した端末装置5の詳細な構成について説明する。図2は、端末装置5の機能構成を示すブロック図である。
次に、図1で説明した端末装置5の詳細な構成について説明する。図2は、端末装置5の機能構成を示すブロック図である。
図2に示す端末装置5は、電池部50と、通信部51と、撮像部52と、指紋情報検出部53と、音声入力部54と、表示部55と、記録部56と、操作部57と、端末制御部58と、を備える。
電池部50は、端末装置5を構成する各部に電力を供給する電池501と、無線給電装置15から給電された電磁波を受信して電流に変換して電池501へ供給する受信部502と、を有する。
通信部51は、通信モジュールを用いて構成され、所定の通信規格に従ってプロセッサ3と双方向に通信を行う。また、通信部51は、ワイヤレスユニット4および院内のネットワークN100を介してサーバ200と双方向に通信を行う。ここで、所定の通信規格としては、Wi-Fi通信が想定される。なお、通信部51は、Wi-Fi通信以外に、4G無線を利用した通信を採用してもよい。もちろん、通信部51は、Bluetooth通信、BLE通信、3G無線を利用した通信、5G無線を利用した通信およびWiMAX通信および赤外線通信等、他の通信を採用してもよい。
撮像部52は、端末制御部58の制御のもと、端末装置5の使用者を撮像して画像データを生成し、この画像データを端末制御部58へ出力する。撮像部52は、CCDやCMOS等のイメージセンサ、A/D変換処理およびFPGAやGPU等を用いて実現される画像処理エンジン等を用いて構成される。なお、撮像部52に、赤外光を照射可能な赤外ランプと、この赤外ランプが照射した赤外光を撮像可能な画素を設けたイメージセンサとを設けることによって、使用者の顔表面の凹凸を取得するようにしてもよい。
指紋情報検出部53は、外部からタッチされた使用者の指の指紋情報を検出し、この検出結果を端末制御部58へ出力する。指紋情報検出部53は、指紋センサを用いて構成される。なお、指紋情報検出部53は、押圧式以外にも、例えばスライド式であってもよい。もちろん、指紋情報検出部53は、指紋以外にも、使用者の静脈を検出してもよい。
音声入力部54は、端末制御部58の制御のもと、音源や話者から発せられた音声を収音してアナログの音声信号(電気信号)に変換し、この音声信号に対してA/D変換処理やゲイン調整処理を行ってデジタルの音声データを生成して端末制御部58へ出力する。音声入力部54は、単一指向性マイク、無指向性マイクおよび双指向性マイクのいずれか1つのマイクロホン、A/D変換回路および信号処理回路等を用いて構成される。
表示部55は、端末制御部58から入力された画像データや各種情報を表示する。表示部55は、液晶や有機EL等の表示パネルを用いて構成される。
記録部56は、端末装置5が実行する各種プログラム、処理中のデータおよび画像データ等を記録する。記録部56は、Flashメモリ、SSDおよびメモリカード等を用いて構成される。また、記録部56は、認証情報記録部561と、端末装置5を識別する端末IPアドレスを記録する端末IPアドレス記録部562と、音声入力部54から入力された音声データに基づく音声コマンドの制御内容を認識するためのテンプレートを記録する音声コマンド情報記録部563と、を有する。
操作部57は、使用者からの操作に応じた指示信号の入力を受け付ける。操作部57は、タッチパネル、ボタンおよびスイッチ等を用いて構成される。
端末制御部58は、端末装置5を構成する各部を統括的に制御する。また、端末制御部58は、音声入力部54から入力された音声データを分析し、この分析結果に基づく音声コマンドを生成してプロセッサ3へ送信する。端末制御部58は、CPU等を用いて構成される。端末制御部58は、接続判定部581と、認証部582と、通信制御部583と、表示制御部584と、記録制御部585と、撮像制御部586と、音声認識部587と、を有する。
接続判定部581は、通信部51がプロセッサ3から受信した認証情報に基づいて、プロセッサ3が相互無線通信可能な接続先であるか否かを判定する。
認証部582は、端末装置5の使用者が予め登録された登録使用者であるか否かを認証する。具体的には、認証部582は、端末装置5の使用者の顔画像、使用者の生体情報および使用者のジェスチャ情報のいずれか1つ以上を取得した認証を行う。例えば、認証部582は、撮像部52が生成した画像データに対応する画像に写る使用者の顔画像の特徴と記録部56が記録する登録使用者の顔の特徴とが一致するか否かを判定する。
通信制御部583は、接続判定部581の判定結果および認証部582の認証結果に基づいて、プロセッサ3と端末装置5との相互無線通信またはネットワークN100と端末装置5との相互無線通信を許可する。
表示制御部584は、表示部55の表示態様を制御する。具体的には、表示制御部584は、内視鏡画像データに対応する内視鏡画像と症例画像データに対応する症例画像とを比較可能に表示部55に表示させる。
記録制御部585は、通信制御部583が取得したスケジュール情報に含まれる患者回診時間と内視鏡画像データとを対応付けて記録部56に記録させる。
撮像制御部586は、認証部582によって使用者が登録使用者であると認証された場合、端末装置5の使用者による撮像部52の撮像機能を有効とする。
音声認識部587は、音声コマンド情報記録部563が記録する音声コマンド情報を参照して、音声入力部54から入力された音声データに基づく音声コマンドの内容を認識する。具体的には、音声認識部587は、音声コマンド情報記録部563が記録する音声コマンド情報に含まれる音声コマンド毎の波形を示すテンプレートを用いて、音声データに対して周知のパターンマッチングを行うことによって複数の周辺機器のいずれかの駆動や制御内容を示す音声コマンドの内容を認識し、この認識結果を通信制御部583へ出力する。
〔プロセッサの処理〕
次に、プロセッサ3が実行する処理について説明する。図3は、プロセッサ3が実行する処理の概要を示すフローチャートである。
次に、プロセッサ3が実行する処理について説明する。図3は、プロセッサ3が実行する処理の概要を示すフローチャートである。
図3に示すように、まず、プロセッサ3は、端末装置5と双方向に通信を行うための接続を行う接続処理を実行する(ステップS101)。ステップS101の後、プロセッサ3は、後述するステップS102へ移行する。
〔接続処理〕
次に、図3のステップS101で説明した接続処理の概要について説明する。図4は、接続処理の概要を示すフローチャートである。
次に、図3のステップS101で説明した接続処理の概要について説明する。図4は、接続処理の概要を示すフローチャートである。
図4に示すように、まず、通信制御部363は、通信部32を介して端末装置5にプロセッサIPアドレス(SSID)および認証情報を送信する(ステップS201)。ここで、認証情報とは、端末装置5の相互無線通信を行うためのパスワードとして機能する認証部582の認証結果を要求するための情報である。
続いて、通信部32を介して端末装置5から端末IPアドレスおよび認証部582が認証した認証結果を受信した場合(ステップS202:Yes)、プロセッサ3は、後述するステップS203へ移行する。これに対して、通信部32を介して端末装置5から端末IPアドレスおよび認証部582が認証した認証結果を受信していない場合(ステップS202:No)、プロセッサ3は、後述するステップS205へ移行する。
ステップS203において、接続判定部361は、通信部32が受信した端末IPアドレスおよび認証部582が認証した認証結果に基づいて、端末装置5が相互無線通信可能な接続先であるか否かを判定する(ステップS203)。具体的には、接続判定部361は、通信部32が受信した端末IPアドレスおよび認証部582が認証した認証結果と認証情報記録部331が記録する認証情報とが一致するか否かを判定し、一致する場合、端末装置5が相互無線通信可能な接続先であると判定する一方、一致しない場合、端末装置5が相互無線通信可能な接続先でないと判定する。接続判定部361によって端末装置5が相互無線通信可能な接続先であると判定された場合(ステップS203:Yes)、プロセッサ3は、後述するステップS204へ移行する。これに対して、接続判定部361によって端末装置5が相互無線通信可能な接続先でないと判定された場合(ステップS203:No)、プロセッサ3は、後述するステップS205へ移行する。
ステップS204において、通信制御部363は、プロセッサ3と端末装置5とを相互通信可能に接続する。これにより、プロセッサ3は、端末装置5と相互通信可能な状態となる。この場合、表示制御部362は、プロセッサ3と端末装置5との相互無線通信が可能であることを表示装置6に表示させてもよい。即ち、表示制御部362が報知部として機能する。ステップS204の後、プロセッサ3は、図3のメインルーチンへ戻る。
ステップS205において、表示制御部362は、端末装置5が相互無線通信可能な接続先でない旨の警告を表示装置6に表示させる。なお、表示制御部362は、端末装置5が相互無線通信可能な接続先でない旨の警告を表示装置6に表示させていたが、例えば図示しないスピーカ等で端末装置5が相互無線通信可能な接続先でない旨の警告を報知してもよい。即ち、表示制御部362がプロセッサ3と端末装置5との相互無線通信が不可であることを報知する報知部として機能する。ステップS205の後、プロセッサ3は、図3のメインルーチンへ戻る。
図3に戻り、ステップS102以降の説明を続ける。
ステップS102において、プロセッサ3と端末装置5とが相互通信状態である場合(ステップS102:Yes)、取得部35は、操作者IDを取得する(ステップS103)。
ステップS102において、プロセッサ3と端末装置5とが相互通信状態である場合(ステップS102:Yes)、取得部35は、操作者IDを取得する(ステップS103)。
続いて、設定部364は、取得部35が取得した操作者IDレベルおよび端末装置5から受信した認証結果の登録使用者に割当てられたレベルに基づいて、システムコントローラ7を介して、音声入力部8および端末装置5の各々が入力を受け付けた音声コマンドによって操作可能な複数の周辺機器の各々との通信接続を設定する(ステップS104)。具体的には、設定部364は、操作者IDレベルおよび登録使用者のレベルが医師レベルの場合、端末装置5を介して操作可能な周辺機器を全ての周辺機器で操作可能なように設定する一方、操作者IDレベルおよび登録使用者のレベルが看護師レベルの場合、端末装置5を介して操作可能な周辺機器を、所定の周辺機器のみに設定、例えば手術に関係ない周辺機器、より詳しくはプリンタ12、ルームライト13、無線給電装置15等を操作可能なように設定する。もちろん、設定部364は、操作者IDレベルおよび登録使用者のレベルに基づいて、より細かく音声入力部8および端末装置5で操作可能な周辺機器を設定できるようにしてもよい。
続いて、音声入力部8または端末装置5から音声コマンドがあった場合(ステップS105:Yes)において、音声コマンドが所定時間内(例えば1~2秒)に複数あったとき(ステップS106:Yes)、選択部367は、レベルに基づいて優先する音声コマンドを選択する(ステップS107)。具体的には、選択部367は、音声入力部8の操作者IDレベルと登録使用者のレベルとを比較し、レベルが高い方の音声コマンドを優先的に選択する。
続いて、音声コマンドが音声入力部8から入力された場合(ステップS108:Yes)、プロセッサ3は、後述するステップS109へ移行する。これに対して、音声コマンドが音声入力部8から入力されていない場合(ステップS108:No)、プロセッサ3は、後述するステップS110へ移行する。
ステップS109において、プロセッサ3は、音声入力部8から入力された音声コマンドに応じて周辺機器を駆動する音声入力部処理を実行する。ステップS109の後、プロセッサ3は、後述するステップS111へ移行する。
〔音声入力部処理〕
次に、図3のステップS109で説明した音声入力部処理の概要について説明する。図5は、音声入力部処理の概要を示すフローチャートである。
次に、図3のステップS109で説明した音声入力部処理の概要について説明する。図5は、音声入力部処理の概要を示すフローチャートである。
図5に示すように、まず、音声入力部8から入力された音声コマンドが内視鏡画像データの記録を指示する場合(ステップS301:Yes)、通信制御部363は、通信部32を介して内視鏡画像データを端末装置5へ送信する(ステップS302)。ステップS302の後、プロセッサ3は、後述するステップS303へ移行する。
ステップS301において、音声入力部8から入力された音声コマンドが内視鏡画像データの記録を指示しない場合(ステップS301:No)、プロセッサ3は、後述するステップS303へ移行する。
ステップS303において、音声入力部8から入力された音声コマンドに応じて制御する周辺機器が設定部364によって設定された制御許可の周辺機器である場合(ステップS303:Yes)、駆動制御部365は、音声認識部366によって認識された音声コマンドに応じた制御内容で周辺機器を制御する(ステップS304)。
続いて、通信制御部363は、通信部32を介して、音声コマンドの内容に関するタグ情報と内視鏡画像データとを対応付けて端末装置5に送信する(ステップS305)。ステップS305の後、プロセッサ3は、図3のメインルーチンへ戻る。
ステップS303において、音声入力部8から入力された音声コマンドに応じて制御する周辺機器が設定部364によって設定された制御許可の周辺機器でない場合(ステップS303:No)、表示制御部362は、周辺機器が制御不可である旨の警告を表示装置6に表示させる(ステップS306)。ステップS306の後、プロセッサ3は、図3のメインルーチンへ戻る。
図3に戻り、ステップS110以降の説明を続ける。
ステップS110において、プロセッサ3は、端末装置5から入力された音声コマンドに応じて周辺機器を駆動する端末装置処理を実行する。ステップS110の後、プロセッサ3は、後述するステップS111へ移行する。
ステップS110において、プロセッサ3は、端末装置5から入力された音声コマンドに応じて周辺機器を駆動する端末装置処理を実行する。ステップS110の後、プロセッサ3は、後述するステップS111へ移行する。
〔端末装置処理〕
次に、図3のステップS110で説明した端末装置処理の概要について説明する。図6は、端末装置処理の概要を示すフローチャートである。
次に、図3のステップS110で説明した端末装置処理の概要について説明する。図6は、端末装置処理の概要を示すフローチャートである。
図6に示すように、まず、端末装置5から入力された音声コマンドが内視鏡画像データの送信を指示する場合(ステップS401:Yes)、通信制御部363は、通信部32を介して内視鏡画像データを端末装置5へ送信する(ステップS402)。ステップS402の後、プロセッサ3は、後述するステップS403へ移行する。
ステップS402において、端末装置5から入力された音声コマンドが内視鏡画像データの送信を指示しない場合(ステップS401:No)、プロセッサ3は、後述するステップS403へ移行する。
ステップS403において、端末装置5から入力された音声コマンドに応じて制御する周辺機器が設定部364によって設定された制御許可の周辺機器である場合(ステップS403:Yes)、駆動制御部365は、音声認識部366によって認識された音声コマンドに応じた制御内容で周辺機器を制御する(ステップS404)。
続いて、通信制御部363は、通信部32を介して、音声コマンドの内容に関するタグ情報と内視鏡画像データとを対応付けて端末装置5に送信する(ステップS405)。ステップS405の後、プロセッサ3は、図3のメインルーチンへ戻る。
ステップS403において、端末装置5から入力された音声コマンドに応じて制御する周辺機器が設定部364によって設定された制御許可の周辺機器でない場合(ステップS403:No)、通信制御部363は、通信部32を介して、周辺機器が操作不可であることを示す制御不可信号を端末装置5へ送信する(ステップS406)。ステップS406の後、プロセッサ3は、図3のメインルーチンへ戻る。
図3に戻り、ステップS111以降の説明を続ける。
ステップS111において、操作部34または端末装置5から終了を指示する指示信号が入力された場合(ステップS111:Yes)、プロセッサ3は、後述するステップS112へ移行する。これに対して、操作部34または端末装置5から終了を指示する指示信号が入力されていない場合(ステップS111:No)、プロセッサ3は、上述したステップS105へ戻る。
ステップS111において、操作部34または端末装置5から終了を指示する指示信号が入力された場合(ステップS111:Yes)、プロセッサ3は、後述するステップS112へ移行する。これに対して、操作部34または端末装置5から終了を指示する指示信号が入力されていない場合(ステップS111:No)、プロセッサ3は、上述したステップS105へ戻る。
ステップS102において、プロセッサ3と端末装置5とが相互通信状態でない場合(ステップS102:No)、プロセッサ3は、本処理を終了する。
ステップS105において、音声入力部8または端末装置5から音声コマンドがなかった場合(ステップS105:No)、プロセッサ3は、ステップS111へ移行する。
ステップS106において、音声コマンドが所定時間内に複数なかったとき(ステップS106:No)、プロセッサ3は、ステップS108へ移行する。
ステップS112において、通信制御部363は、記録部33に端末装置5の端末IPアドレスを記録する。これにより、端末装置5が手術室100内で電源が投入された場合、即座にプロセッサ3と端末装置5との通信状態を接続させることができる。ステップS112の後、プロセッサ3は、本処理を終了する。
〔端末装置の処理〕
次に、端末装置5が実行する処理について説明する。図7は、端末装置5が実行する処理の概要を示すフローチャートである。
次に、端末装置5が実行する処理について説明する。図7は、端末装置5が実行する処理の概要を示すフローチャートである。
図7に示すように、まず、端末装置5は、端末装置5の使用者に対して、端末装置5を操作可能な登録使用者であるか否かの認証を行う認証処理を実行する(ステップS701)。ステップS701の後、端末装置5は、後述するステップS702へ移行する。
〔認証処理〕
次に、図7のステップS701で説明した認証処理の詳細について説明する。図8は、認証処理の概要を示すフローチャートである。
次に、図7のステップS701で説明した認証処理の詳細について説明する。図8は、認証処理の概要を示すフローチャートである。
図8に示すように、認証部582は、端末装置5の使用者情報を取得する(ステップS801)。具体的には、認証部582は、撮像部52が端末装置5の使用者を撮像した画像データ、指紋情報検出部53が検出した使用者の指紋情報および音声入力部54が生成した音声データのいずれか1つを撮像部52、指紋情報検出部53および音声入力部54のいずれか1つから取得する。
続いて、認証部582は、端末装置5の使用者情報と認証情報記録部561が記録する認証情報とに基づいて、使用者が登録使用者であるか否かを判定する(ステップS802)。具体的には、認証部582は、撮像部52が生成した画像データと認証情報記録部561が記録する認証情報とに基づいて、使用者が登録使用者であるか否かを認証する。より具体的には、認証部582は、撮像部52が生成した画像データに対応する画像内に写る使用者の顔の特徴点と、認証情報記録部561が記録する認証情報に含まれる登録使用者の顔の特徴点とが所定の一致度であるか否かを判定し、所定の一致度である場合、登録使用者であると認証する一方、所定の一致度でない場合、登録使用者でないと認証する。また、認証部582は、指紋情報検出部53が検出した指紋情報と認証情報記録部561が記録する認証情報とに基づいて、使用者が登録使用者であるか否かを認証する。より具体的には、認証部582は、指紋情報検出部53が検出した使用者の指紋情報の特徴点と、認証情報記録部561が記録する認証情報に含まれる登録使用者の指紋情報の特徴点とが所定の一致度であるか否かを判定し、所定の一致度である場合、登録使用者であると認証する一方、所定の一致度でない場合、登録使用者でないと認証する。さらにまた、認証部582は、音声入力部54が生成した音声データと認証情報記録部561が記録する認証情報とに基づいて、使用者が登録使用者であるか否かを認証する。より具体的には、認証部582は、音声入力部54が生成した音声データの声紋の特徴点と、認証情報記録部561が記録する認証情報に含まれる登録使用者の声紋の特徴点とが所定の一致度であるか否かを判定し、所定の一致度である場合、登録使用者であると認証する一方、所定の一致度でない場合、登録使用者でないと認証する。また、認証部582は、撮像部52が生成した画像データに対応する画像内に写る使用者のジェスチャ情報と、認証情報記録部561が記録する認証情報に含まれるジェスチャ情報とが所定の一致度であるか否かを判定し、所定の一致度である場合、登録使用者であると認証する一方、所定の一致度でない場合、登録使用者でないと認証する。ここで、ジェスチャ情報とは、例えば使用者の目の瞬きの回数、口の形状、顔の動作および手の動作等である。認証部582が端末装置5の使用者が登録使用者であると判定した場合(ステップS802:Yes)、認証部582は、端末装置5の使用を使用者に許可する(ステップS803)。
続いて、表示制御部584は、使用者の操作の入力を受け付け可能なGUI等を表示部55に表示させる(ステップS804)。なお、表示制御部584は、使用者の操作の入力を受け付け可能なGUI等を表示部55に表示させていたが、図示しないスピーカ等で端末装置5の使用を許可する旨を報知してもよい。即ち、表示制御部584は、プロセッサ3と端末装置5との相互無線通信またはネットワークN100と端末装置5との相互無線通信が可能であることを報知する報知部として機能する。ステップS804の後、端末装置5は、上述した図7のメインルーチンへ戻る。
ステップS802において、認証部582が端末装置5の使用者が登録使用者でないと判定した場合(ステップS802:No)、認証部582は、端末装置5の使用を使用者に対して不可とする(ステップS805)。
続いて、表示制御部584は、表示部55を非表示または表示部55に警告を表示させる(ステップS806)。なお、表示制御部584は、表示部55を非表示または表示部55に警告を表示させていたが、図示しないスピーカ等で警告を出力してもよい。ステップS806の後、端末装置5は、上述した図7のメインルーチンへ戻る。
図7に戻り、ステップS702以降の説明を続ける。
ステップS702において、端末装置5は、プロセッサ3と双方向に通信を行うための接続を行う接続処理を実行する(ステップS702)。ステップS702の後、端末装置5は、後述するステップS703へ移行する。
ステップS702において、端末装置5は、プロセッサ3と双方向に通信を行うための接続を行う接続処理を実行する(ステップS702)。ステップS702の後、端末装置5は、後述するステップS703へ移行する。
〔接続処理〕
次に、図7のステップS702で説明した接続処理の詳細について説明する。図9は、接続処理の詳細を示すフローチャートである。
次に、図7のステップS702で説明した接続処理の詳細について説明する。図9は、接続処理の詳細を示すフローチャートである。
図9に示すように、まず、接続判定部581は、通信部51を介してプロセッサ3からプロセッサIPアドレス(SSID)および認証情報を受信したか否かを判定する(ステップS901)。ここで、認証情報とは、プロセッサ3との相互無線通信を行うためのパスワードとして機能する認証部582の認証結果を要求するための情報である。また、表示制御部584は、プロセッサ3からプロセッサIPアドレス(SSID)をした場合、プロセッサIPアドレスに関する情報を表示部55に表示させてもよい。この場合において、使用者は、表示部55が複数のアドレスを表示しているとき、操作部57を介して所望のアドレスを選択すればよい。接続判定部581によって通信部51を介してプロセッサ3からプロセッサIPアドレスおよび認証情報を受信したと判定された場合(ステップS901:Yes)、端末装置5は、後述するステップS902へ移行する。これに対して、接続判定部581によって通信部51を介してプロセッサ3からプロセッサIPアドレスおよび認証情報を受信していないと判定された場合(ステップS901:No)、端末装置5は、この判定を所定の時間毎(例えば10秒毎)に行う。
続いて、通信制御部583は、プロセッサ3に対して、記録部56が記録する端末IPアドレス記録部562が記録する端末IPアドレスおよび認証部582が認証した認証結果を通信部51に送信させる(ステップS902)。この場合において、通信制御部583は、使用者が操作部57を介して予め選択されたアクセスポイント(プロセッサ3のSSIDまたはワイヤレスユニット4のSSID)に端末IPアドレスおよび認証結果を通信部51に送信させる。なお、本実施の形態1では、アクセスポイントをプロセッサ3またはワイヤレスユニット4としているが、端末装置5をアクセスポイントとしてもよい。この場合、通信制御部583は、通信部51を介して所定の範囲内、例えばWi-Fiの通信範囲に端末装置5が存在する旨の端末IPアドレス(SSID)を発信してもよい。
ステップS903において、接続判定部581は、通信部51が受信したプロセッサIPアドレスが端末装置5と相互通信可能な接続先であるか否かを判定する(ステップS903)。具体的には、接続判定部581は、使用者が操作部57を介して選択されたプロセッサIPアドレス(SSID)であるか否かを判定する。接続判定部581によって通信部51が受信したプロセッサIPアドレスが端末装置5と相互通信可能な接続先であると判定された場合(ステップS903:Yes)、端末装置5は、後述するステップS904へ移行する。これに対して、接続判定部581によって通信部51が受信したプロセッサIPアドレスが端末装置5と相互通信可能な接続先でないと判定された場合(ステップS903:No)、端末装置5は、後述するステップS906へ移行する。
ステップS904において、通信制御部583は、プロセッサ3と端末装置5とを相互通信可能に接続する。これにより、端末装置5は、プロセッサ3と相互通信可能な状態となる。
続いて、表示制御部584は、プロセッサ3との接続が完了したことを示す接続完了を表示部55に表示させる(ステップS905)。これにより、使用者は、プロセッサ3と相互通信可能な状態になったことを直感的に把握することができる。ステップS905の後、端末装置5は、図7のメインルーチンへ戻る。なお、表示制御部584は、表示部55によって接続完了を表示させていたが、これに限定されることなく、例えばスピーカ(図示せず)によってプロセッサ3と接続が完了したことを出力してもよいし、モータ等の振動部(図示せず)を駆動させて報知するようにしてもよい。
ステップS906において、表示制御部584は、プロセッサ3と接続ができない旨の接続不可を表示部55に表示させる。これにより、使用者は、プロセッサ3と接続できない旨を直感的に把握することができる。ステップS906の後、端末装置5は、図7のメインルーチンへ戻る。
図7に戻り、ステップS703以降の説明を続ける。
ステップS703において、端末装置5とプロセッサ3とが相互通信状態である場合(ステップS703:Yes)、端末装置5は、後述するステップS704へ移行する。これに対して、端末装置5とプロセッサ3とが相互通信状態でない場合(ステップS703:No)、端末装置5は、本処理を終了する。
ステップS703において、端末装置5とプロセッサ3とが相互通信状態である場合(ステップS703:Yes)、端末装置5は、後述するステップS704へ移行する。これに対して、端末装置5とプロセッサ3とが相互通信状態でない場合(ステップS703:No)、端末装置5は、本処理を終了する。
ステップS704において、音声入力部54から音声コマンドが入力された場合(ステップS704:Yes)、通信制御部583は、通信部51を介して音声入力部54から入力された音声コマンドをプロセッサ3へ送信する(ステップS705)。ステップS705の後、端末装置5は、後述するステップS706へ移行する。これに対して、音声入力部54から音声コマンドが入力されていない場合(ステップS704:No)、端末装置5は、本処理を終了する。
ステップS706において、プロセッサ3から内視鏡画像データを受信した場合(ステップS706:Yes)において、プロセッサ3から音声コマンドの制御内容に関するタグ情報を受信したとき(ステップS707:Yes)、記録制御部585は、内視鏡画像データと音声コマンドの制御内容に関するタグ情報とを対応付けて記録部56に記録する(ステップS708)。
続いて、通信制御部583は、プロセッサ3から受信したタグ情報に基づいて、通信部51およびネットワークN100を介して、サーバ200から関連画像データを取得する(ステップS709)。ここで、関連画像データとは、タグ情報に関連する画像データ、例えば音声コマンドを実行後に他の被検体を撮像した内視鏡画像データ等の症例画像データである。この場合、記録制御部585は、通信制御部583が取得した関連画像データを、タグ情報と、内視鏡画像データとに対応付けて記録部56に記録させてもよい。
その後、表示制御部584は、内視鏡画像データに対応する内視鏡画像と関連画像データに対応する関連画像データとを表示部55に表示させる(ステップS710)。この場合、表示制御部584は、通信部51が受信した内視鏡画像データが順次送信される動画データであった場合、内視鏡画像データに対応する内視鏡画像を時系列に沿って順次更新させる。また、表示制御部584は、内視鏡画像と関連画像とを比較できるように表示部55に表示させる。例えば、表示制御部584は、内視鏡画像と関連画像とを並列にして表示部55に表示させたり、内視鏡画像上に所定の比率で縮小した関連画像を重畳して表示させたり、関連画像上に所定の比率で縮小した内視鏡画像を重畳して表示させたりしてもよい。
続いて、通信制御部583は、通信部51およびネットワークN100を介して、内視鏡画像データと、タグ情報と、認証部582の認証結果とを対応付けてサーバ200に送信する(ステップS711)。ステップS711の後、端末装置5は、後述するステップS713へ移行する。
ステップS706において、プロセッサ3から内視鏡画像データを受信していない場合(ステップS706:No)において、端末装置5は、後述するステップS713へ移行する。
ステップS707において、プロセッサ3から音声コマンドの制御内容に関するタグ情報を受信していないとき(ステップS707:No)、記録制御部585は、プロセッサ3から受信した内視鏡画像データを記録部56に記録する(ステップS712)。ステップS712の後、端末装置5は、後述するステップS713へ移行する。
ステップS713において、操作部57からプロセッサ3と通信を行いながら内視鏡システム1の操作を終了する指示信号が入力された場合(ステップS713:Yes)、端末装置5は、後述するステップS714へ移行する。これに対して、操作部57からプロセッサ3と通信を行いながら内視鏡システム1の操作を終了する指示信号が入力されていない場合(ステップS713:No)、端末装置5は、上述したステップS704へ戻る。
ステップS714において、記録制御部585は、プロセッサ3のプロセッサIPアドレスを記録部56に記録する。ステップS714の後、端末装置5は、本処理を終了する。
以上説明した本発明の実施の形態1によれば、プロセッサ3と端末装置5とが通信可能な場合において、設定部364がプロセッサ3において受け付け可能な第1音声コマンドと、端末装置5において受け付け可能な第2音声コマンドとのうち少なくとも一部のコマンド内容が異なるように設定するので、内視鏡システム1としての誤動作を防止することができる。
また、本発明の実施の形態1によれば、プロセッサ3と端末装置5とが通信可能な場合において、プロセッサ3が第1音声コマンドおよび端末装置5から第2音声コマンドの入力を受け付けたとき、選択部367が優先する優先音声コマンドを選択するので、複数の音声コマンドが入力された場合であっても、誤動作を防止することができる。
また、本発明の実施の形態1によれば、プロセッサ3が第1音声コマンドおよび端末装置5から第2音声コマンドの入力を受け付けたとき、選択部367が取得部35によって取得された内視鏡2の操作者のレベルと端末装置5を使用する使用者のレベルとに基づいて、優先する優先音声コマンドを選択するので、確実に誤動作を防止することができる。
また、本発明の実施の形態1によれば、設定部364が認証部582によって認証された端末装置5の使用者に割当てられたレベルに基づいて、端末装置5が第2音声コマンドによって操作可能な複数の周辺機器を設定するので、誤って周辺機器が操作されることを防止することができる。
また、本発明の実施の形態1によれば、第1音声コマンドまたは第2音声コマンドが内視鏡画像データの録音を指示する場合、端末装置5に対して、通信制御部363が内視鏡画像データを通信部32に送信させるので、操作者が患者等の被検体の手術時の状況を端末装置5で確認することができる。
また、本発明の実施の形態1によれば、通信制御部363が第1音声コマンドまたは第2音声コマンドの内容に関するタグ情報と内視鏡画像データとを対応付けて端末装置5へ送信するので、被検体の術後にタグ情報を用いて内視鏡画像データの検索を容易に行うことができる。
また、本発明の実施の形態1によれば、表示制御部584が第1音声コマンドまたは第2音声コマンドの内容に関するタグ情報毎に内視鏡画像データに対応する内視鏡画像を表示部55に表示させるので、タグ情報毎に紐付けられた内視鏡画像群の一覧を確認することができる。
また、本発明の実施の形態1によれば、通信制御部583がタグ情報に基づいて、サーバ200が記録する関連画像データを取得し、表示制御部584が内視鏡画像と関連画像とを表示部55に表示させるので、内視鏡画像と関連画像とを比較しながら閲覧することができる。
また、本発明の実施の形態1によれば、通信制御部583が認証部582の認証結果と第2音声コマンドの内容に関するタグ情報と内視鏡画像データとを対応付けてネットワークN100に接続されたサーバ200に送信するので、被検体の術後にタグ情報を用いて内視鏡画像データの検索を容易に行うことができる。
(実施の形態2)
次に、本発明の実施の形態2について説明する。上述した実施の形態1では、プロセッサ3側で端末装置5の登録使用者のレベルに基づいて、音声コマンドで操作可能な周辺機器を設定していたが、本実施の形態2では、端末装置側で登録使用者のレベルに基づいて、音声コマンドで操作可能な周辺機器を設定する。以下においては、本実施の形態2に係る内視鏡システムの構成を説明後、プロセッサおよび端末装置の各々の処理について説明する。なお、上述した実施の形態1に係る内視鏡システム1と同一の構成には同一の符号を付して説明を省略する。
次に、本発明の実施の形態2について説明する。上述した実施の形態1では、プロセッサ3側で端末装置5の登録使用者のレベルに基づいて、音声コマンドで操作可能な周辺機器を設定していたが、本実施の形態2では、端末装置側で登録使用者のレベルに基づいて、音声コマンドで操作可能な周辺機器を設定する。以下においては、本実施の形態2に係る内視鏡システムの構成を説明後、プロセッサおよび端末装置の各々の処理について説明する。なお、上述した実施の形態1に係る内視鏡システム1と同一の構成には同一の符号を付して説明を省略する。
〔内視鏡システムの構成〕
図10は、本発明の実施の形態2に係る内視鏡システムの機能構成を示すブロック図である。図1に示す内視鏡システム1aは、上述した実施の形態1に係る内視鏡システム1のプロセッサ3および端末装置5に換えて、プロセッサ3aおよび端末装置5aを備える。
図10は、本発明の実施の形態2に係る内視鏡システムの機能構成を示すブロック図である。図1に示す内視鏡システム1aは、上述した実施の形態1に係る内視鏡システム1のプロセッサ3および端末装置5に換えて、プロセッサ3aおよび端末装置5aを備える。
〔プロセッサの構成〕
プロセッサ3aは、上述した実施の形態1に係るプロセッサ3のプロセッサ制御部36に換えて、プロセッサ制御部36aを備える。プロセッサ制御部36aは、上述した実施の形態1に係るプロセッサ制御部36の設定部364に換えて、設定部364aを備える。
プロセッサ3aは、上述した実施の形態1に係るプロセッサ3のプロセッサ制御部36に換えて、プロセッサ制御部36aを備える。プロセッサ制御部36aは、上述した実施の形態1に係るプロセッサ制御部36の設定部364に換えて、設定部364aを備える。
設定部364aは、取得部35が取得した操作者IDと認証情報記録部331が記録する認証情報とに基づいて、システムコントローラ7を介して、音声入力部8が入力を受け付けた第1音声コマンドによって操作可能な複数の周辺機器を設定する。
〔端末装置の構成〕
次に、端末装置5aの構成について説明する。図11は、端末装置5aの機能構成を示すブロック図である。図5に示す端末装置5aは、上述した実施の形態1に係る端末装置5の端末制御部58に換えて、端末制御部58aを備える。また、端末制御部58aは、上述した実施の形態1に係る端末制御部58の構成に加えて、設定部588をさらに備える。
次に、端末装置5aの構成について説明する。図11は、端末装置5aの機能構成を示すブロック図である。図5に示す端末装置5aは、上述した実施の形態1に係る端末装置5の端末制御部58に換えて、端末制御部58aを備える。また、端末制御部58aは、上述した実施の形態1に係る端末制御部58の構成に加えて、設定部588をさらに備える。
設定部588は、認証部582の認証結果の登録使用者に割当てられたレベルと認証情報記録部331が記録する認証情報とに基づいて、システムコントローラ7を介して、第2音声コマンドによって操作可能な複数の周辺機器を設定する。
〔プロセッサの処理〕
次に、プロセッサ3aが実行する処理について説明する。図12は、プロセッサ3aが実行する処理の概要を示すフローチャートである。プロセッサ3aは、上述した実施の形態1で説明した処理と同様の処理を実行し、ステップS104に換えて、ステップS104aを実行する。このため、以下においては、ステップS104aについて説明する。
次に、プロセッサ3aが実行する処理について説明する。図12は、プロセッサ3aが実行する処理の概要を示すフローチャートである。プロセッサ3aは、上述した実施の形態1で説明した処理と同様の処理を実行し、ステップS104に換えて、ステップS104aを実行する。このため、以下においては、ステップS104aについて説明する。
ステップS104aにおいて、設定部364aは、取得部35が取得した操作者IDレベルに基づいて、システムコントローラ7を介して、音声入力部8が入力を受け付けた音声コマンドによって操作可能な複数の周辺機器の各々との通信接続を設定する。ステップS104aの後、プロセッサ3aは、ステップS105へ移行する。
〔端末装置の処理〕
次に、端末装置5aの処理について説明する。端末装置5aは、上述した実施の形態1に係る端末装置5と同様の処理を実行し、認証処理のみが異なる。このため、以下においては、端末装置5aが実行する認証処理について説明する。
次に、端末装置5aの処理について説明する。端末装置5aは、上述した実施の形態1に係る端末装置5と同様の処理を実行し、認証処理のみが異なる。このため、以下においては、端末装置5aが実行する認証処理について説明する。
〔認証処理〕
図13は、端末装置5aが実行する認証処理の概要を示すフローチャートである。図13において、ステップS901~ステップS903は、上述した図8のステップS801~ステップS803それぞれに対応する。
図13は、端末装置5aが実行する認証処理の概要を示すフローチャートである。図13において、ステップS901~ステップS903は、上述した図8のステップS801~ステップS803それぞれに対応する。
ステップS904において、設定部588は、認証部582の認証結果の登録使用者に割当てられたレベルと認証情報記録部331が記録する認証情報とに基づいて、システムコントローラ7を介して、第2音声コマンドによって操作可能な複数の周辺機器の各々を設定する。
続いて、表示制御部584は、設定部588によって設定された音声コマンドによって操作可能な周辺機器のGUI等を表示部55に表示させる(ステップS905)。ステップS905の後、端末装置5aは、上述した図7のメインルーチンへ戻る。
ステップS906およびステップS907は、上述した図8のステップS805およびステップS806それぞれに対応する。ステップS907の後、端末装置5aは、上述した図7のメインルーチンへ戻る。
以上説明した本発明の実施の形態2によれば、設定部588が認証部582によって認証された端末装置5aの使用者に割当てられたレベルに基づいて、システムコントローラ7を介して第2音声コマンドによって操作可能な複数の周辺機器を設定するので、誤操作を防止することができる。
(その他の実施の形態)
上述した本発明の一実施の形態に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、上述した本発明の一実施の形態に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、上述した本発明の一実施の形態で説明した構成要素を適宜組み合わせてもよい。
上述した本発明の一実施の形態に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、上述した本発明の一実施の形態に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、上述した本発明の一実施の形態で説明した構成要素を適宜組み合わせてもよい。
また、本発明の一実施の形態では、プロセッサに光源装置が設けられていたが、別体に形成してもよい。
また、本発明の一実施の形態では、内視鏡システムであったが、例えばカプセル型の内視鏡、被検体を撮像するビデオマイクロスコープ、撮像機能を有する携帯電話および撮像機能を有するタブレット型端末であっても適用することができる。
また、本発明の一実施の形態では、医療用の内視鏡を備えた内視鏡システムであったが、工業用の内視鏡を備えた内視鏡システムであっても適用することができる。
また、本発明の一実施の形態では、上述してきた「部」は、「手段」や「回路」などに読み替えることができる。例えば、制御部は、制御手段や制御回路に読み替えることができる。
また、本発明の一実施の形態に実行させるプログラムは、インストール可能な形式または実行可能な形式のファイルデータでCD-ROM、フレキシブルディスク(FD)、CD-R、DVD(Digital Versatile Disk)、USB媒体、Flashメモリ等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
また、本発明の一実施の形態に実行させるプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。さらに、本発明の一実施の形態に実行させるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
なお、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてステップ間の処理の前後関係を明示していたが、本発明を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。即ち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。また、こうした、単純な分岐処理からなるプログラムに限らず、より多くの判定項目を総合的に判定して分岐させてもよい。その場合、使用者にマニュアル操作を促して学習を繰り返すうちに機械学習するような人工知能の技術を併用しても良い。また、多くの専門家が行う操作パターンを学習させて、さらに複雑な条件を入れ込む形で深層学習をさせて実行してもよい。
以上、本願の実施の形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、本発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
1,1a 内視鏡システム
2 内視鏡
3,3a プロセッサ
4 ワイヤレスユニット
5,5a 端末装置
6 表示装置
7 システムコントローラ
8 音声入力部
9 超音波装置
10 気腹装置
11 電気メス装置
12 プリンタ
13 ルームライト
14 電動手術台
15 無線給電装置
21 撮像素子
31 映像処理部
32 通信部
33 記録部
34 操作部
35 取得部
36,36a プロセッサ制御部
50 電池部
51 通信部
52 撮像部
53 指紋情報検出部
54 音声入力部
55 表示部
56 記録部
57 操作部
58,58a 端末制御部
100 手術室
200 サーバ
331 認証情報記録部
332 プロセッサIPアドレス記録部
333 音声コマンド情報記録部
361 接続判定部
362 表示制御部
363 通信制御部
364,364a 設定部
365 駆動制御部
366 音声認識部
367 選択部
501 電池
502 受信部
561 認証情報記録部
562 端末IPアドレス記録部
563 音声コマンド情報記録部
581 接続判定部
582 認証部
583 通信制御部
584 表示制御部
585 記録制御部
586 撮像制御部
587 音声認識部
588 設定部
N100 ネットワーク
2 内視鏡
3,3a プロセッサ
4 ワイヤレスユニット
5,5a 端末装置
6 表示装置
7 システムコントローラ
8 音声入力部
9 超音波装置
10 気腹装置
11 電気メス装置
12 プリンタ
13 ルームライト
14 電動手術台
15 無線給電装置
21 撮像素子
31 映像処理部
32 通信部
33 記録部
34 操作部
35 取得部
36,36a プロセッサ制御部
50 電池部
51 通信部
52 撮像部
53 指紋情報検出部
54 音声入力部
55 表示部
56 記録部
57 操作部
58,58a 端末制御部
100 手術室
200 サーバ
331 認証情報記録部
332 プロセッサIPアドレス記録部
333 音声コマンド情報記録部
361 接続判定部
362 表示制御部
363 通信制御部
364,364a 設定部
365 駆動制御部
366 音声認識部
367 選択部
501 電池
502 受信部
561 認証情報記録部
562 端末IPアドレス記録部
563 音声コマンド情報記録部
581 接続判定部
582 認証部
583 通信制御部
584 表示制御部
585 記録制御部
586 撮像制御部
587 音声認識部
588 設定部
N100 ネットワーク
Claims (14)
- 被検体内を観察する内視鏡が取得した内視鏡画像データに対して画像処理を施すとともに、複数の周辺機器に対して接続可能であり、音声の入力を受け付ける音声入力部によって生成された音声データに基づいて、前記複数の周辺機器のいずれかの駆動を指示する第1音声コマンドの入力を受け付け可能なプロセッサと、
前記プロセッサに対して無線で通信可能であるとともに、音声によって前記複数の周辺機器のいずれかの駆動を指示する第2音声コマンドの入力を受け付け可能な端末装置と、
前記プロセッサと前記端末装置とが通信可能な場合において、前記プロセッサにおいて受け付け可能な前記第1音声コマンドおよび前記端末装置において受け付け可能な前記第2音声コマンドについて少なくとも一部のコマンド内容が異なるように設定する設定部と、
を備えることを特徴とする内視鏡システム。 - 前記プロセッサと前記端末装置とが通信可能な場合において、前記プロセッサが前記第1音声コマンドおよび前記端末装置から前記第2音声コマンドの入力を受け付けたとき、優先する優先音声コマンドを選択する選択部と、
前記選択部が選択した前記優先音声コマンドに基づいて、前記複数の周辺機器のいずれかを駆動する駆動制御部と、
をさらに備えることを特徴とする請求項1に記載の内視鏡システム。 - 前記内視鏡の操作者を識別する操作者識別情報を取得する取得部と、
複数の前記操作者識別情報の各々と、前記複数の周辺機器の各々の操作を許可するレベルとを対応付けて記録する記録部と、
をさらに備え、
前記選択部は、前記プロセッサが前記第1音声コマンドおよび前記端末装置から前記第2音声コマンドの入力を受け付けたとき、前記取得部が取得した前記操作者のレベルと前記端末装置を使用する使用者のレベルとに基づいて、前記優先音声コマンドを選択することを特徴とする請求項2に記載の内視鏡システム。 - 前記プロセッサおよび前記複数の周辺機器の各々に接続され、前記複数の周辺機器の駆動を制御するシステムコントローラをさらに備え、
前記端末装置は、
前記端末装置の使用者が予め登録された登録使用者であるか否かを認証する認証部をさらに備え、
前記プロセッサは、
前記第1音声コマンドまたは前記第2音声コマンドに基づいて、前記複数の周辺機器のいずれかを駆動する駆動制御部と、
前記設定部と、
を備え、
前記設定部は、前記認証部によって認証された前記使用者に割当てられたレベルに基づいて、前記システムコントローラを介して前記端末装置が前記第2音声コマンドによって操作可能な前記複数の周辺機器を設定し、
前記駆動制御部は、前記端末装置から入力された前記第2音声コマンドに対応する前記周辺機器が前記設定部によって操作可能に設定されていない場合、前記端末装置から入力された前記第2音声コマンドを無効とすることを特徴とする請求項1に記載の内視鏡システム。 - 前記プロセッサおよび前記複数の周辺機器の各々に接続され、前記複数の周辺機器の駆動を制御するシステムコントローラをさらに備え、
前記端末装置は、
前記端末装置の使用者が予め登録された登録使用者であるか否かを認証する認証部と、
前記設定部と、
を備え、
前記設定部は、前記認証部によって認証された前記使用者に割当てられたレベルに基づいて、前記システムコントローラを介して前記第2音声コマンドによって操作可能な前記複数の周辺機器を設定することを特徴とする請求項1に記載の内視鏡システム。 - 前記第1音声コマンドまたは前記第2音声コマンドが前記内視鏡画像データの記録を指示する場合、前記内視鏡画像データを前記端末装置へ送信する通信制御部をさらに備えることを特徴とする請求項1に記載の内視鏡システム。
- 前記プロセッサは、
前記第1音声コマンドまたは前記第2音声コマンドの内容に関するタグ情報と前記内視鏡画像データとを対応付けて前記端末装置へ送信する通信制御部をさらに備えることを特徴とする請求項1に記載の内視鏡システム。 - 前記端末装置は、
画像を表示可能な表示部と、
前記表示部の表示態様を制御する表示制御部と、
をさらに備え、
前記表示制御部は、前記タグ情報毎に前記内視鏡画像データに対応する内視鏡画像を前記表示部に表示させることを特徴とする請求項7に記載の内視鏡システム。 - ネットワークを介して前記端末装置および前記プロセッサに接続され、前記内視鏡画像に関連する関連画像データを記録するサーバをさらに備え、
前記端末装置は、
前記タグ情報に基づいて、前記サーバが記録する前記関連画像データを取得する通信制御部をさらに備え、
前記表示制御部は、前記内視鏡画像と前記関連画像データに対応する関連画像とを前記表示部に表示させることを特徴とする請求項8に記載の内視鏡システム。 - 前記端末装置は、
前記端末装置が入力を受け付けた前記第2音声コマンドと前記内視鏡画像データとを対応付けて記録部に記録する記録制御部をさらに備えることを特徴とする請求項1に記載の内視鏡システム。 - 前記端末装置は、
前記認証部の認証結果と前記第2音声コマンドの内容に関するタグ情報と前記内視鏡画像データとを対応付けてネットワークに接続されたサーバに送信する通信制御部をさらに備えることを特徴とする請求項4に記載の内視鏡システム。 - 前記第1音声コマンドは、前記複数の周辺機器の全てを操作可能なコマンドにより構成され、
前記第2音声コマンドは、手術に直接的に関係しない周辺機器を操作可能なコマンドにより構成されることを特徴とする請求項1に記載の内視鏡システム。 - 被検体内を観察する内視鏡が取得した内視鏡画像データに対して画像処理を施すとともに、複数の周辺機器に対して接続設定が可能な設定部を有するプロセッサと、
前記プロセッサに対して無線で通信可能であるとともに、音声によって前記複数の周辺機器のいずれかの駆動を指示する音声コマンドの入力を受け付け可能な端末装置と、
前記プロセッサおよび前記複数の周辺機器の各々に接続され、前記複数の周辺機器の駆動を制御するシステムコントローラと、
を備え、
前記端末装置は、
当該端末装置の使用者が予め登録された登録使用者であるか否かを認証する認証部を備え、
前記設定部は、前記認証部によって認証された前記使用者に割当てられたレベルに基づいて、前記システムコントローラを介して前記音声コマンドによって操作可能な前記複数の周辺機器を設定することを特徴とする内視鏡システム。 - 被検体内を観察する内視鏡が取得した内視鏡画像データに対して画像処理を施すとともに、複数の周辺機器に対して接続可能であり、音声の入力を受け付ける音声入力部によって生成された音声データに基づいて、前記複数の周辺機器のいずれかの駆動を指示する第1音声コマンドの入力を受け付け可能なプロセッサと、前記プロセッサに対して無線で通信可能であるとともに、音声によって前記複数の周辺機器のいずれかの駆動を指示する第2音声コマンドの入力を受け付け可能な端末装置と、を備えた内視鏡システムが実行する制御方法であって、
前記プロセッサと前記端末装置とが通信可能な場合において、前記プロセッサにおいて受け付け可能な前記第1音声コマンドと、前記端末装置において受け付け可能な前記第2音声コマンドとを、少なくとも一部が異なるように設定する設定ステップを含むことを特徴とする制御方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/896,633 US10993608B2 (en) | 2017-12-13 | 2020-06-09 | Endoscope system and control method |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017-238629 | 2017-12-13 | ||
JP2017238629 | 2017-12-13 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US16/896,633 Continuation US10993608B2 (en) | 2017-12-13 | 2020-06-09 | Endoscope system and control method |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2019116644A1 true WO2019116644A1 (ja) | 2019-06-20 |
Family
ID=66819641
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2018/032421 WO2019116644A1 (ja) | 2017-12-13 | 2018-08-31 | 内視鏡システムおよび制御方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US10993608B2 (ja) |
WO (1) | WO2019116644A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021023680A (ja) * | 2019-08-07 | 2021-02-22 | ソニー・オリンパスメディカルソリューションズ株式会社 | 信号処理デバイス |
US20230139828A1 (en) * | 2021-10-28 | 2023-05-04 | VisOvum Ltd. | Ultrasonic Endocavitary Imaging System and Method |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002125983A (ja) * | 2000-10-19 | 2002-05-08 | Olympus Optical Co Ltd | 医療用制御システム |
JP2003164464A (ja) * | 2001-11-30 | 2003-06-10 | Olympus Optical Co Ltd | 医療用システム制御装置 |
WO2013061857A1 (ja) * | 2011-10-25 | 2013-05-02 | オリンパスメディカルシステムズ株式会社 | 内視鏡手術システム |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4727066B2 (ja) | 2001-05-21 | 2011-07-20 | オリンパス株式会社 | 内視鏡システム |
EP2735262B1 (en) * | 2011-11-07 | 2017-08-23 | Olympus Corporation | Imaging device |
US9324145B1 (en) * | 2013-08-08 | 2016-04-26 | Given Imaging Ltd. | System and method for detection of transitions in an image stream of the gastrointestinal tract |
-
2018
- 2018-08-31 WO PCT/JP2018/032421 patent/WO2019116644A1/ja active Application Filing
-
2020
- 2020-06-09 US US16/896,633 patent/US10993608B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002125983A (ja) * | 2000-10-19 | 2002-05-08 | Olympus Optical Co Ltd | 医療用制御システム |
JP2003164464A (ja) * | 2001-11-30 | 2003-06-10 | Olympus Optical Co Ltd | 医療用システム制御装置 |
WO2013061857A1 (ja) * | 2011-10-25 | 2013-05-02 | オリンパスメディカルシステムズ株式会社 | 内視鏡手術システム |
Also Published As
Publication number | Publication date |
---|---|
US10993608B2 (en) | 2021-05-04 |
US20200297202A1 (en) | 2020-09-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9501430B2 (en) | X-ray imaging system, information processing apparatus, methods for controlling x-ray imaging system and information processing apparatus, and recording medium | |
US11496468B2 (en) | Endoscope system, terminal device, and control method | |
JP5024495B1 (ja) | ジェスチャ入力装置およびジェスチャ入力装置の制御方法 | |
US10250327B2 (en) | Illumination system and control method thereof | |
JP6211011B2 (ja) | ネットワークデバイスのセンサベースの設定および制御 | |
EP2813065B1 (en) | Camera system controlled by a tablet computer | |
KR101801073B1 (ko) | 비접촉 제스쳐 제어 방법 및 전자 단말 장치 | |
JP5326066B1 (ja) | 内視鏡手術システム | |
WO2012117570A1 (ja) | ジェスチャ入力装置およびジェスチャ入力装置の制御方法 | |
JP5356633B1 (ja) | 医療用内視鏡システム | |
WO2016155361A1 (zh) | 远程曝光控制装置、数字x射线成像***及其曝光方法 | |
US20190075460A1 (en) | Authentication system, authentication control device, method of controlling authentication control device, and recording medium | |
US20150029350A1 (en) | Imaging apparatus capable of wireless communication | |
WO2019116644A1 (ja) | 内視鏡システムおよび制御方法 | |
US9785131B2 (en) | Device and method for contactless control of a patient table | |
JP5945644B1 (ja) | 医療システム | |
US20200387590A1 (en) | Endoscope system, processor, control method, and computer-readable recording medium | |
KR20150086807A (ko) | 사물인식기반 통합 리모컨 장치 및 그 방법 | |
CN104598140B (zh) | 一种信息处理方法及第一电子设备 | |
KR20170082040A (ko) | 조명시스템 및 그의 제어방법 | |
US20230057639A1 (en) | Beacon-based systems and methods for communicatively pairing a device with a medical system | |
US20160085932A1 (en) | Medical system | |
JP2006305155A (ja) | 制御装置 | |
KR102313300B1 (ko) | 복수의 디바이스에 대한 원격제어를 수행할 수 있는 원격제어장치 | |
KR101675153B1 (ko) | 심전도 신호 측정 환경에서의 얼굴 인식을 통한 사용자 인증 방법 및 시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 18888587 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 18888587 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: JP |