WO2019098052A1 - 医療安全システム - Google Patents
医療安全システム Download PDFInfo
- Publication number
- WO2019098052A1 WO2019098052A1 PCT/JP2018/040760 JP2018040760W WO2019098052A1 WO 2019098052 A1 WO2019098052 A1 WO 2019098052A1 JP 2018040760 W JP2018040760 W JP 2018040760W WO 2019098052 A1 WO2019098052 A1 WO 2019098052A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- video
- display
- safety system
- developed
- Prior art date
Links
- 238000012545 processing Methods 0.000 claims abstract description 41
- 230000004044 response Effects 0.000 claims abstract description 3
- 238000000034 method Methods 0.000 claims description 28
- 230000008569 process Effects 0.000 claims description 17
- 238000001514 detection method Methods 0.000 claims description 12
- 230000000007 visual effect Effects 0.000 abstract 2
- 238000003384 imaging method Methods 0.000 description 18
- 238000001356 surgical procedure Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000004048 modification Effects 0.000 description 7
- 238000012986 modification Methods 0.000 description 7
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 description 5
- 210000003128 head Anatomy 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/361—Image-producing devices, e.g. surgical cameras
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B2017/00017—Electrical control of surgical instruments
- A61B2017/00115—Electrical control of surgical instruments with audible or visual output
- A61B2017/00119—Electrical control of surgical instruments with audible or visual output alarm; indicating an abnormal situation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2065—Tracking using image or pattern recognition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2505/00—Evaluating, monitoring or diagnosing in the context of a particular type of medical care
- A61B2505/05—Surgical care
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/25—User interfaces for surgical systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
- G06V2201/034—Recognition of patterns in medical or anatomical images of medical instruments
Definitions
- the present invention relates to a medical safety system.
- Patent Document 1 Patent Document 1
- Patent Document 2 Patent Document 2
- Patent Document 1 discloses a technique for cutting out a part of an image from an all-round monitoring image captured by a single-lens camera in accordance with position information specified by the user, and correcting the cut out portion to display a facing image. ing.
- Patent Document 2 when moving image data obtained by shooting in a city is encoded and important places (for example, pedestrians, etc.) captured in the image are specified, the encoding method of the important places is changed There is disclosed a technique of highlighting important parts when moving image data is reproduced by performing an operation.
- the image obtained by a surveillance camera or the like for the purpose of photographing a wide area over a long time can not be confirmed by the user with sufficient accuracy because the resolution is low or the image is distorted for wide-angle shooting.
- Sometimes. Although a certain improvement can be achieved if the technique disclosed in the above-mentioned prior art documents is applied, it can not be said that it is sufficient yet.
- the present invention has been made in view of the above problems, and provides a medical safety system which is simpler than the prior art from the viewpoint of user friendliness.
- the expansion means stores the expanded video of the operating room at a wide angle, the display means capable of displaying a partial video which is a part of the expanded video, and the image recognition process for the expanded video.
- Specifying means for specifying a surgical field photographed in a video, and the display means performs predetermined display position adjustment for adjusting the surgical field specified by the specifying means to be included in the partial video A medical safety system is provided that runs in response to an opportunity.
- the display position of the partial video is adjusted to display the surgical field specified by the image recognition process, so the user includes the surgical field without adjusting the display position while watching the developed video by himself. Partial images can be displayed.
- a medical safety system simpler than the prior art is provided from the viewpoint of user friendliness.
- FIG. 1 is a diagram showing a medical safety system 100 according to the present embodiment.
- the arrows shown in FIG. 1 indicate the output source and the input destination of the video data exchanged between the components. Therefore, the transmission and reception of data other than video data may not necessarily coincide with the transmission / reception direction indicated by each arrow.
- the medical safety system 100 includes imaging means (for example, a semi-spherical camera 111 and a fixed point camera 112), a server device 120, and a viewing terminal device (for example, a personal computer terminal 131 and a mobile terminal 132).
- imaging means for example, a semi-spherical camera 111 and a fixed point camera 112
- server device 120 for example, a server device 120
- viewing terminal device for example, a personal computer terminal 131 and a mobile terminal 132
- the semi-spherical camera 111 is a device for performing wide-angle imaging of the operating room including the operation field of the operation.
- wide-angle shooting refers to shooting using a single-eye wide-angle lens to obtain a wider image than usual, and directing a plurality of lenses (which may be either a standard lens or a wide-angle lens) in mutually different directions. It refers to combining a plurality of captured images and capturing them to obtain an image in a wider range than usual.
- the semi-spherical camera 111 used in the present embodiment three wide-angle lenses are disposed at an interval of 120 degrees, and three images taken using each wide-angle lens are combined by software processing (image processing) Get Since such processing is performed, the developed image obtained by photographing with the semi-spherical camera 111 is characterized in that the developed angle in the horizontal direction reaches 360 degrees. Therefore, by installing the semi-spherical camera 111 in the operating room, it is possible to capture the whole view of the operating room without leakage, and in addition to the situation in the vicinity of the operating field, the operation of each medical staff who is moving in the operating room. The screen of the medical device displaying vital signs can be photographed at one time. Since it is difficult to falsify the image taken in this way, it is possible to sufficiently secure the certainty when using it as situational evidence pertaining to the treatment.
- FIG. 2 is a perspective view of the semi-spherical camera 111.
- the semi-spherical camera 111 includes a pedestal 116, a support 117, and a main body 113.
- the main body 113 has three wide-angle lenses, of which the lens 114 and the lens 115 are shown in FIG.
- the main body 113 is a portion having the main function (including the photographing function) of the semi-spherical camera 111, and is coupled to the pedestal 116 by the support 117.
- the pedestal 116 is preferably installed above the operative field of the surgery, and may be installed directly on the ceiling of the operating room, or by extending a dedicated post (not shown) above the operative field to the post It may be installed in
- each wide-angle lens (the lens 114 and the lens 115) provided in the main body 113 is the pedestal 116 in the opposite direction of the pedestal 116, that is, above the surgical field. It is inclined downward from the horizontal direction on the premise of installation.
- the semi-spherical camera 111 can shoot a semi-spherical image (a horizontal spread angle reaches 360 degrees and an image captured without leak even in the downward direction) downward. it can.
- the developed image does not have to be a semi-spherical image, and may be an omnidirectional image (an image having an expansion angle of 360 degrees in both the horizontal and vertical directions), or in the horizontal or vertical direction.
- the semi-spherical camera 111 illustrated in FIG. 2 is an example of a means for photographing a developed image used in the present invention, and the photographing means may not necessarily be included as a component of the present invention.
- the imaging unit may not have the above-described structure.
- the type of lens of the photographing means may not necessarily be a wide-angle lens, and the number of lenses of the photographing means may be increased or decreased.
- FIG. 3 shows one specific example of the unfolded image captured by the semi-spherical camera 111.
- a display device 201 near the ceiling of the operating room, a guide rail 202 provided to slide the shadowless lamp, and the like are photographed at the upper part of the developed image.
- the display device 201 and the guide rail 202 illustrated in FIG. 3 there may be an object that is distorted to such an extent that it can not be easily identified.
- a plurality of medical personnel (the surgeon 204, the assistant 203, the medical staff 205 to 211) are photographed in the developed video. In the following description, these medical personnel may be collectively referred to as a practitioner.
- the fixed point camera 112 is a device for fixed point photographing of the operation field from a position facing the operation field of the operation.
- the photographing by the fixed point camera 112 is sufficient for normal photographing (it is not necessary to be wide-angle photographing).
- FIG. 4 shows one specific example of an image captured by the fixed point camera 112. As apparent from the comparison between FIG. 3 and FIG. 4, the image of FIG. 4 can more clearly confirm the condition of the operative field (the movement of the hand of the surgeon 204 and the assistant 203, etc.).
- the server apparatus 120 receives the developed video from the semi-spherical camera 111 and the facing video image from the fixed point camera 112 as video related to the operation, and stores them in a predetermined storage area. Therefore, it functions as storage means of the present invention. Further, the video stored in the server device 120 may include a video acquired from an imaging device or a medical device (not shown) or the like, and these imaging devices or medical devices have an internal configuration of the medical safety system 100. It may be an external configuration.
- the personal computer terminal 131 and the mobile terminal 132 are computer devices on which application software (viewer) for displaying a video stored in the server apparatus 120 is installed.
- the mobile terminal 132 is installed with a viewer that is mainly intended to confirm the state of treatment performed in the operating room by medical personnel (anesthesiologists and the like) who are standing by outside the operation room, and the server apparatus 120 is installed.
- the video stored in can be distributed by live streaming and displayed.
- the personal computer terminal 131 installs a viewer that is mainly intended to analyze the contents of surgery after surgery, and in addition to the function related to the reproduction of the video stored in the server device 120, the function to edit the video for material use Etc.
- the viewers installed in the personal computer terminal 131 and the mobile terminal 132 may not necessarily be realized by application software dedicated to the present invention, and may be realized by general-purpose application software or software obtained by modifying or changing this.
- the personal computer terminal 131 and the mobile terminal 132 are both computer devices having a display device and a pointing device, and the type of each display device or the type of each pointing device is not particularly limited.
- the display device according to the present invention is configured because the display device according to any of the personal computer terminal 131 and the mobile terminal 132 can display the expanded video and the facing surgery area video, and further can display the partial video described later. It can.
- the pointing device according to any of the personal computer terminal 131 and the mobile terminal 132 can detect the position at which the user's operation input to the display device (various videos displayed on the screen, etc.) is received. It can constitute means.
- the function of the personal computer terminal 131 and the function of the mobile terminal 132 described in the present embodiment do not necessarily need to be executable by only one, and part or all of the functions described as one of the functions can be executed by the other. It may be.
- part or all of the processing by the mobile terminal 132 described later may be realized in the personal computer terminal 131 as well.
- the mobile terminal 132 does not necessarily have to be able to execute part or all of the processing by the mobile terminal 132 described later alone, and the server apparatus 120 executes a part of the processing (for example, image recognition processing) May be
- the mobile terminal 132 is a touch panel capable of acquiring, from the server apparatus 120, the developed video and the orthographic surgery area video stored in the server apparatus 120, and displaying them individually or simultaneously.
- the touch panel is a device in which the screen of the display device is a pointing device.
- the mobile terminal 132 has a function (hereinafter, referred to as specifying means) for specifying a specific area captured in the developed video by image recognition processing for the developed video.
- specifying means for specifying a specific area captured in the developed video by image recognition processing for the developed video.
- the specific area in the present embodiment is specifically described as a surgical field captured in the developed video, the implementation of the present invention is not limited thereto, and another area captured in the deployed video As a specific area.
- the image recognition processing for specifying the surgical field photographed in the developed video will be described later.
- the mobile terminal 132 When the mobile terminal 132 receives a user's operation input while displaying a developed video, it is determined whether the position at which the operation input is received is an operation input allowance area set in the specific area or in the vicinity thereof. (Hereinafter referred to as determination means).
- the operation input allowance area is an area on the screen of the mobile terminal 132 set based on the processing by the specifying means, and may be included in the specific area, or a part thereof may be a specific area. And the rest may be out of the specific area, or all of them may be out of the specific area and located in the vicinity of the specific area.
- the mobile terminal 132 displays a front facing surgery area video when the determination by the determination means is affirmed.
- the mode of the confronting surgical field image displayed by the mobile terminal 132 in this case is not particularly limited as long as the user can view it, and the upper layer (layer) of the unfolded surgical field image is developed. It may be a mode that pops up in the window, or it may be a mode in which the facing operation field video and the developed video are separately displayed in the display area (window), or the facing video after the developed video is lost. It may be a mode of displaying a surgical field image.
- the mobile terminal 132 detects the position of the operation input received during the display of the developed image obtained by capturing a relatively large area, in the surgical field (specific area) or in the vicinity thereof where the position is specified based on the image recognition process.
- the judgment area operation input allowable area
- the mobile terminal 132 since the display area of the mobile terminal 132 is smaller than the display area of the personal computer terminal 131, it will be difficult to visually recognize when the entire developed image taken by the semi-spherical camera 110 is to be displayed. Therefore, the mobile terminal 132 has a function of displaying a partial video which is a part of the developed video in a limited manner.
- FIG. 5 is a specific example of the partial video displayed by the mobile terminal 132. As shown in FIG. As illustrated in FIG. 5, it is preferable that the partial video displayed by the mobile terminal 132 be displayed with the distortion correction applied. This is because it is easy for the user to view.
- the display position of the partial video displayed by the mobile terminal 132 is preferably adjustable according to the user's operation, and can be displayed over the entire circumference at least in the horizontal direction (functions as a so-called panorama viewer) More preferable.
- the process of specifying the surgical field photographed in the expanded video is realized by the above-mentioned specifying means, and the mobile terminal 132 converts the surgical field specified by the specifying means into the partial video. It has a function of performing display position adjustment which is adjusted to be included according to a predetermined timing.
- the predetermined trigger is not particularly limited as long as it can be recognized by the mobile terminal 132.
- the mobile terminal 132 may activate a display function of a partial video, or the mobile The terminal 132 may receive a specific operation.
- the specific operation treated as the predetermined trigger is a simple one (for example, a single operation) from the viewpoint of user friendliness.
- the mobile terminal 132 has a function of automatically aligning the display position with the surgical field according to a predetermined opportunity, so that the time and effort for the user to search the surgical field while checking partial images can be saved. Since the operative field is one of the places where one wants to pay particular attention in the development image of the operating room, the above-described function of aligning the display position of the mobile terminal 132 with the operative field is extremely useful from the viewpoint of user friendliness.
- “detecting the body part of the practitioner” is not limited to the process of focusing on only the actual body part of the practitioner, for example, detecting the eye of the practitioner by detecting the protective glasses Detection, detection of the head of the practitioner by detection of the surgical cap, detection of the mouth of the practitioner by detection of the surgical mask, and the like are also included.
- the method of “image recognition processing for detecting the body part of the practitioner” can be appropriately selected.
- the method of extracting the shape (outline) of the body part has become the most versatile result, but the color and the brightness of the operation field are added in the treatment using the operation light
- the detection accuracy may be high.
- FIGS. 6 and 7 are schematic diagrams for explaining the image recognition process of the mobile terminal 132, which is different from the image actually displayed.
- the shaded portions in these figures will be described as the body part detected by the image recognition processing by the mobile terminal 132.
- the body part detected by the mobile terminal 132 is the practitioner's hand or arm.
- the operator 204, the assistant 203, the medical staff 206, and the hands and arms of the medical staff 207 are detected by the image recognition process on the developed video illustrated in FIG. 3 (see FIG. 6).
- the hands and arms can not be detected by the image recognition processing because the hands and arms are not sufficiently photographed while being hidden by another object.
- the medical staff 210 and the medical staff 211 are separated from the semi-spherical camera 111 and are not photographed in a sufficient size, so that the hands and arms can not be detected by the image recognition processing.
- the mobile terminal 132 displays the vicinity of the position where the detected hands and arms (body parts) are densely located. Identified as OF (see FIG. 7).
- the vicinity of the surgeon 204 and the assistant 203 corresponds to the operative field OF.
- FIGS. 8 and 9 are schematic diagrams for explaining the image recognition processing of the mobile terminal 132, similarly to FIGS. 6 and 7, and are different from the image actually displayed.
- the shaded portions in these figures will be described as the body part detected by the image recognition processing by the mobile terminal 132.
- the body part detected by the mobile terminal 132 is the face (head) of the practitioner, and image recognition processing is performed for the detection with both eyes as characteristic points.
- image recognition processing is performed for the detection with both eyes as characteristic points.
- the faces of the surgeon 204 and the medical staff 206 to 209 are detected by the image recognition processing on the developed video illustrated in FIG. 3 (see FIG. 8).
- the face of the assistant 203 is horizontal and the medical staff 205 is backward, both eyes are not photographed, and the face can not be detected by the image recognition processing.
- the medical staff 210 and the medical staff 211 are separated from the semi-spherical camera 111 and are not photographed in a sufficient size, so that the face can not be detected by the image recognition processing.
- the mobile terminal 132 determines the position and the orientation of the practitioner from the detected face and both eyes, and when a plurality of practitioners whose detected positions are close to or less than a predetermined value are detected, the orientations of the plurality of practitioners.
- the portion where the two crosses is identified as the operative field (see FIG. 9).
- the mobile terminal 132 detects the surgeon 204, the medical staff 208 and the medical staff 209 as the practitioners who are in proximity, and the gaze directions V4, gaze directions V8 and gaze directions V9 are directed to the practitioners. As, each is judged.
- the mobile terminal 132 specifies an area including the position of the intersection point IP1 of the sight line direction V4 and the sight line direction V8 and the position of the intersection point IP2 of the sight line direction V4 and the sight direction V9 as the operative field OF.
- the gaze direction V8 and the gaze direction V9 do not intersect, they are not used to specify the operative field OF.
- the display of the personal computer terminal 131 will be described. Since the display area of the personal computer terminal 131 is larger than the display area of the personal computer terminal 131, the entire display of the developed image taken by the semi-spherical camera 110 is permitted. Further, the personal computer terminal 131 can also display other images in parallel in addition to the developed image. Note that the above description does not deny that the personal computer terminal 131 displays a partial image (functions as a panoramic viewer of a developed image) as the mobile terminal 132 described above.
- FIG. 10 is a specific example of display by the personal computer terminal 131.
- the whole developed image of the operating room taken by the semi-spherical camera 110 is displayed.
- an image relating to a heart rate monitor of a patient who has received treatment in the operation room is displayed.
- an image obtained by photographing the operative field in the treatment by a photographing device is displayed.
- the PC terminal 131 can analyze the treatment while comparing the state of the entire operation room, the state of the operative field, and the change in the heart rate by synchronously displaying these images.
- a timeline relating to the developed video is displayed. That is, the personal computer terminal 131 functions as a timeline display unit according to the present invention.
- the cursor C1 displayed in the display area DA4 indicates where on the timeline the image displayed in the display area DA1 at that time is (when).
- the tag T1 and the tag T2 displayed in the display area DA4 display the timing at which the beep sound is emitted according to the display position on the timeline, and display the device emitting the beep sound according to the display mode (color or the like). ing.
- the beep sound is a sound (such as a warning sound) emitted by the device.
- the semi-spherical camera 110 can record audio data using a microphone (not shown) in parallel with capturing of the developed video.
- the server apparatus 120 stores the recorded audio data in association with the video data relating to the developed video.
- the server device 120 has a function of detecting a beep sound included in the voice data and specifying the timing thereof by voice recognition processing for voice data and specifying a device which has generated the detected beep sound. . That is, the server device 120 functions as the beep sound specifying means according to the present invention.
- the personal computer terminal 131 can allow the user to recognize the timing of the beep sound detected by the server device 120 and the device that has emitted the beep sound.
- the beep Since the beep sounds depending on the device or the manufacturer of the device, by recording and analyzing the beep, it is possible to know what kind of incident occurred and at what timing.
- medical safety systems equipped with the above-mentioned functions such as recording a beep together with video data for analysis, identifying the beep by voice recognition processing, and displaying the timing of the beep have not been introduced in the past in medical practice. . Since the medical safety system 100 in the present embodiment has the above-described function, it can be used, for example, to investigate the cause when a medical accident occurs.
- each component of the present invention may be formed to realize its function. Therefore, each component of the present invention does not have to be an independent entity, but a plurality of components are formed as a single member, and a single component is formed of a plurality of members. , Allow one component to be part of another component, overlap between part of one component and part of another component, and so on.
- the medical moving image processing system according to the present invention may not include an imaging device corresponding to the semi-spherical camera 111, and the present invention may be implemented using a developed image acquired from an imaging device outside the system. Good.
- the configuration of the semi-spherical camera 111 and the photographing method by the semi-spherical camera 111 described in the above-described embodiment are one specific example, and the implementation of the present invention is not limited thereto.
- the present invention may be implemented using an imaging device using a single-eye wide-angle lens or a developed image captured by this imaging device.
- the mobile terminal 132 is described to detect the practitioner's face as feature points with both eyes, but instead of or in addition to this, it characterizes other parts (nose, mouth, ears, etc.)
- the face may be detected by image recognition processing as a point to determine the position and orientation of the practitioner.
- the candidate of the operation field specified by the image recognition process by the mobile terminal 132 was mentioned as an example and mentioned to one, when there are two or more candidates of the operation field specified, , And the vicinity of the operation field selected by the user may be displayed. Alternatively, in such a case, the mobile terminal 132 may sequentially switch and display a plurality of candidates each time a specific operation is received.
- the specific field specified by the image recognition processing by mobile terminal 132 may have a function which can specify other specific fields.
- the mobile terminal 132 (specific The means may be capable of specifying the position of the medical device captured in the developed video as the specific area.
- the mobile terminal 132 (specifying unit) may detect the plurality of markers captured in the expanded video by image recognition processing, and specify the position of the medical device based on the positions of the plurality of detected markers.
- markers are attached to the four corners of the screen of the medical device prior to surgery, and a rectangular area surrounded by a plurality of markers is specified as the position of the medical device, etc.).
- the mobile terminal 132 recognizes patterns of shapes, colors, etc. of one or a plurality of medical devices, and specifies objects matching the pattern recognition from the objects captured in the developed video as the medical devices. Good.
- the determination means in the above-described embodiment determines whether or not the position at which the user's operation input has been received is the operation input allowance area included in the expanded image, when the expanded image is displayed. As described above, it is possible to similarly determine whether or not the position at which the user's operation input has been received is the operation input allowable area included in the partial image even when the partial image described above is displayed. It is also good. In this modification, when the video shot by the fixed point camera 112 is a face-to-face surgical field video and the specific area specified by the specifying means is a surgical field, the determination by the determining means is affirmed And the display means may display a face-to-face video image.
- the video taken by the fixed point camera 112 is a video taken directly in front of the medical device, and the specific region specified by the specifying means is the position of the medical device. If the determination by the determination means is affirmed, the display means may display the facing image of the medical device. Furthermore, in this modification, the image captured by the fixed point camera 112 is a predetermined image other than the normal operation field image or the normal image of the medical device, and the specific area specified by the specifying unit is When it is the imaging
- the personal computer terminal 131 is described as displaying the timeline related to the developed video displayed in the display area DA1 in the display area DA4, but in addition, it is displayed in the display area DA2 and the display area DA3.
- a timeline relating to a certain image may be further displayed in the display area DA4. That is, the personal computer terminal 131 may display the timelines of a plurality of images being synchronously displayed.
- the present embodiment includes the following technical ideas.
- (1-1) A storage means for storing a developed video obtained by wide-angle shooting of an operating room, a display means capable of displaying a partial video which is a part of the developed video, and the developed video by image recognition processing for the developed video Specifying means for specifying the operative field being photographed on the screen, and the display means adjusts the display position adjustment for adjusting the surgical field specified by the specifying means to be included in the partial image, Medical safety system to run according to.
- the display means can display the expanded video and a face-to-face video taken directly in front of the surgical field.
- Operation position detection means capable of detecting the received position; and when the operation position detection means receives the user's operation input when the display means is displaying the expanded video or the partial video, Determining means for determining whether or not the received position is the operation input permission area set in the surgical field specified by the specifying means or in the vicinity thereof, the display means further comprising: The medical image system according to (1-1), which displays the face-to-face operation field image when the determination by the determination means is affirmed. (1-3) The medical safety system according to (1-1) or (1-2), wherein the identification means identifies the surgical field by an image recognition process of detecting a body part of a practitioner.
- the body part detected by the specifying means is a hand or an arm of a practitioner, and the specifying means detects a plurality of the body parts detected in the developed image.
- the medical safety system according to (1-3), wherein a position where the body parts are densely located is specified as the operation field.
- the specifying unit determines the position and the direction of the practitioner based on the detected body part, and when a plurality of practitioners whose detected positions are close to or less than a predetermined value are detected, a plurality of The medical safety system according to (1-3), wherein the vicinity of the position where the directions of the practitioner intersect is specified as the operation field.
- the expanded image stored in the storage means is an image obtained by combining a plurality of images captured in different directions, and the horizontal expansion angle reaches 360 degrees.
- the medical safety system according to any one of (1-1) to (1-5).
- the storage unit stores the audio data recorded in parallel with the capturing of the expanded video in association with the video data related to the expanded video, and the voice recognition processing for the audio data is performed.
- a device according to any one of (1-1) to (1-6), further comprising: a beep sound identification means for detecting a beep sound included in the audio data and identifying a device that has emitted the detected beep sound. Medical safety system.
- Timeline display means for displaying a timeline relating to the expanded image, wherein the timeline display means is configured to indicate a timing at which the beep sound detected by the beep sound identification means is the time line
- the medical safety system according to (1-7) characterized in that it is displayed above.
- An input unit for inputting a first image related to treatment and a second image obtained by photographing a part of the imaging range of the first image, The first image and the above input from the input unit
- the first image is captured by the display unit capable of displaying the second image, the operation position detecting unit capable of detecting the position at which the user's operation input to the display unit is received, and the image recognition process for the first image
- the operation position detection unit receives an operation input from the user when the display unit displays the first image
- a position at which the operation input is received is Determining means for determining whether or not the specific area or the operation input allowing area is set in the vicinity thereof, and the display means determines that the determination by the determination means is affirmed.
- Medical safety system for displaying a two-image.
- the first image is an image obtained by imaging the operating room including the operation field
- the second image is an image obtained by facing the operation field
- the identification means is The medical safety system according to (2-1), wherein the surgical field photographed in the first image is specified as the specific area.
- the first image is an image obtained by photographing the operating room including the medical device used for the operation
- the second image is an image obtained by directly facing the medical device
- the identification means The medical safety system according to (2-1), wherein the position of the medical device captured in the first image is specified as the specific area.
- the specifying unit detects a plurality of markers captured in the first image by image recognition processing, and specifies the specific region based on the positions of the plurality of detected markers (2- Medical safety system described in 3).
- the first image is an image obtained by combining a plurality of images obtained by photographing different directions from each other, and the horizontal development angle reaches 360 degrees (2-1.
- the medical imaging system according to any one of (2) to (2-4).
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Surgery (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Animal Behavior & Ethology (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Heart & Thoracic Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Studio Devices (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
ユーザフレンドリーの観点から、従来技術より簡便な医療安全システムを提供する。手術室を広角撮影した展開映像を記憶するサーバ装置120と、展開映像の一部である部分映像を表示し、展開映像に対する画像認識処理によって、当該展開映像に撮影されている術野を特定するモバイル端末132と、を備える。モバイル端末132は、特定した術野を部分映像に含めるように調整する表示位置調整を、所定の契機に応じて実行することを特徴とする。
Description
本発明は、医療安全システムに関する。
近年、医療過誤や医療事故に対する問題意識が社会全体として向上しており、医療機関に対する情報公開の要請が強まっている。このような社会からの要請に応える取り組みの一環として、施設内に監視カメラ等を配置して、施設内で発生する種々の事象を撮影した映像を証拠として残すシステム(以下、医療安全システムと称する場合がある)が一部の医療機関において導入されている。
この種の医療安全システムに適用可能な技術を開示している先行技術文献として、下記の特許文献1及び特許文献2を例示する。
この種の医療安全システムに適用可能な技術を開示している先行技術文献として、下記の特許文献1及び特許文献2を例示する。
特許文献1には、単眼カメラで撮影した全周監視映像から、ユーザが指定した位置情報に従って映像の一部を切り出し、切り出した部分を歪曲補正することによって正対映像を表示する技術が開示されている。
特許文献2には、街中で撮影して得られた動画像データを符号化し、その中に撮影されている重要箇所(例えば、歩行者等)を特定した場合、重要箇所の符号化方式を変化させることによって、動画像データを再生した場合に重要箇所を強調表示させる技術が開示されている。
長時間にわたって広範囲を撮影することを目的とする監視カメラ等によって得られた映像は、解像度が低かったり広角撮影の為に映像が歪曲していたりする等によってユーザが十分な精度で細部を確認できないことがある。
上記の先行技術文献に開示されている技術を適用すれば、一定の改善を図ることができるが、未だ十分なものとは言い難い。
上記の先行技術文献に開示されている技術を適用すれば、一定の改善を図ることができるが、未だ十分なものとは言い難い。
本発明は、上記の課題に鑑みなされたものであり、ユーザフレンドリーの観点から、従来技術より簡便な医療安全システムを提供するものである。
本発明によれば、手術室を広角撮影した展開映像を記憶する記憶手段と、前記展開映像の一部である部分映像を表示可能な表示手段と、前記展開映像に対する画像認識処理によって、当該展開映像に撮影されている術野を特定する特定手段と、を備え、前記表示手段は、前記特定手段によって特定された前記術野を前記部分映像に含めるように調整する表示位置調整を、所定の契機に応じて実行する医療安全システムが提供される。
上記発明によれば、画像認識処理によって特定された術野を表示するように部分映像の表示位置を調整するので、ユーザが自ら展開映像を見ながら表示位置を調整せずとも、術野を含む部分映像を表示させることができる。
本発明によれば、ユーザフレンドリーの観点から、従来技術より簡便な医療安全システムが提供される。
以下、本発明の実施形態について、図面を用いて説明する。なお、すべての図面において、同様の構成要素には同一の符号を付し、適宜に説明を省略する。
<医療安全システム100に含まれる各構成要素について>
図1は、本実施形態に係る医療安全システム100を示す図である。
なお、図1に図示される矢印は、各構成要素の間において授受される映像データの出力元と入力先とを示すものである。従って、映像データ以外のデータ等の授受については、必ずしも各矢印が示す送受信方向と一致しなくてよい。
図1は、本実施形態に係る医療安全システム100を示す図である。
なお、図1に図示される矢印は、各構成要素の間において授受される映像データの出力元と入力先とを示すものである。従って、映像データ以外のデータ等の授受については、必ずしも各矢印が示す送受信方向と一致しなくてよい。
医療安全システム100は、撮影手段(例えば、半天球カメラ111及び定点カメラ112)と、サーバ装置120と、視聴端末装置(例えば、パソコン端末131及びモバイル端末132)と、を備えている。
半天球カメラ111は、施術の術野を含めて手術室を広角撮影する装置である。
ここで広角撮影とは、単眼の広角レンズを用いて撮影して通常より広範囲の映像を得ること、複数のレンズ(標準レンズ及び広角レンズのいずれであっても良い)を互いに相違する方向に向けて撮影し、撮影した映像を複数結合して通常より広範囲の映像を得ることをいう。
本実施形態で用いる半天球カメラ111は、3つの広角レンズを120度間隔で配置し、各広角レンズを用いて撮影された3つの映像をソフトウェア処理(画像処理)によって結合して1つの展開映像を得る。このような処理を行うので、半天球カメラ111の撮影によって得られる展開映像は水平方向の展開角度が360度に達することを特徴とする。
従って、手術室に半天球カメラ111を設置することにより、当該手術室の全景を漏れなく撮影可能であり、術野近傍の様子の他に、手術室内で動いている各医療関係者の動作、バイタルサインを表示する医療機器の画面を一度に撮影することができる。このように撮影された映像を改竄することは困難であるため、施術に係る状況証拠として用いる際にその確からしさを十分に担保することができる。
ここで広角撮影とは、単眼の広角レンズを用いて撮影して通常より広範囲の映像を得ること、複数のレンズ(標準レンズ及び広角レンズのいずれであっても良い)を互いに相違する方向に向けて撮影し、撮影した映像を複数結合して通常より広範囲の映像を得ることをいう。
本実施形態で用いる半天球カメラ111は、3つの広角レンズを120度間隔で配置し、各広角レンズを用いて撮影された3つの映像をソフトウェア処理(画像処理)によって結合して1つの展開映像を得る。このような処理を行うので、半天球カメラ111の撮影によって得られる展開映像は水平方向の展開角度が360度に達することを特徴とする。
従って、手術室に半天球カメラ111を設置することにより、当該手術室の全景を漏れなく撮影可能であり、術野近傍の様子の他に、手術室内で動いている各医療関係者の動作、バイタルサインを表示する医療機器の画面を一度に撮影することができる。このように撮影された映像を改竄することは困難であるため、施術に係る状況証拠として用いる際にその確からしさを十分に担保することができる。
図2は、半天球カメラ111の斜視図である。
半天球カメラ111は、台座部116と、支持部117と、本体部113と、を備える。本体部113は、3つの広角レンズを有しており、そのうちレンズ114とレンズ115とを図2に図示している。
本体部113は、半天球カメラ111の主たる機能(撮影機能を含む)を有する部分であり、支持部117によって台座部116に結合されている。台座部116は、手術の術野の上方に設置されることが好ましく、手術室の天井に直に設置されてもよいし、専用の支柱(不図示)を術野の上方まで伸ばして当該支柱に設置されてもよい。
半天球カメラ111は、台座部116と、支持部117と、本体部113と、を備える。本体部113は、3つの広角レンズを有しており、そのうちレンズ114とレンズ115とを図2に図示している。
本体部113は、半天球カメラ111の主たる機能(撮影機能を含む)を有する部分であり、支持部117によって台座部116に結合されている。台座部116は、手術の術野の上方に設置されることが好ましく、手術室の天井に直に設置されてもよいし、専用の支柱(不図示)を術野の上方まで伸ばして当該支柱に設置されてもよい。
図2に図示しているように、本体部113に設けられている各広角レンズ(レンズ114やレンズ115)の軸方向は、台座部116の反対方向、即ち術野の上方に台座部116を設置する前提において水平方向より下方向に傾いている。このような構造になっているので、半天球カメラ111は下方向に半天球画像(水平方向の展開角度が360度に達し且つ下方向についても漏れなく撮影されている画像)を撮影することができる。なお、展開映像は必ずしも半天球画像である必要はなく、全天球画像(水平方向にも上下方向にも展開角度が360度に達する画像)であってもよいし、水平方向又は上下方向の少なくとも一方について展開角度が360度未満である画像であってもよい。
図2で図示した半天球カメラ111は、本発明に用いられる展開映像を撮影する手段の一例であり、必ずしも撮影手段を本発明の構成要素として含まなくてもよい。また、本発明の構成要素に撮影手段を含めて実施する場合であっても、撮影手段は上記のような構造を備えずともよい。例えば、撮影手段のレンズの種別は必ずしも広角レンズではなくてもよいし、撮影手段のレンズの数は増減してもよい。
図2で図示した半天球カメラ111は、本発明に用いられる展開映像を撮影する手段の一例であり、必ずしも撮影手段を本発明の構成要素として含まなくてもよい。また、本発明の構成要素に撮影手段を含めて実施する場合であっても、撮影手段は上記のような構造を備えずともよい。例えば、撮影手段のレンズの種別は必ずしも広角レンズではなくてもよいし、撮影手段のレンズの数は増減してもよい。
図3は、半天球カメラ111によって撮影された展開映像の一具体例を示している。
当該展開映像の上部には、手術室の天井付近のディスプレイ装置201や、無影灯をスライドさせるために設けられたガイドレール202等が撮影されている。図3に図示されているディスプレイ装置201やガイドレール202のように、容易に識別がつかない程に大きく歪む被写体も存在しうる。
また、当該展開映像には、複数の医療関係者(執刀医204、助手203、医療スタッフ205~211)が撮影されている。なお、以下の説明においては、これらの医療関係者を総称して施術者と称する場合がある。
当該展開映像の上部には、手術室の天井付近のディスプレイ装置201や、無影灯をスライドさせるために設けられたガイドレール202等が撮影されている。図3に図示されているディスプレイ装置201やガイドレール202のように、容易に識別がつかない程に大きく歪む被写体も存在しうる。
また、当該展開映像には、複数の医療関係者(執刀医204、助手203、医療スタッフ205~211)が撮影されている。なお、以下の説明においては、これらの医療関係者を総称して施術者と称する場合がある。
定点カメラ112は、手術の術野に対して正対する位置から当該術野を定点撮影する装置である。定点カメラ112による撮影は、通常の撮影で足りる(広角撮影である必要はない)。
図4は、定点カメラ112によって撮影された映像の一具体例を示している。図3と図4の比較から明らかであるように、図4の映像の方が術野の状況(執刀医204や助手203の手元の動き等)をより鮮明に確認することができる。
図4は、定点カメラ112によって撮影された映像の一具体例を示している。図3と図4の比較から明らかであるように、図4の映像の方が術野の状況(執刀医204や助手203の手元の動き等)をより鮮明に確認することができる。
なお、以下の説明において、半天球カメラ111によって撮影された映像のうち施術に関するものを「展開映像」と称する場合があり、定点カメラ112によって撮影された映像のうち展開映像の撮影範囲の一部である術野を正対して撮影したものを「正対術野映像」と称する場合がある。
サーバ装置120は、施術に関する映像として、半天球カメラ111から展開映像を、定点カメラ112から正対術野映像を、それぞれ入力して所定の記憶領域に記憶する。従って、本発明の記憶手段として機能する。
また、サーバ装置120に記憶される映像には、不図示の撮影装置又は医療機器等から取得した映像が含まれてもよいし、これらの撮影装置又は医療機器は医療安全システム100の内部構成としてもよいし、外部構成としてもよい。
また、サーバ装置120に記憶される映像には、不図示の撮影装置又は医療機器等から取得した映像が含まれてもよいし、これらの撮影装置又は医療機器は医療安全システム100の内部構成としてもよいし、外部構成としてもよい。
パソコン端末131及びモバイル端末132は、サーバ装置120に記憶されている映像を表示する為のアプリケーションソフト(ビューア)がインストールされているコンピュータ機器である。
モバイル端末132は、主として手術室外で待機している医療関係者(麻酔科医等)が手術室で行われている施術の様子を確認する用途を想定したビューアをインストールしており、サーバ装置120に記憶される映像をライブストリーミングで配信を受けて表示することができる。
パソコン端末131は、主として手術後に手術内容を解析する用途を想定したビューアをインストールしており、サーバ装置120に記憶される映像の再生に係る機能に加えて、当該映像を資料用に編集する機能等も有している。
なお、パソコン端末131及びモバイル端末132にインストールされるビューアは、必ずしも本発明専用のアプリケーションソフトによって実現されなくてもよく、汎用のアプリケーションソフトやこれを改良又は変更したソフトによって実現されてもよい。
モバイル端末132は、主として手術室外で待機している医療関係者(麻酔科医等)が手術室で行われている施術の様子を確認する用途を想定したビューアをインストールしており、サーバ装置120に記憶される映像をライブストリーミングで配信を受けて表示することができる。
パソコン端末131は、主として手術後に手術内容を解析する用途を想定したビューアをインストールしており、サーバ装置120に記憶される映像の再生に係る機能に加えて、当該映像を資料用に編集する機能等も有している。
なお、パソコン端末131及びモバイル端末132にインストールされるビューアは、必ずしも本発明専用のアプリケーションソフトによって実現されなくてもよく、汎用のアプリケーションソフトやこれを改良又は変更したソフトによって実現されてもよい。
パソコン端末131及びモバイル端末132は、共にディスプレイ装置とポインティングデバイスを有するコンピュータ機器であり、各々のディスプレイ装置の種別又は各々のポインティングデバイスの種別は特に制限されるものではない。
パソコン端末131及びモバイル端末132のいずれに係るディスプレイ装置においても、展開映像及び正対術野映像を表示可能であり、更に、後述する部分映像を表示可能である為、本発明の表示手段を構成しうる。
パソコン端末131及びモバイル端末132のいずれに係るポインティングデバイスにおいても、ディスプレイ装置(画面に表示されている各種映像等)に対するユーザの操作入力を受け付けた位置を検知可能であり、本発明の操作位置検知手段を構成しうる。
なお、本実施形態で説明するパソコン端末131の機能及びモバイル端末132の機能は、必ずしも一方のみが実行可能である必要はなく、一方の機能として説明したものの一部又は全部を他方が実行可能であってもよい。例えば、後述するモバイル端末132による処理の一部又は全部は、パソコン端末131においても同様に実現できてもよい。
また、後述するモバイル端末132による処理の一部又は全部は、必ずしもモバイル端末132が単体で実行可能である必要はなく、サーバ装置120が当該処理の一部(例えば、画像認識処理)を実行してもよい。
パソコン端末131及びモバイル端末132のいずれに係るディスプレイ装置においても、展開映像及び正対術野映像を表示可能であり、更に、後述する部分映像を表示可能である為、本発明の表示手段を構成しうる。
パソコン端末131及びモバイル端末132のいずれに係るポインティングデバイスにおいても、ディスプレイ装置(画面に表示されている各種映像等)に対するユーザの操作入力を受け付けた位置を検知可能であり、本発明の操作位置検知手段を構成しうる。
なお、本実施形態で説明するパソコン端末131の機能及びモバイル端末132の機能は、必ずしも一方のみが実行可能である必要はなく、一方の機能として説明したものの一部又は全部を他方が実行可能であってもよい。例えば、後述するモバイル端末132による処理の一部又は全部は、パソコン端末131においても同様に実現できてもよい。
また、後述するモバイル端末132による処理の一部又は全部は、必ずしもモバイル端末132が単体で実行可能である必要はなく、サーバ装置120が当該処理の一部(例えば、画像認識処理)を実行してもよい。
<モバイル端末132の表示について>
次に、モバイル端末132の表示について説明する。
モバイル端末132は、サーバ装置120に記憶されている展開映像及び正対術野映像を、サーバ装置120から取得し、それぞれを個別に又は同時に表示可能なタッチパネルである。ここでタッチパネルとは、ディスプレイ装置の画面がポインティングデバイスになっている装置である。
次に、モバイル端末132の表示について説明する。
モバイル端末132は、サーバ装置120に記憶されている展開映像及び正対術野映像を、サーバ装置120から取得し、それぞれを個別に又は同時に表示可能なタッチパネルである。ここでタッチパネルとは、ディスプレイ装置の画面がポインティングデバイスになっている装置である。
モバイル端末132は、展開映像に対する画像認識処理によって、当該展開映像に撮影されている特定領域を特定する機能(以下、特定手段と称する)を有する。
本実施形態における特定領域とは、具体的には、展開映像に撮影されている術野であるものとして説明するが、本発明の実施はこれに限られず展開映像に撮影されている別の領域を特定領域としてもよい。
なお、展開映像に撮影されている術野を特定する画像認識処理については、後述する。
本実施形態における特定領域とは、具体的には、展開映像に撮影されている術野であるものとして説明するが、本発明の実施はこれに限られず展開映像に撮影されている別の領域を特定領域としてもよい。
なお、展開映像に撮影されている術野を特定する画像認識処理については、後述する。
モバイル端末132は、展開映像を表示している場合にユーザの操作入力を受け付けた場合、当該操作入力を受け付けた位置が、特定領域又はその近傍に設定される操作入力許容領域であるか否かを判定する機能(以下、判定手段と称する)を有する。
ここで操作入力許容領域とは、特定手段による処理に基づいて設定されるモバイル端末132における画面上の領域であり、特定領域に包含されるものであってもよいし、その一部が特定領域に重畳しており且つ残りが特定領域から外れるものであってもよいし、その全部が特定領域から外れており且つ当該特定領域の近傍に位置するものであってもよい。
ここで操作入力許容領域とは、特定手段による処理に基づいて設定されるモバイル端末132における画面上の領域であり、特定領域に包含されるものであってもよいし、その一部が特定領域に重畳しており且つ残りが特定領域から外れるものであってもよいし、その全部が特定領域から外れており且つ当該特定領域の近傍に位置するものであってもよい。
モバイル端末132は、上記の判定手段による判定が肯定された場合に正対術野映像を表示する。ここで、当該場合にモバイル端末132によって表示される正対術野映像の態様は、ユーザが視認可能なものであれば特に制限されず、正対術野映像を展開映像の上位層(レイヤー)にポップアップする態様であってもよいし、正対術野映像と展開映像とを別に表示領域(ウインドウ)に分けて表示する態様であってもよいし、展開映像を消失させた上で正対術野映像を表示する態様であってもよい。
上記のように、モバイル端末132は、比較的広い領域を撮影した展開映像の表示中に受け付けた操作入力の位置が、画像認識処理に基づいて特定される術野(特定領域)又はその近傍の範囲に設定される判定上の領域(操作入力許容領域)である場合に、比較的細部まで確認容易な正対術野映像を表示させることができる。従って、ユーザは、直感的な操作によって、施術に関する映像から必要な情報を得ることができる。
また、モバイル端末132の表示領域は、パソコン端末131の表示領域に比べて小さいため、半天球カメラ110によって撮影された展開画像の全体を表示すると視認しがたくなる。従って、モバイル端末132は、展開映像の一部である部分映像を限定的に表示する機能を有している。
図5は、モバイル端末132によって表示される部分映像の一具体例である。
図5に図示されるように、モバイル端末132によって表示される部分映像は、歪曲補正を施した上で、正対表示されることが好ましい。ユーザにとって視認容易となるからである。
図5に図示されるように、モバイル端末132によって表示される部分映像は、歪曲補正を施した上で、正対表示されることが好ましい。ユーザにとって視認容易となるからである。
モバイル端末132によって表示される部分映像の表示位置は、ユーザの操作に応じて調整可能であることが好ましく、少なくとも水平方向については全周にわたって表示可能である(いわゆるパノラマビューアとして機能する)ことがより好ましい。
なお、部分映像に係る表示位置の調整において展開映像に撮影されている術野を特定する処理は、上述した特定手段によって実現され、モバイル端末132は、特定手段により特定した術野を部分映像に含めるように調整する表示位置調整を、所定の契機に応じて実行する機能を有している。
ここで所定の契機とは、モバイル端末132が認識可能な契機(イベント)であれば特に制限されず、例えば、モバイル端末132において部分映像の表示機能を起動することであってもよいし、モバイル端末132が特定の操作を受け付けることであってもよい。但し、所定の契機として扱われる特定の操作は、ユーザフレンドリーの観点から簡易なもの(例えば、一回の操作で済むもの)であることが好ましい。
このように所定の契機に応じて自動的に表示位置を術野に合わせる機能をモバイル端末132が有しているので、ユーザが部分映像を確認しながら術野を探す手間や時間が省ける。術野は手術室の展開映像において特に注視したい箇所の一つであるため、モバイル端末132の表示位置を術野に合わせる上記の機能は、ユーザフレンドリーの観点から極めて有用である。
なお、部分映像に係る表示位置の調整において展開映像に撮影されている術野を特定する処理は、上述した特定手段によって実現され、モバイル端末132は、特定手段により特定した術野を部分映像に含めるように調整する表示位置調整を、所定の契機に応じて実行する機能を有している。
ここで所定の契機とは、モバイル端末132が認識可能な契機(イベント)であれば特に制限されず、例えば、モバイル端末132において部分映像の表示機能を起動することであってもよいし、モバイル端末132が特定の操作を受け付けることであってもよい。但し、所定の契機として扱われる特定の操作は、ユーザフレンドリーの観点から簡易なもの(例えば、一回の操作で済むもの)であることが好ましい。
このように所定の契機に応じて自動的に表示位置を術野に合わせる機能をモバイル端末132が有しているので、ユーザが部分映像を確認しながら術野を探す手間や時間が省ける。術野は手術室の展開映像において特に注視したい箇所の一つであるため、モバイル端末132の表示位置を術野に合わせる上記の機能は、ユーザフレンドリーの観点から極めて有用である。
<展開映像に撮影されている術野を特定する画像認識処理>
上述したモバイル端末132の画像認識処理について、詳細に説明する。
本発明者は、当該画像認識処理を汎用的なものにするため、施術者の身体部位を検出する画像認識処理によって術野を特定する方式を採用することにした。外科手術は複数の施術者でチームを組んで行われるのが一般的であり、上記のような画像認識処理であれば処理の対象となる被写体が存在しない可能性がほとんどないからである。
なお、特定の術具や医療機器(医療ロボットを含む)を用いる施術に特化するのであれば、施術者の身体部位に代えて又は加えて、術具や医療機器を画像認識処理によって検出することも考えられる。
上述したモバイル端末132の画像認識処理について、詳細に説明する。
本発明者は、当該画像認識処理を汎用的なものにするため、施術者の身体部位を検出する画像認識処理によって術野を特定する方式を採用することにした。外科手術は複数の施術者でチームを組んで行われるのが一般的であり、上記のような画像認識処理であれば処理の対象となる被写体が存在しない可能性がほとんどないからである。
なお、特定の術具や医療機器(医療ロボットを含む)を用いる施術に特化するのであれば、施術者の身体部位に代えて又は加えて、術具や医療機器を画像認識処理によって検出することも考えられる。
本実施形態において「施術者の身体部位を検出する」とは、施術者の実際の身体部位のみに着目して検出する処理に限られず、例えば、保護メガネを検出することによって施術者の目を検出したり、手術帽を検出することによって施術者の頭部を検出したり、手術マスクを検出することによって施術者の口を検出したりすることも含むものとする。
「施術者の身体部位を検出する画像認識処理」の方式については適宜選択可能である。本発明者による試行錯誤の結果として、身体部位の形状(輪郭)を抽出する方式が最も汎用性が高かい結果となったが、無影灯を用いる施術においては術野の色彩や輝度を加味して身体部位を抽出すると検出精度が高くなりうる。また、対象となる身体部位の種別によっては、その動き(動作パターン)を加味して身体部位を抽出することも考えられる。
「施術者の身体部位を検出する画像認識処理」の方式については適宜選択可能である。本発明者による試行錯誤の結果として、身体部位の形状(輪郭)を抽出する方式が最も汎用性が高かい結果となったが、無影灯を用いる施術においては術野の色彩や輝度を加味して身体部位を抽出すると検出精度が高くなりうる。また、対象となる身体部位の種別によっては、その動き(動作パターン)を加味して身体部位を抽出することも考えられる。
モバイル端末132の画像認識処理の一具体例を、図6及び図7を用いて説明する。
図6及び図7は、モバイル端末132の画像認識処理を説明するための模式図であり、実際に表示される映像とは異なる。これらの図において網掛けした箇所が、モバイル端末132による画像認識処理によって検出された身体部位として説明する。
図6及び図7は、モバイル端末132の画像認識処理を説明するための模式図であり、実際に表示される映像とは異なる。これらの図において網掛けした箇所が、モバイル端末132による画像認識処理によって検出された身体部位として説明する。
この具体例において、モバイル端末132によって検出される身体部位は、施術者の手又は腕である。
例えば、図3に図示した展開映像に対する画像認識処理によって、執刀医204、助手203、医療スタッフ206及び医療スタッフ207の手や腕が検出されたものとする(図6参照)。
ここで、医療スタッフ205、医療スタッフ208及び医療スタッフ209については、他の被写体に隠れて十分に手や腕が撮影されていないため、当該画像認識処理によって手や腕を検出することができない。また、医療スタッフ210及び医療スタッフ211については、半天球カメラ111から離れており、十分な大きさで撮影されていないため、当該画像認識処理によって手や腕を検出することができない。
このように、モバイル端末132は、画像認識処理によって展開映像に撮影されている身体部位が複数検出された場合、検出された手や腕(身体部位)が密集している位置の近傍を術野OFとして特定する(図7参照)。
ここでは、執刀医204と助手203の近傍が術野OFに該当する。
例えば、図3に図示した展開映像に対する画像認識処理によって、執刀医204、助手203、医療スタッフ206及び医療スタッフ207の手や腕が検出されたものとする(図6参照)。
ここで、医療スタッフ205、医療スタッフ208及び医療スタッフ209については、他の被写体に隠れて十分に手や腕が撮影されていないため、当該画像認識処理によって手や腕を検出することができない。また、医療スタッフ210及び医療スタッフ211については、半天球カメラ111から離れており、十分な大きさで撮影されていないため、当該画像認識処理によって手や腕を検出することができない。
このように、モバイル端末132は、画像認識処理によって展開映像に撮影されている身体部位が複数検出された場合、検出された手や腕(身体部位)が密集している位置の近傍を術野OFとして特定する(図7参照)。
ここでは、執刀医204と助手203の近傍が術野OFに該当する。
続いて、上記の画像認識処理とは別の具体例を、図8及び図9を用いて説明する。
図8及び図9は、図6及び図7と同様に、モバイル端末132の画像認識処理を説明するための模式図であり、実際に表示される映像とは異なる。これらの図において網掛けした箇所が、モバイル端末132による画像認識処理によって検出された身体部位として説明する。
図8及び図9は、図6及び図7と同様に、モバイル端末132の画像認識処理を説明するための模式図であり、実際に表示される映像とは異なる。これらの図において網掛けした箇所が、モバイル端末132による画像認識処理によって検出された身体部位として説明する。
この具体例において、モバイル端末132によって検出される身体部位は、施術者の顔(頭部)であって、その検出には両目を特徴点とする画像認識処理が行われる。
例えば、図3に図示した展開映像に対する画像認識処理によって、執刀医204、医療スタッフ206~209の顔が検出されたものとする(図8参照)。
ここで、助手203の顔は横向きであり、医療スタッフ205は後向きであるため、両目が撮影されておらず、当該画像認識処理によって顔を検出することができない。また、医療スタッフ210及び医療スタッフ211については、半天球カメラ111から離れており、十分な大きさで撮影されていないため、当該画像認識処理によって顔を検出することができない。
そして、モバイル端末132は、検出した顔と両目から施術者の位置と向きを判定し、判定した位置が所定値以下に近接している施術者が複数検出された場合、複数の施術者の向きが交差する部分を術野として特定する(図9参照)。
ここで、モバイル端末132は、近接している施術者として執刀医204、医療スタッフ208及び医療スタッフ209を検出しており、それぞれの視線方向V4、視線方向V8及び視線方向V9を施術者の向きとして、それぞれ判定している。そして、モバイル端末132は、視線方向V4と視線方向V8の交点IP1の位置と、視線方向V4と視線方向V9の交点IP2の位置と、を含む領域を術野OFとして特定している。なお、視線方向V8と視線方向V9とは交差しないため、術野OFの特定に用いられない。
例えば、図3に図示した展開映像に対する画像認識処理によって、執刀医204、医療スタッフ206~209の顔が検出されたものとする(図8参照)。
ここで、助手203の顔は横向きであり、医療スタッフ205は後向きであるため、両目が撮影されておらず、当該画像認識処理によって顔を検出することができない。また、医療スタッフ210及び医療スタッフ211については、半天球カメラ111から離れており、十分な大きさで撮影されていないため、当該画像認識処理によって顔を検出することができない。
そして、モバイル端末132は、検出した顔と両目から施術者の位置と向きを判定し、判定した位置が所定値以下に近接している施術者が複数検出された場合、複数の施術者の向きが交差する部分を術野として特定する(図9参照)。
ここで、モバイル端末132は、近接している施術者として執刀医204、医療スタッフ208及び医療スタッフ209を検出しており、それぞれの視線方向V4、視線方向V8及び視線方向V9を施術者の向きとして、それぞれ判定している。そして、モバイル端末132は、視線方向V4と視線方向V8の交点IP1の位置と、視線方向V4と視線方向V9の交点IP2の位置と、を含む領域を術野OFとして特定している。なお、視線方向V8と視線方向V9とは交差しないため、術野OFの特定に用いられない。
図7と図9とを比較すれば明かであるように、同じ展開画像を対象として画像認識処理を行ったとしても、採用する画像認識処理の方式によって特定される術野OFの位置は変動しうる。
従って、モバイル端末132による画像認識処理の方式を適宜変更し、又は組み合わせることによって、術野の特定精度を高めることも考えられる。
従って、モバイル端末132による画像認識処理の方式を適宜変更し、又は組み合わせることによって、術野の特定精度を高めることも考えられる。
<パソコン端末131の表示について>
次に、パソコン端末131の表示について説明する。
パソコン端末131の表示領域は、パソコン端末131の表示領域に比べて大きいため、半天球カメラ110によって撮影された展開画像の全体表示を許容する。また、パソコン端末131は、当該展開画像に加えて、他の映像も並行して表示することも可能である。
なお、上記の記載は、パソコン端末131が、上述のモバイル端末132のように、部分映像を表示すること(展開画像のパノラマビューアとして機能すること)を否定するものではない。
次に、パソコン端末131の表示について説明する。
パソコン端末131の表示領域は、パソコン端末131の表示領域に比べて大きいため、半天球カメラ110によって撮影された展開画像の全体表示を許容する。また、パソコン端末131は、当該展開画像に加えて、他の映像も並行して表示することも可能である。
なお、上記の記載は、パソコン端末131が、上述のモバイル端末132のように、部分映像を表示すること(展開画像のパノラマビューアとして機能すること)を否定するものではない。
図10は、パソコン端末131による表示の一具体例である。
表示領域DA1には、半天球カメラ110によって撮影された手術室の展開画像が全体表示される。
表示領域DA2には、当該手術室において施術を受けた患者の心拍数モニタに係る映像が表示される。
表示領域DA3には、当該施術における術野を不図示の撮影装置によって撮影された映像が表示される。
パソコン端末131は、これらの映像を同期表示することによって、手術室全体の様子と、術野の様子と、心拍数の変化と、を比較しながら、当該施術を解析することができる。
表示領域DA1には、半天球カメラ110によって撮影された手術室の展開画像が全体表示される。
表示領域DA2には、当該手術室において施術を受けた患者の心拍数モニタに係る映像が表示される。
表示領域DA3には、当該施術における術野を不図示の撮影装置によって撮影された映像が表示される。
パソコン端末131は、これらの映像を同期表示することによって、手術室全体の様子と、術野の様子と、心拍数の変化と、を比較しながら、当該施術を解析することができる。
更に、表示領域DA4には、展開映像に関するタイムラインが表示される。即ち、パソコン端末131は、本発明に係るタイムライン表示手段として機能する。
表示領域DA4に表示されるカーソルC1は、その時点で表示領域DA1に表示されている映像が、タイムライン上の何処であるのか(どの時点なのか)を表示している。
表示領域DA4に表示されるタグT1とタグT2は、タイムライン上に対する表示位置によって、ビープ音が発されたタイミングを表示し、その表示態様(色彩等)によってビープ音を発した機器を表示している。ここでビープ音とは、機器が発する音(警告音等)である。
表示領域DA4に表示されるカーソルC1は、その時点で表示領域DA1に表示されている映像が、タイムライン上の何処であるのか(どの時点なのか)を表示している。
表示領域DA4に表示されるタグT1とタグT2は、タイムライン上に対する表示位置によって、ビープ音が発されたタイミングを表示し、その表示態様(色彩等)によってビープ音を発した機器を表示している。ここでビープ音とは、機器が発する音(警告音等)である。
半天球カメラ110は、展開映像の撮影と並行して、マイクロフォン(不図示)を用いて音声データを録音することができる。
サーバ装置120は、録音された音声データを、当該展開映像に係る映像データに対応付けて記憶する。更に、サーバ装置120は、音声データに対する音声認識処理によって、当該音声データに含まれているビープ音を検出してそのタイミングを特定すると共に、検出したビープ音を発した機器を特定する機能を有する。即ち、サーバ装置120は、本発明に係るビープ音特定手段として機能する。
パソコン端末131は、タグT1とタグT2を表示することによって、サーバ装置120によって検出されたビープ音のタイミングと、そのビープ音を発した機器と、をユーザに認識させることができる。
サーバ装置120は、録音された音声データを、当該展開映像に係る映像データに対応付けて記憶する。更に、サーバ装置120は、音声データに対する音声認識処理によって、当該音声データに含まれているビープ音を検出してそのタイミングを特定すると共に、検出したビープ音を発した機器を特定する機能を有する。即ち、サーバ装置120は、本発明に係るビープ音特定手段として機能する。
パソコン端末131は、タグT1とタグT2を表示することによって、サーバ装置120によって検出されたビープ音のタイミングと、そのビープ音を発した機器と、をユーザに認識させることができる。
機器又はその機器の製造元によって、発するビープ音が異なるため、ビープ音を録音して解析することによって、どのようなインシデントが、どのタイミングで発生したのかを知ることができる。
しかしながら、解析用の映像データと共にビープ音を録音し、ビープ音を音声認識処理によって識別し、ビープ音のタイミングを表示するといった上記機能を備えた医療安全システムは従来医療現場に導入されていなかった。本実施形態における医療安全システム100は上記機能を有しているため、例えば、医療事故が発生した際の原因究明等に役立てることができる。
しかしながら、解析用の映像データと共にビープ音を録音し、ビープ音を音声認識処理によって識別し、ビープ音のタイミングを表示するといった上記機能を備えた医療安全システムは従来医療現場に導入されていなかった。本実施形態における医療安全システム100は上記機能を有しているため、例えば、医療事故が発生した際の原因究明等に役立てることができる。
<本発明の変形例について>
ここまで各図を用いて説明される実施形態に即して本発明を説明したが、本発明は上述の実施形態に限定されるものではなく、本発明の目的が達成される限りにおける種々の変形、改良等の態様も含む。
なお、以下に説明する変形例において、パソコン端末131の機能又はモバイル端末132の機能として説明するものであっても、必ずしも一方のみが実行可能である必要はなく、一方の機能として説明したものの一部又は全部を他方が実行可能であってもよい。
ここまで各図を用いて説明される実施形態に即して本発明を説明したが、本発明は上述の実施形態に限定されるものではなく、本発明の目的が達成される限りにおける種々の変形、改良等の態様も含む。
なお、以下に説明する変形例において、パソコン端末131の機能又はモバイル端末132の機能として説明するものであっても、必ずしも一方のみが実行可能である必要はなく、一方の機能として説明したものの一部又は全部を他方が実行可能であってもよい。
上記の実施形態の説明においては図1に図示する構成要素を前提として説明したが、本発明の各構成要素は、その機能を実現するように形成されていればよい。従って、本発明の各構成要素は、個々に独立した存在である必要はなく、複数の構成要素が一個の部材として形成されていること、一つの構成要素が複数の部材で形成されていること、ある構成要素が他の構成要素の一部であること、ある構成要素の一部と他の構成要素の一部とが重複していること、等を許容する。
例えば、本発明に係る医療動画処理システムには、半天球カメラ111に相当する撮影装置が含まれなくてもよく、システム外部の撮影装置から取得した展開映像を用いて本発明が実施されてもよい。
例えば、本発明に係る医療動画処理システムには、半天球カメラ111に相当する撮影装置が含まれなくてもよく、システム外部の撮影装置から取得した展開映像を用いて本発明が実施されてもよい。
上述の実施形態において説明した半天球カメラ111の構成や半天球カメラ111による撮影方式は一具体例であって、本発明の実施はこれに限られない。
例えば、単眼の広角レンズを用いる撮影装置や、この撮影装置によって撮影された展開映像を用いて本発明が実施されてもよい。
例えば、単眼の広角レンズを用いる撮影装置や、この撮影装置によって撮影された展開映像を用いて本発明が実施されてもよい。
上述の実施形態において、モバイル端末132が検出する施術者の身体部位の具体例として手、腕及び頭部を挙げたが、これに代えて又は加えて、その他の部位を検出してもよい。
上述の実施形態において、モバイル端末132は、両目を特徴点として施術者の顔を検出する旨を説明したが、これに代えて又は加えて、その他の部位(鼻、口、耳等)を特徴点とする画像認識処理によって顔を検出して施術者の位置や向きを判定してもよい。
上述の実施形態において、モバイル端末132による画像認識処理で特定される術野の候補が一つである例を挙げて説明したが、特定される術野の候補が複数存在する場合、ユーザに選択肢を提示し、ユーザが選択した術野の近傍を表示してもよい。或いは、モバイル端末132は、このような場合、特定の操作を受け付けるごとに複数の候補を順次切り替えて表示してもよい。
上述の実施形態において、モバイル端末132による画像認識処理で特定される特定領域は術野のみを挙げたが、他の特定領域を特定できる機能を有してもよい。例えば、展開映像が施術に用いる医療機器を含めて手術室を撮影した映像であり、定点カメラ112によって撮影されている映像が医療機器に正対して撮影した映像である場合、モバイル端末132(特定手段)は、展開映像に撮影されている医療機器の位置を特定領域として特定することができてもよい。
このとき、モバイル端末132(特定手段)は、展開映像に撮影されている複数のマーカを画像認識処理によって検出し、検出した複数のマーカの位置に基づいて医療機器の位置を特定してもよい(例えば、手術の事前に医療機器の画面の四隅にマーカを付しておき、複数のマーカに囲まれている方形の領域を医療機器の位置として特定する等)。
或いは、モバイル端末132は、一又は複数の医療機器について形状や色彩等をパターン認識しており、展開映像に撮影されている対象物から当該パターン認識にマッチングするものを医療機器として特定してもよい。
このとき、モバイル端末132(特定手段)は、展開映像に撮影されている複数のマーカを画像認識処理によって検出し、検出した複数のマーカの位置に基づいて医療機器の位置を特定してもよい(例えば、手術の事前に医療機器の画面の四隅にマーカを付しておき、複数のマーカに囲まれている方形の領域を医療機器の位置として特定する等)。
或いは、モバイル端末132は、一又は複数の医療機器について形状や色彩等をパターン認識しており、展開映像に撮影されている対象物から当該パターン認識にマッチングするものを医療機器として特定してもよい。
上述の実施形態における判定手段は、展開映像を表示している場合にユーザの操作入力を受け付けた位置が当該展開映像内に包含されている操作入力許容領域であるか否かを判定するものとして説明したが、上述した部分映像を表示している場合についても同様に、ユーザの操作入力を受け付けた位置が当該部分映像内に包含されている操作入力許容領域であるか否かを判定できてもよい。
この変形例において、定点カメラ112によって撮影されている映像が正対術野映像であり、且つ、特定手段によって特定される特定領域が術野である場合には、判定手段による判定が肯定されると表示手段は正対術野映像を表示してもよい。
また、この変形例において、定点カメラ112によって撮影されている映像が医療機器に正対して撮影した映像である場合であり、且つ、特定手段によって特定される特定領域が医療機器の位置である場合には、判定手段による判定が肯定されると表示手段は医療機器の正対映像を表示してもよい。
更に、この変形例において、定点カメラ112によって撮影されている映像が正対術野映像又は医療機器の正対映像以外の所定映像である場合であり、且つ、特定手段によって特定される特定領域が当該所定映像に撮影されている被写体の撮影領域である場合には、判定手段による判定が肯定されると表示手段は当該所定映像を表示してもよい。
この変形例において、定点カメラ112によって撮影されている映像が正対術野映像であり、且つ、特定手段によって特定される特定領域が術野である場合には、判定手段による判定が肯定されると表示手段は正対術野映像を表示してもよい。
また、この変形例において、定点カメラ112によって撮影されている映像が医療機器に正対して撮影した映像である場合であり、且つ、特定手段によって特定される特定領域が医療機器の位置である場合には、判定手段による判定が肯定されると表示手段は医療機器の正対映像を表示してもよい。
更に、この変形例において、定点カメラ112によって撮影されている映像が正対術野映像又は医療機器の正対映像以外の所定映像である場合であり、且つ、特定手段によって特定される特定領域が当該所定映像に撮影されている被写体の撮影領域である場合には、判定手段による判定が肯定されると表示手段は当該所定映像を表示してもよい。
上述の実施形態において、パソコン端末131は、表示領域DA1に表示している展開映像に関するタイムラインを表示領域DA4に表示するものとして説明したが、その他に表示領域DA2や表示領域DA3に表示されている映像に関するタイムラインを更に表示領域DA4に表示してもよい。即ち、パソコン端末131は、同期表示している複数の映像に関するタイムラインをそれぞれ表示してもよい。
本実施形態は以下の技術思想を包含する。
(1-1)手術室を広角撮影した展開映像を記憶する記憶手段と、前記展開映像の一部である部分映像を表示可能な表示手段と、前記展開映像に対する画像認識処理によって、当該展開映像に撮影されている術野を特定する特定手段と、を備え、前記表示手段は、前記特定手段によって特定された前記術野を前記部分映像に含めるように調整する表示位置調整を、所定の契機に応じて実行する医療安全システム。
(1-2)前記表示手段は、前記部分映像の他に、前記展開映像及び前記術野に正対して撮影した正対術野映像を表示可能であり、前記表示手段に対するユーザの操作入力を受け付けた位置を検知可能な操作位置検知手段と、前記表示手段が前記展開映像又は前記部分映像を表示している場合に前記操作位置検知手段がユーザの操作入力を受け付けた場合、当該操作入力を受け付けた位置が、前記特定手段によって特定された前記術野又はその近傍に設定されている操作入力許容領域であるか否かを判定する判定手段と、を、更に備え、前記表示手段は、前記判定手段による判定が肯定された場合に前記正対術野映像を表示する(1-1)に記載の医療映像システム。
(1-3)前記特定手段は、施術者の身体部位を検出する画像認識処理によって前記術野を特定する(1-1)又は(1-2)に記載の医療安全システム。
(1-4)前記特定手段によって検出される前記身体部位は、施術者の手又は腕であり、前記特定手段は、前記展開映像に撮影されている前記身体部位を複数検出した場合、検出した前記身体部位が密集している位置を前記術野として特定する(1-3)に記載の医療安全システム。
(1-5)前記特定手段は、検出した前記身体部位から施術者の位置と向きを判定し、判定された位置が所定値以下に近接している施術者が複数検出された場合、複数の施術者の向きが交差する位置の近傍を前記術野として特定する(1-3)に記載の医療安全システム。
(1-6)前記記憶手段に記憶される前記展開映像は、互いに相違する方向を撮影した映像を複数結合して得られる映像であり、且つ水平方向の展開角度が360度に達することを特徴とする(1-1)から(1-5)のいずれか一つに記載の医療安全システム。
(1-7)前記記憶手段は、前記展開映像の撮影と並行して録音された音声データを、当該展開映像に係る映像データに対応付けて記憶し、前記音声データに対する音声認識処理によって、当該音声データに含まれているビープ音を検出し、検出した前記ビープ音を発した機器を特定するビープ音特定手段を備える(1-1)から(1-6)のいずれか一つに記載の医療安全システム。
(1-8)前記展開映像に関するタイムラインを表示するタイムライン表示手段を備え、前記タイムライン表示手段は、前記ビープ音特定手段によって検出された前記ビープ音が発されたタイミングを、前記タイムライン上に表示することを特徴とする(1-7)に記載の医療安全システム。
(2-1)施術に関する第一映像と、前記第一映像の撮影範囲の一部を撮影した第二映像と、を入力する入力手段と、前記入力手段から入力された前記第一映像及び前記第二映像を表示可能な表示手段と、前記表示手段に対するユーザの操作入力を受け付けた位置を検知可能な操作位置検知手段と、前記第一映像に対する画像認識処理によって、当該第一映像に撮影されている特定領域を特定する特定手段と、前記表示手段が前記第一映像を表示している場合に前記操作位置検知手段がユーザの操作入力を受け付けた場合、当該操作入力を受け付けた位置が、前記特定領域又はその近傍に設定されている操作入力許容領域であるか否かを判定する判定手段と、を有しており、前記表示手段は、前記判定手段による判定が肯定された場合に前記第二映像を表示する医療安全システム。
(2-2)前記第一映像は、術野を含めて手術室を撮影した映像であり、前記第二映像は、前記術野に正対して撮影した映像であり、前記特定手段は、前記第一映像に撮影されている前記術野を前記特定領域として特定する(2-1)に記載の医療安全システム。
(2-3)前記第一映像は、施術に用いる医療機器を含めて手術室を撮影した映像であり、前記第二映像は、前記医療機器に正対して撮影した映像であり、前記特定手段は、前記第一映像に撮影されている前記医療機器の位置を前記特定領域として特定する(2-1)に記載の医療安全システム。
(2-4)前記特定手段は、前記第一映像に撮影されている複数のマーカを画像認識処理によって検出し、検出した複数の前記マーカの位置に基づいて前記特定領域を特定する(2-3)に記載の医療安全システム。
(2-5)前記第一映像は、互いに相違する方向を撮影した映像を複数結合して得られる映像であり、且つ水平方向の展開角度が360度に達することを特徴とする(2-1)から(2-4)のいずれか一項に記載の医療映像システム。
(1-1)手術室を広角撮影した展開映像を記憶する記憶手段と、前記展開映像の一部である部分映像を表示可能な表示手段と、前記展開映像に対する画像認識処理によって、当該展開映像に撮影されている術野を特定する特定手段と、を備え、前記表示手段は、前記特定手段によって特定された前記術野を前記部分映像に含めるように調整する表示位置調整を、所定の契機に応じて実行する医療安全システム。
(1-2)前記表示手段は、前記部分映像の他に、前記展開映像及び前記術野に正対して撮影した正対術野映像を表示可能であり、前記表示手段に対するユーザの操作入力を受け付けた位置を検知可能な操作位置検知手段と、前記表示手段が前記展開映像又は前記部分映像を表示している場合に前記操作位置検知手段がユーザの操作入力を受け付けた場合、当該操作入力を受け付けた位置が、前記特定手段によって特定された前記術野又はその近傍に設定されている操作入力許容領域であるか否かを判定する判定手段と、を、更に備え、前記表示手段は、前記判定手段による判定が肯定された場合に前記正対術野映像を表示する(1-1)に記載の医療映像システム。
(1-3)前記特定手段は、施術者の身体部位を検出する画像認識処理によって前記術野を特定する(1-1)又は(1-2)に記載の医療安全システム。
(1-4)前記特定手段によって検出される前記身体部位は、施術者の手又は腕であり、前記特定手段は、前記展開映像に撮影されている前記身体部位を複数検出した場合、検出した前記身体部位が密集している位置を前記術野として特定する(1-3)に記載の医療安全システム。
(1-5)前記特定手段は、検出した前記身体部位から施術者の位置と向きを判定し、判定された位置が所定値以下に近接している施術者が複数検出された場合、複数の施術者の向きが交差する位置の近傍を前記術野として特定する(1-3)に記載の医療安全システム。
(1-6)前記記憶手段に記憶される前記展開映像は、互いに相違する方向を撮影した映像を複数結合して得られる映像であり、且つ水平方向の展開角度が360度に達することを特徴とする(1-1)から(1-5)のいずれか一つに記載の医療安全システム。
(1-7)前記記憶手段は、前記展開映像の撮影と並行して録音された音声データを、当該展開映像に係る映像データに対応付けて記憶し、前記音声データに対する音声認識処理によって、当該音声データに含まれているビープ音を検出し、検出した前記ビープ音を発した機器を特定するビープ音特定手段を備える(1-1)から(1-6)のいずれか一つに記載の医療安全システム。
(1-8)前記展開映像に関するタイムラインを表示するタイムライン表示手段を備え、前記タイムライン表示手段は、前記ビープ音特定手段によって検出された前記ビープ音が発されたタイミングを、前記タイムライン上に表示することを特徴とする(1-7)に記載の医療安全システム。
(2-1)施術に関する第一映像と、前記第一映像の撮影範囲の一部を撮影した第二映像と、を入力する入力手段と、前記入力手段から入力された前記第一映像及び前記第二映像を表示可能な表示手段と、前記表示手段に対するユーザの操作入力を受け付けた位置を検知可能な操作位置検知手段と、前記第一映像に対する画像認識処理によって、当該第一映像に撮影されている特定領域を特定する特定手段と、前記表示手段が前記第一映像を表示している場合に前記操作位置検知手段がユーザの操作入力を受け付けた場合、当該操作入力を受け付けた位置が、前記特定領域又はその近傍に設定されている操作入力許容領域であるか否かを判定する判定手段と、を有しており、前記表示手段は、前記判定手段による判定が肯定された場合に前記第二映像を表示する医療安全システム。
(2-2)前記第一映像は、術野を含めて手術室を撮影した映像であり、前記第二映像は、前記術野に正対して撮影した映像であり、前記特定手段は、前記第一映像に撮影されている前記術野を前記特定領域として特定する(2-1)に記載の医療安全システム。
(2-3)前記第一映像は、施術に用いる医療機器を含めて手術室を撮影した映像であり、前記第二映像は、前記医療機器に正対して撮影した映像であり、前記特定手段は、前記第一映像に撮影されている前記医療機器の位置を前記特定領域として特定する(2-1)に記載の医療安全システム。
(2-4)前記特定手段は、前記第一映像に撮影されている複数のマーカを画像認識処理によって検出し、検出した複数の前記マーカの位置に基づいて前記特定領域を特定する(2-3)に記載の医療安全システム。
(2-5)前記第一映像は、互いに相違する方向を撮影した映像を複数結合して得られる映像であり、且つ水平方向の展開角度が360度に達することを特徴とする(2-1)から(2-4)のいずれか一項に記載の医療映像システム。
この出願は、2017年11月20日に出願された日本出願特願2017-222866及び2018年7月27日に出願された日本出願特願2018-141822を基礎とする優先権を主張し、その開示のすべてをここに取り込む。
100 医療安全システム
111 半天球カメラ
112 定点カメラ
120 サーバ装置
131 パソコン端末
132 モバイル端末
201 ディスプレイ装置
202 ガイドレール
203 助手
204 執刀医
205~211 医療スタッフ
111 半天球カメラ
112 定点カメラ
120 サーバ装置
131 パソコン端末
132 モバイル端末
201 ディスプレイ装置
202 ガイドレール
203 助手
204 執刀医
205~211 医療スタッフ
Claims (8)
- 手術室を広角撮影した展開映像を記憶する記憶手段と、
前記展開映像の一部である部分映像を表示可能な表示手段と、
前記展開映像に対する画像認識処理によって、当該展開映像に撮影されている術野を特定する特定手段と、を備え、
前記表示手段は、前記特定手段によって特定された前記術野を前記部分映像に含めるように調整する表示位置調整を、所定の契機に応じて実行する医療安全システム。 - 前記表示手段は、前記部分映像の他に、前記展開映像及び前記術野に正対して撮影した正対術野映像を表示可能であり、
前記表示手段に対するユーザの操作入力を受け付けた位置を検知可能な操作位置検知手段と、
前記表示手段が前記展開映像又は前記部分映像を表示している場合に前記操作位置検知手段がユーザの操作入力を受け付けた場合、当該操作入力を受け付けた位置が、前記特定手段によって特定された前記術野又はその近傍に設定されている操作入力許容領域であるか否かを判定する判定手段と、
を、更に備え、
前記表示手段は、前記判定手段による判定が肯定された場合に前記正対術野映像を表示する請求項1に記載の医療安全システム。 - 前記特定手段は、施術者の身体部位を検出する画像認識処理によって前記術野を特定する請求項1又は2に記載の医療安全システム。
- 前記特定手段によって検出される前記身体部位は、施術者の手又は腕であり、
前記特定手段は、前記展開映像に撮影されている前記身体部位を複数検出した場合、検出した前記身体部位が密集している位置を前記術野として特定する請求項3に記載の医療安全システム。 - 前記特定手段は、
検出した前記身体部位から施術者の位置と向きを判定し、
判定された位置が所定値以下に近接している施術者が複数検出された場合、複数の施術者の向きが交差する位置の近傍を前記術野として特定する請求項3に記載の医療安全システム。 - 前記記憶手段に記憶される前記展開映像は、互いに相違する方向を撮影した映像を複数結合して得られる映像であり、且つ水平方向の展開角度が360度に達することを特徴とする請求項1から5のいずれか一項に記載の医療安全システム。
- 前記記憶手段は、前記展開映像の撮影と並行して録音された音声データを、当該展開映像に係る映像データに対応付けて記憶し、
前記音声データに対する音声認識処理によって、当該音声データに含まれているビープ音を検出し、検出した前記ビープ音を発した機器を特定するビープ音特定手段を備える請求項1から6のいずれか一項に記載の医療安全システム。 - 前記展開映像に関するタイムラインを表示するタイムライン表示手段を備え、
前記タイムライン表示手段は、前記ビープ音特定手段によって検出された前記ビープ音が発されたタイミングを、前記タイムライン上に表示することを特徴とする請求項7に記載の医療安全システム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201880074894.5A CN111373741B (zh) | 2017-11-20 | 2018-11-01 | 医疗安全*** |
US16/763,305 US20200337798A1 (en) | 2017-11-20 | 2018-11-01 | Medical safety system |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017-222866 | 2017-11-20 | ||
JP2017222866A JP6355146B1 (ja) | 2017-11-20 | 2017-11-20 | 医療安全システム |
JP2018141822A JP6436606B1 (ja) | 2018-07-27 | 2018-07-27 | 医療映像システム |
JP2018-141822 | 2018-07-27 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2019098052A1 true WO2019098052A1 (ja) | 2019-05-23 |
Family
ID=66540234
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2018/040760 WO2019098052A1 (ja) | 2017-11-20 | 2018-11-01 | 医療安全システム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20200337798A1 (ja) |
CN (1) | CN111373741B (ja) |
WO (1) | WO2019098052A1 (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2003094768A1 (fr) * | 2002-05-07 | 2003-11-20 | Kyoto University | Systeme de visualisation medicale |
JP2006164251A (ja) * | 2004-11-09 | 2006-06-22 | Toshiba Corp | 医療情報システム、医療情報システムプログラムおよび医療行為の管理のための情報処理を行う医療情報処理方法 |
JP2012244480A (ja) * | 2011-05-20 | 2012-12-10 | Toshiba Teli Corp | 全方位監視画像表示処理システム |
JP2013062559A (ja) * | 2010-09-02 | 2013-04-04 | Dodwell Bms Ltd | 撮像監視画面及び全方位撮像画面監視システム |
JP2017192043A (ja) * | 2016-04-13 | 2017-10-19 | キヤノン株式会社 | 医療用画像管理システム、表示システム、表示装置 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8864652B2 (en) * | 2008-06-27 | 2014-10-21 | Intuitive Surgical Operations, Inc. | Medical robotic system providing computer generated auxiliary views of a camera instrument for controlling the positioning and orienting of its tip |
KR20100062575A (ko) * | 2008-12-02 | 2010-06-10 | 삼성테크윈 주식회사 | 감시 카메라의 제어 방법 및 이를 사용한 제어 장치 |
US20100245582A1 (en) * | 2009-03-25 | 2010-09-30 | Syclipse Technologies, Inc. | System and method of remote surveillance and applications therefor |
CN201465328U (zh) * | 2009-04-29 | 2010-05-12 | 上海华平信息技术股份有限公司 | 基于流媒体传输的远程医疗教学*** |
US8526700B2 (en) * | 2010-10-06 | 2013-09-03 | Robert E. Isaacs | Imaging system and method for surgical and interventional medical procedures |
US20120158011A1 (en) * | 2010-12-16 | 2012-06-21 | Sandhu Kulbir S | Proximity sensor interface in a robotic catheter system |
CN202035101U (zh) * | 2011-04-27 | 2011-11-09 | 西安市四腾工程有限公司 | 医用家属探视*** |
FR3004330B1 (fr) * | 2013-04-10 | 2016-08-19 | Analytic - Tracabilite Hospitaliere | Tracabilite des instruments chirurgicaux dans une enceinte hospitaliere |
CN103815972A (zh) * | 2014-02-26 | 2014-05-28 | 上海齐正微电子有限公司 | 腹胸腔镜的手术区域自动跟踪***及方法 |
CN110215279B (zh) * | 2014-07-25 | 2022-04-15 | 柯惠Lp公司 | 用于机器人手术***的增强手术现实环境 |
WO2016033452A1 (en) * | 2014-08-29 | 2016-03-03 | Ioculi Inc. | Image diversion to capture images on a portable electronic device |
CN104316166A (zh) * | 2014-09-16 | 2015-01-28 | 国家电网公司 | 变电站异响视频定位方法 |
DE112016006299T5 (de) * | 2016-01-25 | 2018-10-11 | Sony Corporation | Medizinische Sicherheitssteuerungsvorrichtung, medizinisches Sicherheitssteuerungsverfahren und medizinisches Unterstützungssystem |
CN107977138A (zh) * | 2016-10-24 | 2018-05-01 | 北京东软医疗设备有限公司 | 一种显示方法及装置 |
CN106534672A (zh) * | 2016-11-02 | 2017-03-22 | 深圳亿维锐创科技股份有限公司 | 一种医疗手术直播*** |
-
2018
- 2018-11-01 WO PCT/JP2018/040760 patent/WO2019098052A1/ja active Application Filing
- 2018-11-01 CN CN201880074894.5A patent/CN111373741B/zh active Active
- 2018-11-01 US US16/763,305 patent/US20200337798A1/en not_active Abandoned
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2003094768A1 (fr) * | 2002-05-07 | 2003-11-20 | Kyoto University | Systeme de visualisation medicale |
JP2006164251A (ja) * | 2004-11-09 | 2006-06-22 | Toshiba Corp | 医療情報システム、医療情報システムプログラムおよび医療行為の管理のための情報処理を行う医療情報処理方法 |
JP2013062559A (ja) * | 2010-09-02 | 2013-04-04 | Dodwell Bms Ltd | 撮像監視画面及び全方位撮像画面監視システム |
JP2012244480A (ja) * | 2011-05-20 | 2012-12-10 | Toshiba Teli Corp | 全方位監視画像表示処理システム |
JP2017192043A (ja) * | 2016-04-13 | 2017-10-19 | キヤノン株式会社 | 医療用画像管理システム、表示システム、表示装置 |
Also Published As
Publication number | Publication date |
---|---|
US20200337798A1 (en) | 2020-10-29 |
CN111373741A (zh) | 2020-07-03 |
CN111373741B (zh) | 2023-01-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5934363B2 (ja) | インタラクティブな画面閲覧 | |
US11172158B2 (en) | System and method for augmented video production workflow | |
US20040070674A1 (en) | Method, apparatus, and system for remotely annotating a target | |
US9141864B2 (en) | Remote gaze control system and method | |
WO2014199786A1 (ja) | 撮影システム | |
CN111062234A (zh) | 一种监控方法、智能终端及计算机可读存储介质 | |
US10970578B2 (en) | System and method for extracting information from a non-planar surface | |
CN106709954A (zh) | 在投影区域遮罩人脸的方法 | |
US20160048024A1 (en) | Information processing method and electronic device | |
JP6355146B1 (ja) | 医療安全システム | |
CN116055696A (zh) | 一种投影设备及投影方法 | |
JP2006258651A (ja) | 不特定撮像装置の検出方法および装置 | |
CN107430276B (zh) | 头戴式显示设备 | |
US11272125B2 (en) | Systems and methods for automatic detection and insetting of digital streams into a video | |
JP2005117285A (ja) | 情報入力装置、通信端末及び通信方法 | |
JP6436606B1 (ja) | 医療映像システム | |
US20020080999A1 (en) | System and method for highlighting a scene under vision guidance | |
KR101619956B1 (ko) | 감시카메라용 자동 다중 추적 영상처리장치 | |
WO2019098052A1 (ja) | 医療安全システム | |
US20080123956A1 (en) | Active environment scanning method and device | |
KR101619953B1 (ko) | 감시카메라용 자동 다중 추적 영상처리방법 | |
KR20180089639A (ko) | 수술 영상촬영 및 처리 시스템 | |
JP5781017B2 (ja) | 映像会話システム | |
TWI521962B (zh) | And a method and a method for reducing the occurrence of the captured object by the captured object | |
JPH08305841A (ja) | 歪曲収差画像補正表示装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 18878094 Country of ref document: EP Kind code of ref document: A1 |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 18878094 Country of ref document: EP Kind code of ref document: A1 |