CN113229961A - 照相机*** - Google Patents

照相机*** Download PDF

Info

Publication number
CN113229961A
CN113229961A CN202110493176.5A CN202110493176A CN113229961A CN 113229961 A CN113229961 A CN 113229961A CN 202110493176 A CN202110493176 A CN 202110493176A CN 113229961 A CN113229961 A CN 113229961A
Authority
CN
China
Prior art keywords
camera
image
unit
central
periphery
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110493176.5A
Other languages
English (en)
Inventor
梶田大树
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2017169185A external-priority patent/JP6933935B2/ja
Application filed by Individual filed Critical Individual
Publication of CN113229961A publication Critical patent/CN113229961A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Signal Processing (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Gynecology & Obstetrics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

一种照相机***，其在手术等施疗行为时使用，具备能够以固定图像及动态图像拍摄治疗对象患部和/或施术者的手部的带无影灯的照相机机构以及显示由该照相机机构拍摄的影像的监控机构；照相机机构具备整体基体、中央照相机单元以及至少一个周围照相机单元；中央照相机单元具备中央单元基体、操作手柄以及中央照相机；周围照相机单元分别具备周围单元基体、周围照相机以及多个光源；中央照相机和周围照相机能够在不同的视点同时拍摄治疗对象患部和/或施术者的手部；监控机构具备至少一台显示装置以及通过观看者的操作也能够从周围照相机所拍摄的影像中选择显示于该显示装置的影像的操作装置。

Description

照相机***
本申请为申请号为201880057495.8、申请日为2018年6月19日、发明名称为“多视点影像观看***及照相机***”的发明专利申请的分案申请。
技术领域
本发明涉及一种利用多视点照相机拍摄外科手术等手艺的影像，并选择显示于监控显示器上的影像的***。
背景技术
以往，作为能够对多视点影像的内容从自由的方向简单地选择视点的观看界面，已提出了一种观看对象中心的盯视观看界面(例如，非专利文献1)。然而，其设想的是从所有角度观看进行体育、演艺等的人的全身，而没有设想注视施术者的手部操作而从所有角度进行观看。若照相机与拍摄对象之间没有障碍物，则无论选择哪个影像，均包括拍摄对象，因而视点的选项中无论包括哪个影像都不会有问题。但是，当拍摄外科手术等的手部操作时，存在施术者的头、身体会进入照相机与手部之间，从而导致看不见手部的问题。这样的影像没有信息价值，作为多视点影像的观看界面，选项中不应该包括这样的视点影像。当选择视点时选择了没有信息价值的影像的情况下，必须重新选择视点。
此外，在本说明书中，所谓施术者，是指以外科医生为首的“物品制造：
家具工、刀具工、雕刻家、烧炭工、织布技术人员、玻璃产品制造工、窑业技术人员、搪瓷工、砖/瓦类制造工、铸件工、蜡烛制造工、模具制作工等；
传统工艺：
玻璃吹制工、人偶师、金属加工人员、竹工匠、刀匠、蜡塑工、友禅印染、佛龛、佛具工、和纸伞工、烟花师、书法用品工、和纸工、细木工、贴花毽球板工、装潢师、陶艺家、鬼瓦工、漆工、灯笼/团扇/扇子工、裱糊技师、弓/箭师、面具工(能乐面具、狂言面具、神乐面具)、漆器工等；
建築、土木：
泥水匠、木匠、石匠、神社木匠、油漆工、钣金工、榻榻米工、焊接工、电工、造园师(园艺师)等；
食品相关：
厨师、寿司工、日式点心工、盐工、豆腐工、面包工、清酒制造工、荞麦工、咖啡烘焙工、日本豆面酱工、酱油工、葡萄酒制造工、豆腐工；
服务(时装、医疗)：
美容师、理发师、清洁工、鞋匠、和服师、美学家、综合美容师、和服穿搭师、制革工、皮革服装裁缝、整体师、柔道正骨师、脊医、按摩推拿指压师、针灸师、魔术师等；
艺术：
画家、书法家等”。
如上所述，在观看外科手术等的手部操作的多视点影像的内容时，希望观看界面中因障碍物导致看不见手部的影像从选项中被去除。
另外，在进行手术等医疗行为时会使用照明，在该照明中通常使用无影灯，以防止在治疗对象患部产生施术者的身体尤其是头、手臂、手等以及手术器械的影子。
作为该无影灯，大多使用具备安装于从天花板悬垂的机械臂的前端且能够移动和偏斜的圆形的支撑基体、配置于该支撑基体的中央的中央灯、以及配置于该中央灯的周围且安装于所述支撑基体的多个周围灯的结构的无影灯。
另外，在施疗过程中，由于用于进行下一手术器械的准备的辅助施术的人员以及在其他手术室掌握手术进行状况的人员无法直接观察治疗患部，因而通常通过拍摄影像来了解治疗患部的状态。
此时，可采用照相机，但从便于伴随无影灯的移动、偏斜而移动、偏斜出发，该摄像机大多安装于该无影灯。作为在无影灯上设置照相机的例子，提出了日本特愿平11-267663(专利文献1)、日本特愿2016-518657(专利文献2)，在接近无影灯中央的光源的位置或操作无影灯的手柄部的内部设有照相机。
当采用这种结构的带照相机的无影灯来施术时，即使照明照到了治疗对象患部，施术者的身体尤其是头、手臂、手等以及手术器械等也会照进拍摄影像中，从而产生未照到该患部这样的状况。下面对该课题进行详细描述。
现有技术文献
专利文献
专利文献1：日本特愿平11-267663
专利文献2：日本特愿2016-518657
专利文献3：日本特开2012-120812号公报
非专利文献
非专利文献1：间濑健二、东海彰吾、川本哲也、藤井俊彰“关于多视点图像的盯视观看方式与操作界面的设计的考察”，人类界面学会研究报告集，Vol.11，No.1，pp.7-12，2009.3.10-11。
另外，在手术中的治疗对象患部拍摄中，会产生由于作为治疗者的施术者的窥视动作、手或手指的移动或手术器械等而使作为拍摄对象的治疗对象患部隐藏的视野障碍。为了避免视野障碍地完成拍摄，有必要根据在手术过程中不断变化的治疗对象患部与有可能成为拍摄障碍的施术者、手术器械等的位置关系来调整照相机的位置、方向、视角。但是，实际上，难以根据治疗对象患部与障碍物的位置变化来立即进行照相机的操作，下面列举产生困难的因素。
首先，可以列举的是，难以在手术室的现场配置用于如上所述的照相机操作的人员。作为主刀医生或助手参加手术的外科医生，即施术者、将手术器械递给施术者的擦洗护士在手术进行时集中，因而难以在手术过程中掌握拍摄影像的状况。在手术室，除了擦洗护士外，还追加配置了发放手术器械的巡回护士，有时也会在工作的间歇进行照相机的操作。即便如此，仍旧难以在每次治疗对象患部与障碍物的位置发生变化时立即进行照相机的操作。
接下来，可以列举存在难以改变照相机位置的状况。在手术场所，治疗对象患部被消毒，躺在手术用床上的患者被经消毒的布覆盖，施术者、擦洗护士在手术衣上面穿着消毒服，在其周围配置有放置经消毒的手术器械的器械台。在拍摄治疗对象患部时，不允许照相机触碰这些消毒状态的人或物，可以配置照相机的位置是治疗对象患部的正上方附近，或离消毒状态的人或物更远的位置。另外，无影灯通常配置于治疗对象患部的正上方附近。当照相机位于治疗对象患部的正上方附近时，由于可操作照相机位置的巡回护士未穿消毒服，因而难以在不触碰消毒状态的人或物的情况下靠近照相机。
另外，如专利文献1、专利文献2所示，在无影灯上仅设置一台照相机时，虽然照明照到了治疗对象患部，但可能会发生因施术者的头或手等障碍物介于照相机与治疗对象患部之间而产生视野障碍的状况。此时，为了避开障碍物而拍摄治疗对象患部，有必要操作照相机的位置，但在专利文献1、专利文献2中，均未将照相机和无影灯设置于同一壳体，因此，当根据施术者的动作来操作照相机的位置、方向时，无影灯的位置、方向也与其连动地发生变化，从而产生照明照不到治疗对象患部的困难。
无论在哪一种情况中，共同之处是，在手术室中，相比拍摄良好的影像，完成安全的手术更优先，相比照相机的操作，向治疗对象患部进行稳定的照明更优先。从这些理由出发，专利文献1、专利文献2中任一文献的照相机均难以避开障碍物所致的视野障碍而执行治疗对象患部的拍摄。
另外，当拍摄过程中产生障碍物所致的照相机的视野障碍时，由于施术者在手术进行时集中，不能同时看显示器，因而难以注意到产生了照相机的视野障碍，而手术就这样在未执行拍摄的状况下进行下去。
另一方面，在医疗现场要求的手术影像中，最需要的信息是对治疗对象患部进行医疗操作的内容，为了让拍摄影像的观看者准确地随时掌握该内容，有必要避开施术者的头或体、手臂或手等拍摄的视野障碍来执行治疗对象患部的拍摄。
发明内容
发明要解决的技术问题
本发明鉴于如上所述的必要性或状况而进行，本发明的目的在于，提供一种在观看多视点影像的内容时，预先从选项中去除了看不见手部的影像的多视点影像观看***。
另外，本发明鉴于如上所述的必要性或状况而进行，本发明的目的在于，提供一种能够在施术者意识不到拍摄而集中于手术的同时，完成治疗对象患部的拍摄，且在被拍摄的影像中的任一个中均高概率地照到了治疗对象患部的照相机***。
用于解决课题的技术方案
根据本申请的第一发明，对于由多个摄像机拍摄的图像数据及作为配置于时域的帧序列的动态图像(影像)数据，通过在信息处理装置中进行以手为对象的图像识别，来选择影像中显示了手的影像，或不选择影像中未显示手的影像，由此预先筛选显示于影像显示部的影像并呈现给观看者。
根据本申请的第二发明，对于由照相机和多个光源构成的照相机单元，通过使光源照明的范围落入由照相机拍摄的范围中，并配置多个该照相机单元来构成无影灯，从而多个照相机被分散地配置于无影灯的多个光源集合的内部，由此实现在任意的光源照到了治疗对象患部的情况下，均能够同时通过位于该光源附近的照相机来完成拍摄的状况。在该状况中，施术者能够在意识不到拍摄状况的情况下对治疗对象患部保持稳定的照明，同时即使不改变照相机的位置也能够在某一照相机下完成治疗对象患部的拍摄。另外，为了改善对治疗对象患部的稳定照明，即使在无影灯移动的情况下，也能够在某一照相机下实现治疗对象患部的拍摄。下面记载更具体的构成的说明。
本申请的第二发明是用于达成上述目的的一种照相机***，其具备进行手术等医疗行为时拍摄治疗对象患部的带无影灯的照相机机构、及显示由该照相机机构拍摄的影像的监控机构，就该带无影灯的照相机机构而言，整体形态与手术时通常使用的无影灯同样，具备多个光源，与一般的无影灯同样，具备能够移动和倾斜的整体基体和能够在该整体基体的大致中央处安装消毒罩的操作手柄，所述照相机***的特征在于，在该整体基体的中央部具备中央照相机单元，且在该中央照相机单元的周围具备至少一个周围照相机单元。整体的形态、构成与一般的无影灯同样，施术者可以按照操作一般的无影灯的感觉对治疗对象患部进行照明。
此时，所述周围照相机单元中，在各自所具备的多个光源的附近具备周围照相机，由于光源的照明方向与该周围照相机的拍摄方向一致，因此，当多个光源中的某一个的照明到达了治疗对象患部时，由位于到达了该患部的光源附近的周围照相机拍摄到该患部的可能性较高。反之，当照明未到达治疗对象患部时，在拍摄到的影像中也未照到该患部的可能性较高，但由于在照明未到达该患部的状况下难以实施手术，因而施术者会抓住所述操作手柄而使该带无影灯的照相机机构的所述整体基体移动和偏斜以使照明到达该患部，这样的操作与一般的无影灯中的操作同样，通过该操作，能够恢复到该患部被某一个光源附近的照相机拍摄的状况。在该操作期间，施术者无需留意拍摄的状况。此外，在所述周围照相机单元中，光源是必备的，但是否在所述中央照相机单元中设置光源则是任意的。
虽然向所述监控机构输入多个照相机的影像，且显示于显示装置的影像在初始设定中优选为中央照相机的影像，但是，根据手术的状况，存在周围照相机的影像具有更多信息的情况，可以通过操作设置于该监控机构的操作装置来切换该显示装置的影像或同时显示多个影像。
发明的效果
本申请的第一发明通过如上所述的构成而提供支持与手术等手艺相关的多视点影像的有效观看的功能，通过预先从选项中去除诸如手因障碍物而隐藏或因偏离照相机的视角而未照到的没有信息价值的影像，或预先选择并呈现诸如手大多在画面的中心附近照到的信息价值较大的影像，从而可期待减轻观看者从多个选项中选择适当的影像时的压力的效果。
本申请的第二发明通过如上所述的构成而提供支持手术等医疗相关的动态图像的有效运用的功能，
·施术者在意识不到拍摄的情况下仅按照与以往操作无影灯相同的感觉进行手术即可完成治疗对象患部的拍摄。
·无需配置用于拍摄的人员。
·当发生障碍物所致的照相机的视野障碍时，同时，光源的照明也不会到达治疗对象患部，因而施术者能够注意到视野障碍的发生，通过使带无影灯的照相机机构移动、偏斜以便进行照明，也能够改善视野障碍。
·显示器中能够更确实地显示治疗对象患部的影像，手术相关的巡回护士、麻醉科医生、作为手术参观者的医师或学生、手术室的管理者等人员即使从施术者的背后窥视实际进行了手术的现场也能掌握更准确的手术进行状况，可以期待手术室的有效率运营、污染减少所带来的创伤部感染发生数量减少等。
·此外，在医疗现场，关于拍摄了包括手术在内的医疗处置的影像用途，可以期待查明医疗事故的原因、向患者进行更具体的说明以提高满意度、改善外科医生或年轻医疗人员的教育等的效果。
此外，在牙科医疗领域，日本特开2012-120812号公报(专利文献3)中提出了在输出由多个摄像机得到的多视点影像的摄像机***中组合无影灯的手段，但即使简单地将该手段挪用到处理全身的医科手术，也无法实现良好的拍摄。
首先，为了从多视点拍摄牙科中的治疗对象患部，有必要按照通过作为口腔入口的裂口或上下门牙之间能够由多个照相机拍摄到至少到大臼齿为止的深度的结构的方式配置摄像机。即使是成年男性，裂口也为大至6cm左右的宽度，上下门牙之间的距离达5cm左右，到第三大臼齿为止的深度也为6cm左右。为了让牙科医生以牙科中的诊察姿势操作无影灯，无影灯即使高也位于距患者60～70cm的位置，因而为了从该距离通过裂口或门牙之间从多个视点拍摄第三大臼齿，照相机之间的距离有必要配置在15cm左右以内。当然，在儿童或女性等嘴较小的情况下，照相机必须配置在更近的位置。这样，照相机仅间隔比手术时可能产生视野障碍的施术者的头的宽度窄的距离，从而难以在医科手术中拍摄治疗对象患部。在医科手术中，以比牙科的诊疗更广的身体范围为治疗对象，参与治疗的人员人数也较多，因而为了向治疗对象患部照射良好的照明，无影灯有必要在至少50cm左右的宽度具备光源。若不注意照相机与光源的位置关系，则即便在该无影灯上设置了多个照相机，如前所述，也会发生虽然照明照到了治疗对象患部但未被照相机拍摄到的状况。为了注意该状况，有必要由第三者对显示器进行监视，为了从未实现拍摄的状况恢复，仍然有必要针对每个无影灯操作照相机的位置、方向，这会对治疗的进行造成妨碍，还有可能对患者造成危害。
附图说明
图1是示出本申请的第一发明的构成的一例的图。
图2是示出在本申请的第一发明中选择影像的算法的一例的流程图。
图3是在本申请的第一发明中从手的识别区域计算平均点的算法的一例的流程图。
图4是示出在本申请的第一发明装置中检测到图像中包含的手的区域的识别区域的一例的图。
图5是示出在本申请的第一发明装置中，检测图像中包含的手的区域，求出各区域的中心点，由这些各区域的中心点的坐标的平均计算平均点，并计算与图像中心点的距离的过程的一例的图。
图6是示出在本申请的第一发明装置中，检测图像中包含的手的区域，求出各区域的中心点，由这些各区域的中心点的坐标的平均计算平均点，并计算与图像中心点的距离的过程的一例的图。
图7是示出在本申请的第一发明装置中，检测图像中包含的手的区域，求出各区域的中心点，由这些各区域的中心点的坐标的平均计算平均点，并计算与图像中心点的距离的过程的一例的图。
图8是本申请的第二发明的实施方式的照相机***的概略图。
图9是示出通过操作装置从多个照相机的影像中选择显示于显示装置的影像的构成的图。
图10是示出同时在录像单元中记录多个照相机的影像的构成的图。
图11是示出将同时拍摄的多个影像在共同的拍摄日期和时刻记录下来并同时播放的实施方式例的图。
图12是示出通过操作手柄的旋转使周围照相机单元的偏斜单元偏斜的实施方式例的图。
图13是示出当在本发明装置中设置了会告知照相机的影像方向的导向光照射装置时照射至拍摄对象的导向光的实施方式例的图。
图14是在本发明装置中设置了麦克风的实施方式例。
图15是示出将同时获取到的多个影像和语音在共同的拍摄日期和时间记录下来并同时播放的实施方式例的图。
图16是在本发明装置中设置了半球照相机的实施方式例。
图17是在操作手柄上设置光源、视角、焦点的自动调节、录像单元、录音装置的操作装置，且焦距操作装置通过来自监控机构的操作装置例的输入或单元基体的偏斜来启动焦点的自动调节的本发明装置的实施方式例。
图18是示出将所记录的多个影像和语音在共同的拍摄日期和时间的范围内剪裁并作为多个分割数据来输出的构成的图。
图19是示出在显示装置识别到影像障碍时切换影像的算法的一例的流程图。
图20是示出通过距离测量装置和监控机构所具备的CPU来选择显示于显示装置的影像的构成的图。
图21是示出自动识别动态图像数据、语音数据的内容并制成字符串数据，并在拍摄时间信息中附加字符串的标识信息并制成列表数据的构成的图。
具体实施方式
下面参照附图来详细说明使本申请的第一发明具体化的实施方式。为便于说明，图进行了示意性绘制。此外，本发明的实施方式涉及的多视点影像观看***的应用范围不限于下面示出的构成，而是可以应用于任意的构成。
图1示出由一台主照相机12和两台副照相机14所构成的三台摄像机拍摄被摄体10所得的三个影像被发送至信息处理装置20的图像获取部22，由控制部24选择一个影像，发送至影像显示部34，并发送至显示装置40的本发明的实施例。摄像机的数量为两台以上，且无上限。各照相机被赋予照相机ID，各个照相机同时将附加了相同时间信息的图像数据与自身的照相机ID信息一同发送至图像获取部22。在某一时间点从控制部24发送至影像显示部34的图像数据是由图像(影像)选择部32选择并发送的被输入至图像获取部22的多个图像数据中包括被图像识别部26识别到手的手图像数据的图像数据，图像数据的数量不限于一个，存在可选择多个图像数据的情况。信息处理装置20和显示装置40可以是PC，也可以是智能手机、平板终端。
图2是示出控制部24中的图像(影像)选择部32的算法的例子的流程图。首先，由各摄像机时间同步地拍摄到的影像被发送至信息处理装置20的图像获取部22，并传递至控制部24。此时，在控制部24，对于所传递的各个图像数据，在图像识别部26识别作为在某一时间点的帧上图像中显示了手的区域的识别区域(步骤S1，图4的52、54、56、58)。此外，关于图像识别，以往提出了：在数码相机、数字摄像机等摄像装置中，从图像上检测人的脸、手，并跟踪检测到的脸进行聚焦，或根据检测到的手的动作来执行预定的处理。另外，作为可以用作以动态图像为对象的图像识别技术的例子，可以列举谷歌(Google)公司提供的CloudVideo Intelligence(云视频情报)或微软公司提供的Video Indexer(视频索引器)等API(应用程序编程界面)。
另外，作为识别手的图像识别的对象，也可以采用使用能够将温度分布以图像的形式视觉化地显示的热成像仪、能够将与被摄体的距离信息以图像的形式获取的深度照相机等所获得的图像数据。
接下来，在计数部28，对各图像数据的识别区域的数量进行计数(步骤S2)。接下来，在平均点计算部30，从各图像数据的识别区域计算平均点的坐标(步骤S3，图6的70)。关于计算平均点的方法，将在后面描述。由此，成为对同一时间的各照相机的图像数据分别赋予了识别区域的数量和平均点的坐标信息的状态。在此基础上，在图像(影像)选择部32，首先确认识别区域的数量的最大值(步骤S4)。当在各图像数据的任一个中均未识别到手时，即，当识别区域的数量在任一图像数据中均为0时，选择作为主照相机12的影像的主影像(步骤S9)，并发送至影像显示部34。此外，主照相机12可以通过观看者的操作、计算机的算法而将副照相机14中的某一个照相机重新定义为主照相机12，同时，主照相机12可以置换为副照相机14。
当在步骤S4中识别区域的数量的最大值为1以上时，选择识别区域的数量为最大值的图像数据(步骤S5)。此时，确认所选择的图像数据是否为多个(步骤S6)。若识别区域的数量为最大值的图像数据只有一个，则选择包括该图像数据的影像，并发送至影像显示部34。若识别区域的数量为最大值的图像数据为两个以上，则对这些图像中的每一个分别计算从所述平均点的坐标到图像的中心点的距离(图7的90)，并选择包括该距离最小的图像数据的影像，并发送至影像显示部34。
图3是示出在平均点计算部30从各图像数据的识别区域计算平均点的坐标的算法的例子的流程图。首先，对各图像数据确认在计数部28获得的识别区域的数量(步骤S31)。对于识别区域的数量为0、即未识别到手的图像数据，不计算平均点(步骤S36)。若识别区域的数量为1以上，则根据在图像识别部26检测到的识别区域的坐标信息来计算各个区域的中心点的坐标(步骤S32。图5示出当以矩形识别区域时的例子。在这种情况下，中心点等于成为矩形的四个角的坐标的平均的坐标)。接下来，确认识别区域的数量是否为2以上(步骤S33)。当识别区域的数量为1时，该区域的中心点成为该照相机图像的平均点(步骤S35)。当识别区域的数量为2以上时，由各识别区域的中心点的所有坐标计算平均值，并将其定义为平均点的坐标(步骤S34，图6的70)。
此外，图2、图3所示的算法为一例，即使各自的步骤顺序调换，或追加/删除步骤，只要是所期待的结果，即诸如不选择不识别手的影像，或选择较多地包括手的影像、配置为手包围影像中心的影像的算法，就可以落入本申请发明的范围内。
另外，对于发送至图像获取部22的影像，控制部24进行从图像识别到影像选择的处理的对象无需为所有帧的图像数据，进行处理的时间的间隔可以通过观看者的选择、计算机的算法来进行调整，如每5秒、每10秒等。
图4是示出作为通过图像识别部26识别到手的区域的识别区域52、54、56、58的一例的图。该图中示出了该识别区域为矩形的情况，但只要是被机械地识别的情况，则其可以为椭圆、多边形等任何形态。另外，为了容易理解，画面中示出了矩形，但作为实际的用户界面，矩形也可以不显示于所述显示装置，而只要在内部进行计算机处理即可。另外，例如当以手术为拍摄对象时，也存在以手为治疗对象的情况，在这种情况下，不希望识别区域中包括治疗对象的手。因此，在图像识别单元，也可以采用能够区分戴手套的手和不戴手套的手而进行识别的单元。
图5是示出通过平均点计算部30求出了所述识别区域52、54、56、58的中心点62、64、66、68的例子的图。当该识别区域52、54、56、58为矩形时，就该中心点62、64、66、68而言，存在通过对矩形的四个角的坐标算出平均数的情况、求出对角线的交点的情况。求该中心点的方法除此之外还有很多情况，但只要作为结果可计算出与该中心点相同或近似的点，则可以采取任何方法。另外，当识别区域不是矩形时，可以采取诸如计算识别区域的面积，并将成为其重心的点设为中心点的方法。
图6是示出通过所述平均点计算部30求出了所述中心点62、64、66、68的平均点70的例子的图。该平均点70的坐标只要作为对所述中心点62、64、66、68由各自的坐标值计算平均值而得的坐标计算即可。
图7是示出根据通过所述平均点计算部30计算出的所述平均点70的坐标，通过图像(影像)选择部32求出该平均点70与影像的中心点60的距离的例子的图。此外，该图中的距离表示考虑x坐标和y坐标两者来计算的距离，但是，例如也可以利用x坐标或y坐标中的某一方来计算。另外，在求出该平均点70与影像的中心点80的距离90时，可以如上述构成那样在图像(影像)选择部32进行，也可以在所述平均点计算部30预先计算该平均点70与影像的中心点80的距离90，在这种情况下，可以将该距离90的值传递至所述图像(影像)选择部32，以用于影像的选择。
接下来，参照以下图8之后的附图来详细说明使本申请的第二发明具体化的实施方式。为便于说明，图被示意性地绘制。
图8示出照相机***110由一台中央照相机单元116和六台周围照相机单元126构成的本发明的实施例。无影灯的光源对中央照相机单元的光源124而言不是必备的，关于周围照相机单元的光源132，可以如图1的实施例那样以围绕周围照相机130的方式配置，也可以以并列的方式配置。中央照相机122可以如图8的实施例那样并排设置于操作手柄120，也可以设置于操作手柄内。各照相机的影像显示于监控机构140的显示装置142。带无影灯的照相机机构112和监控机构140的数量最小为一对一，但也可以是多对一、一对多、多对多中的任一情况。监控机构140不限于在手术室中固定于壁面的情况、装载于推车并能够移动的情况，当通过院内网络而设置于手术室、医务室的员工休息室时，若有患者的同意，则可能存在设置于其他设施并通过互联网以手术直播的形式观看手术状况的情况。显示于显示装置142的影像可以利用操作装置144进行选择。就操作装置144而言，可能存在是设置于监控机构140的按钮或鼠标或键盘的情况、显示装置142为触控面板的情况、以无线方式连接于监控机构140的遥控器的情况、它们的组合的情况。若将遥控器装入已消毒的塑料袋，则即使是穿消毒服的人员也能够进行影像的选择。显示装置142能够将所显示的影像的一部分放大显示，当治疗对象患部照得较小时，可以选择该患部并放大显示。这可以通过在显示装置142中显示指针并用鼠标等操作，或使显示装置142形成为触控面板来进行待放大区域的选择。
图9示出操作装置144从中央照相机122和六台周围照相机130的影像中选择显示于显示装置142的影像的构成。在手术现场，观看显示器影像的不是施术者，而是以手术室护士、未参加手术的参观者为主。在本发明中，提供在监控机构选择并显示所拍摄到的多个影像并放大的单元。可以对各影像中的每一个指定显示的开和关，当没有指定时，在显示装置142仅显示中央照相机122的影像。根据被指定为开的照相机的数量将显示装置的画面区域自动分割并将影像并排显示，而分割的大小比、各个影像的配置顺序可以通过操作装置144进行调整。另外，对于显示于各个所分割的区域的影像，可以进行影像的放大。
图10示出录像单元162同时输入中央照相机122和六台周围照相机130的影像的构成。具备未图示的操作录像的开始和停止的开关，通过一个开关的操作来进行所有照相机的录像的开始和停止。就开关而言，可能存在设置于录像单元的情况、图1所例示的设置于操作手柄120的情况、设置于遥控器的情况、以及它们的组合的情况。
图11示出对由中央照相机122和两台周围照相机130同时拍摄的多个影像附加共同的拍摄日期和时间166并记录于录像装置164，通过输出单元168，使所记录的来自拍摄日期和时间信号附加装置166的拍摄日期和时间信号Sg1保持一致地同时播放任意组合中的多个动态图像，并将影像显示于控机构140的显示装置142的情况的实施方式例。当同时播放多个动态图像时，为了根据所拍摄的现实时间播放相同的场景，当记录于各动态图像的录像时间有偏差时，有时需要进行播放时间的细微调整。在本发明中，为了消除这种麻烦，提供根据记录的时间同时并行地对多个影像进行录像的手段、根据拍摄的时间将这多个录像影像同时播放或输出为数据的手段。在本发明中，通过根据共同的拍摄日期和时间信号Sg1使拍摄日期和时间保持一致地播放多个动态图像，能够没有时间滞差地向其他照相机的影像切换画面，或同时显示。此外，虽然周围照相机130示意性地图示了两台，但是实际上，为了进行避免视野障碍的可能性的有效拍摄，优选为用三台以上的周围照相机130围绕中央照相机122的构成。就录像单元162而言，既存在如图11所例示与监控机构140分离而构成的情况，也可能存在并入监控机构140的内部的情况。另外，就输出单元168而言，既存在如图11所例示设置于录像单元162的情况，在录像单元162被并入监控机构140的状况下，也可能存在操作装置144担任输出单元168的角色的情况。另外，当如图11所例示动态图像的输出目的地为显示装置142时，能够同时播放被同时输出的多个动态图像，并且通过操作装置144，与图2所例示时同样地进行显示于显示装置142的动态图像的选择或画面构成的调整。另外，也可能存在输出目的地为DVD等存储介质而不是显示器的情况，在这种情况下，可能存在从多个动态图像中选择任意的动态图像并作为独立的动态图像文件输出的情况、作为将任意组合的动态图像以任意的配置并排显示的一个动态图像文件输出的情况。
图12示出通过联接装置182将操作手柄120和各个周围照相机单元126的偏斜单元184机械地连接，并通过操作手柄120的旋转来操作偏斜单元184的实施方式例。就联接装置182而言，可能存在利用未图示的伞齿轮、斜齿轮来转换旋转力的方向，并机械地向偏斜单元184传递力的情况。此外，在图12中，例示了周围照相机单元126为圆形，并通过利用与该圆的直径一致的轴进行旋转来进行相对于带无影灯的照相机机构112的中央的偏斜，但周围照相机单元126的形状不限于圆形，另外，偏斜的方式只要是相对于带无影灯的照相机机构112的中央的偏斜，就可以使偏斜的中心或支点偏离周围照相机单元126的中心。作为另一方式例，联接装置182也可以是传递电子信号，并启动设置于偏斜单元184的电机来实现偏斜的电动式装置。
图13示出当所述带无影灯的照相机机构具备可告知照相机的影像方向的导向光照射装置时向拍摄对象190照射的导向光的实施方式例。通过向拍摄对象190照射沿影像的垂直方向的导向光192和沿影像的水平方向的导向光194，施术者可以在不通过显示器确认影像的情况下看着导向光来操作带无影灯的照相机机构并调整将拍摄对象190显示于影像的倾斜度。导向光应以线状光的组合显示在一个方向上表示影像的特定方向的指针，在本例中，用箭头表示垂直方向的上方的192的形式是任意的。若多个照相机的影像的倾斜度平行于水平方向，则该导向光照射装置一个便足够，否则，可以在所述照相机单元中各具备一个。
导向光的照射优选在使带无影灯的照相机机构移动、偏斜时自动输出并经过一定时间后自动熄灭。检测发生了所述带无影灯的照相机机构的移动及偏斜时使用加速度传感器。当然，不限于加速度传感器，也可能存在通过测量该带无影灯的照相机机构的移动或偏斜、该周围照相机单元的偏斜所需要的关节的角度的内部传感器等手段来检测这些运动的发生的情况。
另外，所述导向光有必要确保对人体尤其眼球的安全性。
图14是在带无影灯的照相机机构112具备麦克风202，并在录音装置204、语音输出装置206具备输出语音的麦克风202的本发明的实施例。在手术中，人员的会话也是重要的信息。尤其是在对穿着消毒服参加手术的实习人员进行指导时，由于手术过程中无法做笔记，因而难以准确地记忆受指导的内容。另外，指导的内容值得也对手术室护士、参观者来共享，但存在施术者发声的音量不足，以致周围的人听不见的情况。为便于说明，省略了图1的中央照相机122、监控机构140等，但这些构成与图1同样。图7中例示了麦克风202并排设置于操作手柄120的情况，但为了有效的收音，优选在靠近施术者的操作手柄120的前端附近设置麦克风202。另外，由于手术室中存在监测心电图或血氧饱和度的生物监视器、电手术刀等医疗设备所发出的声音回荡的情况，因而优选麦克风202为具备噪声消除功能，且沿着照明及拍摄的方向的单一指向性的麦克风。
图15是在图11中追加了麦克风202、语音输出装置206、录音装置204的本发明的实施例。语音输出装置206除了如图示那样并入监控机构140的情况外，还可能存在独立具备的情况、如耳机那样由人员佩戴的设备的情况。就录音装置204而言，优选如图示那样并入录像单元162，并附加与同时记录的动态图像相同的拍摄日期和时间166来进行录音。在动态图像的输出中，可以通过输出单元168使拍摄日期和时间166保持一致地将动态图像和语音同时输出。通过使共同的拍摄日期和时间166保持一致地播放多个动态图像及语音，能够无时间滞差地向其他照相机的影像进行画面切换或同时显示。
图16是带无影灯的照相机机构112的中央照相机122为半球照相机或立体照相机或红外线照相机222，且在操作手柄120的前端具备某一个照相机222的本发明的实施例。
在手术室中，不仅期望掌握治疗对象患部的影像，还期望掌握人员或手术器械的配置或操作等广范围的状况。在本发明中，提供一种通过半球照相机来获取广范围的影像的手段。当采用半球照相机时，可能存在与半球照相机分开地将中央照相机设置于中央照相机单元116的情况，但即使在这种情况下，为了获得在360°范围内无影像障碍的影像，也期望半球照相机被设置于操作手柄120的前端。此外，虽然图9中省略图1中的监控机构140而进行了图示，但可以使半球照相机222的影像也与其他照相机同样地被输入至监控机构140，并通过操作装置144来选择影像或调整放大范围。
另外，在掌握治疗对象患部的状况时，由二维显示的影像获得的信息不如由三维显示的影像获得的信息。在本发明中，提供一种通过立体照相机222以三维显示影像的手段。当采用立体照相机时，对于将所述显示装置142的影像以二维显示还是以三维显示，可以通过所述监控机构140的所述操作装置144选择。立体照相机既可以是将所述中央照相机122或所述周围照相机130中的任意两台组合而成的，也可以是任意一台以上的照相机自身为立体照相机。
另外，手术室中经常存在利用红外线照相机进行治疗对象患部的评价的情况，此时，存在将红外线照相机装入消毒袋并带进该患部的附近进行拍摄的麻烦。在本发明中，提供一种省略该麻烦而显示红外线照相机的影像的手段。当采用红外线照相机时，只要所述中央照相机122或所述周围照相机130中的一台为红外线照相机或能够切换为红外线照相机即可。
图17示出在操作手柄120的侧面具备开关234、236、242、246、248，可以由施术者在手术期间进行操作来通过电子信号进行光源、视角、各照相机焦点的自动调节功能的启动的切换，录像及录音的开始和停止，且各照相机焦点的自动调节功能也可以通过检测单元基体的偏斜的244来启动的本发明的实施例的构成。以往，由于穿着消毒服的人员无法进行照相机的设置或录像、录音的操作，因而手术室的人员不足，当未穿消毒服的人员不在时，难以进行操作。在本发明中，提供一种在一般的无影灯中在安装消毒罩的手柄部具备进行光源、照相机的视角、自动聚焦设置、录音、录像的操作的单元的照相机***。操作手柄20安装有消毒罩，以便在实施手术时即使是穿消毒服的施术者也能操作。此时，为了无碍于开关234、236、242、246、248的操作，优选该罩由乙烯树脂或薄塑料等透明且柔软的材料制作。另外，就开关234、236、242、246、248的位置而言，有必要配置为当为了使带无影灯的照相机机构的整体移动和偏斜或使周围照相机单元偏斜而触碰操作手柄120时不会有误启动开关234、236、242、246、248的可能性。
此外，优选照相机的自动调节功能在照相机与治疗对象患部的位置关系发生了变化时自动启动，但是，在检测发生了照相机与该患部的位置关系可能发生变化的所述带无影灯的照相机机构112的移动及偏斜、或发生所述周围照相机单元126的偏斜时，只要采用所述周围照相机单元26中的任一个所具备的加速度传感器就能够对这些中的任一运动进行检测，因而优选采用加速度传感器。当然，不限于加速度传感器，也可能存在通过测量该带无影灯的照相机机构12的移动或偏斜、该周围照相机单元126的偏斜所需要的关节的角度的内部传感器等手段来检测这些运动的发生的情况。
图18示出当向外部录制机输出所记录的多个动态图像252、254及语音256时不在进行记录的所有时间内输出数据，而是限定拍摄时间的范围T1～T2来进行数据的输出时将各数据在相同位置的时间范围内作为数据剪裁并在各动态图像中合成语音并输出的本发明的实施例。在本发明中，如图4和图8所示，由于任一动态图像数据或语音数据均共用相同的拍摄日期和时间数据，因而只要指定剪裁数据的时间范围T1～T2就能够统一分割多个动态图像数据。
图19是示出在所述显示装置识别到影像障碍时切换影像的算法的一例的流程图。当手术室里没有操作监控机构的未穿消毒服的人员时，难以切换显示于显示器的影像，从而在手术的助手或擦洗护士欲切换影像时造成不便。在本发明中，提供一种具备能够由监控机构检测所显示的影像因影像障碍而未显示治疗对象患部，并自行切换为其他影像的单元的照相机***。如图2中所说明，当不进行影像的指定时，在该显示装置中显示中央照相机的影像(步骤S1)。该显示装置可以根据影像的像素构成来检测所显示的影像未显示该患部的可能性较高，并自动切换为其他照相机的影像。在手术中，外患部的影像的像素由肤色或红色等构成的范围较大，在该患部未被拍摄到时所显示的影像的像素为覆盖该患部周围的清洁的布或手术衣或帽子的一般颜色，即蓝色或绿色，或者是施术者的手套颜色，即绿色。该显示装置在蓝色或绿色的像素占据影像的一定比例范围时识别为发生了影像障碍(步骤S2)。若在步骤S2中为YES(是)，则设置监视时间计时器(步骤S3)。继续识别影像障碍是否持续存在，直至经过计时器设置时间(步骤S4)。若影像障碍已消失，则在步骤S5中为YES(是)，继续显示中央照相机的影像。若影像障碍继续存在，则在步骤S5中为NO(否)，继续监测影像障碍，直至经过计时器设置时间。若以影像障碍继续存在的状态经过计时器设置时间，则在步骤S4中为YES(是)，自动切换为其他照相机的影像并显示影像(步骤S6)。以下，对于所显示的影像，同样可以检测影像障碍，并自动切换为其他照相机的影像。当同时显示多个影像时，对各个影像同时执行该影像障碍的识别。另外，对于未显示的影像，也可以通过在后台同样地进行影像障碍的监视而将切换目标的影像指定为未发生影像障碍的影像。
图20示出在中央照相机122及各个周围照相机130的附近具备距离测量装置272，并通过监控机构140所具备的CPU274来自动选择显示于显示装置142的影像的本发明的构成例。就距离测量装置272而言，当采用激光测距仪时，有必要在光源中采用激光等级1(近红外线)，确保对人体尤其是眼球的安全性。各个距离测量装置172的测量值被传递至CPU274，该CPU274可以控制为，当从拍摄了治疗对象患部的状况下的测量值开始，在一定时间内该值变化较大时，不会在显示装置42中显示位于该距离测量装置274附近的照相机122、130的影像。
图21示出分别由动态图像识别单元284及语音识别单元290自动识别动态图像数据282、语音数据288的内容，制成字符串数据，并在拍摄时间信息中附加字符串的标识信息而制成列表数据286、292的本发明的构成。所记录的动态图像为长时间，且整体的色调或构成大多单调，因而常常难以确定欲播放的手术场景的记录时间。作为对此的策略，有动态图像观看者手动将标识信息添加至图像中的方法，但这耗费较大的工夫。在本发明中，提供一种通过机械地自动识别所记录的影像、语音，并在数据的时间信息中附加字符串的标识信息，能够检索记录的时间信息，从而能够确定欲播放的场景的手段。作为动态图像识别单元284、语音识别单元290的具体例，分别可以列举谷歌(Google)公司提供的Cloud VideoIntelligence(云视频情报)及Cloud Speech(云端语音识别)的API(应用程序编程界面)。但是，实际上，由于动态图像数据182及语音数据188中包括患者信息，因此当使用需要与谷歌公司的服务器联络的该API时，有必要预先获得患者的许可。为了不通过院外的网络而实施本发明，要求在院内构建动态图像识别单元284、语音识别单元290的运用。
符号说明
10：被摄体，12：主照相机，14：副照相机，20：信息处理装置，22：图像获取部，24：控制部，26：图像识别部，28：计数部，30：平均点计算部，32：影像选择部(图像选择部)，34：影像显示部，40：显示装置，52、54、56、58：识别到手的区域(识别区域)，62、64、66、68：识别区域的中心点，70：识别区域的中心点的平均点，80：影像的中心点，90：平均点与影像中心点的距离。

Claims (27)

1.一种照相机***，其在手术等施疗行为时使用，具备能够以固定图像及动态图像拍摄治疗对象患部和/或施术者的手部的带无影灯的照相机机构、以及显示由该照相机机构拍摄的影像的监控机构，所述照相机***的特征在于，
所述照相机机构具备：能够移动和倾斜的整体基体、配设于该整体基体的大致中央的中央照相机单元、以及设于所述整体基体且配设于所述中央照相机单元的周围的至少一个周围照相机单元，
所述中央照相机单元具备：中央单元基体、立设于该中央单元基体的中央部且形成为能够通过施术者的操作而使所述照相机机构整体移动和偏斜的操作手柄、以及内置于该操作手柄或与该操作手柄相邻地配设的中央照相机，
所述周围照相机单元分别具备周围单元基体、配设于该周围单元基体的周围照相机以及在所述周围单元基体中与所述周围照相机相邻地配置的多个光源，
所述中央照相机和周围照相机形成为能够分别在不同的视点以固定图像及动态图像同时拍摄治疗对象患部和/或施术者的手部，
所述监控机构具备：通常显示所述中央照相机的影像的至少一台显示装置、以及通过观看者的操作也能够从周围照相机所拍摄的影像中选择显示于该显示装置的影像的操作装置。
2.根据权利要求1所述的照相机***，所述中央照相机单元具备配置于所述中央照相机的附近的多个光源，这些多个光源构成了无影灯。
3.根据权利要求1所述的照相机***，所述操作装置具有如下功能：能够将所述中央照相机单元及所述周围照相机单元所拍摄的影像中的两个以上的影像组合并显示于所述显示装置。
4.根据权利要求1所述的照相机***，进一步具备：录像单元，其对由所述中央照相机单元及所述周围照相机单元拍摄到的各个影像并行地同时进行录像。
5.根据权利要求4所述的照相机***，所述录像单元能够使拍摄的时间同步并同时播放由所述中央照相机单元及所述周围照相机单元同时拍摄到的两个以上的影像。
6.根据权利要求1所述的照相机***，
所述周围照相机单元进一步具备使所述周围单元基体偏斜的偏斜单元，所述操作手柄和该偏斜单元通过联接装置进行关联，所述操作手柄能够通过沿旋转轴旋转从而通过该联接装置来启动所述偏斜单元，并通过使所述周围照相机单元的基体相对于所述中央照相机单元偏斜来调整所述周围照相机的方向。
7.根据权利要求1所述的照相机***，
所述带无影灯的照相机机构具备将导向光照射至拍摄对象的导向光照射装置，即使不看显示器也能够知道所拍摄的影像相对于治疗对象患部的倾斜度，所述导向光为显示所述中央照相机或所述周围照相机中的任一个照相机的影像的纵横方向的光线。
8.根据权利要求1所述的照相机***，其具备获取包括手术中的会话的语音信息的麦克风，进一步具备记录所获取的语音信息的录音装置、以及输出所获取的语音的语音输出装置。
9.根据权利要求4所述的照相机***，所述录像单元使时间同步并同时播放由所述中央照相机单元、所述周围照相机单元及所述麦克风拍摄和录音的影像和语音。
10.根据权利要求1所述的照相机***，所述操作手柄在手柄的前端具备半球照相机，能够对周围的环境在360°范围内进行录像。
11.根据权利要求1所述的照相机***，所述中央照相机为半球照相机，能够对周围的环境在360°范围内进行录像。
12.根据权利要求1所述的照相机***，所述操作手柄在手柄的侧面具备所述中央单元及所述周围单元基体的光源的操作装置，能够发送与光源的点亮熄灭、照度的调整相关的指示信号。
13.根据权利要求1所述的照相机***，所述中央照相机和所述周围照相机分别具备视角操作装置，所述操作手柄在手柄的侧面具备用于向该视角操作装置发送指示信号的开关。
14.根据权利要求1所述的照相机***，所述中央照相机和所述周围照相机分别具备焦距操作装置，该焦距操作装置能够通过自动调焦功能而自动地对准拍摄对象来调节焦点。
15.根据权利要求1所述的照相机***，所述操作手柄能够通过手柄侧面的开关来操作所述中央照相机和所述周围照相机的所述焦距操作装置的所述自动调焦功能的启动和停止。
16.根据权利要求1所述的照相机***，
所述焦距操作装置能够在所述自动调焦功能停止时通过所述操作手柄来调整所述中央照相机和所述周围照相机的视角，并且，能够在检测到发生了所述照相机机构整体的移动或偏斜的操作时使所述自动调焦功能工作而进行对焦后自动地停止自动调焦功能。
17.根据权利要求1所述的照相机***，所述操作手柄在手柄的侧面附带所述录像单元的操作装置，能够进行录像的开始和停止的操作。
18.根据权利要求7所述的照相机***，所述操作手柄在手柄的侧面附带所述录音装置的操作装置，能够进行录音的开始和停止的操作。
19.根据权利要求1所述的照相机***，所述监控机构的所述操作装置能够操作所述中央照相机和所述周围照相机的所述焦距操作装置的自动调焦功能的启动和停止。
20.根据权利要求1所述的照相机***，所述中央照相机和所述周围照相机中的至少一台为立体照相机，所述显示装置能够对由该立体照相机拍摄的影像进行三维显示。
21.根据权利要求1所述的照相机***，所述中央照相机和所述周围照相机中的至少一台为红外线照相机，所述显示装置能够显示由该红外线照相机拍摄的影像。
22.根据权利要求10所述的照相机***，
所述监控机构能够通过选择显示于所述显示装置的影像的所述操作装置而将由所述中央照相机、所述周围照相机、所述半球照相机中的任一个拍摄到的影像在任意的拍摄范围内进行剪裁放大并显示于所述显示器。
23.根据权利要求4所述的照相机***，所述录像单元能够将所记录的多个影像和语音在保持时间同步的同时在任意时间范围内剪裁，并以数据的形式输出。
24.根据权利要求1所述的照相机***，
在识别影像的像素而检测到所显示的影像未显示治疗对象患部和/或施术者的手部等拍摄对象，并且状况在一定时间以上不改善时，所述显示装置能够自动切换为其他影像的显示。
25.根据权利要求1所述的照相机***，
所述中央单元基体及所述周围单元基体在所述中央照相机及所述周围照相机的附近具备以光学方式测量至拍摄对象的距离的距离测量装置，向所述监控机构所具备的CPU传递距离信息，该CPU能够在检测到该距离突然变化较大且距离在一定时间内不恢复时判定为未拍摄到拍摄对象，并将所述显示装置的影像自动切换为其他照相机的影像的显示。
26.根据权利要求1所述的照相机***，
所述录像单元及所述录音装置机械地自动识别所记录的影像的图像信息、语音信息，并在数据的时间信息中附加标识信息，从而能够基于标识信息来检索记录的时间信息，并能够从相应的时间点起进行播放。
27.一种照相机***，其在手术等施疗行为时使用，具备能够以固定图像及动态图像拍摄治疗对象患部和/或施术者的手部的带无影灯的照相机机构、以及显示由该照相机机构拍摄的影像的监控机构，所述照相机***的特征在于，
所述照相机机构具备：能够移动和倾斜的整体基体、设置于该整体基体的至少两个照相机单元、以及形成为能够使所述照相机机构整体移动和偏斜的操作手柄，
所述至少两个照相机单元分别具有单元基体、以及设置于该单元基体的至少一个照相机，
所述至少两个照相机单元的照相机形成为能够分别在不同的视点以固定图像及动态图像同时拍摄治疗对象患部和/或施术者的手部，
所述照相机机构进一步具备影像选择手段：将显示于所述显示装置的影像设为从所述至少两个照相机单元的照相机分别拍摄的影像中选择的影像。
CN202110493176.5A 2017-09-04 2018-06-19 照相机*** Pending CN113229961A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2017169185A JP6933935B2 (ja) 2017-09-04 2017-09-04 カメラシステム
JP2017-169185 2017-09-04
JP2017-248945 2017-12-26
JP2017248945 2017-12-26
CN201880057495.8A CN111095920A (zh) 2017-09-04 2018-06-19 多视点影像观看***及照相机***

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201880057495.8A Division CN111095920A (zh) 2017-09-04 2018-06-19 多视点影像观看***及照相机***

Publications (1)

Publication Number Publication Date
CN113229961A true CN113229961A (zh) 2021-08-10

Family

ID=65527363

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202110493176.5A Pending CN113229961A (zh) 2017-09-04 2018-06-19 照相机***
CN201880057495.8A Pending CN111095920A (zh) 2017-09-04 2018-06-19 多视点影像观看***及照相机***

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201880057495.8A Pending CN111095920A (zh) 2017-09-04 2018-06-19 多视点影像观看***及照相机***

Country Status (4)

Country Link
US (1) US11678950B2 (zh)
EP (1) EP3681150A4 (zh)
CN (2) CN113229961A (zh)
WO (1) WO2019044124A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116091366A (zh) * 2023-04-07 2023-05-09 成都华域天府数字科技有限公司 一种多维度拍摄手术视频及消除摩尔纹的方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6369706B1 (ja) * 2017-12-27 2018-08-08 株式会社Ｍｅｄｉ Ｐｌｕｓ 医療動画処理システム
JP7132730B2 (ja) * 2018-03-14 2022-09-07 キヤノン株式会社 情報処理装置および情報処理方法
WO2020110218A1 (ja) * 2018-11-28 2020-06-04 オリンパス株式会社 医療画像記録制御システム
US11248774B2 (en) 2019-10-15 2022-02-15 Gentex Corporation Flat panel light module with dynamic beam
WO2021205778A1 (ja) * 2020-04-08 2021-10-14 富士フイルム株式会社 医療画像処理システム、認識処理用プロセッサ装置、及び医療画像処理システムの作動方法
US20220292285A1 (en) * 2021-03-11 2022-09-15 International Business Machines Corporation Adaptive selection of data modalities for efficient video recognition
US11917232B2 (en) * 2021-11-08 2024-02-27 Vimmerse, Inc. Collaborative video capture and sharing

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080278571A1 (en) * 2007-05-10 2008-11-13 Mora Assad F Stereoscopic three dimensional visualization system and method of use
CN103270540A (zh) * 2010-12-30 2013-08-28 派尔高公司 使用摄像机网络跟踪运动对象
CN105546405A (zh) * 2015-12-11 2016-05-04 上海三思电子工程有限公司 无影灯远程手术协作***
WO2017031175A1 (en) * 2015-08-17 2017-02-23 University Of Maryland, Baltimore Automated surgeon performance evaluation
US20170238842A1 (en) * 2016-02-19 2017-08-24 Covidien Lp Systems and methods for video-based monitoring of vital signs

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11267663A (ja) 1998-03-20 1999-10-05 Kurita Water Ind Ltd 脱リン装置
DE19843288C2 (de) 1998-09-22 2002-01-10 Heraeus Med Gmbh Bildübertragungseinrichtung
US6633328B1 (en) * 1999-01-05 2003-10-14 Steris Corporation Surgical lighting system with integrated digital video camera
JP4332649B2 (ja) * 1999-06-08 2009-09-16 独立行政法人情報通信研究機構 手の形状と姿勢の認識装置および手の形状と姿勢の認識方法並びに当該方法を実施するプログラムを記録した記録媒体
JP4172689B2 (ja) * 2002-11-14 2008-10-29 株式会社吉田製作所 画像認識による歯科診療支援システム
JP2008000282A (ja) * 2006-06-21 2008-01-10 Olympus Medical Systems Corp 手技画像記録制御システム及び手術システム
JP3128871U (ja) * 2006-11-10 2007-01-25 株式会社ジーピーエー 手術撮影用電動雲台装置
DE202007007054U1 (de) * 2006-11-15 2007-07-26 Trumpf Kreuzer Medizin Systeme Gmbh + Co. Kg System mit einer Operationsleuchte und mit einer Kamera
JP4565220B2 (ja) * 2008-07-30 2010-10-20 株式会社モリタ製作所 医療用実習装置
JP2010041535A (ja) * 2008-08-07 2010-02-18 Hitachi Ltd データ配信装置
JP5530204B2 (ja) * 2010-01-29 2014-06-25 Ｄｍｇ森精機株式会社 加工状況監視装置
JP2012120812A (ja) * 2010-12-06 2012-06-28 Advas Co Ltd 歯科治療におけるビデオカメラによる治療支援システム
JP5717145B2 (ja) 2012-05-28 2015-05-13 ジヤトコ株式会社 チェーン式無段変速機用プーリ
US9642606B2 (en) * 2012-06-27 2017-05-09 Camplex, Inc. Surgical visualization system
JP5959367B2 (ja) * 2012-08-24 2016-08-02 オリンパス株式会社 医療支援システム
CN104102335B (zh) 2013-04-15 2018-10-02 中兴通讯股份有限公司 一种手势控制方法、装置和***
JP6073741B2 (ja) * 2013-05-10 2017-02-01 山田医療照明株式会社 医療用照明システム及び照明方法
JP2017507680A (ja) * 2013-12-23 2017-03-23 キャンプレックス インコーポレイテッド 手術可視化システム
WO2015126466A1 (en) * 2014-02-21 2015-08-27 The University Of Akron Imaging and display system for guiding medical interventions
JPWO2015173851A1 (ja) 2014-05-14 2017-04-20 シンクロア株式会社 無影灯
US9943374B2 (en) * 2014-09-16 2018-04-17 X-Nav Technologies, LLC Image guidance system for detecting and tracking an image pose
JP6485899B2 (ja) * 2014-12-08 2019-03-20 ソニー・オリンパスメディカルソリューションズ株式会社 医療用立体観察装置、医療用立体観察方法、及びプログラム
GB201504787D0 (en) * 2015-03-20 2015-05-06 Cambridge Medical Robotics Ltd User interface for a robot
JP6284086B2 (ja) * 2016-02-05 2018-02-28 パナソニックＩｐマネジメント株式会社 追跡支援装置、追跡支援システムおよび追跡支援方法
JP7113294B2 (ja) * 2016-09-01 2022-08-05 パナソニックＩｐマネジメント株式会社 多視点撮像システム
US11432877B2 (en) * 2017-08-02 2022-09-06 Medtech S.A. Surgical field camera system that only uses images from cameras with an unobstructed sight line for tracking

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080278571A1 (en) * 2007-05-10 2008-11-13 Mora Assad F Stereoscopic three dimensional visualization system and method of use
CN103270540A (zh) * 2010-12-30 2013-08-28 派尔高公司 使用摄像机网络跟踪运动对象
WO2017031175A1 (en) * 2015-08-17 2017-02-23 University Of Maryland, Baltimore Automated surgeon performance evaluation
CN105546405A (zh) * 2015-12-11 2016-05-04 上海三思电子工程有限公司 无影灯远程手术协作***
US20170238842A1 (en) * 2016-02-19 2017-08-24 Covidien Lp Systems and methods for video-based monitoring of vital signs

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116091366A (zh) * 2023-04-07 2023-05-09 成都华域天府数字科技有限公司 一种多维度拍摄手术视频及消除摩尔纹的方法
CN116091366B (zh) * 2023-04-07 2023-08-22 成都华域天府数字科技有限公司 一种多维度拍摄手术视频及消除摩尔纹的方法

Also Published As

Publication number Publication date
EP3681150A1 (en) 2020-07-15
EP3681150A4 (en) 2021-01-13
US11678950B2 (en) 2023-06-20
CN111095920A (zh) 2020-05-01
US20200268471A1 (en) 2020-08-27
WO2019044124A1 (ja) 2019-03-07

Similar Documents

Publication Publication Date Title
CN113229961A (zh) 照相机***
AU2003234910B2 (en) Medical cockpit system
JP6950707B2 (ja) 情報処理装置および方法、並びにプログラム
US8989567B1 (en) Dental scanner device and system and methods of use
US20160242623A1 (en) Apparatus and method for visualizing data and images and for controlling a medical device through a wearable electronic device
US20200396411A1 (en) Information processor, information processing method, and program
JP7218728B2 (ja) 制御装置および制御方法
WO2015178962A1 (en) Novel dental scanner device and system and methods of use
US12008682B2 (en) Information processor, information processing method, and program image to determine a region of an operation target in a moving image
CN109565565B (zh) 信息处理装置、信息处理方法和非暂态计算机可读介质
JP7244926B2 (ja) 手術映像表示装置、手術映像表示装置の制御方法、及びプログラム
JP7264051B2 (ja) 画像処理装置および画像処理方法
JP6933935B2 (ja) カメラシステム
US10448004B1 (en) Ergonomic protective eyewear
US11022859B2 (en) Light emission control apparatus, light emission control method, light emission apparatus, and imaging apparatus
JP2016004215A (ja) 投影装置
ES2788853T3 (es) Sistema con integración de interfaz de usuario 3D
JP7240702B2 (ja) 治療状況イメージングシステム
JP2020509890A (ja) コンピュータ断層撮影および撮影されるボリュームの位置決め
JP2023005985A (ja) ユーザインターフェースシステム
TW202034857A (zh) 醫療用數位顯微鏡系統

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination